#data-extraction Repositories
Entdecke 131 aktive Open-Source-GitHub-Repositories, die mit #data-extraction getaggt sind und insgesamt 729,329 Sterne gesammelt haben (durchschnittlich 5,567 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist firecrawl/firecrawl mit 205,758 Sternen.
Insgesamt 131 Repositories
Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.
🕷️ Das BESTE Web-Scraping-Framework – für alles von einer einzelnen Anfrage bis hin zu einem umfangreichen Crawl! Nur keine Scheu: Tritt hier bei: https://discord.gg/EMgGbDceNQ und folge uns hier für tägliche Tipps und Tricks: https://x.com/Scrapling_dev
Offizielles Crawl4AI Cloud: eine gehostete API für Web-Scraping, Extraktion und Suche für KI-Agenten. Kostenloser API-Schlüssel, 1.000 Credits pro Monat, keine Kreditkarte erforderlich. Vollständig Open Source: Dieses Repository enthält den Apache-2.0-Crawler, der den Dienst antreibt, und kann selbst gehostet werden.
Das SDK zum Extrahieren von Daten und Interagieren mit jeder Website im Web. Legen Sie mit Claude Code, Codex, Eve, Mastra und mehr los.
Verwandeln Sie jede Website in eine strukturierte API. Extrahieren, automatisieren, durchsuchen und überwachen Sie das Web.
rga: ripgrep, aber auch Suche in PDFs, E-Books, Office-Dokumenten, zip, tar.gz usw.
Datenerfassung mit Xiaohongshu (RED)-Crawler, Reverse Engineering von Xiaohongshu, private Nachrichten, Livestreaming und Gesamtlösungen für den Xiaohongshu-Betrieb
Browser-Automatisierungs-CLI für KI-Agenten. Durchbrechen Sie Anti-Bot-Wände, übergeben Sie bei Problemen plattformübergreifend an Menschen. Parallele Multitasking-Ausführung, unabhängiger Multisession-Betrieb, isoliertes Multi-Account-Browsing.
Ein Open-Source-Deep-Research-Klon. KI-Agent, der große Mengen an Webdaten mit Firecrawl extrahiert und daraus Schlüsse zieht.
Deklarative Datenautomatisierungssprache und Go-Laufzeit für strukturierte Extraktionsworkflows.
Schlüsselwörter aus Sätzen extrahieren oder Schlüsselwörter in Sätzen ersetzen.
Umfassende Sammlung von 200+ Workflow-Vorlagen für Coze, ständig aktualisiert
Nachfolger von Undetected-Chromedriver. Bietet ein rasantes Framework für Webautomatisierung, Web-Scraping, Bots und alle anderen kreativen Ideen, die normalerweise durch lästige Anti-Bot-Systeme wie Captcha / CloudFlare / Imperva / hCaptcha behindert werden.
Code-Beispiele aus dem Buch Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do
Ein agentischer Extraktor für Messaging-Plattformen. Noria empfängt Nachrichten und URLs per Chat, erfasst Webdaten, um Inhalte anhand benutzerdefinierter Bewertungsschemata (z. B. für Jobs und Stipendien) zu bewerten, und sendet eine strukturierte Zusammenfassung mit einem berechneten Übereinstimmungswert direkt an die zugewiesene Messenger-Nummer.
Sprache, Engine und Werkzeuge zum Ausdrücken, Testen und Evaluieren von komponierbaren Sprachregeln auf Eingabestrings.
WebCollector ist ein quelloffenes Webcrawler-Framework auf Basis von Java. Es bietet einige einfache Schnittstellen zum Crawlen des Webs, Sie können einen Multi-Thread-Webcrawler in weniger als 5 Minuten einrichten.
Ein leistungsstarker Model Context Protocol (MCP)-Server, der eine All-in-One-Lösung für den öffentlichen Webzugriff bietet.
PdfParser, eine eigenständige PHP-Bibliothek, bietet verschiedene Werkzeuge zum Extrahieren von Daten aus einer PDF-Datei.
Netease Cloud/Qishui/QQ Music Wiedergabelisten zu Apple/Youtube/Spotify Music migrieren
Produktionsbereite MCP-Server mit Echtzeit-Suche, Extraktion, Mapping und Crawling.
Die unsichtbare, selbst gehostete Browser-Automatisierungsplattform. Angetrieben von Camoufox (Firefox) für 0 % Erkennungsraten. Entwickelt für Geschwindigkeit, Privatsphäre und Skalierbarkeit.
Abrufen von Weibo-Suchergebnisinformationen, wobei die Suche entweder eine Weibo-Schlüsselwortsuche oder eine Weibo-Themensuche sein kann
DocLayout-YOLO: Verbesserung der Dokumentlayoutanalyse durch vielfältige synthetische Daten und adaptive globale-zu-lokale Wahrnehmung
Extrahieren Sie strukturierte Daten und Erkenntnisse aus Dokumenten mithilfe großer Sprachmodelle und Entscheidungsmodelle
Dieses Tool extrahiert und zeigt Daten aus derRecall-Funktion in Windows 11 an und bietet eine einfache Möglichkeit, auf Informationen über die Aktivitätsschnappschüsse Ihres PCs zuzugreifen.
Deklarative Angabe, wie Elemente aus einem JSON-Dokument in PHP extrahiert werden
Intelligenter Parser für den „Chitai-Gorod“-Katalog. Hochgeschwindigkeitserfassung und -strukturierung von Daten basierend auf beliebigen festgelegten Parametern: von der ISBN bis zur Rabattdynamik.
Ein Python-Modul zum Extrahieren von Provinzen, Städten und Bezirken aus vereinfachten chinesischen Strings und zur Durchführung von Zuordnungen, Überprüfungen und einfachen Diagrammen
Wandelt eine PDF-Datei in eine Textdatei um und behält dabei das Layout der Original-PDF bei. Dies ist beispielsweise nützlich, um den Inhalt einer Tabelle aus einer PDF-Datei zu extrahieren. Diese Klasse ist eine Unterklasse der Klasse PDFTextStripper aus der Apache-PDFBox-Bibliothek.
Häufig gestellte Fragen
Welches ist das beliebteste #data-extraction-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#data-extraction-Projekt auf GitHub ist firecrawl/firecrawl mit 205,758 Sternen. Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.
Welche Programmiersprachen werden in #data-extraction-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #data-extraction-Projekten auf GitHub sind Python, TypeScript, JavaScript, Rust die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #data-extraction-Repositories berechnet?
Wir verfolgen 131 aktive Open-Source-Repositories, die mit #data-extraction getaggt sind (500+ Sterne), mit insgesamt 729,329 Sternen und durchschnittlich 5,567 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.