#data-extraction Repositories
Insgesamt 131 Repositories
:truck: Agile Data Preparation Workflows leicht gemacht mit Pandas, Dask, cuDF, Dask-cuDF, Vaex und PySpark
Open-Source-API-Schnittstellen-Server für Web-Scraping von Plattformen wie Douyin (a_bogus neueste Version), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo usw. Schnelle Ein-Klick-Bereitstellung mit Docker.
Heapdump-Tool zur Abfrage sensibler Informationen, z. B. zum Auffinden von Klartext-Passwörtern, AK, SK usw. in Spring Heapdumps
Extrahieren Sie mühelos Daten mit unserer KI-Scraper-API. Vereinfachen Sie die Datenextraktion, erhalten Sie saubere JSON-Ausgaben und passen Sie sich an Seitenänderungen an. Testen Sie es noch heute kostenlos!
Ein anfängerfreundliches und dennoch leistungsstarkes Python-Toolkit für die Finanzanalyse und -automatisierung – entwickelt, um moderne Investitionen für jedermann zugänglich zu machen
Flyscrape ist ein Kommandozeilen-Web-Scraping-Tool, das sich an Personen ohne fortgeschrittene Programmierkenntnisse richtet.
Dianping-Crawler (ganze Website durchsuchbar, löst dynamische Schrifterverschlüsselung, kein OCR). Kontinuierliche Aktualisierung
CommonForms — offene Modelle zur automatischen Erkennung von PDF-Formularfeldern
KI-gestütztes Data-Enrichment-Tool, das E-Mails mit Firecrawl und Multi-Agent-KI in reichhaltige Datensätze mit Unternehmensprofilen, Finanzierungsdaten, Technologie-Stacks und mehr umwandelt
Schnelle, leichtgewichtige Firecrawl/Tavily-Alternative in Rust. Web-Scraper, Crawler & Such-API mit MCP-Server für KI-Agenten. Drop-in Firecrawl-kompatible API (/scrape, /crawl, /search). 2,3x schneller als Tavily, 1,5x schneller als Firecrawl bei 1K-URL-Benchmarks. 6 MB RAM, einzelne Binärdatei. Selbst-Hosting oder Managed Cloud.
Die schnellste PDF-Bibliothek für Python und Rust. Text-Extraktion, Bild-Extraktion, Markdown-Konvertierung, PDF-Erstellung & -Bearbeitung. 0,8 ms Mittelwert, 5× schneller als Branchenführer, 100% Erfolgsquote bei 3.830 PDFs. MIT/Apache-2.0.
Ein Tool zum Scrapen von LinkedIn ohne API-Einschränkungen für die Datenaufklärung
⛏️ Die Extraktions-Engine hinter Maigret: Verwandle jede Profil-URL in einen strukturierten OSINT-Datensatz auf über 150 Websites
Eine Rust-Bibliothek zum Extrahieren nützlicher Daten aus HTML-Dokumenten, geeignet für Web-Scraping.
Bibliothek zur Bereitstellung einer einfachen Client-Schnittstelle zur Strava-REST-API (v3).
Ranking von Google Scholar-Suchergebnissen basierend auf der Anzahl der Zitationen
Zum Exportieren von Vokabeldatenbanken für MoMo Vokabeltrainer, zur Erstellung benutzerdefinierter Vokabeldatenbanken für List Vokabeltrainer, BuBei Vokabeltrainer, Oulu Dictionary usw.
Lokaler, quelloffener KI-Assistent für Ihre Daten. Vereinheitlicht Aufgaben, Notizen, Dokumente, Fotos und Lesezeichen. Privat, selbstgehostet und über APIs erweiterbar.
Eine Python 3 kompatible Version von goose http://goose3.readthedocs.io/en/latest/index.html
Ein CLI-Tool und eine API zum kostenlosen Abrufen von Daten von Twitter!
2019CCF-BDCI-Wettbewerb Gewinner des Preises für die beste innovative Erkundung Champion des Themas zur OCR-basierten Extraktion von ID-Karten-Elementen Tianchen Poxiao-Team Themen-Quellcode
Greifen Sie programmgesteuert auf Ihre in MyFitnessPal gespeicherten Mahlzeiten-Tracking-Daten zu
Datenmanagement-Framework für Python, das Funktionalität zur Beschreibung, Extraktion, Validierung und Transformation von tabellarischen Daten bietet
Ein Chatbot/GraphRAG-Framework, das Multi-LLM-Agenten aus Benutzerkommentaren von sozialen Plattformen erstellt und sie über bestimmte Themen debattieren lässt.
Eine Browser-Erweiterung: Wird hauptsächlich für Notizen in WeChat Read verwendet und ist für Leser, die häufig Markdown für Notizen verwenden, recht hilfreich.