#web-crawling Repositories
Entdecke 38 aktive Open-Source-GitHub-Repositories, die mit #web-crawling getaggt sind und insgesamt 211,837 Sterne gesammelt haben (durchschnittlich 5,574 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist unclecode/crawl4ai mit 87,627 Sternen.
Insgesamt 38 Repositories
Offizielles Crawl4AI Cloud: eine gehostete API für Web-Scraping, Extraktion und Suche für KI-Agenten. Kostenloser API-Schlüssel, 1.000 Credits pro Monat, keine Kreditkarte erforderlich. Vollständig Open Source: Dieses Repository enthält den Apache-2.0-Crawler, der den Dienst antreibt, und kann selbst gehostet werden.
Crawlee—Eine Web-Scraping- und Browser-Automatisierungs-Bibliothek für Node.js, um zuverlässige Crawler zu erstellen. In JavaScript und TypeScript. Extrahieren von Daten für KI, LLMs, RAG oder GPTs. Herunterladen von HTML, PDF, JPG, PNG und anderen Dateien von Websites. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und rohem HTTP. Sowohl im headful- als auch im headless-Modus. Mit Proxy-Rotation.
Der beste Headless-Browser für KI-Agenten. Leichtgewichtig, schnell und hochkompatibel. In Rust entwickelt
Crawlee – eine Python-Bibliothek für Web Scraping und Browserautomatisierung zum Erstellen zuverlässiger Crawler. Extrahiere mit Pydantic AI und LLMs strukturierte Daten oder steuere den Browser mit Stagehand in natürlicher Sprache. Funktioniert mit BeautifulSoup, Parsel, Playwright und rohem HTTP. Lade HTML-, PDF- und Bilddateien sowie andere Dateien herunter. Proxy-Rotation ist integriert.
Node-Server, der Headless Chrome verwendet, um eine JavaScript-gerenderte Seite als HTML zu rendern. Zur Verwendung in Verbindung mit Prerender-Middleware.
Deklarative Datenautomatisierungssprache und Go-Laufzeit für strukturierte Extraktionsworkflows.
Das Repository enthält den robots.txt-Parser und -Matcher von Google als C++-Bibliothek (konform zu C++11).
WebCollector ist ein quelloffenes Webcrawler-Framework auf Basis von Java. Es bietet einige einfache Schnittstellen zum Crawlen des Webs, Sie können einen Multi-Thread-Webcrawler in weniger als 5 Minuten einrichten.
Ein leistungsstarker Model Context Protocol (MCP)-Server, der eine All-in-One-Lösung für den öffentlichen Webzugriff bietet.
Produktionsbereite MCP-Server mit Echtzeit-Suche, Extraktion, Mapping und Crawling.
Abrufen von Weibo-Suchergebnisinformationen, wobei die Suche entweder eine Weibo-Schlüsselwortsuche oder eine Weibo-Themensuche sein kann
Web-Crawling und RAG-Funktionen für KI-Agenten und KI-Programmierassistenten
Ein einfaches, agiles, verteiltes Java-Crawler-Framework, das Spring Boot unterstützt; Ein agiles, verteiltes Crawler-Framework.
🔥 Open-Source-Perplexity-ähnliche KI-Suchmaschine mit Echtzeit-Zitaten, Streaming-Antworten und Live-Daten, unterstützt von Firecrawl
Ein Python-Tool, das zum Aufdecken von Endpunkten, potenziellen Parametern, einer zielgerichteten Wortliste für ein bestimmtes Ziel und Geheimnissen verwendet wird.
Xiaohongshu-Daten, XHS-Datenerfassung, Reverse Engineering von Xiaohongshu, XS-Reverse-Engineering von Xiaohongshu, Xiaohongshu-Scraper, Xiaohongshu-Daten
Open-Source-API-Schnittstellen-Server für Web-Scraping von Plattformen wie Douyin (a_bogus neueste Version), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo usw. Schnelle Ein-Klick-Bereitstellung mit Docker.
📖 MCP-Server zum Abrufen von deepwiki.com und Erhalten des neuesten Wissens in Cursor und anderen Code-Editoren
Ein Community-gesteuertes KI-Automatisierungsframework, das auf der unglaublichen Arbeit der Open-Source-Community aufbaut. Unser Ziel ist es, Sprachmodelle mit spezialisierten Tools für Aufgaben wie Websuche, Crawling und die Ausführung von Python-Code zu kombinieren und gleichzeitig der Community, die dies ermöglicht hat, etwas zurückzugeben.
☁️ Der schnellste HTML-zu-Markdown-Konverter auf GitHub. Für LLMs optimiert und unterstützt Streaming.
Stealth-Chromium-Engine, das verhindert, dass Scraper und Browser-Agenten blockiert werden – mit nur einer Änderung in einer Codezeile.
Ein automatisiertes KI-System (Python-Framework), das entwickelt wurde, um jede Art von Website-Inhalt zu analysieren und strukturierte Berichte unter Verwendung der Claude 3.5 Sonnet API und Firecrawl zu generieren. Während es derzeit für Enterprise-KI-Fallstudien konfiguriert ist, kann die Architektur für verschiedene Inhaltsanalyseanforderungen angepasst werden.
Offizielle Repository für "Craw4LLM: Effizientes Web-Crawling für LLM-Pretraining"
Webseiten mit Headless Chrome abrufen und alle abgerufenen Ressourcen, einschließlich JavaScript-Dateien, speichern. Beliebigen JavaScript-Code auf vielen Webseiten ausführen und die zurückgegebenen Werte anzeigen
🔥 Generieren Sie llms.txt- und llms-full.txt-Dateien für jede Website!
🎉🎈 Der ≪ 📧 Dev Event E-Mail-Abonnement-Service ≫, den Sie jede Woche per E-Mail erhalten
Häufig gestellte Fragen
Welches ist das beliebteste #web-crawling-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#web-crawling-Projekt auf GitHub ist unclecode/crawl4ai mit 87,627 Sternen. Offizielles Crawl4AI Cloud: eine gehostete API für Web-Scraping, Extraktion und Suche für KI-Agenten. Kostenloser API-Schlüssel, 1.000 Credits pro Monat, keine Kreditkarte erforderlich. Vollständig Open Source: Dieses Repository enthält den Apache-2.0-Crawler, der den Dienst antreibt, und kann selbst gehostet werden.
Welche Programmiersprachen werden in #web-crawling-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #web-crawling-Projekten auf GitHub sind Python, TypeScript, JavaScript, Go die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #web-crawling-Repositories berechnet?
Wir verfolgen 38 aktive Open-Source-Repositories, die mit #web-crawling getaggt sind (500+ Sterne), mit insgesamt 211,837 Sternen und durchschnittlich 5,574 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.