#web-crawler Repositories
Entdecke 39 aktive Open-Source-GitHub-Repositories, die mit #web-crawler getaggt sind und insgesamt 470,326 Sterne gesammelt haben (durchschnittlich 12,059 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist firecrawl/firecrawl mit 205,758 Sternen.
Insgesamt 39 Repositories
Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.
Offizielles Crawl4AI Cloud: eine gehostete API für Web-Scraping, Extraktion und Suche für KI-Agenten. Kostenloser API-Schlüssel, 1.000 Credits pro Monat, keine Kreditkarte erforderlich. Vollständig Open Source: Dieses Repository enthält den Apache-2.0-Crawler, der den Dienst antreibt, und kann selbst gehostet werden.
Crawlee—Eine Web-Scraping- und Browser-Automatisierungs-Bibliothek für Node.js, um zuverlässige Crawler zu erstellen. In JavaScript und TypeScript. Extrahieren von Daten für KI, LLMs, RAG oder GPTs. Herunterladen von HTML, PDF, JPG, PNG und anderen Dateien von Websites. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und rohem HTTP. Sowohl im headful- als auch im headless-Modus. Mit Proxy-Rotation.
Der beste Headless-Browser für KI-Agenten. Leichtgewichtig, schnell und hochkompatibel. In Rust entwickelt
Verteilte Web-Crawler-Admin-Plattform zur Verwaltung von Spiders unabhängig von Sprachen und Frameworks. 分布式爬虫管理平台,支持任何语言和框架
Crawlee – eine Python-Bibliothek für Web Scraping und Browserautomatisierung zum Erstellen zuverlässiger Crawler. Extrahiere mit Pydantic AI und LLMs strukturierte Daten oder steuere den Browser mit Stagehand in natürlicher Sprache. Funktioniert mit BeautifulSoup, Parsel, Playwright und rohem HTTP. Lade HTML-, PDF- und Bilddateien sowie andere Dateien herunter. Proxy-Rotation ist integriert.
Ingestieren, parsen und optimieren Sie jedes Datenformat ➡️ von Dokumenten bis zu Multimedia ➡️ für verbesserte Kompatibilität mit GenAI-Frameworks
Offizieller Firecrawl-MCP-Server, die Kontext-API für KI-Agenten: Mit jedem MCP-Client im Web suchen, Inhalte extrahieren und interagieren sowie Inhalte parsen, crawlen und kartieren und Agent und Monitor nutzen.
Das ideale Web für Ihren KI-Codierungsagenten — lokale Suche, Abruf, Crawling und Recherche über MCP. Keine API-Schlüssel, keine Cloud, 0 $/Abfrage. Öffentliche Beta.
Open-Source Web-Scraping-API. Verwandeln Sie jede Website in sauberes Markdown oder strukturiertes JSON. Anti-Detect-Browser, automatische Proxy-Auswahl, selbst gehostet. Ein Befehl: make up
Durchsuchen Sie eine Website, beginnend mit einer URL, finden Sie relevante Seiten und extrahieren Sie Daten – alles geleitet von Ihrer Eingabeaufforderung in natürlicher Sprache.
Schnelle, lokal priorisierte Web-Inhalts-Extraktion für LLMs. Scrapen, Crawlen, Extraktion strukturierter Daten — alles in Rust. CLI, REST API und MCP-Server.
Ein plattformübergreifendes C#-Web-Crawler-Framework, das auf Geschwindigkeit und Flexibilität ausgelegt ist. Bitte geben Sie diesem Projekt einen Stern! +1.
Internet-Suchmaschine für textorientierte Websites. Indizierung des kleinen, alten und seltsamen Webs.
CLI-Werkzeug zum Speichern einer originalgetreuen Kopie einer vollständigen Webseite in einer einzigen HTML-Datei (basierend auf SingleFile)
20. Nov. 2017 -- Ein verteilter Open-Source-Suchmaschine und Spider/Crawler, geschrieben in C/C++ für Linux auf Intel/AMD. Von gigablast dot com, das Binaries zum Download anbietet. Siehe die README.md-Datei ganz unten auf dieser Seite für Anweisungen.
Stehe auf den Schultern der Riesen — Erschaffe KI-Fähigkeiten, die auf bewährten Methoden von Fachleuten basieren.
Broken Link Checker, der Websites crawlt und Links validiert. Finden Sie fehlerhafte Links, tote Links und ungültige URLs auf Websites, in Dokumentationen und lokalen Dateien. Perfekt für SEO-Audits und CI/CD.
Schnelle, leichtgewichtige Firecrawl/Tavily-Alternative in Rust. Web-Scraper, Crawler & Such-API mit MCP-Server für KI-Agenten. Drop-in Firecrawl-kompatible API (/scrape, /crawl, /search). 2,3x schneller als Tavily, 1,5x schneller als Firecrawl bei 1K-URL-Benchmarks. 6 MB RAM, einzelne Binärdatei. Selbst-Hosting oder Managed Cloud.
Führen Sie einen browserbasierten Webcrawler mit hoher Wiedergabetreue in einem einzigen Docker-Container aus
Kostenloser Desktop-SEO-Crawler – Open-Source-Alternative zu Screaming Frog und ähnlichen Tools. Websites crawlen, Links analysieren, SEO-Daten extrahieren und Ergebnisse ohne Abogebühren exportieren. Vollständig anpassbar und erweiterbar!
Ein skalierbarer, ausgereifter und vielseitiger Web-Crawler basierend auf Apache Storm
🔥 Dieses Repository enthält vollständige Anwendungsbeispiele, einschließlich Websites und anderer Projekte, die mit Firecrawl entwickelt wurden.
Eine vielseitige Ruby-Web-Spidering-Bibliothek, die eine Site, mehrere Domains, bestimmte Links oder unendlich spidern kann. Spidr ist für Schnelligkeit und Benutzerfreundlichkeit konzipiert.
🔍 Open-Source Internet-Suchmaschine entwickelt in Go, mit dem Tutorial "Entwickeln Sie Ihre eigene Internet-Suchmaschine"
Eine Browser-Erweiterung, die für die Informationssammlung auf Seiten bei der SRC-Schwachstellenanalyse entwickelt wurde und automatisch sensible Informationen und verdächtige Hinweise von Seiten und verwandten Ressourcen sammelt. Sie unterstützt Basisscans, tiefe rekursive Scans, Massen-API-Tests sowie den Export von Ergebnissen und die Konfiguration benutzerdefinierter regulärer Ausdrücke.
Python-Skript, mit dem Menschen ohne Programmierkenntnisse in großem Umfang hochwertige Leads generieren können. Dieses Repository wird verschiedene vielseitige Techniken zur Lead-Generierung enthalten.
Offizielle Repository für "Craw4LLM: Effizientes Web-Crawling für LLM-Pretraining"
Open-Source-Webinfrastruktur für KI. Scrapen, crawlen und automatisieren Sie das Web, bereinigen Sie Markdown, Browser‑Sitzungen, bereit für Ihre Agenten.
Das einzige Open-Source-Toolkit, das SEC EDGAR-Finanzberichte herunterladen und Textdaten aus spezifischen Abschnitten in saubere und strukturierte JSON-Dateien extrahieren kann. Präsentiert auf WWW 2025 @ Sydney, Australien (https://dl.acm.org/doi/10.1145/3701716.3715289)
Häufig gestellte Fragen
Welches ist das beliebteste #web-crawler-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#web-crawler-Projekt auf GitHub ist firecrawl/firecrawl mit 205,758 Sternen. Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.
Welche Programmiersprachen werden in #web-crawler-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #web-crawler-Projekten auf GitHub sind Python, TypeScript, Rust, Go die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #web-crawler-Repositories berechnet?
Wir verfolgen 39 aktive Open-Source-Repositories, die mit #web-crawler getaggt sind (500+ Sterne), mit insgesamt 470,326 Sternen und durchschnittlich 12,059 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.