Git Stars Git Stars

#web-crawler Repositories

Entdecke 39 aktive Open-Source-GitHub-Repositories, die mit #web-crawler getaggt sind und insgesamt 470,326 Sterne gesammelt haben (durchschnittlich 12,059 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist firecrawl/firecrawl mit 205,758 Sternen.

39
Gesamtzahl der Repositories
470,326
Gesamtanzahl der Sterne
12,059
Durchschnittliche Sterne/Repo

Insgesamt 39 Repositories

1
firecrawl/firecrawl

Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-04-15
2
unclecode/crawl4ai

Offizielles Crawl4AI Cloud: eine gehostete API für Web-Scraping, Extraktion und Suche für KI-Agenten. Kostenloser API-Schlüssel, 1.000 Credits pro Monat, keine Kreditkarte erforderlich. Vollständig Open Source: Dieses Repository enthält den Apache-2.0-Crawler, der den Dienst antreibt, und kann selbst gehostet werden.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-05-09
3
ScrapeGraphAI/Scrapegraph-ai

Python-Scraper basierend auf KI

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Aktualisiert 2026-10-06 📅 Erstellt 2024-01-27
4
apify/crawlee

Crawlee—Eine Web-Scraping- und Browser-Automatisierungs-Bibliothek für Node.js, um zuverlässige Crawler zu erstellen. In JavaScript und TypeScript. Extrahieren von Daten für KI, LLMs, RAG oder GPTs. Herunterladen von HTML, PDF, JPG, PNG und anderen Dateien von Websites. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und rohem HTTP. Sowohl im headful- als auch im headless-Modus. Mit Proxy-Rotation.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-08-26
5
lexmount/moli

Der beste Headless-Browser für KI-Agenten. Leichtgewichtig, schnell und hochkompatibel. In Rust entwickelt

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-08-10
6
crawlab-team/crawlab

Verteilte Web-Crawler-Admin-Plattform zur Verwaltung von Spiders unabhängig von Sprachen und Frameworks. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Aktualisiert 2026-02-10 📅 Erstellt 2019-02-10
7
apify/crawlee-python

Crawlee – eine Python-Bibliothek für Web Scraping und Browserautomatisierung zum Erstellen zuverlässiger Crawler. Extrahiere mit Pydantic AI und LLMs strukturierte Daten oder steuere den Browser mit Stagehand in natürlicher Sprache. Funktioniert mit BeautifulSoup, Parsel, Playwright und rohem HTTP. Lade HTML-, PDF- und Bilddateien sowie andere Dateien herunter. Proxy-Rotation ist integriert.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-01-10
8
adithya-s-k/omniparse

Ingestieren, parsen und optimieren Sie jedes Datenformat ➡️ von Dokumenten bis zu Multimedia ➡️ für verbesserte Kompatibilität mit GenAI-Frameworks

adithya-s-k
⭐ 7,935 Python 👤 adithya-s-k User 🕐 Aktualisiert 2025-12-12 📅 Erstellt 2024-06-04
9
firecrawl/firecrawl-mcp-server

Offizieller Firecrawl-MCP-Server, die Kontext-API für KI-Agenten: Mit jedem MCP-Client im Web suchen, Inhalte extrahieren und interagieren sowie Inhalte parsen, crawlen und kartieren und Agent und Monitor nutzen.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-12-06
10
BruceDone/awesome-crawler

Eine Sammlung toller Web-Crawler und Spiders in verschiedenen Sprachen

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Aktualisiert 2024-06-16 📅 Erstellt 2016-10-10
11
KnockOutEZ/wigolo

Das ideale Web für Ihren KI-Codierungsagenten — lokale Suche, Abruf, Crawling und Recherche über MCP. Keine API-Schlüssel, keine Cloud, 0 $/Abfrage. Öffentliche Beta.

KnockOutEZ
⭐ 5,560 TypeScript 👤 KnockOutEZ User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-04-12
12
divinelabio/Argus

Das ultimative Informationsbeschaffungstoolkit

divinelabio
⭐ 4,348 Python 👤 divinelabio User 🕐 Aktualisiert 2025-12-10 📅 Erstellt 2024-10-01
13
Anakin-Inc/anakin

Open-Source Web-Scraping-API. Verwandeln Sie jede Website in sauberes Markdown oder strukturiertes JSON. Anti-Detect-Browser, automatische Proxy-Auswahl, selbst gehostet. Ein Befehl: make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 Aktualisiert 2026-08-18 📅 Erstellt 2026-03-17
14
apache/nutch

Apache Nutch ist ein erweiterbarer und skalierbarer Web-Crawler

apache
⭐ 3,311 Java 👤 apache Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2009-05-21
15
oxylabs/ai-crawler-py

Durchsuchen Sie eine Website, beginnend mit einer URL, finden Sie relevante Seiten und extrahieren Sie Daten – alles geleitet von Ihrer Eingabeaufforderung in natürlicher Sprache.

oxylabs
⭐ 3,264 👤 oxylabs Organization 🕐 Aktualisiert 2026-08-21 📅 Erstellt 2025-09-17
16
spider-rs/spider

Grundlegende Webdatenerfassung mit geringer Latenz in Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2018-01-07
17
0xMassi/webclaw

Schnelle, lokal priorisierte Web-Inhalts-Extraktion für LLMs. Scrapen, Crawlen, Extraktion strukturierter Daten — alles in Rust. CLI, REST API und MCP-Server.

0xMassi
⭐ 2,440 Rust 👤 0xMassi User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-03-10
18
sjdirect/abot

Ein plattformübergreifendes C#-Web-Crawler-Framework, das auf Geschwindigkeit und Flexibilität ausgelegt ist. Bitte geben Sie diesem Projekt einen Stern! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 Aktualisiert 2026-07-17 📅 Erstellt 2013-08-08
19
MarginaliaSearch/MarginaliaSearch

Internet-Suchmaschine für textorientierte Websites. Indizierung des kleinen, alten und seltsamen Webs.

MarginaliaSearch
⭐ 2,241 Java 👤 MarginaliaSearch Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2023-03-20
20
gildas-lormeau/single-file-cli

CLI-Werkzeug zum Speichern einer originalgetreuen Kopie einer vollständigen Webseite in einer einzigen HTML-Datei (basierend auf SingleFile)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2022-05-31
21
gigablast/open-source-search-engine

20. Nov. 2017 -- Ein verteilter Open-Source-Suchmaschine und Spider/Crawler, geschrieben in C/C++ für Linux auf Intel/AMD. Von gigablast dot com, das Binaries zum Download anbietet. Siehe die README.md-Datei ganz unten auf dieser Seite für Anweisungen.

gigablast
⭐ 1,599 C++ 👤 gigablast User 🕐 Aktualisiert 2024-01-10 📅 Erstellt 2013-08-02
22
GBSOSS/skill-from-masters

Stehe auf den Schultern der Riesen — Erschaffe KI-Fähigkeiten, die auf bewährten Methoden von Fachleuten basieren.

GBSOSS
⭐ 1,592 👤 GBSOSS Organization 🕐 Aktualisiert 2026-02-16 📅 Erstellt 2026-01-08
23
JustinBeckwith/linkinator

Broken Link Checker, der Websites crawlt und Links validiert. Finden Sie fehlerhafte Links, tote Links und ungültige URLs auf Websites, in Dokumentationen und lokalen Dateien. Perfekt für SEO-Audits und CI/CD.

JustinBeckwith
⭐ 1,290 TypeScript 👤 JustinBeckwith User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-02-12
24
fastcrw/crw

Schnelle, leichtgewichtige Firecrawl/Tavily-Alternative in Rust. Web-Scraper, Crawler & Such-API mit MCP-Server für KI-Agenten. Drop-in Firecrawl-kompatible API (/scrape, /crawl, /search). 2,3x schneller als Tavily, 1,5x schneller als Firecrawl bei 1K-URL-Benchmarks. 6 MB RAM, einzelne Binärdatei. Selbst-Hosting oder Managed Cloud.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-03-02
25
webrecorder/browsertrix-crawler

Führen Sie einen browserbasierten Webcrawler mit hoher Wiedergabetreue in einem einzigen Docker-Container aus

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2020-11-02
26
PhialsBasement/LibreCrawl

Kostenloser Desktop-SEO-Crawler – Open-Source-Alternative zu Screaming Frog und ähnlichen Tools. Websites crawlen, Links analysieren, SEO-Daten extrahieren und Ergebnisse ohne Abogebühren exportieren. Vollständig anpassbar und erweiterbar!

PhialsBasement
⭐ 1,133 Python 👤 PhialsBasement User 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2025-09-27
27
scrapfly/scrapfly-scrapers

Skalierbare Python-Web-Scraping-Skripte für über 80 beliebte Domains

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-05-22
28
apache/stormcrawler

Ein skalierbarer, ausgereifter und vielseitiger Web-Crawler basierend auf Apache Storm

apache
⭐ 1,014 Java 👤 apache Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2013-04-12
29
RimoChan/sese-engine

【sese-engine】Eine neue Ära des Suchmaschinenerlebnisses!

RimoChan
⭐ 952 Python 👤 RimoChan User 🕐 Aktualisiert 2025-05-10 📅 Erstellt 2022-01-09
30
firecrawl/firecrawl-app-examples

🔥 Dieses Repository enthält vollständige Anwendungsbeispiele, einschließlich Websites und anderer Projekte, die mit Firecrawl entwickelt wurden.

firecrawl
⭐ 847 Jupyter Notebook 👤 firecrawl Organization 🕐 Aktualisiert 2026-01-13 📅 Erstellt 2024-06-22
31
postmodern/spidr

Eine vielseitige Ruby-Web-Spidering-Bibliothek, die eine Site, mehrere Domains, bestimmte Links oder unendlich spidern kann. Spidr ist für Schnelligkeit und Benutzerfreundlichkeit konzipiert.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Aktualisiert 2026-01-12 📅 Erstellt 2009-03-08
32
johnlui/DIYSearchEngine

🔍 Open-Source Internet-Suchmaschine entwickelt in Go, mit dem Tutorial "Entwickeln Sie Ihre eigene Internet-Suchmaschine"

johnlui
⭐ 706 Go 👤 johnlui User 🕐 Aktualisiert 2026-08-27 📅 Erstellt 2023-07-01
33
Team-intN18-SoybeanSeclab/Phantom

Eine Browser-Erweiterung, die für die Informationssammlung auf Seiten bei der SRC-Schwachstellenanalyse entwickelt wurde und automatisch sensible Informationen und verdächtige Hinweise von Seiten und verwandten Ressourcen sammelt. Sie unterstützt Basisscans, tiefe rekursive Scans, Massen-API-Tests sowie den Export von Ergebnissen und die Konfiguration benutzerdefinierter regulärer Ausdrücke.

Team-intN18-SoybeanSeclab
⭐ 696 JavaScript 👤 Team-intN18-SoybeanSeclab Organization 🕐 Aktualisiert 2026-09-16 📅 Erstellt 2025-08-21
34
Madi-S/Lead-Generation

Python-Skript, mit dem Menschen ohne Programmierkenntnisse in großem Umfang hochwertige Leads generieren können. Dieses Repository wird verschiedene vielseitige Techniken zur Lead-Generierung enthalten.

Madi-S
⭐ 693 Python 👤 Madi-S User 🕐 Aktualisiert 2026-09-23 📅 Erstellt 2020-12-14
35
cxcscmu/Craw4LLM

Offizielle Repository für "Craw4LLM: Effizientes Web-Crawling für LLM-Pretraining"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Aktualisiert 2025-02-24 📅 Erstellt 2025-02-17
36
vakra-dev/reader

Open-Source-Webinfrastruktur für KI. Scrapen, crawlen und automatisieren Sie das Web, bereinigen Sie Markdown, Browser‑Sitzungen, bereit für Ihre Agenten.

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 Aktualisiert 2026-10-06 📅 Erstellt 2026-01-07
37
jpjacobpadilla/Stealth-Requests

Unentdecktes Web-Scraping & nahtloses HTML-Parsing in Python!

jpjacobpadilla
⭐ 570 Python 👤 jpjacobpadilla User 🕐 Aktualisiert 2026-09-19 📅 Erstellt 2024-08-04
38
lefterisloukas/edgar-crawler

Das einzige Open-Source-Toolkit, das SEC EDGAR-Finanzberichte herunterladen und Textdaten aus spezifischen Abschnitten in saubere und strukturierte JSON-Dateien extrahieren kann. Präsentiert auf WWW 2025 @ Sydney, Australien (https://dl.acm.org/doi/10.1145/3701716.3715289)

lefterisloukas
⭐ 535 Python 👤 lefterisloukas User 🕐 Aktualisiert 2025-07-18 📅 Erstellt 2021-09-24
39
erevus-cn/pocscan

Wille, ein Niubility-Scan-Framework zu sein

erevus-cn
⭐ 520 Python 👤 erevus-cn User 🕐 Aktualisiert 2025-07-01 📅 Erstellt 2016-02-02

Häufig gestellte Fragen

1

Welches ist das beliebteste #web-crawler-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#web-crawler-Projekt auf GitHub ist firecrawl/firecrawl mit 205,758 Sternen. Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.

2

Welche Programmiersprachen werden in #web-crawler-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #web-crawler-Projekten auf GitHub sind Python, TypeScript, Rust, Go die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #web-crawler-Repositories berechnet?

Wir verfolgen 39 aktive Open-Source-Repositories, die mit #web-crawler getaggt sind (500+ Sterne), mit insgesamt 470,326 Sternen und durchschnittlich 12,059 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.