Git Stars Git Stars

#web-crawling Repositories

Entdecke 38 aktive Open-Source-GitHub-Repositories, die mit #web-crawling getaggt sind und insgesamt 211,837 Sterne gesammelt haben (durchschnittlich 5,574 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist unclecode/crawl4ai mit 87,627 Sternen.

38
Gesamtzahl der Repositories
211,837
Gesamtanzahl der Sterne
5,574
Durchschnittliche Sterne/Repo

Insgesamt 38 Repositories

1
unclecode/crawl4ai

Offizielles Crawl4AI Cloud: eine gehostete API für Web-Scraping, Extraktion und Suche für KI-Agenten. Kostenloser API-Schlüssel, 1.000 Credits pro Monat, keine Kreditkarte erforderlich. Vollständig Open Source: Dieses Repository enthält den Apache-2.0-Crawler, der den Dienst antreibt, und kann selbst gehostet werden.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-05-09
2
apify/crawlee

Crawlee—Eine Web-Scraping- und Browser-Automatisierungs-Bibliothek für Node.js, um zuverlässige Crawler zu erstellen. In JavaScript und TypeScript. Extrahieren von Daten für KI, LLMs, RAG oder GPTs. Herunterladen von HTML, PDF, JPG, PNG und anderen Dateien von Websites. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und rohem HTTP. Sowohl im headful- als auch im headless-Modus. Mit Proxy-Rotation.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-08-26
3
lexmount/moli

Der beste Headless-Browser für KI-Agenten. Leichtgewichtig, schnell und hochkompatibel. In Rust entwickelt

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-08-10
4
apify/crawlee-python

Crawlee – eine Python-Bibliothek für Web Scraping und Browserautomatisierung zum Erstellen zuverlässiger Crawler. Extrahiere mit Pydantic AI und LLMs strukturierte Daten oder steuere den Browser mit Stagehand in natürlicher Sprache. Funktioniert mit BeautifulSoup, Parsel, Playwright und rohem HTTP. Lade HTML-, PDF- und Bilddateien sowie andere Dateien herunter. Proxy-Rotation ist integriert.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-01-10
5
prerender/prerender

Node-Server, der Headless Chrome verwendet, um eine JavaScript-gerenderte Seite als HTML zu rendern. Zur Verwendung in Verbindung mit Prerender-Middleware.

prerender
⭐ 6,577 JavaScript 👤 prerender Organization 🕐 Aktualisiert 2026-05-05 📅 Erstellt 2013-09-26
6
MontFerret/ferret

Deklarative Datenautomatisierungssprache und Go-Laufzeit für strukturierte Extraktionsworkflows.

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2018-08-23
7
omkarcloud/botasaurus

Das All-in-One-Framework zum Erstellen unschlagbarer Scraper

omkarcloud
⭐ 5,857 TypeScript 👤 omkarcloud Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2023-05-09
8
google/robotstxt

Das Repository enthält den robots.txt-Parser und -Matcher von Google als C++-Bibliothek (konform zu C++11).

google
⭐ 3,478 C++ 👤 google Organization 🕐 Aktualisiert 2026-04-01 📅 Erstellt 2019-06-11
9
CrawlScript/WebCollector

WebCollector ist ein quelloffenes Webcrawler-Framework auf Basis von Java. Es bietet einige einfache Schnittstellen zum Crawlen des Webs, Sie können einen Multi-Thread-Webcrawler in weniger als 5 Minuten einrichten.

CrawlScript
⭐ 3,073 Java 👤 CrawlScript Organization 🕐 Aktualisiert 2026-02-10 📅 Erstellt 2014-07-12
10
digininja/CeWL

CeWL ist ein Generator für benutzerdefinierte Wortlisten

digininja
⭐ 2,896 Ruby 👤 digininja User 🕐 Aktualisiert 2026-06-24 📅 Erstellt 2016-04-22
11
brightdata/brightdata-mcp

Ein leistungsstarker Model Context Protocol (MCP)-Server, der eine All-in-One-Lösung für den öffentlichen Webzugriff bietet.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2025-04-15
12
tavily-ai/tavily-mcp

Produktionsbereite MCP-Server mit Echtzeit-Suche, Extraktion, Mapping und Crawling.

tavily-ai
⭐ 2,499 TypeScript 👤 tavily-ai Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2025-01-27
13
dataabc/weibo-search

Abrufen von Weibo-Suchergebnisinformationen, wobei die Suche entweder eine Weibo-Schlüsselwortsuche oder eine Weibo-Themensuche sein kann

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 Aktualisiert 2026-06-05 📅 Erstellt 2020-03-25
14
coleam00/mcp-crawl4ai-rag

Web-Crawling und RAG-Funktionen für KI-Agenten und KI-Programmierassistenten

coleam00
⭐ 2,224 Python 👤 coleam00 User 🕐 Aktualisiert 2025-07-25 📅 Erstellt 2025-05-03
15
zhegexiaohuozi/SeimiCrawler

Ein einfaches, agiles, verteiltes Java-Crawler-Framework, das Spring Boot unterstützt; Ein agiles, verteiltes Crawler-Framework.

zhegexiaohuozi
⭐ 1,984 Java 👤 zhegexiaohuozi User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2015-11-06
16
firecrawl/fireplexity

🔥 Open-Source-Perplexity-ähnliche KI-Suchmaschine mit Echtzeit-Zitaten, Streaming-Antworten und Live-Daten, unterstützt von Firecrawl

firecrawl
⭐ 1,956 TypeScript 👤 firecrawl Organization 🕐 Aktualisiert 2025-08-22 📅 Erstellt 2025-06-19
17
DanMcInerney/xsscrapy

XSS-Spider - 66/66 wavsep XSS erkannt

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 Aktualisiert 2024-06-13 📅 Erstellt 2014-06-23
18
xnl-h4ck3r/xnLinkFinder

Ein Python-Tool, das zum Aufdecken von Endpunkten, potenziellen Parametern, einer zielgerichteten Wortliste für ein bestimmtes Ziel und Geheimnissen verwendet wird.

xnl-h4ck3r
⭐ 1,599 Python 👤 xnl-h4ck3r User 🕐 Aktualisiert 2026-03-08 📅 Erstellt 2022-04-14
19
submato/xhscrawl

Xiaohongshu-Daten, XHS-Datenerfassung, Reverse Engineering von Xiaohongshu, XS-Reverse-Engineering von Xiaohongshu, Xiaohongshu-Scraper, Xiaohongshu-Daten

submato
⭐ 1,533 👤 submato User 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2023-07-05
20
ShilongLee/Crawler

Open-Source-API-Schnittstellen-Server für Web-Scraping von Plattformen wie Douyin (a_bogus neueste Version), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo usw. Schnelle Ein-Klick-Bereitstellung mit Docker.

ShilongLee
⭐ 1,490 JavaScript 👤 ShilongLee User 🕐 Aktualisiert 2026-10-19 📅 Erstellt 2024-05-24
21
wummel/linkchecker

Links in Web-Dokumenten oder vollständigen Websites überprüfen

wummel
⭐ 1,433 Python 👤 wummel User 🕐 Aktualisiert 2024-11-07 📅 Erstellt 2012-12-19
22
regenrek/deepwiki-mcp

📖 MCP-Server zum Abrufen von deepwiki.com und Erhalten des neuesten Wissens in Cursor und anderen Code-Editoren

regenrek
⭐ 1,393 TypeScript 👤 regenrek User 🕐 Aktualisiert 2026-03-20 📅 Erstellt 2025-04-28
23
mvdbos/php-spider

Ein konfigurierbarer und erweiterbarer PHP-Web-Spider

mvdbos
⭐ 1,338 PHP 👤 mvdbos User 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2013-02-25
24
scrapinghub/frontera

Eine skalierbare Grenze für Web-Crawler

scrapinghub
⭐ 1,329 Python 👤 scrapinghub Organization 🕐 Aktualisiert 2025-06-06 📅 Erstellt 2014-11-22
25
Darwin-lfl/langmanus

Ein Community-gesteuertes KI-Automatisierungsframework, das auf der unglaublichen Arbeit der Open-Source-Community aufbaut. Unser Ziel ist es, Sprachmodelle mit spezialisierten Tools für Aufgaben wie Websuche, Crawling und die Ausführung von Python-Code zu kombinieren und gleichzeitig der Community, die dies ermöglicht hat, etwas zurückzugeben.

Darwin-lfl
⭐ 1,317 👤 Darwin-lfl User 🕐 Aktualisiert 2025-03-17 📅 Erstellt 2025-03-18
26
harlan-zw/mdream

☁️ Der schnellste HTML-zu-Markdown-Konverter auf GitHub. Für LLMs optimiert und unterstützt Streaming.

harlan-zw
⭐ 1,032 TypeScript 👤 harlan-zw User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-04-16
27
changfengoss/pub

Wissenschaftliche Internet-Zugangswerkzeuge

changfengoss
⭐ 1,007 👤 changfengoss User 🕐 Aktualisiert 2026-10-22 📅 Erstellt 2021-08-30
28
tiliondev/fortress

Stealth-Chromium-Engine, das verhindert, dass Scraper und Browser-Agenten blockiert werden – mit nur einer Änderung in einer Codezeile.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 Aktualisiert 2026-11-03 📅 Erstellt 2026-07-02
29
hyperbrowserai/mcp

Eine MCP-Serverimplementierung für Hyperbrowser

hyperbrowserai
⭐ 795 TypeScript 👤 hyperbrowserai Organization 🕐 Aktualisiert 2025-11-20 📅 Erstellt 2025-02-25
30
rubycdp/vessel

Schnelles Framework für das Web-Crawling auf hohem Niveau in Ruby

rubycdp
⭐ 725 Ruby 👤 rubycdp Organization 🕐 Aktualisiert 2026-11-03 📅 Erstellt 2019-09-17
31
spatie/laravel-export

Erstelle ein statisches Site-Bundle aus einer Laravel-App

spatie
⭐ 701 PHP 👤 spatie Organization 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2019-03-18
32
muratcankoylan/AI-Investigator

Ein automatisiertes KI-System (Python-Framework), das entwickelt wurde, um jede Art von Website-Inhalt zu analysieren und strukturierte Berichte unter Verwendung der Claude 3.5 Sonnet API und Firecrawl zu generieren. Während es derzeit für Enterprise-KI-Fallstudien konfiguriert ist, kann die Architektur für verschiedene Inhaltsanalyseanforderungen angepasst werden.

muratcankoylan
⭐ 679 Python 👤 muratcankoylan User 🕐 Aktualisiert 2024-11-05 📅 Erstellt 2024-11-04
33
cxcscmu/Craw4LLM

Offizielle Repository für "Craw4LLM: Effizientes Web-Crawling für LLM-Pretraining"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Aktualisiert 2025-02-24 📅 Erstellt 2025-02-17
34
ArchiveTeam/wpull

Wget-kompatibler Web-Downloader und Crawler.

ArchiveTeam
⭐ 595 HTML 👤 ArchiveTeam Organization 🕐 Aktualisiert 2024-04-29 📅 Erstellt 2013-12-07
35
unconv/gpt4v-browsing

Web Scraping mit der GPT-4 Vision API und Puppeteer

unconv
⭐ 563 JavaScript 👤 unconv User 🕐 Aktualisiert 2024-01-31 📅 Erstellt 2023-11-24
36
detectify/page-fetch

Webseiten mit Headless Chrome abrufen und alle abgerufenen Ressourcen, einschließlich JavaScript-Dateien, speichern. Beliebigen JavaScript-Code auf vielen Webseiten ausführen und die zurückgegebenen Werte anzeigen

detectify
⭐ 530 Go 👤 detectify Organization 🕐 Aktualisiert 2026-07-03 📅 Erstellt 2021-06-03
37
firecrawl/llmstxt-generator

🔥 Generieren Sie llms.txt- und llms-full.txt-Dateien für jede Website!

firecrawl
⭐ 528 TypeScript 👤 firecrawl Organization 🕐 Aktualisiert 2025-06-17 📅 Erstellt 2024-11-19
38
brave-people/Dev-Event-Subscribe

🎉🎈 Der ≪ 📧 Dev Event E-Mail-Abonnement-Service ≫, den Sie jede Woche per E-Mail erhalten

brave-people
⭐ 512 👤 brave-people Organization 🕐 Aktualisiert 2024-06-07 📅 Erstellt 2021-02-08

Häufig gestellte Fragen

1

Welches ist das beliebteste #web-crawling-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#web-crawling-Projekt auf GitHub ist unclecode/crawl4ai mit 87,627 Sternen. Offizielles Crawl4AI Cloud: eine gehostete API für Web-Scraping, Extraktion und Suche für KI-Agenten. Kostenloser API-Schlüssel, 1.000 Credits pro Monat, keine Kreditkarte erforderlich. Vollständig Open Source: Dieses Repository enthält den Apache-2.0-Crawler, der den Dienst antreibt, und kann selbst gehostet werden.

2

Welche Programmiersprachen werden in #web-crawling-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #web-crawling-Projekten auf GitHub sind Python, TypeScript, JavaScript, Go die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #web-crawling-Repositories berechnet?

Wir verfolgen 38 aktive Open-Source-Repositories, die mit #web-crawling getaggt sind (500+ Sterne), mit insgesamt 211,837 Sternen und durchschnittlich 5,574 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.