Git Stars Git Stars

#crawler Repositories

Entdecke 162 aktive Open-Source-GitHub-Repositories, die mit #crawler getaggt sind und insgesamt 1,111,814 Sterne gesammelt haben (durchschnittlich 6,863 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist firecrawl/firecrawl mit 205,758 Sternen.

162
Gesamtzahl der Repositories
1.1M
Gesamtanzahl der Sterne
6,863
Durchschnittliche Sterne/Repo

Insgesamt 162 Repositories

1
firecrawl/firecrawl

Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-04-15
2
D4Vinci/Scrapling

🕷️ Das BESTE Web-Scraping-Framework – für alles von einer einzelnen Anfrage bis hin zu einem umfangreichen Crawl! Nur keine Scheu: Tritt hier bei: https://discord.gg/EMgGbDceNQ und folge uns hier für tägliche Tipps und Tricks: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2024-10-13
3
unclecode/crawl4ai

Offizielles Crawl4AI Cloud: eine gehostete API für Web-Scraping, Extraktion und Suche für KI-Agenten. Kostenloser API-Schlüssel, 1.000 Credits pro Monat, keine Kreditkarte erforderlich. Vollständig Open Source: Dieses Repository enthält den Apache-2.0-Crawler, der den Dienst antreibt, und kann selbst gehostet werden.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-05-09
4
scrapy/scrapy

Scrapy, ein schnelles Framework auf hohem Niveau für Web-Crawling und -Scraping in Python.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2010-02-22
5
NaiboWang/EasySpider

Ein visueller No-Code-Web-Crawler/Spider: Eine Software zur Browserautomatisierung, Datenerfassung und zum Web-Scraping, mit der Crawling-Aufgaben grafisch und ohne Programmierung entworfen und ausgeführt werden können. Alias: ServiceWrapper, ein intelligentes Service-Kapselungssystem für Webanwendungen.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2020-07-18
6
ScrapeGraphAI/Scrapegraph-ai

Python-Scraper basierend auf KI

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Aktualisiert 2026-10-06 📅 Erstellt 2024-01-27
7
iawia002/lux

👾 Schnelle und einfache Video-Download-Bibliothek und CLI-Tool, geschrieben in Go

iawia002
⭐ 31,854 Go 👤 iawia002 User 🕐 Aktualisiert 2026-03-29 📅 Erstellt 2018-02-24
8
apify/crawlee

Crawlee—Eine Web-Scraping- und Browser-Automatisierungs-Bibliothek für Node.js, um zuverlässige Crawler zu erstellen. In JavaScript und TypeScript. Extrahieren von Daten für KI, LLMs, RAG oder GPTs. Herunterladen von HTML, PDF, JPG, PNG und anderen Dateien von Websites. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und rohem HTTP. Sowohl im headful- als auch im headless-Modus. Mit Proxy-Rotation.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-08-26
9
gocolly/colly

Elegantes Scraper- und Crawler-Framework für Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Aktualisiert 2026-10-16 📅 Erstellt 2017-09-29
10
jhao104/proxy_pool

Python ProxyPool für Web-Spider

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 Aktualisiert 2026-06-15 📅 Erstellt 2016-11-25
11
Evil0ctal/Douyin_TikTok_Download_API

🚀 Self-hosted API zur Datenerfassung von Douyin, TikTok und Bilibili sowie zum Herunterladen wasserzeichenfreier Videos. Unterstützt Aufrufe durch KI-Agenten via MCP und Offline-Spracherkennung. Docker-Bereitstellung mit einem Klick. | Self-hosted Scraper für TikTok, Douyin und Bilibili sowie Downloader für Videos ohne Wasserzeichen — asynchrone REST-API, MCP-Server für KI-Agenten, CLI und Webkonsole sowie Offline-Spracherkennung für heruntergeladene Videos. Selbstheilender Identitätspool, PostgreSQL-Archiv und Start mit einem einzigen `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2021-11-07
12
getmaxun/maxun

Verwandeln Sie jede Website in eine strukturierte API. Extrahieren, automatisieren, durchsuchen und überwachen Sie das Web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-10-23
13
projectdiscovery/katana

Ein Next-Generation-Framework für Crawling und Spidering.

projectdiscovery
⭐ 17,878 Go 👤 projectdiscovery Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2021-01-02
14
codelucas/newspaper

newspaper3k ist eine Nachrichten-, Volltext- und Artikelmetadatenextraktion in Python 3. Erweiterte Dokumentation:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 Aktualisiert 2026-10-26 📅 Erstellt 2013-11-25
15
shengqiangzhang/examples-of-web-crawlers

Einige sehr interessante Python-Crawler-Beispiele, die für Anfänger freundlich sind und hauptsächlich Websites wie Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ usw. crawlen. (Some interesting examples of python crawlers that are friendly to beginners.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 Aktualisiert 2025-06-28 📅 Erstellt 2019-03-13
16
s0md3v/Photon

Unglaublich schneller Crawler, der für OSINT entwickelt wurde.

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 Aktualisiert 2026-10-17 📅 Erstellt 2018-03-30
17
crawlab-team/crawlab

Verteilte Web-Crawler-Admin-Plattform zur Verwaltung von Spiders unabhängig von Sprachen und Frameworks. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Aktualisiert 2026-02-10 📅 Erstellt 2019-02-10
18
code4craft/webmagic

Ein skalierbares Web-Crawler-Framework für Java.

code4craft
⭐ 11,660 Java 👤 code4craft User 🕐 Aktualisiert 2025-12-20 📅 Erstellt 2013-04-23
19
injetlee/Python

Python‑Skript. Simuliere das Einloggen bei Zhihu, Web‑Crawling, Excel‑Manipulation, WeChat‑Öffentlichkeitskonto, Fernstart.

injetlee
⭐ 10,920 Python 👤 injetlee User 🕐 Aktualisiert 2026-05-09 📅 Erstellt 2016-06-23
20
guyueyingmu/avbook

AV-Filververwaltungssystem, avmoo, javbus, javlibrary Crawler, Online-AV-Filmbibliothek, AV-Magnetlink-Datenbank, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 Aktualisiert 2024-06-01 📅 Erstellt 2017-02-19
21
apify/crawlee-python

Crawlee – eine Python-Bibliothek für Web Scraping und Browserautomatisierung zum Erstellen zuverlässiger Crawler. Extrahiere mit Pydantic AI und LLMs strukturierte Daten oder steuere den Browser mit Stagehand in natürlicher Sprache. Funktioniert mit BeautifulSoup, Parsel, Playwright und rohem HTTP. Lade HTML-, PDF- und Bilddateien sowie andere Dateien herunter. Proxy-Rotation ist integriert.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-01-10
22
TeamWiseFlow/xiaobei

Self-Media-Kundengewinnungs-Agent, maßgeschneidert für OPCs und KMUs

TeamWiseFlow
⭐ 8,743 Python 👤 TeamWiseFlow Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-04-24
23
lorien/awesome-web-scraping

Liste von Bibliotheken, Tools und APIs für Web Scraping und Datenverarbeitung.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2015-08-12
24
hect0x7/JMComic-Crawler-Python

Python API für JMComic | Bietet Python-API-Zugriff auf JinManTiantang, unterstützt sowohl Web- als auch Mobilversionen | JinManTiantang GitHub Actions Downloader🚀

hect0x7
⭐ 8,148 Python 👤 hect0x7 User 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2023-04-02
25
alirezamika/autoscraper

Ein intelligenter, automatischer, schneller und leichtgewichtiger Web-Scraper für Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Aktualisiert 2026-07-29 📅 Erstellt 2020-08-31
26
mvdctop/Movie_Data_Capture

Der KI-Crawler für Metadaten lokaler Medien

mvdctop
⭐ 7,449 Python 👤 mvdctop User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2019-05-26
27
adbar/trafilatura

Python- und Kommandozeilen-Tool zum Sammeln von Text und Metadaten im Web: Crawling, Scraping, Extraktion, Ausgabe als CSV, JSON, HTML, MD, TXT, XML

adbar
⭐ 7,157 Python 👤 adbar User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-04-08
28
BruceDone/awesome-crawler

Eine Sammlung toller Web-Crawler und Spiders in verschiedenen Sprachen

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Aktualisiert 2024-06-16 📅 Erstellt 2016-10-10
29
bda-research/node-crawler

Web-Crawler/Spider für NodeJS + serverseitiges jQuery ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 Aktualisiert 2026-06-18 📅 Erstellt 2010-11-25
30
chyroc/WechatSogou

WeChat-Öffentlicher-Account-Crawler-Schnittstelle basierend auf Sogou WeChat-Suche

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 Aktualisiert 2026-10-23 📅 Erstellt 2016-05-09
31
rmax/scrapy-redis

Redis-basierte Komponenten für Scrapy.

rmax
⭐ 5,648 Python 👤 rmax User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2011-08-29
32
DropsDevopsOrg/ECommerceCrawlers

Praktische 🐍 verschiedene Websites, E-Commerce-Datencrawler 🕷. Enthält 🕸: Taobao-Produkte, WeChat-Öffentliche Accounts, Dianping, Qichacha, Stellenwebsites, Xianyu, Ali-Aufgaben, Cnblogs, Weibo, Baidu Tieba, Douban-Filme, Baotu.com, Quan jing wang, Douban-Musik, Amt für Arzneimittelaufsicht einer Provinz, Sohu-Nachrichten, Maschinelles Lernen Textsammlung, fofa-Asset-Sammlung, Autohome, Nationales Statistikbüro, Baidu-Schlüsselwort-Einschlussanzahl, Spinnen-Generaldirectory, Toutiao, Douban-Filmkritiken, Ctrip, Xiaomi App Store, Anjuke, Tujia Ferienwohnung ❤️❤️❤️. WeChat-Crawler-Demoprojekt:

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 Aktualisiert 2024-05-22 📅 Erstellt 2019-03-29
33
DedSecInside/TorBot

Dark Web OSINT-Tool

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2017-05-17
34
niespodd/browser-fingerprinting

Analyse von Bot-Schutzsystemen mit verfügbaren Gegenmaßnahmen 🚿. Wie man Anti-Bot-Systeme 👻 besiegt und Browser-Fingerprinting-Skripte 🕵️‍♂️ beim Web-Scraping umgeht?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 Aktualisiert 2026-07-27 📅 Erstellt 2021-01-23
35
hiddendevj/Crawler_Illegal_Cases_In_China

Dieses Projekt dient dazu, alle Nachrichten, Unterlagen und Rechtsvorschriften zu sammeln, die sich auf Klagen und Verstöße von Web‑Crawler‑Entwicklern in Festlandchina beziehen. Es soll Fachleuten in der Web‑Crawler‑Industrie, die in Festlandchina arbeiten, helfen, die relevanten Gesetze zu verstehen und Schwellen der Datenkonformität zu vermeiden.

hiddendevj
⭐ 4,759 HTML 👤 hiddendevj User 🕐 Aktualisiert 2026-03-12 📅 Erstellt 2019-09-29
36
dataabc/weibo-crawler

Sina-Weibo-Crawler, mit Python zum Crawlen von Sina-Weibo-Daten und Download von Weibo-Bildern und -Videos

dataabc
⭐ 4,705 Python 👤 dataabc User 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2019-06-25
37
myreader-io/myGPTReader

Eine Community-gesteuerte Methode, um mit KI-Bots zu lesen und zu chatten – angetrieben von chatGPT.

myreader-io
⭐ 4,416 Python 👤 myreader-io Organization 🕐 Aktualisiert 2026-02-05 📅 Erstellt 2023-03-08
38
kanasimi/work_crawler

Comics- und Romane-Downloader:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.

kanasimi
⭐ 4,391 JavaScript 👤 kanasimi User 🕐 Aktualisiert 2026-10-12 📅 Erstellt 2016-11-02
39
dotnetcore/DotnetSpider

DotnetSpider, eine .NET-Standard-Web-Crawling-Bibliothek. Es handelt sich um ein leichtes, effizientes und schnelles High-Level-Web-Crawling- und Scraping-Framework.

dotnetcore
⭐ 4,142 C# 👤 dotnetcore Organization 🕐 Aktualisiert 2026-04-03 📅 Erstellt 2016-03-21
40
constverum/ProxyBroker

Proxy [Finder | Prüfer | Server]. HTTP(S) & SOCKS :performing_arts:

constverum
⭐ 4,084 Python 👤 constverum User 🕐 Aktualisiert 2024-03-18 📅 Erstellt 2015-10-11
41
MikeChongCan/scylla

Intelligenter Proxy-Pool für Menschen™ zum Extrahieren von Inhalten aus dem Internet und zum Erstellen Ihrer eigenen Large Language Models in diesem neuen KI-Zeitalter

MikeChongCan
⭐ 4,021 Python 👤 MikeChongCan User 🕐 Aktualisiert 2026-11-03 📅 Erstellt 2018-04-10
42
Arachni/arachni

Framework für Web-Anwendungs-Sicherheitsscanner

Arachni
⭐ 4,020 Ruby 👤 Arachni Organization 🕐 Aktualisiert 2026-04-22 📅 Erstellt 2010-08-25
43
hardkoded/puppeteer-sharp

Headless Chrome .NET-API

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2017-09-30
44
edoardottt/cariddi

Nimm eine Liste von Domains, durchsuche URLs und scanne nach Endpunkten, Geheimnissen, API-Schlüsseln, Dateierweiterungen, Tokens und mehr.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2021-04-27
45
3441293738/creatorhub

Plattformübergreifende Inhaltsüberwachung · Sammlung · Weiterveröffentlichung. Ein Web-Dashboard zur Verwaltung von Douyin / Xiaohongshu / Kuaishou / WeChat-Kanälen / TikTok / Bilibili / Instagram / Xiaohongshu international (rednote)

3441293738
⭐ 3,774 Python 👤 3441293738 User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-07-03
46
Boris-code/feapder

🚀🚀🚀feapder ist ein einfach zu bedienendes, leistungsstarkes Crawler-Framework | feapder ist ein einfach zu bedienendes, leistungsstarkes Python-Crawler-Framework. Es verfügt über vier integrierte Spider-Typen: AirSpider, Spider, TaskSpider und BatchSpider, um den Anforderungen verschiedener Szenarien gerecht zu werden. Es unterstützt Funktionen wie unterbrechungsfreies Fortsetzen, Überwachung und Alarmierung, Browser-Rendering und die Deduplizierung großer Datenmengen. Darüber hinaus bietet das leistungsstarke Crawler-Managementsystem feaplat eine bequeme Bereitstellung und Planung.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 Aktualisiert 2026-08-21 📅 Erstellt 2021-02-08
47
sqzw-x/mdcx

Filmdatensammlungs-Scraper

sqzw-x
⭐ 3,727 Python 👤 sqzw-x User 🕐 Aktualisiert 2026-08-23 📅 Erstellt 2023-11-06
48
elliotgao2/toapi

Jede Website stellt APIs bereit.

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 Aktualisiert 2026-08-27 📅 Erstellt 2017-11-27
49
Tuhinshubhra/RED_HAWK

All-in-One-Tool für Informationssammlung, Schwachstellen-Scans und Crawling. Ein Muss für alle Penetrationstester

Tuhinshubhra
⭐ 3,491 PHP 👤 Tuhinshubhra User 🕐 Aktualisiert 2024-07-31 📅 Erstellt 2017-06-11
50
CharlesPikachu/videodl

Videodl: Ein leichter Video-Downloader, geschrieben in reinem Python. (Ein leichter Video-Downloader, der HD ohne Wasserzeichen priorisiert und Plattformen wie Douyin, Kuaishou, Xiaohongshu, Bilibili, TikTok, YouTube, FIFA+, Youku, Tencent Video, iQIYI, 1905 Movie Network, LeTV, Mango TV, Migu, PPTV, Sohu, Facebook, Twitter, Sina Weibo, Today’s Headlines, NetEase Open Classes, 全民K歌, CCTV, Kugou MV, New Film, Zhihu, Baidu Tieba, TED und andere riesige Streaming-Plattformen unterstützt.)

CharlesPikachu
⭐ 3,294 Python 👤 CharlesPikachu User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-07-10

Häufig gestellte Fragen

1

Welches ist das beliebteste #crawler-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#crawler-Projekt auf GitHub ist firecrawl/firecrawl mit 205,758 Sternen. Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.

2

Welche Programmiersprachen werden in #crawler-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #crawler-Projekten auf GitHub sind Python, Go, TypeScript, JavaScript die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #crawler-Repositories berechnet?

Wir verfolgen 162 aktive Open-Source-Repositories, die mit #crawler getaggt sind (500+ Sterne), mit insgesamt 1,111,814 Sternen und durchschnittlich 6,863 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.