Git Stars Git Stars

#crawler Repositories

162
Gesamtzahl der Repositories
1.1M
Gesamtanzahl der Sterne
6,863
Durchschnittliche Sterne/Repo

Insgesamt 162 Repositories

51
thewhiteh4t/FinalRecon

All-in-One Web-Recon

thewhiteh4t
⭐ 3,058 Python 👤 thewhiteh4t User 🕐 Aktualisiert 2026-10-31 📅 Erstellt 2019-03-28
52
Qianlitp/crawlergo

Ein leistungsstarker Browser-Crawler für Web-Vulnerabilitäts-Scanner

Qianlitp
⭐ 3,034 Go 👤 Qianlitp User 🕐 Aktualisiert 2025-03-11 📅 Erstellt 2019-12-25
53
facundoolano/google-play-scraper

Node.js-Scraper zum Abrufen von Daten aus dem Google Play Store

facundoolano
⭐ 3,005 JavaScript 👤 facundoolano User 🕐 Aktualisiert 2026-10-17 📅 Erstellt 2015-04-07
54
howie6879/owllook

owllook-Roman-Suchmaschine

howie6879
⭐ 2,900 Python 👤 howie6879 User 🕐 Aktualisiert 2026-10-30 📅 Erstellt 2017-02-18
55
CharlesPikachu/DecryptLogin

DecryptLogin: APIs zum Einloggen auf einige Websites unter Verwendung von requests.

CharlesPikachu
⭐ 2,871 Python 👤 CharlesPikachu User 🕐 Aktualisiert 2024-08-09 📅 Erstellt 2019-02-25
56
spider-rs/spider

Grundlegende Webdatenerfassung mit geringer Latenz in Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2018-01-07
57
jaeles-project/gospider

Gospider - Schneller Web-Spider in Go geschrieben

jaeles-project
⭐ 2,851 Go 👤 jaeles-project Organization 🕐 Aktualisiert 2024-04-21 📅 Erstellt 2020-01-22
58
spatie/crawler

https://spatie.be/docs/crawler

spatie
⭐ 2,827 PHP 👤 spatie Organization 🕐 Aktualisiert 2026-11-05 📅 Erstellt 2015-11-02
59
geziyor/geziyor

Geziyor, ultraschnelles Web-Crawling- & Scraping-Framework für Go. Unterstützt JS-Rendering.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 Aktualisiert 2026-07-02 📅 Erstellt 2019-06-06
60
jae-jae/QueryList

:spider: Das progressive PHP-Crawler-Framework! Elegantes progressives PHP-Sammel-Framework.

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2015-12-20
61
Autumn-27/ScopeSentry

ScopeSentry-Cyberspace-Mapping, Subdomain-Enumeration, Port-Scanning, Entdeckung sensibler Informationen, Schwachstellenscans, verteilte Knoten

Autumn-27
⭐ 2,597 Go 👤 Autumn-27 User 🕐 Aktualisiert 2026-10-11 📅 Erstellt 2024-02-27
62
xtuhcy/gecco

Einfach zu bedienender leichter Web-Crawler

xtuhcy
⭐ 2,510 Java 👤 xtuhcy User 🕐 Aktualisiert 2026-10-09 📅 Erstellt 2015-12-12
63
fhamborg/news-please

news-please - Ein integrierter Web-Crawler und Informations-Extraktor für Nachrichten, der einfach funktioniert

fhamborg
⭐ 2,494 Python 👤 fhamborg User 🕐 Aktualisiert 2026-04-14 📅 Erstellt 2016-12-18
64
lorien/grab

Web-Scraping-Framework

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Aktualisiert 2025-09-19 📅 Erstellt 2013-05-01
65
JayBizzle/Crawler-Detect

🕷 CrawlerDetect ist eine PHP-Klasse zur Erkennung von Bots/Crawlern/Spiders über den User-Agent

JayBizzle
⭐ 2,410 PHP 👤 JayBizzle User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2015-03-23
66
friuns2/Leaked-GPTs

Geleakte GPTs-Prompts umgehen die 25-Nachrichten-Beschränkung oder um GPTs ohne ein Plus-Abonnement auszuprobieren.

friuns2
⭐ 2,396 Python 👤 friuns2 User 🕐 Aktualisiert 2024-01-17 📅 Erstellt 2023-11-27
67
sjdirect/abot

Ein plattformübergreifendes C#-Web-Crawler-Framework, das auf Geschwindigkeit und Flexibilität ausgelegt ist. Bitte geben Sie diesem Projekt einen Stern! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 Aktualisiert 2026-07-17 📅 Erstellt 2013-08-08
68
goclone-dev/goclone

Website Cloner - Nutzt leistungsstarke Go-Routinen, um Websites innerhalb von Sekunden auf Ihren Computer zu klonen.

goclone-dev
⭐ 2,303 Go 👤 goclone-dev Organization 🕐 Aktualisiert 2026-06-02 📅 Erstellt 2020-03-23
69
AAndyProgram/SCrawler

Medien-Downloader von beliebigen Websites, einschließlich Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid usw.

AAndyProgram
⭐ 2,263 Visual Basic .NET 👤 AAndyProgram User 🕐 Aktualisiert 2026-11-08 📅 Erstellt 2021-12-07
70
watercrawl/WaterCrawl

Web-Inhalte in LLM-fertige Daten umwandeln

watercrawl
⭐ 2,244 TypeScript 👤 watercrawl Organization 🕐 Aktualisiert 2026-08-17 📅 Erstellt 2024-12-15
71
zorlan/skycaiji

Blue Sky Collector ist ein quelloffenes und kostenloses Crawler-System, das nur die Auswahl und Bearbeitung von Regeln zur Datenerfassung benötigt. Es kann lokal, auf einem virtuellen Host oder auf einem Cloud-Server ausgeführt werden und kann fast alle Arten von Webseiten erfassen. Es lässt sich nahtlos an verschiedene CMS-Website-Erstellungsprogramme anbinden, veröffentlicht Daten in Echtzeit und ohne Anmeldung, vollautomatisch und ohne menschliches Eingreifen! Es ist ein vollständig plattformübergreifendes Cloud-Crawler-System für die Web-Big-Data-Erfassungssoftware.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 Aktualisiert 2026-10-07 📅 Erstellt 2018-02-26
72
TeamNewPipe/NewPipeExtractor

NewPipe's Kernbibliothek zum Extrahieren von Daten aus Streaming-Seiten

TeamNewPipe
⭐ 2,070 Java 👤 TeamNewPipe Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2017-03-01
73
elliotgao2/gain

Web-Crawling-Framework basierend auf asyncio.

elliotgao2
⭐ 2,017 Python 👤 elliotgao2 User 🕐 Aktualisiert 2026-08-09 📅 Erstellt 2017-05-31
74
coder-hxl/x-crawl

Flexible Crawler-Bibliothek für Node.js

coder-hxl
⭐ 1,888 TypeScript 👤 coder-hxl User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-01-22
75
JSREI/ast-hook-for-js-RE

Browser-Speicher-Roaming-Lösung (in Erforschung...)

JSREI
⭐ 1,882 JavaScript 👤 JSREI Organization 🕐 Aktualisiert 2024-05-07 📅 Erstellt 2021-01-15
76
lixi5338619/lxSpider

Sammlung von Web-Scraping-Fällen. Einschließlich, aber nicht beschränkt auf "Taobao, JD.com, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Alibaba, Toutiao, PDD, Youku, iQIYI, Ctrip, 12306, 58, Sohu, verschiedene Indizes, VIP, Wanfang, ZLibrary, Oalib, Romane, Ausschreibungsportale, Beschaffungsportale, Xiaohongshu, Dianping, Twitter, Maimai, Zhihu"

lixi5338619
⭐ 1,876 Python 👤 lixi5338619 User 🕐 Aktualisiert 2024-05-09 📅 Erstellt 2021-01-29
77
diskoverdata/diskover-community

Diskover Community Edition - Open-Source-Datei-Indexer, Dateisuche und Datenmanagement sowie -Analyse, unterstützt von Elasticsearch

diskoverdata
⭐ 1,831 PHP 👤 diskoverdata Organization 🕐 Aktualisiert 2026-03-25 📅 Erstellt 2017-04-19
78
eatmoreduck/boss-zhipin-scraper

BOSS Zhipin Scraper / BOSS Zhipin Job-Daten-Crawler, basierend auf dem Chrome CDP-Protokoll zur Wiederverwendung echter Anmeldesitzungen, Umgehung von Schriftarten-Anti-Scraping und Ausgabe von Klartext-Gehalts-JSON/CSV + Gehalts- und Kompetenzanalyse.

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 Aktualisiert 2026-11-03 📅 Erstellt 2026-06-11
79
u3c3/BT-btt

Vorstellung der Magnet-Website U3C3 und Domain-Updates

u3c3
⭐ 1,779 👤 u3c3 User 🕐 Aktualisiert 2025-01-01 📅 Erstellt 2020-04-28
80
howie6879/ruia

Asynchrones Web-Scraping-Mikroframework für Python 3.6+, basierend auf asyncio

howie6879
⭐ 1,738 Python 👤 howie6879 User 🕐 Aktualisiert 2026-10-30 📅 Erstellt 2018-07-10
81
rushter/selectolax

Python-Binding für Modest- und Lexbor-Engines. Schneller HTML5-Parser mit CSS-Selektoren für Python.

rushter
⭐ 1,717 Python 👤 rushter User 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2017-11-26
82
gildas-lormeau/single-file-cli

CLI-Werkzeug zum Speichern einer originalgetreuen Kopie einer vollständigen Webseite in einer einzigen HTML-Datei (basierend auf SingleFile)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2022-05-31
83
YoongiKim/AutoCrawler

Google, Naver Mehrprozess-Image-Web-Crawler (Selenium)

YoongiKim
⭐ 1,700 Python 👤 YoongiKim User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2018-11-21
84
orangecoding/fredy

❤️ Fredy – [F]ind [R]eal [E]state [D]amn Eas[y] – Fredy sucht fortlaufend auf Plattformen wie ImmoScout24, Immowelt und eBay Kleinanzeigen nach neuen Wohnungen, Häusern und Immobilien in Europa und liefert dir die Ergebnisse sofort über Slack, Telegram, E-Mail, Discord oder ntfy, damit du dich auf die wichtigeren Dinge im Leben konzentrieren kannst ;)

orangecoding
⭐ 1,648 JavaScript 👤 orangecoding User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2018-01-15
85
erma0/douyin

Douyin-Crawler – Erfassung öffentlicher Daten wie Profilseite des Kontos, Likes, Sammlungen, Musik-Originaltöne, Hashtags, Suche, Sammlungen, Werke, Follower, Fans usw.

erma0
⭐ 1,625 👤 erma0 User 🕐 Aktualisiert 2026-08-14 📅 Erstellt 2022-05-29
86
ArchiveTeam/grab-site

Der Web-Crawler des Archivars: WARC-Ausgabe, Dashboard für alle Crawls, dynamische Ignoriermuster

ArchiveTeam
⭐ 1,572 Python 👤 ArchiveTeam Organization 🕐 Aktualisiert 2025-05-23 📅 Erstellt 2015-02-05
87
srx-2000/spider_collection

Python-Crawler, Aktueller Bestand: NetEase Cloud Music Song-Crawling, Bilibili Video-Crawling, Zhihu Q&A-Crawling, Wallpaper-Crawling, xvideos Video-Crawling, Hörbuch-Crawling, Weibo-Crawler, Anjuke-Informationen-Crawling + Datenvisualisierung, Bilibili Video-Cover-Extraktor, IP-Proxy-Pool-Verpackung, Zhihu Millionen-Nutzer-Crawler + Datenanalyse, GitHub-Nutzer-Crawler

srx-2000
⭐ 1,554 Python 👤 srx-2000 User 🕐 Aktualisiert 2024-04-23 📅 Erstellt 2020-02-04
88
0x676e67/wreq-python

Ein ergonomischer, datenschutzbewusster Python-HTTP-Client

0x676e67
⭐ 1,526 Python 👤 0x676e67 User 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2025-02-10
89
rebrowser/rebrowser-patches

Sammlung von Patches für Puppeteer und Playwright, um Automatisierungserkennung und Lecks zu vermeiden. Hilft, Cloudflare- und DataDome-CAPTCHA-Seiten zu umgehen. Einfach zu patchen/unpatchen, kann nach Bedarf aktiviert/deaktiviert werden.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2024-08-06
90
dadoonet/fscrawler

Elasticsearch Dateisystem-Crawler (FS-Crawler)

dadoonet
⭐ 1,459 Java 👤 dadoonet User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2012-06-08
91
xisuo67/XHS-Spider

Xiaohongshu-Datenerfassung, Batch-Download-Tool für Website-Bilder und Videoressourcen, Datenerfassungstool mit extrem hoher Attraktivität (Batch-Download, Videoextraktion, Bilder) Telegram:https://t.me/+ZtLSwuIKTo44MDY1

xisuo67
⭐ 1,456 👤 xisuo67 User 🕐 Aktualisiert 2025-12-16 📅 Erstellt 2023-04-25
92
openwpm/OpenWPM

Ein Framework zur Messung von Webdatenschutz

openwpm
⭐ 1,429 Python 👤 openwpm Organization 🕐 Aktualisiert 2026-10-13 📅 Erstellt 2014-06-10
93
darbra/sperm

Eine Zusammenfassung interessanter Artikel über Reverse Engineering, die einen Blick wert ist

darbra
⭐ 1,427 👤 darbra User 🕐 Aktualisiert 2026-04-13 📅 Erstellt 2022-03-02
94
kgspider/crawler

K-Bruder Web-Scraping-Code-Sharing, JS-Reverse-Engineering, Advanced Web-Scraping. Folgen Sie dem öffentlichen WeChat-Konto von K-Bruder Web-Scraping.

kgspider
⭐ 1,371 JavaScript 👤 kgspider User 🕐 Aktualisiert 2025-05-12 📅 Erstellt 2021-08-24
95
lorey/mlscraper

🤖 Daten automatisch aus HTML-Websites scrapen, indem Sie einfach Beispiele bereitstellen

lorey
⭐ 1,370 Python 👤 lorey User 🕐 Aktualisiert 2024-03-17 📅 Erstellt 2020-07-30
96
felipecsl/wombat

Leichter Ruby-Web-Crawler/Scraper mit einer eleganten DSL, die strukturierte Daten aus Seiten extrahiert.

felipecsl
⭐ 1,360 Ruby 👤 felipecsl User 🕐 Aktualisiert 2026-10-27 📅 Erstellt 2011-11-14
97
0xInfection/XSRFProbe

Das Prime Cross Site Request Forgery (CSRF) Audit- und Exploitation-Toolkit.

0xInfection
⭐ 1,310 Python 👤 0xInfection User 🕐 Aktualisiert 2026-07-12 📅 Erstellt 2018-08-21
98
fastcrw/crw

Schnelle, leichtgewichtige Firecrawl/Tavily-Alternative in Rust. Web-Scraper, Crawler & Such-API mit MCP-Server für KI-Agenten. Drop-in Firecrawl-kompatible API (/scrape, /crawl, /search). 2,3x schneller als Tavily, 1,5x schneller als Firecrawl bei 1K-URL-Benchmarks. 6 MB RAM, einzelne Binärdatei. Selbst-Hosting oder Managed Cloud.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-03-02
99
dwisiswant0/go-dork

Der schnellste Dork-Scanner geschrieben in Go.

dwisiswant0
⭐ 1,266 Go 👤 dwisiswant0 User 🕐 Aktualisiert 2024-02-04 📅 Erstellt 2020-07-13
100
kiddyuchina/Beanbun

Beanbun ist ein in PHP geschriebenes Multi-Prozess-Webcrawling-Framework mit guter Offenheit und hoher Skalierbarkeit, basierend auf Workerman.

kiddyuchina
⭐ 1,258 PHP 👤 kiddyuchina User 🕐 Aktualisiert 2026-05-26 📅 Erstellt 2017-04-13