Git Stars Git Stars

#crawler Repositories

162
Gesamtzahl der Repositories
1.1M
Gesamtanzahl der Sterne
6,863
Durchschnittliche Sterne/Repo

Insgesamt 162 Repositories

151
fengzhizi715/NetDiscovery

NetDiscovery ist ein universelles Crawler-Framework bzw. Middleware, das auf Frameworks wie Vert.x und RxJava 2 basiert.

fengzhizi715
⭐ 643 Java 👤 fengzhizi715 User 🕐 Aktualisiert 2026-06-05 📅 Erstellt 2017-11-26
152
cv-cat/catbus

Ein einziger Befehl zur Nutzung von Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com und X: einheitliche Befehle und JSON-Ausgabe für Menschen und KI-Agenten

cv-cat
⭐ 641 TypeScript 👤 cv-cat User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-09-27
153
rajatomar788/pywebcopy

Speichert Webseiten lokal auf Ihrer Festplatte mit Bildern, CSS, JS & Links wie sie sind.

rajatomar788
⭐ 639 Python 👤 rajatomar788 User 🕐 Aktualisiert 2025-05-13 📅 Erstellt 2018-07-23
154
scrapfly/Antibot-Detector

Echtzeiterkennung von Anti-Bot-Systemen, Captchas und Fingerprinting-Techniken. Erkennt Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security und mehr – mit Vertrauenswerten und erweiterten Erfassungstools.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2025-09-03
155
yhy0/Jie

Jie zeichnet sich als ein umfassendes Tool für Sicherheitsbewertungen und Exploits aus, das sorgfältig für Webanwendungen entwickelt wurde. Seine robuste Funktionssuite umfasst Schwachstellenscans, Informationssammlung und Exploitation, was es zu einem unverzichtbaren Werkzeugkasten für Sicherheitsexperten und Penetrationstester macht. 挖洞辅助工具(漏洞扫描、信息收集)

yhy0
⭐ 599 Go 👤 yhy0 User 🕐 Aktualisiert 2024-07-05 📅 Erstellt 2023-01-30
156
CharlesPikachu/freeproxy

FreeProxy: Sammeln kostenloser Proxys aus dem Internet. (Massenhaft hochwertige kostenlose Proxys weltweit, unterstützt das Crawlen von Dutzenden kostenloser Proxy-Sharing-Quellen, benutzerdefinierte Proxy-Filterregeln, unverzichtbar für Web-Scraping und Datenanalyse, täglich aktualisiert mit einer großen Anzahl kostenloser Proxys.)

CharlesPikachu
⭐ 594 Python 👤 CharlesPikachu User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-10-29
157
vakra-dev/reader

Open-Source-Webinfrastruktur für KI. Scrapen, crawlen und automatisieren Sie das Web, bereinigen Sie Markdown, Browser‑Sitzungen, bereit für Ihre Agenten.

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 Aktualisiert 2026-10-06 📅 Erstellt 2026-01-07
158
zhuyingda/webster

Ein zuverlässiges High-Level-Web-Crawling- und Scraping-Framework für Node.js.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 Aktualisiert 2025-03-12 📅 Erstellt 2017-11-04
159
MikeMeliz/TorCrawl.py

Webseiten (normal oder Onion) über das TOR-Netzwerk crawlen und extrahieren

MikeMeliz
⭐ 550 Python 👤 MikeMeliz User 🕐 Aktualisiert 2026-06-29 📅 Erstellt 2016-12-05
160
dirtyfilthy/freshonions-torscraper

Fresh Onions ist ein quelloffener TOR-Spider / Crawler für Onion-Dienste, gehostet unter zlal32teyptf4tvi.onion

dirtyfilthy
⭐ 543 Python 👤 dirtyfilthy User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2017-02-15
161
dengmeiluan/ticket-monitoring

✈️ Selbst gehostete, kanalübergreifende Überwachung von Flugpreisen: Flugdaten erfassen → Text- und Bildmeldungen über DingTalk senden → bei Erreichen der Zielwerte starke Benachrichtigungen in vier Stufen auslösen. Für Inlands- und internationale Flüge (Ziele auf fünf Kontinenten) gilt derselbe Ablauf für Erfassung, Prüfung und Benachrichtigung. Die Daten bleiben auf deinem Gerät, alle Einstellungen erfolgen im Web – Open Source und kostenlos.

dengmeiluan
⭐ 528 Python 👤 dengmeiluan User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-09-15
162
AlexMathew/scrapple

Ein Framework zur Erstellung semi-automatischer Web-Content-Extraktoren

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 Aktualisiert 2026-01-16 📅 Erstellt 2014-12-13