Git Stars Git Stars

#spider Repositories

92
Gesamtzahl der Repositories
325,814
Gesamtanzahl der Sterne
3,541
Durchschnittliche Sterne/Repo

Insgesamt 92 Repositories

51
kiddyuchina/Beanbun

Beanbun ist ein in PHP geschriebenes Multi-Prozess-Webcrawling-Framework mit guter Offenheit und hoher Skalierbarkeit, basierend auf Workerman.

kiddyuchina
⭐ 1,258 PHP 👤 kiddyuchina User 🕐 Aktualisiert 2026-05-26 📅 Erstellt 2017-04-13
52
scrapfly/scrapfly-scrapers

Skalierbare Python-Web-Scraping-Skripte für über 80 beliebte Domains

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-05-22
53
BaiduSpider/BaiduSpider

BaiduSpider, ein Crawler zum Abrufen von Baidu-Suchergebnissen, unterstützt derzeit Baidu-Websuche, Baidu-Bildersuche, Baidu-Wissenssuche, Baidu-Videosuche, Baidu-Nachrichtensuche, Baidu-Wenkensuche, Baidu-Erfahrungssuche und Baidu-Enzyklopädie-Suche.

BaiduSpider
⭐ 1,130 Python 👤 BaiduSpider Organization 🕐 Aktualisiert 2024-06-14 📅 Erstellt 2020-10-03
54
elixir-crawly/crawly

Crawly, ein Framework auf hohem Niveau für Web-Crawling und Scraping für Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-03-09
55
skygazer42/DL-Hub

LLMs Große Modelle Notizen 50 Artikel Dieses Repository enthält Projekte und praktische Anwendungen in den Bereichen maschinelles Lernen, Deep Learning, Computer Vision, natürliche Sprachverarbeitung, große Modelle, Web-Scraping usw.

skygazer42
⭐ 1,121 Python 👤 skygazer42 User 🕐 Aktualisiert 2026-08-30 📅 Erstellt 2022-04-05
56
wujunwei928/parse-video

Golang Wasserzeichenentfernung für Kurzvideos: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...

wujunwei928
⭐ 1,104 Go 👤 wujunwei928 User 🕐 Aktualisiert 2026-11-08 📅 Erstellt 2022-07-12
57
zhangyd-c/OneBlog

:alien: OneBlog, ein schlankes, schönes, funktionsreiches und responsives Java-Blog

zhangyd-c
⭐ 1,103 Java 👤 zhangyd-c User 🕐 Aktualisiert 2025-03-16 📅 Erstellt 2018-04-10
58
1061700625/WeChat_Article

WeChat-Öffentliche-Account-Artikel crawlen

1061700625
⭐ 1,089 Python 👤 1061700625 User 🕐 Aktualisiert 2026-06-17 📅 Erstellt 2019-02-21
59
gsh199449/spider

Ein konfigurierbarer Web-Spider mit einer benutzerfreundlichen Web-Konsole

gsh199449
⭐ 996 Java 👤 gsh199449 User 🕐 Aktualisiert 2026-06-03 📅 Erstellt 2016-11-24
60
spidersuite/SpiderSuite

SpiderSuite (Web-Sicherheits-Crawler) Versionen, Wiki und Roadmap

spidersuite
⭐ 990 👤 spidersuite Organization 🕐 Aktualisiert 2026-08-13 📅 Erstellt 2023-04-05
61
QIN2DIM/V2RSS

:rocket: Sammeln|Kostenlos|Hochwertig|Abonnement?

QIN2DIM
⭐ 978 Python 👤 QIN2DIM User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2020-06-02
62
LoseNine/Crack-JS-Spider

JS-Reverse-Engineering, Entschlüsselung von JS-Anti-Scraping-Verschlüsselungsparametern, bereits entschlüsselt Geetest-Schieberegler W (2022.2.19), QQ Music sign (2022.2.13), Pinduoduo anti_content, Boss Zhipin zp_token, Zhihu x-zse-96, Kugou kg_mid/dfid, Vipshop mars_cid, China Judgments Online (aktualisiert am 2020-06-30), Taobao-Passwort, Tianan Insurance Login, Bilibili Login, Fang.com Login, WPS Login, Weibo Login, Youdao Translate, Netease Login, WeChat Official Account Login, Air China Network Login, Jmubiao Login, Student Information Management System Login, Gengying Finance Login, Chongqing Science and Technology Resource Sharing Platform Login, Netease Cloud Music Download, One-Click Video Link Parsing, Cailianshe Login.

LoseNine
⭐ 974 JavaScript 👤 LoseNine User 🕐 Aktualisiert 2024-05-03 📅 Erstellt 2020-02-09
63
fredwu/crawler

Ein leistungsstarker Webcrawler / Scraper in Elixir.

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-08-08
64
ma6254/FictionDown

Roman-Download|Roman-Crawling|起点|笔趣阁|Markdown exportieren|txt exportieren|epub konvertieren|Werbefilterung|Automatische Korrektur

ma6254
⭐ 955 Go 👤 ma6254 User 🕐 Aktualisiert 2025-01-21 📅 Erstellt 2019-03-03
65
0xAllenChen/spider_reverse

Reverse-Engineering-Fallstudien für Webcrawler, abgeschlossen: TLS-Fingerprint | Ruishu | Zhenkunxing | NetEase Yudun | WeChat Mini Program Decompilation & Reverse Engineering (Baida Xingxi) | Tonghuashun | RPC-Entschlüsselung | Jiasule | Jueyan Slider CAPTCHA | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Industrial Policy Big Data Platform | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian

0xAllenChen
⭐ 946 Python 👤 0xAllenChen User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2023-06-02
66
hellock/icrawler

Ein Multi-Thread-Crawler-Framework mit vielen integrierten Bildcrawlern.

hellock
⭐ 936 Python 👤 hellock User 🕐 Aktualisiert 2025-12-10 📅 Erstellt 2016-03-19
67
alltheplaces/alltheplaces

Eine Sammlung von Spiders und Scrapers zum Extrahieren von Standortinformationen aus Orten, die ihren Standort im Internet posten.

alltheplaces
⭐ 851 Python 👤 alltheplaces Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-06-15
68
BlessedRebuS/Krawl

Krawl ist ein anpassbarer, leichter, cloud-nativer Web-Täuschungsserver und Anti-Crawler, der gefälschte Web-Anwendungen mit niedrig hängenden Schwachstellen mithilfe realistischer, zufällig generierter Köderdaten und KI-generierter HTML-Vorlagen erstellt.

BlessedRebuS
⭐ 844 Python 👤 BlessedRebuS User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-12-10
69
kingschan1204/istock

:point_right: Ein Java-Aktien-Crawler basierend auf Spring Boot (nur A-Aktien unterstützt), wenn du :heart: , bitte :star: . V2-Upgrade-Version wird entwickelt!

kingschan1204
⭐ 836 Java 👤 kingschan1204 User 🕐 Aktualisiert 2024-12-27 📅 Erstellt 2017-03-09
70
postmodern/spidr

Eine vielseitige Ruby-Web-Spidering-Bibliothek, die eine Site, mehrere Domains, bestimmte Links oder unendlich spidern kann. Spidr ist für Schnelligkeit und Benutzerfreundlichkeit konzipiert.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Aktualisiert 2026-01-12 📅 Erstellt 2009-03-08
71
DoiiarX/NLCISBNPlugin

Ein calibre Quell-/Metadaten-Plugin, das auf der ISBN-Suche der Nationalbibliothek von China basiert. https://doiiars.com/article/NLCISBNPlugin

DoiiarX
⭐ 812 Python 👤 DoiiarX User 🕐 Aktualisiert 2026-01-07 📅 Erstellt 2023-12-14
72
bahaabdelwahed/killshot

Ein Penetration-Testing-Framework, Informationssammlungstool & Website-Schwachstellenscanner

bahaabdelwahed
⭐ 791 Ruby 👤 bahaabdelwahed User 🕐 Aktualisiert 2025-12-07 📅 Erstellt 2018-10-27
73
montaro2017/bili_novel_packer

Light Novel Packer (Leichtroman-Packer), der Inhalte von den Bili Light Novel Websites (bilinovel.com linovelib.com) sammelt und sie im EPUB-Format verpackt. Er unterstützt Cover, Illustrationen, Inhaltsverzeichnisse und das Zusammenführen separater Bände.

montaro2017
⭐ 787 Dart 👤 montaro2017 User 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2023-02-20
74
xuxueli/xxl-crawler

Ein leichtgewichtiges Web-Crawler-Framework. (Java-Crawler-Framework)

xuxueli
⭐ 756 Java 👤 xuxueli User 🕐 Aktualisiert 2026-08-08 📅 Erstellt 2017-10-17
75
polyrabbit/hacker-news-digest

📰 Lass ein LLM Hacker News für dich zusammenfassen

polyrabbit
⭐ 754 Python 👤 polyrabbit User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2014-09-17
76
signal18/replication-manager

Signal 18 repman - Replikations-Manager für MySQL / MariaDB / Percona Server

signal18
⭐ 747 Go 👤 signal18 Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2015-10-14
77
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn-Profil-Scraper, der strukturierte Profildaten im JSON-Format zurückgibt.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Aktualisiert 2024-04-05 📅 Erstellt 2018-12-21
78
wujunwei928/parse-video-py

Python-Short-Video-Watermark-Entfernungsscraper: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Nationales Kurzvideo, Pipi Lustig, Xigua Video, Huya, Li Video, AcFun, Haokan Video...

wujunwei928
⭐ 721 Python 👤 wujunwei928 User 🕐 Aktualisiert 2026-11-08 📅 Erstellt 2024-04-03
79
xinlingqudongX/TSDK

Taobao-Crawler-SDK, verwendet für die Taobao Open Platform oder das Einloggen und Crawlen von Taobao, Tmall, Alibaba

xinlingqudongX
⭐ 716 Python 👤 xinlingqudongX User 🕐 Aktualisiert 2026-03-26 📅 Erstellt 2018-12-06
80
casual-silva/NewsCrawl

Open-Source-Unternehmensprojekt für Meinungsnachrichten-Crawler: unterstützt den Ein-Klick-Betrieb einer beliebigen Anzahl von Crawlern, geplante Crawler-Aufgaben, Batch-Löschung von Crawlern; Ein-Klick-Bereitstellung von Crawlern; Crawler-Überwachungsvisualisierung; Konfiguration der Cluster-Crawler-Zuteilungsstrategie; 👉 Die fertige Docker-Ein-Klick-Bereitstellungsdokumentation hat die Fallstricke bereits für Sie beseitigt.

casual-silva
⭐ 688 Python 👤 casual-silva User 🕐 Aktualisiert 2026-05-23 📅 Erstellt 2022-07-08
81
darbra/sign

Ansätze und Erfahrungen bei der Rückentwicklung von App-Parametern, Android-Reverse-Engineering

darbra
⭐ 667 👤 darbra User 🕐 Aktualisiert 2024-06-13 📅 Erstellt 2020-05-26
82
spiritLHLS/Hang-up-items

Umfrageprojekt, Empfehlung von Cloud-Servern, Hängeprojekt, kostenlose Proxys, Sammlung verschiedener Skripte. Willkommen oben rechts auf die Glocke klicken, um rechtzeitig Update-Informationen zu erhalten. (Nicht forken, diskret sein)

spiritLHLS
⭐ 646 👤 spiritLHLS User 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2022-04-11
83
fengzhizi715/NetDiscovery

NetDiscovery ist ein universelles Crawler-Framework bzw. Middleware, das auf Frameworks wie Vert.x und RxJava 2 basiert.

fengzhizi715
⭐ 643 Java 👤 fengzhizi715 User 🕐 Aktualisiert 2026-06-05 📅 Erstellt 2017-11-26
84
cv-cat/catbus

Ein einziger Befehl zur Nutzung von Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com und X: einheitliche Befehle und JSON-Ausgabe für Menschen und KI-Agenten

cv-cat
⭐ 641 TypeScript 👤 cv-cat User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-09-27
85
scrapfly/Antibot-Detector

Echtzeiterkennung von Anti-Bot-Systemen, Captchas und Fingerprinting-Techniken. Erkennt Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security und mehr – mit Vertrauenswerten und erweiterten Erfassungstools.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2025-09-03
86
l4rm4nd/LinkedInDumper

Python 3-Skript zum Auslesen/Scrapen/Extrahieren von Firmendaten von Mitarbeitern aus der LinkedIn-API

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 Aktualisiert 2026-08-21 📅 Erstellt 2022-10-17
87
mouday/spider-admin-pro

spider-admin-pro Ein visuelles Verwaltungstool für das Anzeigen von Scrapy- und Scrapyd-Crawler-Projekten sowie für die zeitgesteuerte Planung von Crawler-Aufgaben, die aufgerüstete Version von SpiderAdmin

mouday
⭐ 614 Python 👤 mouday User 🕐 Aktualisiert 2026-06-15 📅 Erstellt 2021-01-25
88
jadehh/TVSpider

Film- und Katzen-Film-Crawler-Repository

jadehh
⭐ 604 JavaScript 👤 jadehh User 🕐 Aktualisiert 2024-09-18 📅 Erstellt 2023-02-16
89
CharlesPikachu/freeproxy

FreeProxy: Sammeln kostenloser Proxys aus dem Internet. (Massenhaft hochwertige kostenlose Proxys weltweit, unterstützt das Crawlen von Dutzenden kostenloser Proxy-Sharing-Quellen, benutzerdefinierte Proxy-Filterregeln, unverzichtbar für Web-Scraping und Datenanalyse, täglich aktualisiert mit einer großen Anzahl kostenloser Proxys.)

CharlesPikachu
⭐ 594 Python 👤 CharlesPikachu User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-10-29
90
zhuyingda/webster

Ein zuverlässiges High-Level-Web-Crawling- und Scraping-Framework für Node.js.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 Aktualisiert 2025-03-12 📅 Erstellt 2017-11-04
91
dirtyfilthy/freshonions-torscraper

Fresh Onions ist ein quelloffener TOR-Spider / Crawler für Onion-Dienste, gehostet unter zlal32teyptf4tvi.onion

dirtyfilthy
⭐ 543 Python 👤 dirtyfilthy User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2017-02-15
92
sansan0/bilibili-comment-analyzer

🎯 Bilibili-Kommentardaten-Visualisierungsanalyse-Software – Ersteller können sie nutzen, um ihre Themenauswahl zu leiten und ihre Fangemeinde zu verstehen.

sansan0
⭐ 503 Python 👤 sansan0 User 🕐 Aktualisiert 2025-06-27 📅 Erstellt 2025-06-03