Git Stars Git Stars

#spider Repositories

Entdecke 92 aktive Open-Source-GitHub-Repositories, die mit #spider getaggt sind und insgesamt 325,814 Sterne gesammelt haben (durchschnittlich 3,541 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist NaiboWang/EasySpider mit 44,801 Sternen.

92
Gesamtzahl der Repositories
325,814
Gesamtanzahl der Sterne
3,541
Durchschnittliche Sterne/Repo

Insgesamt 92 Repositories

1
NaiboWang/EasySpider

Ein visueller No-Code-Web-Crawler/Spider: Eine Software zur Browserautomatisierung, Datenerfassung und zum Web-Scraping, mit der Crawling-Aufgaben grafisch und ohne Programmierung entworfen und ausgeführt werden können. Alias: ServiceWrapper, ein intelligentes Service-Kapselungssystem für Webanwendungen.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2020-07-18
2
gocolly/colly

Elegantes Scraper- und Crawler-Framework für Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Aktualisiert 2026-10-16 📅 Erstellt 2017-09-29
3
jhao104/proxy_pool

Python ProxyPool für Web-Spider

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 Aktualisiert 2026-06-15 📅 Erstellt 2016-11-25
4
shengqiangzhang/examples-of-web-crawlers

Einige sehr interessante Python-Crawler-Beispiele, die für Anfänger freundlich sind und hauptsächlich Websites wie Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ usw. crawlen. (Some interesting examples of python crawlers that are friendly to beginners.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 Aktualisiert 2025-06-28 📅 Erstellt 2019-03-13
5
s0md3v/Photon

Unglaublich schneller Crawler, der für OSINT entwickelt wurde.

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 Aktualisiert 2026-10-17 📅 Erstellt 2018-03-30
6
crawlab-team/crawlab

Verteilte Web-Crawler-Admin-Plattform zur Verwaltung von Spiders unabhängig von Sprachen und Frameworks. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Aktualisiert 2026-02-10 📅 Erstellt 2019-02-10
7
ihmily/DouyinLiveRecorder

Eine Live-Aufzeichnungssoftware mit zyklisch austauschbarem Dienst und Mehrspieleraufnahme, die Live-Aufzeichnungen von über 40 Plattformen wie Douyin, TikTok, Youtube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, pandatv, sooplive, flextv, popkontv, twitcasting, winktv, Baidu, Weibo, Kugou, 17Live, Twitch, Acfun, CHZZK, Shopee usw. unterstützt.

ihmily
⭐ 11,278 Python 👤 ihmily User 🕐 Aktualisiert 2026-04-01 📅 Erstellt 2023-07-17
8
guyueyingmu/avbook

AV-Filververwaltungssystem, avmoo, javbus, javlibrary Crawler, Online-AV-Filmbibliothek, AV-Magnetlink-Datenbank, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 Aktualisiert 2024-06-01 📅 Erstellt 2017-02-19
9
kangvcar/InfoSpider

INFO-SPIDER ist eine Crawler-Toolbox🧰, die zahlreiche Datenquellen integriert und darauf abzielt, Benutzern sicher und schnell zu helfen, ihre Daten zurückzubekommen. Der Quellcode des Tools ist Open Source und der Prozess ist transparent. Unterstützte Datenquellen sind GitHub, QQ Mail, Netease Mail, Ali Mail, Sina Mail, Hotmail, Outlook, JD, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, Netease Cloud Music, QQ Friends, QQ Groups, Generierung von WeChat Moments Alben, Browserverlauf, 12306, CSDN Blog, OSCHINA Blog, JianShu.

kangvcar
⭐ 8,275 Python 👤 kangvcar User 🕐 Aktualisiert 2026-04-21 📅 Erstellt 2020-07-11
10
lorien/awesome-web-scraping

Liste von Bibliotheken, Tools und APIs für Web Scraping und Datenverarbeitung.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2015-08-12
11
andeya/pholcus

Pholcus ist eine verteilte High-Concurrency-Crawler-Software, geschrieben in reinem Golang

andeya
⭐ 7,583 Go 👤 andeya User 🕐 Aktualisiert 2026-08-24 📅 Erstellt 2015-07-03
12
BruceDone/awesome-crawler

Eine Sammlung toller Web-Crawler und Spiders in verschiedenen Sprachen

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Aktualisiert 2024-06-16 📅 Erstellt 2016-10-10
13
bda-research/node-crawler

Web-Crawler/Spider für NodeJS + serverseitiges jQuery ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 Aktualisiert 2026-06-18 📅 Erstellt 2010-11-25
14
wechatsync/Wechatsync

Ein-Klick-Synchronisation von Artikeln auf mehreren Content-Plattformen, unterstützt Toutiao, WordPress, Zhihu, JianShu, Juejin, CSDN, Typecho und andere große Plattformen. Einmal veröffentlichen, auf mehreren Plattformen gleichzeitig. Befreit die persönliche Produktivität.

wechatsync
⭐ 6,663 TypeScript 👤 wechatsync Organization 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2020-09-01
15
DedSecInside/TorBot

Dark Web OSINT-Tool

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2017-05-17
16
201206030/novel-plus

novel-plus ist ein funktionsreiches, plattformübergreifendes Roman-CMS für PC, WAP, Apps und Mini-Programme. Es bietet unter anderem Romanempfehlungen, Suchfunktionen und Ranglisten, Lesefunktionen, Bücherregale, Rezensionen und Leselisten, das automatische Auslesen von Romanen aus dem Web, einen Mitgliederbereich, einen Autorenbereich, Aufladungen und Abonnements sowie die Veröffentlichung von Nachrichten.

201206030
⭐ 4,822 Java 👤 201206030 User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2020-05-02
17
Nemo2011/bilibili-api

Häufig verwendete API-Aufrufe für Bilibili. Unterstützt Funktionen wie Videos, Animes, Benutzer, Kanäle, Audio usw. Ursprüngliche Repository-Adresse: https://github.com/MoyuScript/bilibili-api

Nemo2011
⭐ 4,197 Python 👤 Nemo2011 User 🕐 Aktualisiert 2026-07-03 📅 Erstellt 2022-04-27
18
Boris-code/feapder

🚀🚀🚀feapder ist ein einfach zu bedienendes, leistungsstarkes Crawler-Framework | feapder ist ein einfach zu bedienendes, leistungsstarkes Python-Crawler-Framework. Es verfügt über vier integrierte Spider-Typen: AirSpider, Spider, TaskSpider und BatchSpider, um den Anforderungen verschiedener Szenarien gerecht zu werden. Es unterstützt Funktionen wie unterbrechungsfreies Fortsetzen, Überwachung und Alarmierung, Browser-Rendering und die Deduplizierung großer Datenmengen. Darüber hinaus bietet das leistungsstarke Crawler-Managementsystem feaplat eine bequeme Bereitstellung und Planung.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 Aktualisiert 2026-08-21 📅 Erstellt 2021-02-08
19
elliotgao2/toapi

Jede Website stellt APIs bereit.

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 Aktualisiert 2026-08-27 📅 Erstellt 2017-11-27
20
Gerapy/Gerapy

Verteiltes Crawler-Management-Framework basierend auf Scrapy, Scrapyd, Django und Vue.js

Gerapy
⭐ 3,518 Python 👤 Gerapy Organization 🕐 Aktualisiert 2026-07-04 📅 Erstellt 2017-06-30
21
my8100/scrapydweb

Web-App für Scrapyd-Cluster-Management, Scrapy-Log-Analyse & -Visualisierung, Auto-Packaging, Timer-Aufgaben, Monitoring & Alerting und Mobile UI. Docs Dokumentation :point_right:

my8100
⭐ 3,403 Python 👤 my8100 User 🕐 Aktualisiert 2025-02-19 📅 Erstellt 2018-09-30
22
wnma3mz/wechat_articles_spider

Crawler für WeChat-Public-Account-Artikel

wnma3mz
⭐ 3,326 Python 👤 wnma3mz User 🕐 Aktualisiert 2024-04-18 📅 Erstellt 2018-03-04
23
5ime/video_spider

Kurzvideo-Wasserzeichenentferner: Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qingshipin, Kuaishou, Quanmin Xiaoshipin, Barcelona Film, Momo, Before Bifeng, Kaiyan, Vue Vlog Xiaokuxiu, Pipixia Funny, Quanmin K Ge, Xigua Video, Doupai, Huya, 6 Rooms, Li Video, Xinpianchang, acfun, Meipai...

5ime
⭐ 3,001 PHP 👤 5ime User 🕐 Aktualisiert 2025-12-03 📅 Erstellt 2020-07-22
24
howie6879/owllook

owllook-Roman-Suchmaschine

howie6879
⭐ 2,900 Python 👤 howie6879 User 🕐 Aktualisiert 2026-10-30 📅 Erstellt 2017-02-18
25
CharlesPikachu/DecryptLogin

DecryptLogin: APIs zum Einloggen auf einige Websites unter Verwendung von requests.

CharlesPikachu
⭐ 2,871 Python 👤 CharlesPikachu User 🕐 Aktualisiert 2024-08-09 📅 Erstellt 2019-02-25
26
spider-rs/spider

Grundlegende Webdatenerfassung mit geringer Latenz in Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2018-01-07
27
jaeles-project/gospider

Gospider - Schneller Web-Spider in Go geschrieben

jaeles-project
⭐ 2,851 Go 👤 jaeles-project Organization 🕐 Aktualisiert 2024-04-21 📅 Erstellt 2020-01-22
28
geziyor/geziyor

Geziyor, ultraschnelles Web-Crawling- & Scraping-Framework für Go. Unterstützt JS-Rendering.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 Aktualisiert 2026-07-02 📅 Erstellt 2019-06-06
29
pibigstar/go-demo

Go-Sprachbeispiel-Tutorial von Einsteiger bis Fortgeschritten, einschließlich Grundbibliotheksnutzung, Designmuster, gängige Interviewfehler, Hilfsklassen, Integration Dritter usw.

pibigstar
⭐ 2,708 Go 👤 pibigstar User 🕐 Aktualisiert 2025-06-07 📅 Erstellt 2018-08-29
30
jae-jae/QueryList

:spider: Das progressive PHP-Crawler-Framework! Elegantes progressives PHP-Sammel-Framework.

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2015-12-20
31
lorien/grab

Web-Scraping-Framework

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Aktualisiert 2025-09-19 📅 Erstellt 2013-05-01
32
JayBizzle/Crawler-Detect

🕷 CrawlerDetect ist eine PHP-Klasse zur Erkennung von Bots/Crawlern/Spiders über den User-Agent

JayBizzle
⭐ 2,410 PHP 👤 JayBizzle User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2015-03-23
33
QianyanTech/Image-Downloader

Bilder von Google, Bing, Baidu herunterladen. Herunterladen von Bildern aus Google, Baidu, Bing.

QianyanTech
⭐ 2,331 Python 👤 QianyanTech Organization 🕐 Aktualisiert 2024-07-07 📅 Erstellt 2016-07-17
34
sjdirect/abot

Ein plattformübergreifendes C#-Web-Crawler-Framework, das auf Geschwindigkeit und Flexibilität ausgelegt ist. Bitte geben Sie diesem Projekt einen Stern! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 Aktualisiert 2026-07-17 📅 Erstellt 2013-08-08
35
zorlan/skycaiji

Blue Sky Collector ist ein quelloffenes und kostenloses Crawler-System, das nur die Auswahl und Bearbeitung von Regeln zur Datenerfassung benötigt. Es kann lokal, auf einem virtuellen Host oder auf einem Cloud-Server ausgeführt werden und kann fast alle Arten von Webseiten erfassen. Es lässt sich nahtlos an verschiedene CMS-Website-Erstellungsprogramme anbinden, veröffentlicht Daten in Echtzeit und ohne Anmeldung, vollautomatisch und ohne menschliches Eingreifen! Es ist ein vollständig plattformübergreifendes Cloud-Crawler-System für die Web-Big-Data-Erfassungssoftware.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 Aktualisiert 2026-10-07 📅 Erstellt 2018-02-26
36
elliotgao2/gain

Web-Crawling-Framework basierend auf asyncio.

elliotgao2
⭐ 2,017 Python 👤 elliotgao2 User 🕐 Aktualisiert 2026-08-09 📅 Erstellt 2017-05-31
37
ShunCai/QZoneExport

QQ-Space-Exportassistent zum Sichern von Beiträgen, Tagebüchern, privaten Tagebüchern, Alben, Videos, Pinnwandeinträgen, QQ-Freunden, Favoriten, geteilten Inhalten und letzten Besuchern aus QQ Space als Dateien, um die Migration und Aufbewahrung zu erleichtern.

ShunCai
⭐ 1,927 TypeScript 👤 ShunCai User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2019-03-10
38
coder-hxl/x-crawl

Flexible Crawler-Bibliothek für Node.js

coder-hxl
⭐ 1,888 TypeScript 👤 coder-hxl User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-01-22
39
1N3/BlackWidow

Ein Python-basierter Web-Anwendungsscanner, um OSINT zu sammeln und für OWASP-Schwachstellen auf einer Zielwebsite zu fuzzeln.

1N3
⭐ 1,843 Python 👤 1N3 User 🕐 Aktualisiert 2026-04-17 📅 Erstellt 2018-01-06
40
eatmoreduck/boss-zhipin-scraper

BOSS Zhipin Scraper / BOSS Zhipin Job-Daten-Crawler, basierend auf dem Chrome CDP-Protokoll zur Wiederverwendung echter Anmeldesitzungen, Umgehung von Schriftarten-Anti-Scraping und Ausgabe von Klartext-Gehalts-JSON/CSV + Gehalts- und Kompetenzanalyse.

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 Aktualisiert 2026-11-03 📅 Erstellt 2026-06-11
41
u3c3/BT-btt

Vorstellung der Magnet-Website U3C3 und Domain-Updates

u3c3
⭐ 1,779 👤 u3c3 User 🕐 Aktualisiert 2025-01-01 📅 Erstellt 2020-04-28
42
howie6879/ruia

Asynchrones Web-Scraping-Mikroframework für Python 3.6+, basierend auf asyncio

howie6879
⭐ 1,738 Python 👤 howie6879 User 🕐 Aktualisiert 2026-10-30 📅 Erstellt 2018-07-10
43
erma0/douyin

Douyin-Crawler – Erfassung öffentlicher Daten wie Profilseite des Kontos, Likes, Sammlungen, Musik-Originaltöne, Hashtags, Suche, Sammlungen, Werke, Follower, Fans usw.

erma0
⭐ 1,625 👤 erma0 User 🕐 Aktualisiert 2026-08-14 📅 Erstellt 2022-05-29
44
ArchiveTeam/grab-site

Der Web-Crawler des Archivars: WARC-Ausgabe, Dashboard für alle Crawls, dynamische Ignoriermuster

ArchiveTeam
⭐ 1,572 Python 👤 ArchiveTeam Organization 🕐 Aktualisiert 2025-05-23 📅 Erstellt 2015-02-05
45
srx-2000/spider_collection

Python-Crawler, Aktueller Bestand: NetEase Cloud Music Song-Crawling, Bilibili Video-Crawling, Zhihu Q&A-Crawling, Wallpaper-Crawling, xvideos Video-Crawling, Hörbuch-Crawling, Weibo-Crawler, Anjuke-Informationen-Crawling + Datenvisualisierung, Bilibili Video-Cover-Extraktor, IP-Proxy-Pool-Verpackung, Zhihu Millionen-Nutzer-Crawler + Datenanalyse, GitHub-Nutzer-Crawler

srx-2000
⭐ 1,554 Python 👤 srx-2000 User 🕐 Aktualisiert 2024-04-23 📅 Erstellt 2020-02-04
46
darbra/sperm

Eine Zusammenfassung interessanter Artikel über Reverse Engineering, die einen Blick wert ist

darbra
⭐ 1,427 👤 darbra User 🕐 Aktualisiert 2026-04-13 📅 Erstellt 2022-03-02
47
okfn-brasil/querido-diario

📰 Brasilianische Amtsblätter für alle zugänglich | 📰 Brasilianische Regierungsgazetten, zugänglich für alle.

okfn-brasil
⭐ 1,424 Python 👤 okfn-brasil Organization 🕐 Aktualisiert 2026-10-12 📅 Erstellt 2018-04-01
48
kgspider/crawler

K-Bruder Web-Scraping-Code-Sharing, JS-Reverse-Engineering, Advanced Web-Scraping. Folgen Sie dem öffentlichen WeChat-Konto von K-Bruder Web-Scraping.

kgspider
⭐ 1,371 JavaScript 👤 kgspider User 🕐 Aktualisiert 2025-05-12 📅 Erstellt 2021-08-24
49
0xInfection/XSRFProbe

Das Prime Cross Site Request Forgery (CSRF) Audit- und Exploitation-Toolkit.

0xInfection
⭐ 1,310 Python 👤 0xInfection User 🕐 Aktualisiert 2026-07-12 📅 Erstellt 2018-08-21
50
bookstairs/bookhunter

Ein Download-Tool zum Herunterladen von E-Books aus dem Internet.

bookstairs
⭐ 1,305 Go 👤 bookstairs Organization 🕐 Aktualisiert 2026-02-28 📅 Erstellt 2022-04-08

Häufig gestellte Fragen

1

Welches ist das beliebteste #spider-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#spider-Projekt auf GitHub ist NaiboWang/EasySpider mit 44,801 Sternen. Ein visueller No-Code-Web-Crawler/Spider: Eine Software zur Browserautomatisierung, Datenerfassung und zum Web-Scraping, mit der Crawling-Aufgaben grafisch und ohne Programmierung entworfen und ausgeführt werden können. Alias: ServiceWrapper, ein intelligentes Service-Kapselungssystem für Webanwendungen.

2

Welche Programmiersprachen werden in #spider-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #spider-Projekten auf GitHub sind Python, Go, PHP, TypeScript die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #spider-Repositories berechnet?

Wir verfolgen 92 aktive Open-Source-Repositories, die mit #spider getaggt sind (500+ Sterne), mit insgesamt 325,814 Sternen und durchschnittlich 3,541 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.