Git Stars Git Stars

#scrapy Repositories

Entdecke 38 aktive Open-Source-GitHub-Repositories, die mit #scrapy getaggt sind und insgesamt 84,191 Sterne gesammelt haben (durchschnittlich 2,215 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist crawlab-team/crawlab mit 12,301 Sternen.

38
Gesamtzahl der Repositories
84,191
Gesamtanzahl der Sterne
2,215
Durchschnittliche Sterne/Repo

Insgesamt 38 Repositories

1
crawlab-team/crawlab

Verteilte Web-Crawler-Admin-Plattform zur Verwaltung von Spiders unabhängig von Sprachen und Frameworks. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Aktualisiert 2026-02-10 📅 Erstellt 2019-02-10
2
chyroc/WechatSogou

WeChat-Öffentlicher-Account-Crawler-Schnittstelle basierend auf Sogou WeChat-Suche

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 Aktualisiert 2026-10-23 📅 Erstellt 2016-05-09
3
rmax/scrapy-redis

Redis-basierte Komponenten für Scrapy.

rmax
⭐ 5,648 Python 👤 rmax User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2011-08-29
4
DropsDevopsOrg/ECommerceCrawlers

Praktische 🐍 verschiedene Websites, E-Commerce-Datencrawler 🕷. Enthält 🕸: Taobao-Produkte, WeChat-Öffentliche Accounts, Dianping, Qichacha, Stellenwebsites, Xianyu, Ali-Aufgaben, Cnblogs, Weibo, Baidu Tieba, Douban-Filme, Baotu.com, Quan jing wang, Douban-Musik, Amt für Arzneimittelaufsicht einer Provinz, Sohu-Nachrichten, Maschinelles Lernen Textsammlung, fofa-Asset-Sammlung, Autohome, Nationales Statistikbüro, Baidu-Schlüsselwort-Einschlussanzahl, Spinnen-Generaldirectory, Toutiao, Douban-Filmkritiken, Ctrip, Xiaomi App Store, Anjuke, Tujia Ferienwohnung ❤️❤️❤️. WeChat-Crawler-Demoprojekt:

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 Aktualisiert 2024-05-22 📅 Erstellt 2019-03-29
5
nghuyong/WeiboSpider

Kontinuierlich gepflegtes Sina-Weibo-Sammeltool🚀🚀🚀

nghuyong
⭐ 4,125 Python 👤 nghuyong User 🕐 Aktualisiert 2026-06-30 📅 Erstellt 2017-10-29
6
Boris-code/feapder

🚀🚀🚀feapder ist ein einfach zu bedienendes, leistungsstarkes Crawler-Framework | feapder ist ein einfach zu bedienendes, leistungsstarkes Python-Crawler-Framework. Es verfügt über vier integrierte Spider-Typen: AirSpider, Spider, TaskSpider und BatchSpider, um den Anforderungen verschiedener Szenarien gerecht zu werden. Es unterstützt Funktionen wie unterbrechungsfreies Fortsetzen, Überwachung und Alarmierung, Browser-Rendering und die Deduplizierung großer Datenmengen. Darüber hinaus bietet das leistungsstarke Crawler-Managementsystem feaplat eine bequeme Bereitstellung und Planung.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 Aktualisiert 2026-08-21 📅 Erstellt 2021-02-08
7
Gerapy/Gerapy

Verteiltes Crawler-Management-Framework basierend auf Scrapy, Scrapyd, Django und Vue.js

Gerapy
⭐ 3,518 Python 👤 Gerapy Organization 🕐 Aktualisiert 2026-07-04 📅 Erstellt 2017-06-30
8
my8100/scrapydweb

Web-App für Scrapyd-Cluster-Management, Scrapy-Log-Analyse & -Visualisierung, Auto-Packaging, Timer-Aufgaben, Monitoring & Alerting und Mobile UI. Docs Dokumentation :point_right:

my8100
⭐ 3,403 Python 👤 my8100 User 🕐 Aktualisiert 2025-02-19 📅 Erstellt 2018-09-30
9
scrapy-plugins/scrapy-splash

Scrapy+Splash für JavaScript-Integration

scrapy-plugins
⭐ 3,230 Python 👤 scrapy-plugins Organization 🕐 Aktualisiert 2025-02-11 📅 Erstellt 2013-05-13
10
scrapy/scrapyd

Ein Service-Daemon zum Ausführen von Scrapy-Spiders

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 Aktualisiert 2026-10-23 📅 Erstellt 2013-02-01
11
RayXBuilds/Movie_Recommend

Früheres Lernprojekt: Filmempfehlungen mit Spark, Web Scraping, Webanwendung und Backend. Die neue Version wird unter cinematch-recommender weiterentwickelt.

RayXBuilds
⭐ 3,007 Java 👤 RayXBuilds User 🕐 Aktualisiert 2026-10-21 📅 Erstellt 2018-04-18
12
dataabc/weibo-search

Abrufen von Weibo-Suchergebnisinformationen, wobei die Suche entweder eine Weibo-Schlüsselwortsuche oder eine Weibo-Themensuche sein kann

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 Aktualisiert 2026-06-05 📅 Erstellt 2020-03-25
13
QianyanTech/Image-Downloader

Bilder von Google, Bing, Baidu herunterladen. Herunterladen von Bildern aus Google, Baidu, Bing.

QianyanTech
⭐ 2,331 Python 👤 QianyanTech Organization 🕐 Aktualisiert 2024-07-07 📅 Erstellt 2016-07-17
14
ictar/python-doc

Python-Dokumente ins Chinesische übersetzen zur bequemen Referenz Einfach ausgedrückt, hier werden die Python-Dokumente aufbewahrt, und wir bemühen uns, sie ins Chinesische zu übersetzen ~~

ictar
⭐ 1,942 👤 ictar User 🕐 Aktualisiert 2024-05-17 📅 Erstellt 2015-12-18
15
DanMcInerney/xsscrapy

XSS-Spider - 66/66 wavsep XSS erkannt

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 Aktualisiert 2024-06-13 📅 Erstellt 2014-06-23
16
TheWebScrapingClub/webscraping-from-0-to-hero

Das Open-Source-Repository für Web Scraping zielt darauf ab, Wissen und Erfahrungen über Web Scraping mit Python zu teilen.

TheWebScrapingClub
⭐ 1,695 👤 TheWebScrapingClub Organization 🕐 Aktualisiert 2024-05-27 📅 Erstellt 2022-05-26
17
eliasdabbas/advertools

advertools - Online-Marketing-Produktivitäts- und Analyse-Tools

eliasdabbas
⭐ 1,508 Python 👤 eliasdabbas User 🕐 Aktualisiert 2026-06-30 📅 Erstellt 2017-05-14
18
scrapy-plugins/scrapy-playwright

Playwright-Integration für Scrapy

scrapy-plugins
⭐ 1,469 Python 👤 scrapy-plugins Organization 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2020-11-10
19
tb0hdan/domains

Größtes weltweites einzelnes Dataset von Internet-Domains

tb0hdan
⭐ 1,181 Shell 👤 tb0hdan User 🕐 Aktualisiert 2026-11-11 📅 Erstellt 2020-01-12
20
xingag/spider_python

Python Crawler

xingag
⭐ 1,165 Python 👤 xingag User 🕐 Aktualisiert 2026-08-07 📅 Erstellt 2018-09-12
21
juancarlospaco/faster-than-requests

Schnellere Anfragen mit Python 3

juancarlospaco
⭐ 1,131 Nim 👤 juancarlospaco User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2018-11-13
22
vifreefly/kimuraframework

Schreiben Sie Web‑Scraper in Ruby mit einer sauberen, KI‑gestützten DSL. Kimurai nutzt KI, um herauszufinden, wo die Daten liegen, speichert dann die Selektoren im Cache und scrapt ausschließlich mit reinem Ruby. Profitieren Sie von der Intelligenz eines LLM ohne die Latenz pro Anfrage oder Token‑Kosten.

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 Aktualisiert 2026-01-27 📅 Erstellt 2018-08-23
23
moyada/stealer

Douyin, Kuaishou, Huoshan, Pipixia, Video-Wasserzeichen-Entferner

moyada
⭐ 1,094 Python 👤 moyada User 🕐 Aktualisiert 2024-05-21 📅 Erstellt 2020-04-07
24
clemfromspace/scrapy-selenium

Scrapy-Middleware zum Behandeln von JavaScript-Seiten mit Selenium

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 Aktualisiert 2026-04-13 📅 Erstellt 2018-02-11
25
TikHub/TikHub-API-Python-SDK

Hochleistungs-asynchroner Captcha-Löser (Verifizierungscode-Löser) für Douyin (抖音), TikTok, Xiaohongshu (小红书), Kuaishou (快手), Weibo (微博), Instagram, YouTube (油管), Twitter (X) mit Temp Mail (temporäre E-Mail)-API (Schnittstelle).

TikHub
⭐ 943 Python 👤 TikHub Organization 🕐 Aktualisiert 2026-10-03 📅 Erstellt 2022-12-17
26
hellock/icrawler

Ein Multi-Thread-Crawler-Framework mit vielen integrierten Bildcrawlern.

hellock
⭐ 936 Python 👤 hellock User 🕐 Aktualisiert 2025-12-10 📅 Erstellt 2016-03-19
27
superboyyy/xianyu_spider

Xianyu-Scraper, entwickelt auf Basis des Xianyu-Webclients. Er bietet eine mit FastAPI erstellte Produktsuch-API, die asynchrone parallele Anfragen sowie die automatisierte Deduplizierung und Speicherung von Daten unterstützt. Die Anmeldung wird jetzt unterstützt.

superboyyy
⭐ 922 Python 👤 superboyyy User 🕐 Aktualisiert 2026-09-18 📅 Erstellt 2025-06-04
28
scrapinghub/scrapyrt

HTTP-API für Scrapy-Spinnen

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 Aktualisiert 2026-10-13 📅 Erstellt 2015-01-06
29
alltheplaces/alltheplaces

Eine Sammlung von Spiders und Scrapers zum Extrahieren von Standortinformationen aus Orten, die ihren Standort im Internet posten.

alltheplaces
⭐ 851 Python 👤 alltheplaces Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-06-15
30
MorvanZhou/easy-scraping-tutorial

Einfacher, aber nützlicher Python-Web-Scraping-Tutorial-Code.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Aktualisiert 2024-04-07 📅 Erstellt 2017-12-29
31
unnohwn/telegram-scraper

Ein leistungsstarkes Python-Skript, das es Ihnen ermöglicht, Nachrichten und Medien aus Telegram-Kanälen mit der Telethon-Bibliothek zu scrapen. Zu den Funktionen gehören kontinuierliches Scrapen in Echtzeit, Herunterladen von Medien und Datenexportfunktionen.

unnohwn
⭐ 797 Python 👤 unnohwn User 🕐 Aktualisiert 2026-04-11 📅 Erstellt 2024-11-04
32
scrapy/scrapyd-client

Command-Line-Client für den Scrapyd-Server

scrapy
⭐ 773 Python 👤 scrapy Organization 🕐 Aktualisiert 2026-02-27 📅 Erstellt 2015-03-27
33
TeamHG-Memex/scrapy-rotating-proxies

mehrere Proxys mit Scrapy verwenden

TeamHG-Memex
⭐ 772 Python 👤 TeamHG-Memex Organization 🕐 Aktualisiert 2026-04-08 📅 Erstellt 2017-02-01
34
casual-silva/NewsCrawl

Open-Source-Unternehmensprojekt für Meinungsnachrichten-Crawler: unterstützt den Ein-Klick-Betrieb einer beliebigen Anzahl von Crawlern, geplante Crawler-Aufgaben, Batch-Löschung von Crawlern; Ein-Klick-Bereitstellung von Crawlern; Crawler-Überwachungsvisualisierung; Konfiguration der Cluster-Crawler-Zuteilungsstrategie; 👉 Die fertige Docker-Ein-Klick-Bereitstellungsdokumentation hat die Fallstricke bereits für Sie beseitigt.

casual-silva
⭐ 688 Python 👤 casual-silva User 🕐 Aktualisiert 2026-05-23 📅 Erstellt 2022-07-08
35
lzjqsdd/NewsSpider

News von Toutiao, NetEase, Tencent usw. scrapen und eine einfache Suchmaschine erstellen

lzjqsdd
⭐ 638 Python 👤 lzjqsdd User 🕐 Aktualisiert 2024-05-14 📅 Erstellt 2016-04-19
36
mouday/spider-admin-pro

spider-admin-pro Ein visuelles Verwaltungstool für das Anzeigen von Scrapy- und Scrapyd-Crawler-Projekten sowie für die zeitgesteuerte Planung von Crawler-Aufgaben, die aufgerüstete Version von SpiderAdmin

mouday
⭐ 614 Python 👤 mouday User 🕐 Aktualisiert 2026-06-15 📅 Erstellt 2021-01-25
37
spekulatius/PHPScraper

Ein universelles Web-Util für PHP.

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 Aktualisiert 2026-09-08 📅 Erstellt 2020-04-21
38
AlexMathew/scrapple

Ein Framework zur Erstellung semi-automatischer Web-Content-Extraktoren

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 Aktualisiert 2026-01-16 📅 Erstellt 2014-12-13

Häufig gestellte Fragen

1

Welches ist das beliebteste #scrapy-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#scrapy-Projekt auf GitHub ist crawlab-team/crawlab mit 12,301 Sternen. Verteilte Web-Crawler-Admin-Plattform zur Verwaltung von Spiders unabhängig von Sprachen und Frameworks. 分布式爬虫管理平台,支持任何语言和框架

2

Welche Programmiersprachen werden in #scrapy-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #scrapy-Projekten auf GitHub sind Python, Go, Java, Shell die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #scrapy-Repositories berechnet?

Wir verfolgen 38 aktive Open-Source-Repositories, die mit #scrapy getaggt sind (500+ Sterne), mit insgesamt 84,191 Sternen und durchschnittlich 2,215 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.