Git Stars Git Stars

#scrapy Dépôts

Découvrez 38 dépôts GitHub open source actifs associés à #scrapy, cumulant 84,191 étoiles au total (soit une moyenne de 2,215 étoiles par projet). Le projet en tête de ce thème est crawlab-team/crawlab, avec 12,301 étoiles.

38
Total des Dépôts
84,191
Nombre total d'étoiles
2,215
Moyenne d'Étoiles/Dépôt
1
crawlab-team/crawlab

Plateforme d'administration distribuée pour les crawlers web afin de gérer les spiders indépendamment des langages et frameworks. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Mis à jour 2026-02-10 📅 Créé 2019-02-10
2
chyroc/WechatSogou

Interface de crawler des comptes publics WeChat basée sur la recherche WeChat de Sogou

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 Mis à jour 2026-10-23 📅 Créé 2016-05-09
3
rmax/scrapy-redis

Composants basés sur Redis pour Scrapy.

rmax
⭐ 5,648 Python 👤 rmax User 🕐 Mis à jour 2026-11-21 📅 Créé 2011-08-29
4
DropsDevopsOrg/ECommerceCrawlers

Pratique 🐍 de multiples sites web, crawlers de données e-commerce 🕷. Inclut 🕸 : Produits Taobao, comptes publics WeChat, Dianping, Qichacha, sites d'emploi, Xianyu, tâches Ali, Cnblogs, Weibo, Baidu Tieba, films Douban, Baotu.com, Quan jing wang, musique Douban, bureau de supervision des médicaments d'une province, actualités Sohu, collecte de texte d'apprentissage automatique, collecte d'actifs fofa, Autohome, Bureau national des statistiques, nombre d'inclusions de mots-clés Baidu, répertoire général des araignées, Toutiao, critiques de films Douban, Ctrip, magasin d'applications Xiaomi, Anjuke, hébergement Tujia ❤️❤️❤️. Projet de démonstration de crawler WeChat :

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 Mis à jour 2024-05-22 📅 Créé 2019-03-29
5
nghuyong/WeiboSpider

Outil de collecte Sina Weibo maintenu en continu🚀🚀🚀

nghuyong
⭐ 4,125 Python 👤 nghuyong User 🕐 Mis à jour 2026-06-30 📅 Créé 2017-10-29
6
Boris-code/feapder

🚀🚀🚀feapder est un framework de crawler facile à utiliser et puissant | feapder est un framework de crawler Python simple à utiliser et puissant. Il intègre quatre types de crawlers : AirSpider, Spider, TaskSpider et BatchSpider pour répondre aux besoins de différents scénarios. Il prend en charge des fonctionnalités telles que la reprise sur point d'arrêt, la surveillance et les alertes, le rendu du navigateur et la déduplication de grandes quantités de données. De plus, le puissant système de gestion des crawlers feaplat offre un déploiement et une planification pratiques.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 Mis à jour 2026-08-21 📅 Créé 2021-02-08
7
Gerapy/Gerapy

Framework de Gestion de Crawlers Distribué Basé sur Scrapy, Scrapyd, Django et Vue.js

Gerapy
⭐ 3,518 Python 👤 Gerapy Organization 🕐 Mis à jour 2026-07-04 📅 Créé 2017-06-30
8
my8100/scrapydweb

Application web pour la gestion de cluster Scrapyd, analyse et visualisation des logs Scrapy, emballage automatique, tâches planifiées, surveillance et alertes, et UI mobile. Docs documentation :point_right:

my8100
⭐ 3,403 Python 👤 my8100 User 🕐 Mis à jour 2025-02-19 📅 Créé 2018-09-30
9
scrapy-plugins/scrapy-splash

Scrapy+Splash pour l'intégration JavaScript

scrapy-plugins
⭐ 3,230 Python 👤 scrapy-plugins Organization 🕐 Mis à jour 2025-02-11 📅 Créé 2013-05-13
10
scrapy/scrapyd

Un démon de service pour exécuter les spiders Scrapy

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 Mis à jour 2026-10-23 📅 Créé 2013-02-01
11
RayXBuilds/Movie_Recommend

Ancien projet d’apprentissage : recommandations de films avec Spark, web scraping, application web et backend. Le développement continu de la nouvelle version est disponible sur cinematch-recommender.

RayXBuilds
⭐ 3,007 Java 👤 RayXBuilds User 🕐 Mis à jour 2026-10-21 📅 Créé 2018-04-18
12
dataabc/weibo-search

Obtenir des informations sur les résultats de recherche Weibo, la recherche pouvant être une recherche par mot-clé Weibo ou une recherche par sujet Weibo

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 Mis à jour 2026-06-05 📅 Créé 2020-03-25
13
QianyanTech/Image-Downloader

Télécharger des images de Google, Bing, Baidu. Téléchargement d'images depuis Google, Baidu, Bing.

QianyanTech
⭐ 2,331 Python 👤 QianyanTech Organization 🕐 Mis à jour 2024-07-07 📅 Créé 2016-07-17
14
ictar/python-doc

Traduire les documents Python en chinois pour référence pratique En bref, c'est là que résident ces chers documents Python, et nous ferons de notre mieux pour les traduire en chinois ~~

ictar
⭐ 1,942 👤 ictar User 🕐 Mis à jour 2024-05-17 📅 Créé 2015-12-18
15
DanMcInerney/xsscrapy

Araignée XSS - 66/66 wavsep XSS détecté

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 Mis à jour 2024-06-13 📅 Créé 2014-06-23
16
TheWebScrapingClub/webscraping-from-0-to-hero

Le dépôt de projet open source de web scraping vise à partager les connaissances et les expériences en matière de web scraping avec Python.

TheWebScrapingClub
⭐ 1,695 👤 TheWebScrapingClub Organization 🕐 Mis à jour 2024-05-27 📅 Créé 2022-05-26
17
eliasdabbas/advertools

advertools - outils de productivité et d'analyse pour le marketing en ligne

eliasdabbas
⭐ 1,508 Python 👤 eliasdabbas User 🕐 Mis à jour 2026-06-30 📅 Créé 2017-05-14
18
scrapy-plugins/scrapy-playwright

Intégration Playwright pour Scrapy

scrapy-plugins
⭐ 1,469 Python 👤 scrapy-plugins Organization 🕐 Mis à jour 2026-11-02 📅 Créé 2020-11-10
19
tb0hdan/domains

Le plus grand ensemble de données de domaines Internet unique au monde

tb0hdan
⭐ 1,181 Shell 👤 tb0hdan User 🕐 Mis à jour 2026-11-11 📅 Créé 2020-01-12
20
xingag/spider_python

scraper Python

xingag
⭐ 1,165 Python 👤 xingag User 🕐 Mis à jour 2026-08-07 📅 Créé 2018-09-12
21
juancarlospaco/faster-than-requests

Requêtes plus rapides sur Python 3

juancarlospaco
⭐ 1,131 Nim 👤 juancarlospaco User 🕐 Mis à jour 2026-11-19 📅 Créé 2018-11-13
22
vifreefly/kimuraframework

Créez des scrapeurs web en Ruby avec un DSL propre et assisté par IA. Kimurai utilise l'IA pour déterminer où se trouvent les données, puis met en cache les sélecteurs et scrape avec du Ruby pur. Bénéficiez de l'intelligence d'un LLM sans la latence par requête ni les coûts de tokens.

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 Mis à jour 2026-01-27 📅 Créé 2018-08-23
23
moyada/stealer

Douyin, Kuaishou, Huoshan, Pipixia, programme de suppression de filigranes vidéo

moyada
⭐ 1,094 Python 👤 moyada User 🕐 Mis à jour 2024-05-21 📅 Créé 2020-04-07
24
clemfromspace/scrapy-selenium

Middleware Scrapy pour gérer les pages JavaScript en utilisant Selenium

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 Mis à jour 2026-04-13 📅 Créé 2018-02-11
25
TikHub/TikHub-API-Python-SDK

API (interface) asynchrone haute performance pour résoudre les Captchas (solveur de code de vérification) de Douyin (抖音), TikTok, Xiaohongshu (小红书), Kuaishou (快手), Weibo (微博), Instagram, YouTube (油管), Twitter (X) avec Temp Mail (e-mail temporaire).

TikHub
⭐ 943 Python 👤 TikHub Organization 🕐 Mis à jour 2026-10-03 📅 Créé 2022-12-17
26
hellock/icrawler

Un framework de crawler multi-thread avec de nombreux crawlers d'images intégrés fournis.

hellock
⭐ 936 Python 👤 hellock User 🕐 Mis à jour 2025-12-10 📅 Créé 2016-03-19
27
superboyyy/xianyu_spider

Scraper Xianyu, développé à partir du client web de Xianyu. Il fournit une API de recherche de produits construite avec FastAPI, prenant en charge les requêtes asynchrones concurrentes ainsi que la déduplication et le stockage automatisés des données. La connexion est désormais prise en charge.

superboyyy
⭐ 922 Python 👤 superboyyy User 🕐 Mis à jour 2026-09-18 📅 Créé 2025-06-04
28
scrapinghub/scrapyrt

API HTTP pour les spiders Scrapy

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 Mis à jour 2026-10-13 📅 Créé 2015-01-06
29
alltheplaces/alltheplaces

Un ensemble de spiders et de scrapers pour extraire les informations de localisation des lieux qui publient leur position sur Internet.

alltheplaces
⭐ 851 Python 👤 alltheplaces Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2016-06-15
30
MorvanZhou/easy-scraping-tutorial

Code de tutoriel simple mais utile pour le web scraping en Python.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Mis à jour 2024-04-07 📅 Créé 2017-12-29
31
unnohwn/telegram-scraper

Un puissant script Python qui vous permet de récupérer des messages et des médias à partir de canaux Telegram à l'aide de la bibliothèque Telethon. Les fonctionnalités incluent le scraping continu en temps réel, le téléchargement de médias et des capacités d'exportation de données.

unnohwn
⭐ 797 Python 👤 unnohwn User 🕐 Mis à jour 2026-04-11 📅 Créé 2024-11-04
32
scrapy/scrapyd-client

Client en ligne de commande pour le serveur Scrapyd

scrapy
⭐ 773 Python 👤 scrapy Organization 🕐 Mis à jour 2026-02-27 📅 Créé 2015-03-27
33
TeamHG-Memex/scrapy-rotating-proxies

utiliser plusieurs proxys avec Scrapy

TeamHG-Memex
⭐ 772 Python 👤 TeamHG-Memex Organization 🕐 Mis à jour 2026-04-08 📅 Créé 2017-02-01
34
casual-silva/NewsCrawl

Projet open source d'entreprise de crawling d'actualités et d'opinion publique : prend en charge l'exécution en un clic d'un nombre quelconque de crawlers, les tâches planifiées de crawlers, la suppression par lots de crawlers ; déploiement en un clic des crawlers ; visualisation de la surveillance des crawlers ; configuration de la stratégie de répartition des crawlers en cluster ; 👉 La documentation de déploiement Docker prête à l'emploi a déjà résolu les problèmes pour vous.

casual-silva
⭐ 688 Python 👤 casual-silva User 🕐 Mis à jour 2026-05-23 📅 Créé 2022-07-08
35
lzjqsdd/NewsSpider

Récupérer les actualités de Toutiao, NetEase, Tencent, etc., et créer un moteur de recherche simple

lzjqsdd
⭐ 638 Python 👤 lzjqsdd User 🕐 Mis à jour 2024-05-14 📅 Créé 2016-04-19
36
mouday/spider-admin-pro

spider-admin-pro Un outil de gestion visuelle pour la visualisation de projets de crawler Scrapy+Scrapyd et la planification programmée des tâches de crawler, la version améliorée de SpiderAdmin

mouday
⭐ 614 Python 👤 mouday User 🕐 Mis à jour 2026-06-15 📅 Créé 2021-01-25
37
spekulatius/PHPScraper

Un utilitaire web universel pour PHP.

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 Mis à jour 2026-09-08 📅 Créé 2020-04-21
38
AlexMathew/scrapple

Un framework pour la création d'extracteurs de contenu web semi-automatiques

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 Mis à jour 2026-01-16 📅 Créé 2014-12-13

Foire aux questions

1

Quel est le dépôt #scrapy le plus populaire sur GitHub ?

Le projet #scrapy open source le mieux classé sur GitHub est crawlab-team/crawlab, avec 12,301 étoiles. Plateforme d'administration distribuée pour les crawlers web afin de gérer les spiders indépendamment des langages et frameworks. 分布式爬虫管理平台,支持任何语言和框架

2

Quels langages de programmation sont les plus utilisés dans les dépôts #scrapy ?

Parmi les projets #scrapy les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Go, Java, Shell.

3

Comment le classement des dépôts #scrapy est-il calculé ?

Nous suivons 38 dépôts open source actifs associés à #scrapy (500+ étoiles), totalisant 84,191 étoiles, avec une moyenne de 2,215 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.