#scrapy Dépôts
Découvrez 38 dépôts GitHub open source actifs associés à #scrapy, cumulant 84,191 étoiles au total (soit une moyenne de 2,215 étoiles par projet). Le projet en tête de ce thème est crawlab-team/crawlab, avec 12,301 étoiles.
38 dépôts au total
Plateforme d'administration distribuée pour les crawlers web afin de gérer les spiders indépendamment des langages et frameworks. 分布式爬虫管理平台,支持任何语言和框架
Interface de crawler des comptes publics WeChat basée sur la recherche WeChat de Sogou
Pratique 🐍 de multiples sites web, crawlers de données e-commerce 🕷. Inclut 🕸 : Produits Taobao, comptes publics WeChat, Dianping, Qichacha, sites d'emploi, Xianyu, tâches Ali, Cnblogs, Weibo, Baidu Tieba, films Douban, Baotu.com, Quan jing wang, musique Douban, bureau de supervision des médicaments d'une province, actualités Sohu, collecte de texte d'apprentissage automatique, collecte d'actifs fofa, Autohome, Bureau national des statistiques, nombre d'inclusions de mots-clés Baidu, répertoire général des araignées, Toutiao, critiques de films Douban, Ctrip, magasin d'applications Xiaomi, Anjuke, hébergement Tujia ❤️❤️❤️. Projet de démonstration de crawler WeChat :
🚀🚀🚀feapder est un framework de crawler facile à utiliser et puissant | feapder est un framework de crawler Python simple à utiliser et puissant. Il intègre quatre types de crawlers : AirSpider, Spider, TaskSpider et BatchSpider pour répondre aux besoins de différents scénarios. Il prend en charge des fonctionnalités telles que la reprise sur point d'arrêt, la surveillance et les alertes, le rendu du navigateur et la déduplication de grandes quantités de données. De plus, le puissant système de gestion des crawlers feaplat offre un déploiement et une planification pratiques.
Framework de Gestion de Crawlers Distribué Basé sur Scrapy, Scrapyd, Django et Vue.js
Application web pour la gestion de cluster Scrapyd, analyse et visualisation des logs Scrapy, emballage automatique, tâches planifiées, surveillance et alertes, et UI mobile. Docs documentation :point_right:
Ancien projet d’apprentissage : recommandations de films avec Spark, web scraping, application web et backend. Le développement continu de la nouvelle version est disponible sur cinematch-recommender.
Obtenir des informations sur les résultats de recherche Weibo, la recherche pouvant être une recherche par mot-clé Weibo ou une recherche par sujet Weibo
Télécharger des images de Google, Bing, Baidu. Téléchargement d'images depuis Google, Baidu, Bing.
Traduire les documents Python en chinois pour référence pratique En bref, c'est là que résident ces chers documents Python, et nous ferons de notre mieux pour les traduire en chinois ~~
Le dépôt de projet open source de web scraping vise à partager les connaissances et les expériences en matière de web scraping avec Python.
advertools - outils de productivité et d'analyse pour le marketing en ligne
Créez des scrapeurs web en Ruby avec un DSL propre et assisté par IA. Kimurai utilise l'IA pour déterminer où se trouvent les données, puis met en cache les sélecteurs et scrape avec du Ruby pur. Bénéficiez de l'intelligence d'un LLM sans la latence par requête ni les coûts de tokens.
Middleware Scrapy pour gérer les pages JavaScript en utilisant Selenium
API (interface) asynchrone haute performance pour résoudre les Captchas (solveur de code de vérification) de Douyin (抖音), TikTok, Xiaohongshu (小红书), Kuaishou (快手), Weibo (微博), Instagram, YouTube (油管), Twitter (X) avec Temp Mail (e-mail temporaire).
Un framework de crawler multi-thread avec de nombreux crawlers d'images intégrés fournis.
Scraper Xianyu, développé à partir du client web de Xianyu. Il fournit une API de recherche de produits construite avec FastAPI, prenant en charge les requêtes asynchrones concurrentes ainsi que la déduplication et le stockage automatisés des données. La connexion est désormais prise en charge.
Un ensemble de spiders et de scrapers pour extraire les informations de localisation des lieux qui publient leur position sur Internet.
Code de tutoriel simple mais utile pour le web scraping en Python.
Un puissant script Python qui vous permet de récupérer des messages et des médias à partir de canaux Telegram à l'aide de la bibliothèque Telethon. Les fonctionnalités incluent le scraping continu en temps réel, le téléchargement de médias et des capacités d'exportation de données.
Projet open source d'entreprise de crawling d'actualités et d'opinion publique : prend en charge l'exécution en un clic d'un nombre quelconque de crawlers, les tâches planifiées de crawlers, la suppression par lots de crawlers ; déploiement en un clic des crawlers ; visualisation de la surveillance des crawlers ; configuration de la stratégie de répartition des crawlers en cluster ; 👉 La documentation de déploiement Docker prête à l'emploi a déjà résolu les problèmes pour vous.
Récupérer les actualités de Toutiao, NetEase, Tencent, etc., et créer un moteur de recherche simple
spider-admin-pro Un outil de gestion visuelle pour la visualisation de projets de crawler Scrapy+Scrapyd et la planification programmée des tâches de crawler, la version améliorée de SpiderAdmin
Foire aux questions
Quel est le dépôt #scrapy le plus populaire sur GitHub ?
Le projet #scrapy open source le mieux classé sur GitHub est crawlab-team/crawlab, avec 12,301 étoiles. Plateforme d'administration distribuée pour les crawlers web afin de gérer les spiders indépendamment des langages et frameworks. 分布式爬虫管理平台,支持任何语言和框架
Quels langages de programmation sont les plus utilisés dans les dépôts #scrapy ?
Parmi les projets #scrapy les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Go, Java, Shell.
Comment le classement des dépôts #scrapy est-il calculé ?
Nous suivons 38 dépôts open source actifs associés à #scrapy (500+ étoiles), totalisant 84,191 étoiles, avec une moyenne de 2,215 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.