Git Stars Git Stars

#scrapy Repositórios

Descubra 38 repositórios ativos de código aberto no GitHub marcados com #scrapy, acumulando um total de 84,191 estrelas (uma média de 2,215 por projeto). O líder deste tópico é crawlab-team/crawlab, com 12,301 estrelas.

38
Total de Repositórios
84,191
Total de estrelas
2,215
Média de Estrelas/Repositório

38 repositórios no total

1
crawlab-team/crawlab

Plataforma de administração de web crawler distribuído para gerenciamento de spiders, independentemente de linguagens e frameworks. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Atualizado 2026-02-10 📅 Criado 2019-02-10
2
chyroc/WechatSogou

Interface de crawler de contas públicas do WeChat baseada na pesquisa WeChat do Sogou

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 Atualizado 2026-10-23 📅 Criado 2016-05-09
3
rmax/scrapy-redis

Componentes baseados em Redis para Scrapy.

rmax
⭐ 5,648 Python 👤 rmax User 🕐 Atualizado 2026-11-21 📅 Criado 2011-08-29
4
DropsDevopsOrg/ECommerceCrawlers

Serpentes 🐍 de prática para vários sites, raspagem de dados de comércio eletrônico 🕷. Inclui 🕸: produtos Taobao, contas públicas WeChat, Dianping, Qichacha, sites de recrutamento, Xianyu, tarefas Ali, CSDN, Weibo, Baidu Tieba, filmes do Douban, Baotu.com, Quan Jing Net, música do Douban, Bureau de Supervisão de Medicamentos de uma província, notícias Sohu, coleta de texto de aprendizado de máquina, coleta de ativos fofa, Autohome, Bureau Nacional de Estatísticas, número de inclusão de palavras-chave do Baidu, diretório genérico de aranhas, Toutiao, críticas de filmes do Douban, Ctrip, loja de aplicativos Xiaomi, Anjuke, aluguel de temporada Tujia ❤️❤️❤️. Projeto de demonstração de raspagem do WeChat:

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 Atualizado 2024-05-22 📅 Criado 2019-03-29
5
nghuyong/WeiboSpider

Ferramenta de coleta de dados do Sina Weibo em manutenção contínua 🚀🚀🚀

nghuyong
⭐ 4,125 Python 👤 nghuyong User 🕐 Atualizado 2026-06-30 📅 Criado 2017-10-29
6
Boris-code/feapder

🚀🚀🚀feapder é um framework de crawling poderoso e fácil de usar | feapder é um framework de爬虫 (crawler) Python poderoso e simples de começar. Ele incorpora quatro tipos de crawlers: AirSpider, Spider, TaskSpider e BatchSpider para atender a diferentes cenários de necessidades. Ele também oferece suporte a retomada de crawling interrompido, monitoramento e alerta, renderização de navegador, desduplicação de grandes volumes de dados e outras funcionalidades. Além disso, o poderoso sistema de gerenciamento de crawlers feaplat oferece implantação e agendamento convenientes.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 Atualizado 2026-08-21 📅 Criado 2021-02-08
7
Gerapy/Gerapy

Framework de Gerenciamento de Rastreador Distribuído Baseado em Scrapy, Scrapyd, Django e Vue.js

Gerapy
⭐ 3,518 Python 👤 Gerapy Organization 🕐 Atualizado 2026-07-04 📅 Criado 2017-06-30
8
my8100/scrapydweb

Aplicativo web para gerenciamento de cluster Scrapyd, análise e visualização de logs Scrapy, empacotamento automático, tarefas de timer, monitoramento e alerta, e interface de usuário móvel. Documentação :point_right:

my8100
⭐ 3,403 Python 👤 my8100 User 🕐 Atualizado 2025-02-19 📅 Criado 2018-09-30
9
scrapy-plugins/scrapy-splash

Scrapy+Splash para integração JavaScript

scrapy-plugins
⭐ 3,230 Python 👤 scrapy-plugins Organization 🕐 Atualizado 2025-02-11 📅 Criado 2013-05-13
10
scrapy/scrapyd

Um daemon de serviço para executar spiders do Scrapy

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 Atualizado 2026-10-23 📅 Criado 2013-02-01
11
RayXBuilds/Movie_Recommend

Projeto histórico de aprendizagem: recomendações de filmes com Spark, web scraping, aplicação web e backend. O desenvolvimento contínuo da nova versão está em cinematch-recommender.

RayXBuilds
⭐ 3,007 Java 👤 RayXBuilds User 🕐 Atualizado 2026-10-21 📅 Criado 2018-04-18
12
dataabc/weibo-search

Obtenha informações dos resultados de pesquisa do Weibo; a pesquisa pode ser tanto por palavra-chave do Weibo quanto por tópico do Weibo.

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 Atualizado 2026-06-05 📅 Criado 2020-03-25
13
QianyanTech/Image-Downloader

Baixe imagens do Google, Bing, Baidu. Imagens do Google, Baidu, Bing para download.

QianyanTech
⭐ 2,331 Python 👤 QianyanTech Organization 🕐 Atualizado 2024-07-07 📅 Criado 2016-07-17
14
ictar/python-doc

traduzir documentos do python para chinês para referência conveniente Em resumo, este local é usado para armazenar aqueles documentos do Python e tentar traduzi-los para o chinês~~

ictar
⭐ 1,942 👤 ictar User 🕐 Atualizado 2024-05-17 📅 Criado 2015-12-18
15
DanMcInerney/xsscrapy

Spider XSS - 66/66 XSS wavsep detectados

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 Atualizado 2024-06-13 📅 Criado 2014-06-23
16
TheWebScrapingClub/webscraping-from-0-to-hero

O repositório do projeto aberto de web scraping visa compartilhar conhecimento e experiências sobre raspagem de dados (web scraping) com Python

TheWebScrapingClub
⭐ 1,695 👤 TheWebScrapingClub Organization 🕐 Atualizado 2024-05-27 📅 Criado 2022-05-26
17
eliasdabbas/advertools

advertools - ferramentas de produtividade e análise de marketing online

eliasdabbas
⭐ 1,508 Python 👤 eliasdabbas User 🕐 Atualizado 2026-06-30 📅 Criado 2017-05-14
18
scrapy-plugins/scrapy-playwright

Integração do Playwright para Scrapy

scrapy-plugins
⭐ 1,469 Python 👤 scrapy-plugins Organization 🕐 Atualizado 2026-11-02 📅 Criado 2020-11-10
19
tb0hdan/domains

O maior conjunto de dados de domínios de Internet do mundo

tb0hdan
⭐ 1,181 Shell 👤 tb0hdan User 🕐 Atualizado 2026-11-11 📅 Criado 2020-01-12
20
xingag/spider_python

raspador Python

xingag
⭐ 1,165 Python 👤 xingag User 🕐 Atualizado 2026-08-07 📅 Criado 2018-09-12
21
juancarlospaco/faster-than-requests

Requisições mais rápidas no Python 3

juancarlospaco
⭐ 1,131 Nim 👤 juancarlospaco User 🕐 Atualizado 2026-11-19 📅 Criado 2018-11-13
22
vifreefly/kimuraframework

Escreva web scrapers em Ruby usando um DSL limpo e assistido por IA. O Kimurai utiliza IA para descobrir onde os dados estão, em seguida armazena em cache os seletores e faz scraping com Ruby puro. Obtenha a inteligência de um LLM sem a latência por solicitação ou custos de tokens.

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 Atualizado 2026-01-27 📅 Criado 2018-08-23
23
moyada/stealer

Douyin, Kuaishou, Huoshan, Pipi Shrimp, programa removedor de marca d'água de vídeo

moyada
⭐ 1,094 Python 👤 moyada User 🕐 Atualizado 2024-05-21 📅 Criado 2020-04-07
24
clemfromspace/scrapy-selenium

Middleware Scrapy para lidar com páginas javascript usando selenium

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 Atualizado 2026-04-13 📅 Criado 2018-02-11
25
TikHub/TikHub-API-Python-SDK

API de Solucionador de Captcha (verificação) de alto desempenho assíncrono para Douyin (抖音) TikTok Xiaohongshu (小红书) Kuaishou (快手) Weibo (微博) Instagram YouTube (油管) Twitter (X) e E-mail Temporário (serviço de e-mail descartável).

TikHub
⭐ 943 Python 👤 TikHub Organization 🕐 Atualizado 2026-10-03 📅 Criado 2022-12-17
26
hellock/icrawler

Um framework de crawler multi-thread com muitos crawlers de imagem integrados fornecidos.

hellock
⭐ 936 Python 👤 hellock User 🕐 Atualizado 2025-12-10 📅 Criado 2016-03-19
27
superboyyy/xianyu_spider

Rastreador do Xianyu, desenvolvido com base no cliente web do Xianyu. Fornece uma API de busca de produtos criada com FastAPI, com suporte a solicitações assíncronas concorrentes e à deduplicação e ao armazenamento automatizados de dados. Agora também oferece suporte ao login.

superboyyy
⭐ 922 Python 👤 superboyyy User 🕐 Atualizado 2026-09-18 📅 Criado 2025-06-04
28
scrapinghub/scrapyrt

API HTTP para spiders do Scrapy

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 Atualizado 2026-10-13 📅 Criado 2015-01-06
29
alltheplaces/alltheplaces

Um conjunto de aranhas e raspadores para extrair informações de localização de lugares que publicam sua localização na internet.

alltheplaces
⭐ 851 Python 👤 alltheplaces Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-06-15
30
MorvanZhou/easy-scraping-tutorial

Código de tutorial de web scraping em Python simples, mas útil.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Atualizado 2024-04-07 📅 Criado 2017-12-29
31
unnohwn/telegram-scraper

Um poderoso script Python que permite extrair mensagens e mídias de canais do Telegram usando a biblioteca Telethon. Os recursos incluem extração contínua em tempo real, download de mídia e capacidades de exportação de dados.

unnohwn
⭐ 797 Python 👤 unnohwn User 🕐 Atualizado 2026-04-11 📅 Criado 2024-11-04
32
scrapy/scrapyd-client

Cliente de linha de comando para o servidor Scrapyd

scrapy
⭐ 773 Python 👤 scrapy Organization 🕐 Atualizado 2026-02-27 📅 Criado 2015-03-27
33
TeamHG-Memex/scrapy-rotating-proxies

use múltiplos proxies com Scrapy

TeamHG-Memex
⭐ 772 Python 👤 TeamHG-Memex Organization 🕐 Atualizado 2026-04-08 📅 Criado 2017-02-01
34
casual-silva/NewsCrawl

Projeto de código aberto empresarial de rastreamento de notícias de opinião pública: suporta execução com um clique de qualquer número de rastreadores, tarefas agendadas de rastreadores, exclusão em lote de rastreadores; implantação com um clique de rastreadores; visualização de monitoramento de rastreadores; configuração de estratégia de alocação de rastreadores em cluster; 👉 A documentação de implantação Docker pronta já resolveu os problemas para você.

casual-silva
⭐ 688 Python 👤 casual-silva User 🕐 Atualizado 2026-05-23 📅 Criado 2022-07-08
35
lzjqsdd/NewsSpider

Rastrear notícias de Toutiao, NetEase, Tencent e outras, e construir um motor de busca simples

lzjqsdd
⭐ 638 Python 👤 lzjqsdd User 🕐 Atualizado 2024-05-14 📅 Criado 2016-04-19
36
mouday/spider-admin-pro

spider-admin-pro uma ferramenta de gerenciamento visual que integra visualização de projetos de rastreadores Scrapy+Scrapyd e agendamento de tarefas de rastreadores, uma versão atualizada do SpiderAdmin

mouday
⭐ 614 Python 👤 mouday User 🕐 Atualizado 2026-06-15 📅 Criado 2021-01-25
37
spekulatius/PHPScraper

Um utilitário web universal para PHP.

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 Atualizado 2026-09-08 📅 Criado 2020-04-21
38
AlexMathew/scrapple

Uma estrutura para criar extratores de conteúdo web semiautomáticos

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 Atualizado 2026-01-16 📅 Criado 2014-12-13

Perguntas Frequentes

1

Qual é o repositório de #scrapy mais popular no GitHub?

O projeto de código aberto de #scrapy mais bem classificado no GitHub é crawlab-team/crawlab, com 12,301 estrelas. Plataforma de administração de web crawler distribuído para gerenciamento de spiders, independentemente de linguagens e frameworks. 分布式爬虫管理平台,支持任何语言和框架

2

Quais linguagens de programação são mais usadas nos repositórios de #scrapy?

Entre os projetos de #scrapy mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Go, Java, Shell.

3

Como é calculada a classificação dos repositórios de #scrapy?

Acompanhamos 38 repositórios ativos de código aberto marcados com #scrapy (com mais de 500 estrelas), totalizando 84,191 estrelas e uma média de 2,215 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.