#scrapy Repositórios
Descubra 38 repositórios ativos de código aberto no GitHub marcados com #scrapy, acumulando um total de 84,191 estrelas (uma média de 2,215 por projeto). O líder deste tópico é crawlab-team/crawlab, com 12,301 estrelas.
38 repositórios no total
Plataforma de administração de web crawler distribuído para gerenciamento de spiders, independentemente de linguagens e frameworks. 分布式爬虫管理平台,支持任何语言和框架
Interface de crawler de contas públicas do WeChat baseada na pesquisa WeChat do Sogou
Serpentes 🐍 de prática para vários sites, raspagem de dados de comércio eletrônico 🕷. Inclui 🕸: produtos Taobao, contas públicas WeChat, Dianping, Qichacha, sites de recrutamento, Xianyu, tarefas Ali, CSDN, Weibo, Baidu Tieba, filmes do Douban, Baotu.com, Quan Jing Net, música do Douban, Bureau de Supervisão de Medicamentos de uma província, notícias Sohu, coleta de texto de aprendizado de máquina, coleta de ativos fofa, Autohome, Bureau Nacional de Estatísticas, número de inclusão de palavras-chave do Baidu, diretório genérico de aranhas, Toutiao, críticas de filmes do Douban, Ctrip, loja de aplicativos Xiaomi, Anjuke, aluguel de temporada Tujia ❤️❤️❤️. Projeto de demonstração de raspagem do WeChat:
🚀🚀🚀feapder é um framework de crawling poderoso e fácil de usar | feapder é um framework de爬虫 (crawler) Python poderoso e simples de começar. Ele incorpora quatro tipos de crawlers: AirSpider, Spider, TaskSpider e BatchSpider para atender a diferentes cenários de necessidades. Ele também oferece suporte a retomada de crawling interrompido, monitoramento e alerta, renderização de navegador, desduplicação de grandes volumes de dados e outras funcionalidades. Além disso, o poderoso sistema de gerenciamento de crawlers feaplat oferece implantação e agendamento convenientes.
Framework de Gerenciamento de Rastreador Distribuído Baseado em Scrapy, Scrapyd, Django e Vue.js
Aplicativo web para gerenciamento de cluster Scrapyd, análise e visualização de logs Scrapy, empacotamento automático, tarefas de timer, monitoramento e alerta, e interface de usuário móvel. Documentação :point_right:
Projeto histórico de aprendizagem: recomendações de filmes com Spark, web scraping, aplicação web e backend. O desenvolvimento contínuo da nova versão está em cinematch-recommender.
Obtenha informações dos resultados de pesquisa do Weibo; a pesquisa pode ser tanto por palavra-chave do Weibo quanto por tópico do Weibo.
Baixe imagens do Google, Bing, Baidu. Imagens do Google, Baidu, Bing para download.
traduzir documentos do python para chinês para referência conveniente Em resumo, este local é usado para armazenar aqueles documentos do Python e tentar traduzi-los para o chinês~~
O repositório do projeto aberto de web scraping visa compartilhar conhecimento e experiências sobre raspagem de dados (web scraping) com Python
Escreva web scrapers em Ruby usando um DSL limpo e assistido por IA. O Kimurai utiliza IA para descobrir onde os dados estão, em seguida armazena em cache os seletores e faz scraping com Ruby puro. Obtenha a inteligência de um LLM sem a latência por solicitação ou custos de tokens.
Douyin, Kuaishou, Huoshan, Pipi Shrimp, programa removedor de marca d'água de vídeo
Middleware Scrapy para lidar com páginas javascript usando selenium
API de Solucionador de Captcha (verificação) de alto desempenho assíncrono para Douyin (抖音) TikTok Xiaohongshu (小红书) Kuaishou (快手) Weibo (微博) Instagram YouTube (油管) Twitter (X) e E-mail Temporário (serviço de e-mail descartável).
Um framework de crawler multi-thread com muitos crawlers de imagem integrados fornecidos.
Rastreador do Xianyu, desenvolvido com base no cliente web do Xianyu. Fornece uma API de busca de produtos criada com FastAPI, com suporte a solicitações assíncronas concorrentes e à deduplicação e ao armazenamento automatizados de dados. Agora também oferece suporte ao login.
Um conjunto de aranhas e raspadores para extrair informações de localização de lugares que publicam sua localização na internet.
Código de tutorial de web scraping em Python simples, mas útil.
Um poderoso script Python que permite extrair mensagens e mídias de canais do Telegram usando a biblioteca Telethon. Os recursos incluem extração contínua em tempo real, download de mídia e capacidades de exportação de dados.
Projeto de código aberto empresarial de rastreamento de notícias de opinião pública: suporta execução com um clique de qualquer número de rastreadores, tarefas agendadas de rastreadores, exclusão em lote de rastreadores; implantação com um clique de rastreadores; visualização de monitoramento de rastreadores; configuração de estratégia de alocação de rastreadores em cluster; 👉 A documentação de implantação Docker pronta já resolveu os problemas para você.
Rastrear notícias de Toutiao, NetEase, Tencent e outras, e construir um motor de busca simples
spider-admin-pro uma ferramenta de gerenciamento visual que integra visualização de projetos de rastreadores Scrapy+Scrapyd e agendamento de tarefas de rastreadores, uma versão atualizada do SpiderAdmin
Perguntas Frequentes
Qual é o repositório de #scrapy mais popular no GitHub?
O projeto de código aberto de #scrapy mais bem classificado no GitHub é crawlab-team/crawlab, com 12,301 estrelas. Plataforma de administração de web crawler distribuído para gerenciamento de spiders, independentemente de linguagens e frameworks. 分布式爬虫管理平台,支持任何语言和框架
Quais linguagens de programação são mais usadas nos repositórios de #scrapy?
Entre os projetos de #scrapy mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Go, Java, Shell.
Como é calculada a classificação dos repositórios de #scrapy?
Acompanhamos 38 repositórios ativos de código aberto marcados com #scrapy (com mais de 500 estrelas), totalizando 84,191 estrelas e uma média de 2,215 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.