#spider Repositórios
Descubra 92 repositórios ativos de código aberto no GitHub marcados com #spider, acumulando um total de 325,814 estrelas (uma média de 3,541 por projeto). O líder deste tópico é NaiboWang/EasySpider, com 44,801 estrelas.
92 repositórios no total
Um crawler/spider web visual sem código: um software de automação de navegador, coleta de dados e web scraping que permite projetar e executar tarefas de rastreamento graficamente, sem escrever código. Alias: ServiceWrapper, um sistema inteligente de encapsulamento de serviços para aplicações web.
Alguns exemplos muito interessantes de web scraping com Python, amigáveis para iniciantes, focando principalmente em sites como Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, etc. (Alguns exemplos interessantes de web crawlers Python que são amigáveis para iniciantes.)
Plataforma de administração de web crawler distribuído para gerenciamento de spiders, independentemente de linguagens e frameworks. 分布式爬虫管理平台,支持任何语言和框架
Software de gravação de transmissões ao vivo com monitoramento cíclico e gravação múltipla, que suporta a gravação de lives em mais de 40 plataformas, incluindo Douyin, TikTok, Youtube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, pandatv, sooplive, flextv, popkontv, twitcasting, winktv, Baidu, Weibo, Kugou, 17Live, Twitch, Acfun, CHZZK, shopee, etc.
Sistema de Gerenciamento de Filmes AV, crawlers para avmoo, javbus, javlibrary, biblioteca online de vídeos AV, banco de dados de links magnéticos AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
INFO-SPIDER é uma caixa de ferramentas de web scraping que reúne múltiplas fontes de dados 🧰, projetada para ajudar os usuários a recuperar seus próprios dados de forma segura e rápida. O código da ferramenta é de código aberto e os processos são transparentes. As fontes de dados suportadas incluem GitHub, QQ Mail, NetEase Mail, Alibaba Mail, Sina Mail, Hotmail, Outlook Mail, JD.com, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, NetEase Cloud Music, QQ Friends, QQ Groups, geração de álbuns de Momentos, histórico de navegação do navegador, 12306, CSDN Blog, OSChina Blog, JianShu.
Lista de bibliotecas, ferramentas e APIs para web scraping e processamento de dados.
Pholcus é um software de crawler distribuído de alta concorrência escrito em puro golang
Sincronize artigos com várias plataformas de conteúdo com um clique, suportando as principais plataformas como Toutiao (Jinri Toutiao), WordPress, Zhihu, Jianshu, Juejin, CSDN e Typecho. Publique uma vez e distribua simultaneamente em múltiplas plataformas. Liberte a produtividade pessoal.
novel-plus é um CMS de romances repleto de funcionalidades e compatível com várias plataformas (PC, WAP, aplicativo e miniprograma). Inclui recomendações, busca e rankings de romances; leitura, estantes, resenhas e listas de leitura; coleta automática de romances na Web; central de membros e área para escritores; recargas e assinaturas; e publicação de notícias.
Chamadas comuns à API do Bilibili. Suporta funções como vídeos, animes/séries, usuários, canais e áudio. Endereço do repositório original: https://github.com/MoyuScript/bilibili-api
🚀🚀🚀feapder é um framework de crawling poderoso e fácil de usar | feapder é um framework de爬虫 (crawler) Python poderoso e simples de começar. Ele incorpora quatro tipos de crawlers: AirSpider, Spider, TaskSpider e BatchSpider para atender a diferentes cenários de necessidades. Ele também oferece suporte a retomada de crawling interrompido, monitoramento e alerta, renderização de navegador, desduplicação de grandes volumes de dados e outras funcionalidades. Além disso, o poderoso sistema de gerenciamento de crawlers feaplat oferece implantação e agendamento convenientes.
Framework de Gerenciamento de Rastreador Distribuído Baseado em Scrapy, Scrapyd, Django e Vue.js
Aplicativo web para gerenciamento de cluster Scrapyd, análise e visualização de logs Scrapy, empacotamento automático, tarefas de timer, monitoramento e alerta, e interface de usuário móvel. Documentação :point_right:
Remoção de marca d'água de vídeos curtos: Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qing Shipin, Kuaishou, Quanmin Xiaoshipin, Bace Film, Momo, Before Bifeng, Kaiyan, Vue Vlog Xiaokaxiu, Pipigaoqiao, Quanmin K Ge, Xigua Video, DouPai, Huya, 6 Jiao Fang, Lishipin, New Film Set, AcFun, Meipai...
Geziyor, framework de rastreamento e raspagem web ultrarrápido para Go. Suporta renderização JS.
Tutorial de exemplos de Go, do iniciante ao avançado, incluindo uso de bibliotecas básicas, padrões de projeto, pontos de erro comuns em entrevistas, classes utilitárias, integração com terceiros, etc.
:spider: O framework progressivo de rastreamento PHP! Um elegante framework progressivo de coleta PHP.
🕷 CrawlerDetect é uma classe PHP para detectar bots/crawlers/spiders através do user agent
Baixe imagens do Google, Bing, Baidu. Imagens do Google, Baidu, Bing para download.
Framework de web crawler C# multiplataforma, desenvolvido para velocidade e flexibilidade. Por favor, favorite este projeto! +1.
O Blue Sky Collector é um sistema de rastreamento de código aberto e gratuito, que permite coletar dados com apenas cliques e edições de regras. Ele pode ser executado localmente, em hospedagem virtual ou em servidores em nuvem, sendo capaz de coletar quase todos os tipos de páginas da web. Ele se integra perfeitamente a vários programas de construção de sites CMS, publica dados em tempo real sem login, e é totalmente automático, sem intervenção humana! É um sistema de rastreamento em nuvem totalmente multiplataforma em softwares de coleta de dados da web em grande escala.
Assistente de exportação do QQ Space, usado para fazer backup em arquivos de publicações, diários, diários privados, álbuns, vídeos, murais de mensagens, amigos do QQ, favoritos, conteúdos compartilhados e visitantes recentes do QQ Space, facilitando a migração e a preservação.
Um scanner de aplicativos web baseado em Python para coletar OSINT e testar vulnerabilidades OWASP em um site alvo.
Scraper do BOSS Zhipin / Ferramenta de extração de dados de vagas do BOSS Zhipin, baseada no protocolo Chrome CDP para reutilizar sessões de login reais, contornar o anti-scraping de fontes e gerar JSON/CSV de salários em texto simples + análise de habilidades salariais.
Crawler de Douyin – coleta dados públicos como: perfis de conta, curtidas, favoritos, áudios originais, tópicos, resultados de pesquisa, coleções, publicações, contas seguidas, seguidores, entre outros.
O rastreador web do arquivista: saída WARC, painel para todos os rastreamentos, padrões dinâmicos de ignorar
Raspador Python, estoque atual: raspagem de músicas do NetEase Cloud Music, raspagem de vídeos do Bilibili, raspagem de perguntas e respostas do Zhihu, raspagem de papéis de parede, raspagem de vídeos xvideos, raspagem de audiolivros, raspador do Weibo, raspagem de informações do Anjuke + visualização de dados, extrator de capas de vídeo do Bilibili, empacotamento de pool de proxies IP, raspador de milhões de usuários do Zhihu + análise de dados, raspador de usuários do GitHub
Compilação de artigos incríveis sobre engenharia reversa que você já viu, vale a pena conferir.
📰 Diários oficiais brasileiros acessíveis a todos | 📰 Brazilian government gazettes, accessible to everyone.
Compartilhamento de código de crawler do Irmão K, engenharia reversa de JS, aprimoramento de crawler. Siga a conta pública: K哥爬虫
O Kit de Ferramentas de Auditoria e Exploração de Cross Site Request Forgery (CSRF) Prime.
Perguntas Frequentes
Qual é o repositório de #spider mais popular no GitHub?
O projeto de código aberto de #spider mais bem classificado no GitHub é NaiboWang/EasySpider, com 44,801 estrelas. Um crawler/spider web visual sem código: um software de automação de navegador, coleta de dados e web scraping que permite projetar e executar tarefas de rastreamento graficamente, sem escrever código. Alias: ServiceWrapper, um sistema inteligente de encapsulamento de serviços para aplicações web.
Quais linguagens de programação são mais usadas nos repositórios de #spider?
Entre os projetos de #spider mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Go, PHP, TypeScript.
Como é calculada a classificação dos repositórios de #spider?
Acompanhamos 92 repositórios ativos de código aberto marcados com #spider (com mais de 500 estrelas), totalizando 325,814 estrelas e uma média de 3,541 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.