Git Stars Git Stars

#spider Repositórios

92
Total de Repositórios
325,814
Total de estrelas
3,541
Média de Estrelas/Repositório

92 repositórios no total

51
kiddyuchina/Beanbun

Beanbun é um framework de rastreamento web multiprocesso escrito em PHP, com boa abertura e alta escalabilidade, baseado no Workerman.

kiddyuchina
⭐ 1,258 PHP 👤 kiddyuchina User 🕐 Atualizado 2026-05-26 📅 Criado 2017-04-13
52
scrapfly/scrapfly-scrapers

Scripts escaláveis de web scraping em Python para mais de 80 domínios populares

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-05-22
53
BaiduSpider/BaiduSpider

BaiduSpider, um crawler que extrai resultados de pesquisa do Baidu, atualmente suporta a Pesquisa Web do Baidu, a Pesquisa de Imagens do Baidu, a Pesquisa Baidu Zhidao, a Pesquisa de Vídeos do Baidu, a Pesquisa de Notícias do Baidu, a Pesquisa Baidu Wenku, a Pesquisa Baidu Jingyan e a Pesquisa Baidu Baike.

BaiduSpider
⭐ 1,130 Python 👤 BaiduSpider Organization 🕐 Atualizado 2024-06-14 📅 Criado 2020-10-03
54
elixir-crawly/crawly

Crawly, um framework de rastreamento e raspagem web de alto nível para Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Atualizado 2026-11-20 📅 Criado 2019-03-09
55
skygazer42/DL-Hub

LLMs (Grandes Modelos): 50 Notas. Este repositório inclui projetos práticos nas áreas de aprendizado de máquina, aprendizado profundo, visão computacional, processamento de linguagem natural, Grandes Modelos e web scraping, entre outros campos.

skygazer42
⭐ 1,121 Python 👤 skygazer42 User 🕐 Atualizado 2026-08-30 📅 Criado 2022-04-05
56
wujunwei928/parse-video

Remoção de marca d'água de vídeos curtos com Golang: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipi Gaoxiao, Xigua Video, Huya, Pear Video, AcFun, Haokan Video...

wujunwei928
⭐ 1,104 Go 👤 wujunwei928 User 🕐 Atualizado 2026-11-08 📅 Criado 2022-07-12
57
zhangyd-c/OneBlog

:alien: OneBlog, um blog Java conciso, bonito, poderoso e responsivo

zhangyd-c
⭐ 1,103 Java 👤 zhangyd-c User 🕐 Atualizado 2025-03-16 📅 Criado 2018-04-10
58
1061700625/WeChat_Article

Rastrear artigos do WeChat Official Account

1061700625
⭐ 1,089 Python 👤 1061700625 User 🕐 Atualizado 2026-06-17 📅 Criado 2019-02-21
59
gsh199449/spider

Um web spider configurável com um console web fácil de usar

gsh199449
⭐ 996 Java 👤 gsh199449 User 🕐 Atualizado 2026-06-03 📅 Criado 2016-11-24
60
spidersuite/SpiderSuite

Lançamentos, wiki e roteiro do SpiderSuite (crawler de segurança web)

spidersuite
⭐ 990 👤 spidersuite Organization 🕐 Atualizado 2026-08-13 📅 Criado 2023-04-05
61
QIN2DIM/V2RSS

:rocket: Coletar|Grátis|De alta qualidade|Assinatura?

QIN2DIM
⭐ 978 Python 👤 QIN2DIM User 🕐 Atualizado 2026-11-17 📅 Criado 2020-06-02
62
LoseNine/Crack-JS-Spider

Quebra de engenharia reversa de JS, quebra de parâmetros de criptografia anti-rastreamento de JS, Geetest Slider quebrado (2022.2.19), QQ Music sign (2022.2.13), Pinduoduo anti_content, Boss Zhipin zp_token, Zhihu x-zse-96, Kugou kg_mid/dfid, Vipshop mars_cid, China Judgements Online (atualizado em 2020-06-30), senha do Taobao, login da Tianan Insurance, login do Bilibili, login do SouFun, login do WPS, login do Weibo, Youdao Translate, login do NetEase, login da conta oficial do WeChat, login da Airuankong, login do Jinmobiao, login do sistema de gerenciamento de informações estudantis, login do Gongying Finance, login da Plataforma de Compartilhamento de Recursos Científicos e Tecnológicos de Chongqing, download do NetEase Cloud Music, análise de links de vídeo com um clique, login da Cailianshe.

LoseNine
⭐ 974 JavaScript 👤 LoseNine User 🕐 Atualizado 2024-05-03 📅 Criado 2020-02-09
63
fredwu/crawler

Um web crawler / scraper de alto desempenho em Elixir.

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 Atualizado 2026-11-21 📅 Criado 2016-08-08
64
ma6254/FictionDown

Download de romances | Rastreamento de romances | Qidian | BiQuGe | Exportar Markdown | Exportar txt | Converter epub | Filtragem de anúncios | Correção automática

ma6254
⭐ 955 Go 👤 ma6254 User 🕐 Atualizado 2025-01-21 📅 Criado 2019-03-03
65
0xAllenChen/spider_reverse

Casos de engenharia reversa de web scraping, concluídos: Impressão digital TLS | Ruishu | Zhenkunxing | NetEase Yidun | Engenharia reversa de descompilação de Mini Programas WeChat (Baidaxingxi) | Tonghuashun | Descriptografia RPC | Jiasule | Captcha de deslize Geetest | Juliang Suanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Plataforma de Big Data de Políticas Industriais | Qizhidao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Technology | mohurd | EntGroup Data | OKLink

0xAllenChen
⭐ 946 Python 👤 0xAllenChen User 🕐 Atualizado 2026-11-17 📅 Criado 2023-06-02
66
hellock/icrawler

Um framework de crawler multi-thread com muitos crawlers de imagem integrados fornecidos.

hellock
⭐ 936 Python 👤 hellock User 🕐 Atualizado 2025-12-10 📅 Criado 2016-03-19
67
alltheplaces/alltheplaces

Um conjunto de aranhas e raspadores para extrair informações de localização de lugares que publicam sua localização na internet.

alltheplaces
⭐ 851 Python 👤 alltheplaces Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-06-15
68
BlessedRebuS/Krawl

Krawl é um servidor de engano web personalizável, leve e nativo da nuvem, e um anti-rastreador que cria aplicativos web falsos com vulnerabilidades de baixa pendência usando dados de isca realistas gerados aleatoriamente e modelos HTML gerados por IA.

BlessedRebuS
⭐ 844 Python 👤 BlessedRebuS User 🕐 Atualizado 2026-11-20 📅 Criado 2025-12-10
69
kingschan1204/istock

:point_right: Um rastreador de ações Java baseado em Spring Boot (suporta apenas ações A-share). Se você gostar:heart:, por favor, dê uma estrela:star:. A versão de atualização V2 está em desenvolvimento!

kingschan1204
⭐ 836 Java 👤 kingschan1204 User 🕐 Atualizado 2024-12-27 📅 Criado 2017-03-09
70
postmodern/spidr

Uma biblioteca versátil de web spidering em Ruby que pode rastrear um site, múltiplos domínios, links específicos ou infinitamente. Spidr foi projetada para ser rápida e fácil de usar.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Atualizado 2026-01-12 📅 Criado 2009-03-08
71
DoiiarX/NLCISBNPlugin

Plugin de origem/metadados do calibre baseado na pesquisa ISBN da Biblioteca Nacional da China. https://doiiars.com/article/NLCISBNPlugin

DoiiarX
⭐ 812 Python 👤 DoiiarX User 🕐 Atualizado 2026-01-07 📅 Criado 2023-12-14
72
bahaabdelwahed/killshot

Um Framework de Teste de Penetração, ferramenta de coleta de informações e scanner de vulnerabilidades de websites

bahaabdelwahed
⭐ 791 Ruby 👤 bahaabdelwahed User 🕐 Atualizado 2025-12-07 📅 Criado 2018-10-27
73
montaro2017/bili_novel_packer

Empacotador de Light Novel, que coleta conteúdo dos sites Bili Light Novel (bilinovel.com linovelib.com) e o empacota no formato EPUB, suportando capas, ilustrações, índice e a fusão de volumes separados.

montaro2017
⭐ 787 Dart 👤 montaro2017 User 🕐 Atualizado 2026-11-13 📅 Criado 2023-02-20
74
xuxueli/xxl-crawler

Um framework de web crawler leve. (Framework de rastreamento Java)

xuxueli
⭐ 756 Java 👤 xuxueli User 🕐 Atualizado 2026-08-08 📅 Criado 2017-10-17
75
polyrabbit/hacker-news-digest

📰 Deixe um LLM resumir o Hacker News para você

polyrabbit
⭐ 754 Python 👤 polyrabbit User 🕐 Atualizado 2026-11-21 📅 Criado 2014-09-17
76
signal18/replication-manager

Signal 18 repman - Gerenciador de Replicação para MySQL / MariaDB / Percona Server

signal18
⭐ 747 Go 👤 signal18 Organization 🕐 Atualizado 2026-11-20 📅 Criado 2015-10-14
77
josephlimtech/linkedin-profile-scraper-api

Raspador de perfil do LinkedIn retornando dados de perfil estruturados em JSON.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Atualizado 2024-04-05 📅 Criado 2018-12-21
78
wujunwei928/parse-video-py

Rastreamento de remoção de marca d'água de vídeos curtos em Python: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Vídeo curto nacional, Pipi divertido, Xigua Video, Huya, Li Video, AcFun, Vídeo Haokan...

wujunwei928
⭐ 721 Python 👤 wujunwei928 User 🕐 Atualizado 2026-11-08 📅 Criado 2024-04-03
79
xinlingqudongX/TSDK

SDK de raspagem (scraping) do Taobao, para login e raspagem das plataformas abertas do Taobao, Taobao, Tmall e Alibaba

xinlingqudongX
⭐ 716 Python 👤 xinlingqudongX User 🕐 Atualizado 2026-03-26 📅 Criado 2018-12-06
80
casual-silva/NewsCrawl

Projeto de código aberto empresarial de rastreamento de notícias de opinião pública: suporta execução com um clique de qualquer número de rastreadores, tarefas agendadas de rastreadores, exclusão em lote de rastreadores; implantação com um clique de rastreadores; visualização de monitoramento de rastreadores; configuração de estratégia de alocação de rastreadores em cluster; 👉 A documentação de implantação Docker pronta já resolveu os problemas para você.

casual-silva
⭐ 688 Python 👤 casual-silva User 🕐 Atualizado 2026-05-23 📅 Criado 2022-07-08
81
darbra/sign

A abordagem e a experiência na engenharia reversa de parâmetros de aplicativos, engenharia reversa Android

darbra
⭐ 667 👤 darbra User 🕐 Atualizado 2024-06-13 📅 Criado 2020-05-26
82
spiritLHLS/Hang-up-items

Projeto de questionário, recomendação de servidor em nuvem, projeto de ocupação, proxy gratuito, coleção de vários scripts. Bem-vindo ao canto superior direito para clicar no sino e receber informações de atualização oportunas. (Não faça fork, seja discreto)

spiritLHLS
⭐ 646 👤 spiritLHLS User 🕐 Atualizado 2026-11-13 📅 Criado 2022-04-11
83
fengzhizi715/NetDiscovery

NetDiscovery é um framework/middleware de rastreamento de propósito geral implementado com base em frameworks como Vert.x e RxJava 2.

fengzhizi715
⭐ 643 Java 👤 fengzhizi715 User 🕐 Atualizado 2026-06-05 📅 Criado 2017-11-26
84
cv-cat/catbus

Um único comando para usar Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com e X: comandos unificados e saída JSON para pessoas e agentes de IA

cv-cat
⭐ 641 TypeScript 👤 cv-cat User 🕐 Atualizado 2026-11-20 📅 Criado 2026-09-27
85
scrapfly/Antibot-Detector

Deteção em tempo real de sistemas antibot, captchas e técnicas de fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security e muito mais, com pontuação de confiança e ferramentas avançadas de captura.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Atualizado 2026-11-17 📅 Criado 2025-09-03
86
l4rm4nd/LinkedInDumper

Script Python 3 para despejar/raspar/extrair funcionários da empresa da API do LinkedIn

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 Atualizado 2026-08-21 📅 Criado 2022-10-17
87
mouday/spider-admin-pro

spider-admin-pro uma ferramenta de gerenciamento visual que integra visualização de projetos de rastreadores Scrapy+Scrapyd e agendamento de tarefas de rastreadores, uma versão atualizada do SpiderAdmin

mouday
⭐ 614 Python 👤 mouday User 🕐 Atualizado 2026-06-15 📅 Criado 2021-01-25
88
jadehh/TVSpider

Repositório de Crawler para Filmes, TV e Mao Yingshi

jadehh
⭐ 604 JavaScript 👤 jadehh User 🕐 Atualizado 2024-09-18 📅 Criado 2023-02-16
89
CharlesPikachu/freeproxy

FreeProxy: Coletando proxies gratuitos da internet. (Grande quantidade de proxies gratuitos de alta qualidade em todo o mundo, suporte para rastreamento de dezenas de fontes de compartilhamento de proxies gratuitos, filtragem de proxies com regras personalizadas, essencial para web scraping e análise de dados, atualizado diariamente com uma grande quantidade de proxies gratuitos.)

CharlesPikachu
⭐ 594 Python 👤 CharlesPikachu User 🕐 Atualizado 2026-11-21 📅 Criado 2018-10-29
90
zhuyingda/webster

um framework confiável de web crawling e scraping de alto nível para Node.js.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 Atualizado 2025-03-12 📅 Criado 2017-11-04
91
dirtyfilthy/freshonions-torscraper

Fresh Onions é um spider TOR de código aberto / rastreador de serviços ocultos onion, hospedado em zlal32teyptf4tvi.onion

dirtyfilthy
⭐ 543 Python 👤 dirtyfilthy User 🕐 Atualizado 2026-11-19 📅 Criado 2017-02-15
92
sansan0/bilibili-comment-analyzer

🎯 Software de análise de visualização de dados de comentários do Bilibili -- os criadores podem usá-lo para orientar a seleção de temas e entender sua base de fãs.

sansan0
⭐ 503 Python 👤 sansan0 User 🕐 Atualizado 2025-06-27 📅 Criado 2025-06-03