Git Stars Git Stars

#crawler Repositórios

162
Total de Repositórios
1.1M
Total de estrelas
6,863
Média de Estrelas/Repositório

162 repositórios no total

151
fengzhizi715/NetDiscovery

NetDiscovery é um framework/middleware de rastreamento de propósito geral implementado com base em frameworks como Vert.x e RxJava 2.

fengzhizi715
⭐ 643 Java 👤 fengzhizi715 User 🕐 Atualizado 2026-06-05 📅 Criado 2017-11-26
152
cv-cat/catbus

Um único comando para usar Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com e X: comandos unificados e saída JSON para pessoas e agentes de IA

cv-cat
⭐ 641 TypeScript 👤 cv-cat User 🕐 Atualizado 2026-11-20 📅 Criado 2026-09-27
153
rajatomar788/pywebcopy

Salva páginas da web localmente no seu disco rígido com imagens, css, js e links como estão.

rajatomar788
⭐ 639 Python 👤 rajatomar788 User 🕐 Atualizado 2025-05-13 📅 Criado 2018-07-23
154
scrapfly/Antibot-Detector

Deteção em tempo real de sistemas antibot, captchas e técnicas de fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security e muito mais, com pontuação de confiança e ferramentas avançadas de captura.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Atualizado 2026-11-17 📅 Criado 2025-09-03
155
yhy0/Jie

Jie se destaca como uma ferramenta abrangente de avaliação e exploração de segurança, meticulosamente elaborada para aplicações web. Seu robusto conjunto de recursos abrange varredura de vulnerabilidades, coleta de informações e exploração, elevando-a a um kit de ferramentas indispensável para profissionais de segurança e testadores de penetração. Ferramenta auxiliar de caça a bugs (varredura de vulnerabilidades, coleta de informações)

yhy0
⭐ 599 Go 👤 yhy0 User 🕐 Atualizado 2024-07-05 📅 Criado 2023-01-30
156
CharlesPikachu/freeproxy

FreeProxy: Coletando proxies gratuitos da internet. (Grande quantidade de proxies gratuitos de alta qualidade em todo o mundo, suporte para rastreamento de dezenas de fontes de compartilhamento de proxies gratuitos, filtragem de proxies com regras personalizadas, essencial para web scraping e análise de dados, atualizado diariamente com uma grande quantidade de proxies gratuitos.)

CharlesPikachu
⭐ 594 Python 👤 CharlesPikachu User 🕐 Atualizado 2026-11-21 📅 Criado 2018-10-29
157
vakra-dev/reader

Infraestrutura web de código aberto para IA. Raspe, rastreie e automatize a web, limpe markdown, sessões de navegador, pronto para seus agentes.

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 Atualizado 2026-10-06 📅 Criado 2026-01-07
158
zhuyingda/webster

um framework confiável de web crawling e scraping de alto nível para Node.js.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 Atualizado 2025-03-12 📅 Criado 2017-11-04
159
MikeMeliz/TorCrawl.py

Rastrear e extrair páginas web (normais ou onion) através da rede TOR

MikeMeliz
⭐ 550 Python 👤 MikeMeliz User 🕐 Atualizado 2026-06-29 📅 Criado 2016-12-05
160
dirtyfilthy/freshonions-torscraper

Fresh Onions é um spider TOR de código aberto / rastreador de serviços ocultos onion, hospedado em zlal32teyptf4tvi.onion

dirtyfilthy
⭐ 543 Python 👤 dirtyfilthy User 🕐 Atualizado 2026-11-19 📅 Criado 2017-02-15
161
dengmeiluan/ticket-monitoring

✈️ Monitoramento de tarifas aéreas multicanal e auto-hospedado: coleta de detalhes dos voos → envio de alertas com texto e imagens pelo DingTalk → notificações reforçadas em quatro níveis quando as metas são atingidas. Rotas domésticas e internacionais (destinos nos cinco continentes) usam o mesmo fluxo de coleta, avaliação e notificação. Os dados ficam no seu dispositivo, todas as configurações são feitas pela web, e o projeto é de código aberto e gratuito.

dengmeiluan
⭐ 528 Python 👤 dengmeiluan User 🕐 Atualizado 2026-11-18 📅 Criado 2026-09-15
162
AlexMathew/scrapple

Uma estrutura para criar extratores de conteúdo web semiautomáticos

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 Atualizado 2026-01-16 📅 Criado 2014-12-13