#crawler Repositórios
162 repositórios no total
NetDiscovery é um framework/middleware de rastreamento de propósito geral implementado com base em frameworks como Vert.x e RxJava 2.
Um único comando para usar Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com e X: comandos unificados e saída JSON para pessoas e agentes de IA
Salva páginas da web localmente no seu disco rígido com imagens, css, js e links como estão.
Deteção em tempo real de sistemas antibot, captchas e técnicas de fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security e muito mais, com pontuação de confiança e ferramentas avançadas de captura.
Jie se destaca como uma ferramenta abrangente de avaliação e exploração de segurança, meticulosamente elaborada para aplicações web. Seu robusto conjunto de recursos abrange varredura de vulnerabilidades, coleta de informações e exploração, elevando-a a um kit de ferramentas indispensável para profissionais de segurança e testadores de penetração. Ferramenta auxiliar de caça a bugs (varredura de vulnerabilidades, coleta de informações)
FreeProxy: Coletando proxies gratuitos da internet. (Grande quantidade de proxies gratuitos de alta qualidade em todo o mundo, suporte para rastreamento de dezenas de fontes de compartilhamento de proxies gratuitos, filtragem de proxies com regras personalizadas, essencial para web scraping e análise de dados, atualizado diariamente com uma grande quantidade de proxies gratuitos.)
Infraestrutura web de código aberto para IA. Raspe, rastreie e automatize a web, limpe markdown, sessões de navegador, pronto para seus agentes.
Fresh Onions é um spider TOR de código aberto / rastreador de serviços ocultos onion, hospedado em zlal32teyptf4tvi.onion
✈️ Monitoramento de tarifas aéreas multicanal e auto-hospedado: coleta de detalhes dos voos → envio de alertas com texto e imagens pelo DingTalk → notificações reforçadas em quatro níveis quando as metas são atingidas. Rotas domésticas e internacionais (destinos nos cinco continentes) usam o mesmo fluxo de coleta, avaliação e notificação. Os dados ficam no seu dispositivo, todas as configurações são feitas pela web, e o projeto é de código aberto e gratuito.