#crawler Repositórios
162 repositórios no total
Um prático downloader de mangás do Bilibili, com interface gráfica, que suporta busca de mangás por palavra-chave e login via código QR, utiliza tecnologia avançada para baixar capítulos bloqueados, oferece download multi-threaded, múltiplos formatos de salvamento, gerenciamento de mangás locais e verificação de atualizações com um clique!
📝 Extraia rapidamente as informações (por exemplo, seguidores, tags etc...) de um perfil do Instagram.
Execute um rastreador de arquivamento web de alta fidelidade baseado em navegador em um único contêiner Docker
📰 Newspaper4k um fork do amado Newspaper3k. Extração de artigos, títulos e metadados de sites de notícias.
Baixe facilmente todas as fotos/vídeos de blogs do tumblr. Baixe as imagens e vídeos de blogs específicos do Tumblr
Servidor de busca empresarial e de sites, de código aberto e auto-hospedado, construído sobre o OpenSearch. Rastreia fontes web, arquivos, bancos de dados e nuvem, suporta mais de 20 idiomas, API REST e busca semântica com IA/RAG. Licença Apache-2.0.
Scripts escaláveis de web scraping em Python para mais de 80 domínios populares
BaiduSpider, um crawler que extrai resultados de pesquisa do Baidu, atualmente suporta a Pesquisa Web do Baidu, a Pesquisa de Imagens do Baidu, a Pesquisa Baidu Zhidao, a Pesquisa de Vídeos do Baidu, a Pesquisa de Notícias do Baidu, a Pesquisa Baidu Wenku, a Pesquisa Baidu Jingyan e a Pesquisa Baidu Baike.
Crawly, um framework de rastreamento e raspagem web de alto nível para Elixir.
Remoção de marca d'água de vídeos curtos com Golang: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipi Gaoxiao, Xigua Video, Huya, Pear Video, AcFun, Haokan Video...
Escreva web scrapers em Ruby usando um DSL limpo e assistido por IA. O Kimurai utiliza IA para descobrir onde os dados estão, em seguida armazena em cache os seletores e faz scraping com Ruby puro. Obtenha a inteligência de um LLM sem a latência por solicitação ou custos de tokens.
Navegador antidetecção em nível de kernel com a API Playwright que você já utiliza. SDKs para Python e Node, compatível com MCP e perfis locais ilimitados. Linux x64 + arm64, macOS Intel + Apple Silicon e Windows x64.
SiteOne Crawler é um rastreador e analisador de websites multiplataforma para otimização de SEO, segurança, acessibilidade e desempenho — ideal para desenvolvedores, DevOps, engenheiros de QA e consultores. Suporta Windows, macOS e Linux (x64 e arm64).
Download de romances | Rastreamento de romances | Qidian | BiQuGe | Exportar Markdown | Exportar txt | Converter epub | Filtragem de anúncios | Correção automática
Ferramentas de protocolo puro em Python e notas de pesquisa para X.com, com conjuntos de dados de contas do Twitter VibeLoft
Casos de engenharia reversa de web scraping, concluídos: Impressão digital TLS | Ruishu | Zhenkunxing | NetEase Yidun | Engenharia reversa de descompilação de Mini Programas WeChat (Baidaxingxi) | Tonghuashun | Descriptografia RPC | Jiasule | Captcha de deslize Geetest | Juliang Suanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Plataforma de Big Data de Políticas Industriais | Qizhidao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Technology | mohurd | EntGroup Data | OKLink
API de Solucionador de Captcha (verificação) de alto desempenho assíncrono para Douyin (抖音) TikTok Xiaohongshu (小红书) Kuaishou (快手) Weibo (微博) Instagram YouTube (油管) Twitter (X) e E-mail Temporário (serviço de e-mail descartável).
Um framework de crawler multi-thread com muitos crawlers de imagem integrados fornecidos.
Scraper do Google Play para Python inspirado por <facundoolano/google-play-scraper>
O ChatWeb pode rastrear páginas da web, ler PDF, DOCX, TXT e extrair o conteúdo principal, em seguida, responder às suas perguntas com base no conteúdo, ou resumir os pontos-chave.
Rastreador (bot) que procura vazamentos em sites de compartilhamento de texto.
Uma biblioteca de testes/raspagem/análise baseada em Kotlin, que oferece a capacidade de analisar e extrair dados de HTML (renderizado no lado do servidor e do cliente). Ela coloca ênfase particular na facilidade de uso e em um alto nível de legibilidade, fornecendo uma DSL intuitiva. Seu objetivo é ser uma biblioteca de testes, mas também pode ser usada para raspar sites de forma conveniente.
ArrowDL (Arrow Downloader) é um gerenciador de downloads para Windows, MacOS e Linux
Krawl é um servidor de engano web personalizável, leve e nativo da nuvem, e um anti-rastreador que cria aplicativos web falsos com vulnerabilidades de baixa pendência usando dados de isca realistas gerados aleatoriamente e modelos HTML gerados por IA.
Uma biblioteca versátil de web spidering em Ruby que pode rastrear um site, múltiplos domínios, links específicos ou infinitamente. Spidr foi projetada para ser rápida e fácil de usar.
Motor Chromium furtivo que impede que scrapers e agentes de navegador sejam bloqueados com uma única alteração em uma linha de código.
Código de tutorial de web scraping em Python simples, mas útil.
The Big Brother é uma plataforma OSINT militarizada que oferece enumeração de nomes de usuário (em mais de 473 plataformas), inteligência visual de quatro vetores, rastreamento Sky Radar, análise de carteiras de criptomoedas, inteligência SSL, reconstrução da pegada digital, extração de EXIF, dorking avançado e reconhecimento de redes.
A ferramenta essencial para engenharia reversa de cookies JS: Ferramenta de monitoramento visual de mudanças em cookies JS e hook de cookies JS para definir pontos de interrupção condicionais.
Raspador de perfil do LinkedIn retornando dados de perfil estruturados em JSON.
Wscan é um scanner de segurança web que se concentra em segurança web, dedicado a tornar a segurança web acessível a todos.
Pesquisar no Google, Bing, Yahoo e outros motores de busca com python
Moodle-DL baixa rapidamente o conteúdo do curso do Moodle (ex.: PDFs de aulas)
Repositório oficial para "Craw4LLM: Rastreamento Web Eficiente para Pré-treinamento de LLM"