#crawler Repositórios
162 repositórios no total
Geziyor, framework de rastreamento e raspagem web ultrarrápido para Go. Suporta renderização JS.
:spider: O framework progressivo de rastreamento PHP! Um elegante framework progressivo de coleta PHP.
Mapeamento do ciberespaço ScopeSentry, enumeração de subdomínios, varredura de portas, descoberta de informações sensíveis, varredura de vulnerabilidades, nós distribuídos
news-please - um rastreador web integrado e extrator de informações para notícias que simplesmente funciona
🕷 CrawlerDetect é uma classe PHP para detectar bots/crawlers/spiders através do user agent
Prompts vazados de GPTs para contornar o limite de 25 mensagens ou para experimentar GPTs sem uma subscrição Plus.
Framework de web crawler C# multiplataforma, desenvolvido para velocidade e flexibilidade. Por favor, favorite este projeto! +1.
Clonador de Sites - Utiliza rotinas Go poderosas para clonar sites no seu computador em segundos.
🏳️🌈 Baixador de mídia de quaisquer sites, incluindo Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid etc.
O Blue Sky Collector é um sistema de rastreamento de código aberto e gratuito, que permite coletar dados com apenas cliques e edições de regras. Ele pode ser executado localmente, em hospedagem virtual ou em servidores em nuvem, sendo capaz de coletar quase todos os tipos de páginas da web. Ele se integra perfeitamente a vários programas de construção de sites CMS, publica dados em tempo real sem login, e é totalmente automático, sem intervenção humana! É um sistema de rastreamento em nuvem totalmente multiplataforma em softwares de coleta de dados da web em grande escala.
A biblioteca principal do NewPipe para extrair dados de sites de streaming
Coleção de exemplos de web scraping. Incluindo, mas não se limitando a 《Taobao, JD, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Alibaba, Toutiao, PDD, Youku, iQiyi, Ctrip, 12306, 58, Sohu, vários índices, VIP, Wanfang Data, Zlibraty, Oalib, romances, sites de licitação, sites de compras, Xiaohongshu, Dianping, Twitter, Maimai, Zhihu》
Diskover Community Edition - Indexador de arquivos de código aberto, mecanismo de busca de arquivos e gerenciamento e análise de dados com tecnologia Elasticsearch
Scraper do BOSS Zhipin / Ferramenta de extração de dados de vagas do BOSS Zhipin, baseada no protocolo Chrome CDP para reutilizar sessões de login reais, contornar o anti-scraping de fontes e gerar JSON/CSV de salários em texto simples + análise de habilidades salariais.
Binding Python para os motores Modest e Lexbor. Parser HTML5 rápido com seletores CSS para Python.
Ferramenta CLI para salvar uma cópia fiel de uma página da web completa em um único arquivo HTML (baseado em SingleFile)
❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] (encontre imóveis de verdade com toda a facilidade) - O Fredy continua a procurar novos apartamentos, casas e imóveis na Europa em plataformas como ImmoScout24, Immowelt e eBay Kleinanzeigen e envia-lhe instantaneamente os resultados através do Slack, Telegram, e-mail, Discord ou ntfy, para que possa concentrar-se nas coisas mais importantes da vida ;)
Crawler de Douyin – coleta dados públicos como: perfis de conta, curtidas, favoritos, áudios originais, tópicos, resultados de pesquisa, coleções, publicações, contas seguidas, seguidores, entre outros.
O rastreador web do arquivista: saída WARC, painel para todos os rastreamentos, padrões dinâmicos de ignorar
Raspador Python, estoque atual: raspagem de músicas do NetEase Cloud Music, raspagem de vídeos do Bilibili, raspagem de perguntas e respostas do Zhihu, raspagem de papéis de parede, raspagem de vídeos xvideos, raspagem de audiolivros, raspador do Weibo, raspagem de informações do Anjuke + visualização de dados, extrator de capas de vídeo do Bilibili, empacotamento de pool de proxies IP, raspador de milhões de usuários do Zhihu + análise de dados, raspador de usuários do GitHub
Coleção de patches para puppeteer e playwright para evitar a detecção de automação e vazamentos. Ajuda a evitar páginas CAPTCHA do Cloudflare e DataDome. Fácil de aplicar/remover patches, pode ser ativado/desativado sob demanda.
Ferramenta de coleta de dados do Xiaohongshu, e para download em massa de imagens e vídeos de sites, uma ferramenta de coleta de dados com um visual deslumbrante (download em massa, extração de vídeo, imagens). Telegram:https://t.me/+ZtLSwuIKTo44MDY1
Compilação de artigos incríveis sobre engenharia reversa que você já viu, vale a pena conferir.
Compartilhamento de código de crawler do Irmão K, engenharia reversa de JS, aprimoramento de crawler. Siga a conta pública: K哥爬虫
Um rastreador/scraper web Ruby leve, com uma DSL elegante, que extrai dados estruturados de páginas.
O Kit de Ferramentas de Auditoria e Exploração de Cross Site Request Forgery (CSRF) Prime.
Alternativa rápida e leve ao Firecrawl/Tavily em Rust. API de web scraping, crawler e pesquisa com servidor MCP para agentes de IA. API compatível com Firecrawl (/scrape, /crawl, /search). 2,3x mais rápida que o Tavily, 1,5x mais rápida que o Firecrawl em benchmarks de 1K URLs. 6 MB de RAM, binário único. Auto-hospedagem ou uso em nuvem gerenciada.
Beanbun é um framework de rastreamento web multiprocesso escrito em PHP, com boa abertura e alta escalabilidade, baseado no Workerman.