#web-crawler Repositórios
Descubra 39 repositórios ativos de código aberto no GitHub marcados com #web-crawler, acumulando um total de 470,326 estrelas (uma média de 12,059 por projeto). O líder deste tópico é firecrawl/firecrawl, com 205,758 estrelas.
39 repositórios no total
Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.
Crawl4AI Cloud oficial: uma API hospedada de scraping da web, extração e pesquisa para agentes de IA. Chave de API gratuita, 1.000 créditos por mês e sem cartão. Totalmente de código aberto: este repositório contém o crawler Apache-2.0 que o alimenta, e você pode hospedá-lo por conta própria.
Crawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe arquivos HTML, PDF, JPG, PNG e outros de websites. Funciona com Puppeteer, Playwright, Cheerio, JSDOM e HTTP puro. Em modo com e sem interface gráfica (headful e headless). Com rotação de proxy.
O melhor navegador headless para agentes de IA. Leve, rápido e altamente compatível. Desenvolvido em Rust
Plataforma de administração de web crawler distribuído para gerenciamento de spiders, independentemente de linguagens e frameworks. 分布式爬虫管理平台,支持任何语言和框架
Crawlee — uma biblioteca Python de web scraping e automação de navegador para criar crawlers confiáveis. Extraia dados estruturados com LLMs por meio do Pydantic AI ou controle o navegador em linguagem natural com o Stagehand. Compatível com BeautifulSoup, Parsel, Playwright e HTTP bruto. Baixe HTML, PDF, imagens e outros arquivos. A rotação de proxies está incluída.
Ingerir, analisar e otimizar qualquer formato de dados ➡️ de documentos a multimídia ➡️ para maior compatibilidade com frameworks de GenAI
Servidor MCP oficial do Firecrawl, a API de contexto para agentes de IA: pesquise, extraia conteúdo e interaja com a web, além de analisar, rastrear e mapear sites e usar Agent e Monitor em qualquer cliente MCP.
A web ideal para seu agente de codificação de IA — pesquisa local, busca, rastreamento e pesquisa via MCP. Sem chaves de API, sem nuvem, $0/consulta. Beta pública.
API de web scraping de código aberto. Transforme qualquer site em Markdown limpo ou JSON estruturado. Navegador anti-detecção, seleção automática de proxy, auto-hospedado. Um comando: make up
Rastreie um site a partir de uma URL, encontre páginas relevantes e extraia dados – tudo guiado pela sua solicitação em linguagem natural.
Extração rápida de conteúdo web local-first para LLMs. Raspe, rastreie, extraia dados estruturados — tudo em Rust. CLI, REST API e servidor MCP.
Framework de web crawler C# multiplataforma, desenvolvido para velocidade e flexibilidade. Por favor, favorite este projeto! +1.
Motor de busca na Internet para websites orientados a texto. Indexando a web pequena, antiga e bizarra.
Ferramenta CLI para salvar uma cópia fiel de uma página da web completa em um único arquivo HTML (baseado em SingleFile)
20 de novembro de 2017 -- Um motor de busca distribuído de código aberto e spider/crawler escrito em C/C++ para Linux em Intel/AMD. De gigablast ponto com, que tem binários para download. Veja o arquivo README.md no final desta página para instruções.
Fique nas ombreiras dos gigantes — Crie habilidades de IA construídas com metodologias comprovadas de especialistas do domínio.
Verificador de links quebrados que rastreia sites e valida links. Encontre links quebrados, links inativos e URLs inválidas em sites, documentação e arquivos locais. Perfeito para auditorias de SEO e CI/CD.
Alternativa rápida e leve ao Firecrawl/Tavily em Rust. API de web scraping, crawler e pesquisa com servidor MCP para agentes de IA. API compatível com Firecrawl (/scrape, /crawl, /search). 2,3x mais rápida que o Tavily, 1,5x mais rápida que o Firecrawl em benchmarks de 1K URLs. 6 MB de RAM, binário único. Auto-hospedagem ou uso em nuvem gerenciada.
Execute um rastreador de arquivamento web de alta fidelidade baseado em navegador em um único contêiner Docker
Crawler SEO para desktop gratuito - alternativa open source ao Screaming Frog e ferramentas semelhantes. Rastreie sites, analise links, extraia dados SEO e exporte resultados sem taxas de assinatura. Totalmente personalizável e extensível!
Scripts escaláveis de web scraping em Python para mais de 80 domínios populares
🔥 Este repositório contém exemplos completos de aplicações, incluindo sites e outros projetos, desenvolvidos usando o Firecrawl.
Uma biblioteca versátil de web spidering em Ruby que pode rastrear um site, múltiplos domínios, links específicos ou infinitamente. Spidr foi projetada para ser rápida e fácil de usar.
🔍 Motor de busca de internet de código aberto desenvolvido em Go, com o tutorial «Desenvolva Seu Próprio Motor de Busca de Internet»
Uma extensão de navegador projetada para cenários de coleta de informações de páginas na descoberta de vulnerabilidades SRC, que coleta automaticamente informações sensíveis e pistas suspeitas de páginas e recursos relacionados, suportando varredura básica, varredura recursiva profunda, testes de API em massa, exportação de resultados e configuração de expressões regulares personalizadas.
Script Python que permite a pessoas sem conhecimentos de programação gerar leads de qualidade em grande escala. Este repositório reunirá diversas técnicas versáteis utilizadas na geração de leads.
Repositório oficial para "Craw4LLM: Rastreamento Web Eficiente para Pré-treinamento de LLM"
Infraestrutura web de código aberto para IA. Raspe, rastreie e automatize a web, limpe markdown, sessões de navegador, pronto para seus agentes.
O único kit de ferramentas open-source que pode baixar relatórios financeiros SEC EDGAR e extrair dados textuais de seções de itens específicos em arquivos JSON estruturados, bonitos e limpos. Apresentado no WWW 2025 @ Sydney, Austrália (https://dl.acm.org/doi/10.1145/3701716.3715289)
Perguntas Frequentes
Qual é o repositório de #web-crawler mais popular no GitHub?
O projeto de código aberto de #web-crawler mais bem classificado no GitHub é firecrawl/firecrawl, com 205,758 estrelas. Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.
Quais linguagens de programação são mais usadas nos repositórios de #web-crawler?
Entre os projetos de #web-crawler mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, Rust, Go.
Como é calculada a classificação dos repositórios de #web-crawler?
Acompanhamos 39 repositórios ativos de código aberto marcados com #web-crawler (com mais de 500 estrelas), totalizando 470,326 estrelas e uma média de 12,059 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.