#web-crawling Repositórios
Descubra 38 repositórios ativos de código aberto no GitHub marcados com #web-crawling, acumulando um total de 211,837 estrelas (uma média de 5,574 por projeto). O líder deste tópico é unclecode/crawl4ai, com 87,627 estrelas.
38 repositórios no total
Crawl4AI Cloud oficial: uma API hospedada de scraping da web, extração e pesquisa para agentes de IA. Chave de API gratuita, 1.000 créditos por mês e sem cartão. Totalmente de código aberto: este repositório contém o crawler Apache-2.0 que o alimenta, e você pode hospedá-lo por conta própria.
Crawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe arquivos HTML, PDF, JPG, PNG e outros de websites. Funciona com Puppeteer, Playwright, Cheerio, JSDOM e HTTP puro. Em modo com e sem interface gráfica (headful e headless). Com rotação de proxy.
O melhor navegador headless para agentes de IA. Leve, rápido e altamente compatível. Desenvolvido em Rust
Crawlee — uma biblioteca Python de web scraping e automação de navegador para criar crawlers confiáveis. Extraia dados estruturados com LLMs por meio do Pydantic AI ou controle o navegador em linguagem natural com o Stagehand. Compatível com BeautifulSoup, Parsel, Playwright e HTTP bruto. Baixe HTML, PDF, imagens e outros arquivos. A rotação de proxies está incluída.
Servidor Node que usa Headless Chrome para renderizar uma página renderizada em javascript como HTML. Para ser usado em conjunto com o middleware prerender.
Linguagem declarativa de automação de dados e runtime Go para fluxos de trabalho de extração estruturada.
O repositório contém o analisador e o verificador robots.txt do Google como uma biblioteca C++ (compatível com C++11).
O WebCollector é um framework de web crawler de código aberto baseado em Java. Ele fornece interfaces simples para rastrear a Web, e você pode configurar um rastreador web multithreaded em menos de 5 minutos.
Um servidor poderoso de Protocolo de Contexto de Modelo (MCP) que fornece uma solução completa para acesso público à web.
Servidor MCP pronto para produção com pesquisa, extração, mapeamento e rastreamento em tempo real.
Obtenha informações dos resultados de pesquisa do Weibo; a pesquisa pode ser tanto por palavra-chave do Weibo quanto por tópico do Weibo.
Web Crawling e Capacidades RAG para Agentes de IA e Assistentes de Codificação de IA
Um framework de crawler Java simples, ágil e distribuído com suporte a SpringBoot; Um framework de crawler ágil e distribuído.
🔥 Motor de busca de IA de código aberto semelhante ao Perplexity, com citações em tempo real, respostas em streaming e dados em tempo real, alimentado por Firecrawl.
Uma ferramenta Python usada para descobrir endpoints, parâmetros potenciais, uma lista de palavras específica para um alvo e segredos.
dados do Xiaohongshu, coleta de dados do XHS, engenharia reversa do Xiaohongshu, engenharia reversa do XS do Xiaohongshu, scraper do Xiaohongshu, dados do Xiaohongshu
Servidor de API de código aberto para web scraping de plataformas como Douyin (versão mais recente de a_bogus), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo, etc. Implantação rápida com um clique via docker.
📖 Servidor MCP para buscar deepwiki.com e obter o conhecimento mais recente no Cursor e em outros Editores de Código
Uma estrutura de automação de IA impulsionada pela comunidade que se baseia no trabalho incrível da comunidade de código aberto. Nosso objetivo é combinar modelos de linguagem com ferramentas especializadas para tarefas como pesquisa na web, rastreamento (crawling) e execução de código Python, ao mesmo tempo em que retribuímos à comunidade que tornou isso possível.
☁️ O conversor de HTML para markdown mais rápido no GitHub. Otimizado para LLMs e suporta streaming.
Motor Chromium furtivo que impede que scrapers e agentes de navegador sejam bloqueados com uma única alteração em uma linha de código.
Um sistema de IA automatizado (framework Python) projetado para analisar qualquer tipo de conteúdo de site e gerar relatórios estruturados usando a API Claude 3.5 Sonnet e Firecrawl. Embora atualmente configurado para estudos de caso de IA empresarial, a arquitetura pode ser adaptada para diversas necessidades de análise de conteúdo.
Repositório oficial para "Craw4LLM: Rastreamento Web Eficiente para Pré-treinamento de LLM"
Recupere páginas da web usando o Chrome sem cabeça, armazenando todos os recursos recuperados, incluindo arquivos JavaScript. Execute JavaScript arbitrário em muitas páginas da web e veja os valores retornados
🎉🎈 Assine o serviço de e-mail "📧 Dev Event" e receba notícias todas as semanas por e-mail
Perguntas Frequentes
Qual é o repositório de #web-crawling mais popular no GitHub?
O projeto de código aberto de #web-crawling mais bem classificado no GitHub é unclecode/crawl4ai, com 87,627 estrelas. Crawl4AI Cloud oficial: uma API hospedada de scraping da web, extração e pesquisa para agentes de IA. Chave de API gratuita, 1.000 créditos por mês e sem cartão. Totalmente de código aberto: este repositório contém o crawler Apache-2.0 que o alimenta, e você pode hospedá-lo por conta própria.
Quais linguagens de programação são mais usadas nos repositórios de #web-crawling?
Entre os projetos de #web-crawling mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, JavaScript, Go.
Como é calculada a classificação dos repositórios de #web-crawling?
Acompanhamos 38 repositórios ativos de código aberto marcados com #web-crawling (com mais de 500 estrelas), totalizando 211,837 estrelas e uma média de 5,574 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.