#web-scraper Repositórios
Descubra 36 repositórios ativos de código aberto no GitHub marcados com #web-scraper, acumulando um total de 565,282 estrelas (uma média de 15,702 por projeto). O líder deste tópico é firecrawl/firecrawl, com 205,758 estrelas.
36 repositórios no total
Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.
Dê ao seu agente de IA olhos para ver toda a internet. Leia e pesquise no Twitter, Reddit, YouTube, GitHub, Bilibili, XiaoHongShu — um único CLI, zero taxas de API.
🕷️ O MELHOR framework de web scraping, que dá conta de tudo, desde uma única solicitação até uma coleta em grande escala! Não seja tímido: participe aqui https://discord.gg/EMgGbDceNQ e siga-nos aqui para receber dicas e truques diários: https://x.com/Scrapling_dev
O melhor navegador headless para agentes de IA. Leve, rápido e altamente compatível. Desenvolvido em Rust
Transforme qualquer site em uma API estruturada. Extraia, automatize, pesquise e monitore a web.
raspar dados do Google Maps. Extrai dados como nome, endereço, número de telefone, URL do site, classificação, número de avaliações, latitude e longitude, avaliações, e-mail e mais para cada lugar
Extensão de navegador de nível profissional, com prioridade para o processamento local, que transforma qualquer página da web em Markdown de alta fidelidade e otimizado para LLM, inteiramente no ambiente de execução do navegador. Sem nuvem, com foco na privacidade e desenvolvida especificamente para fluxos de trabalho de IA.
Extraia respostas do Modo IA do Google em grande escala sem bloqueios.
A Classe Curl do PHP facilita o envio de requisições HTTP e a integração com APIs web
O processo de extração de dados de produtos da Amazon usando Python, incluindo títulos, avaliações, preços, imagens e descrições.
Um guia para extrair títulos, autores e citações do Google Scholar usando Python e a API SERP Scraper da Oxylabs.
Um código para extrair itens mais vendidos, resultados de pesquisa e ofertas atualmente disponíveis da Amazon usando Python e a API Oxylabs E-Commerce Scraper.
Ferramenta CLI para salvar uma cópia fiel de uma página da web completa em um único arquivo HTML (baseado em SingleFile)
Alternativa rápida e leve ao Firecrawl/Tavily em Rust. API de web scraping, crawler e pesquisa com servidor MCP para agentes de IA. API compatível com Firecrawl (/scrape, /crawl, /search). 2,3x mais rápida que o Tavily, 1,5x mais rápida que o Firecrawl em benchmarks de 1K URLs. 6 MB de RAM, binário único. Auto-hospedagem ou uso em nuvem gerenciada.
Obtenção, pesquisa e rastreamento web para agentes de IA. Desenvolvido do zero em Rust. Sem chaves, sem contas. AGPL v3.
AI Scraper é uma ferramenta de scraping poderosa e um agente de scraping construído para automatizar a extração de dados com precisão inigualável. Ideal para tarefas de scraping de IA escaláveis em diversas fontes web, esta ferramenta simplifica operações de scraping complexas em fluxos de trabalho eficientes e inteligentes.
Uma biblioteca versátil de web spidering em Ruby que pode rastrear um site, múltiplos domínios, links específicos ou infinitamente. Spidr foi projetada para ser rápida e fácil de usar.
100% grátis e alternativa open-source completa ao Firecrawl edge com extração de links melhor para agentes - que você pode implantar no Cloudflare ou Vercel por conta própria.
Guias de início rápido de Python para aproveitar ao máximo o teste gratuito da API Web Scraper da Oxylabs.
API completa de web scraping para extração de dados em tempo real e em grande escala: proxies, gerenciamento de CAPTCHA, renderização de JavaScript e análise em uma única solicitação, com retorno em HTML ou JSON estruturado.
Perguntas Frequentes
Qual é o repositório de #web-scraper mais popular no GitHub?
O projeto de código aberto de #web-scraper mais bem classificado no GitHub é firecrawl/firecrawl, com 205,758 estrelas. Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.
Quais linguagens de programação são mais usadas nos repositórios de #web-scraper?
Entre os projetos de #web-scraper mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, Rust, Go.
Como é calculada a classificação dos repositórios de #web-scraper?
Acompanhamos 36 repositórios ativos de código aberto marcados com #web-scraper (com mais de 500 estrelas), totalizando 565,282 estrelas e uma média de 15,702 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.