Git Stars Git Stars

#web-scraper Repositórios

Descubra 36 repositórios ativos de código aberto no GitHub marcados com #web-scraper, acumulando um total de 565,282 estrelas (uma média de 15,702 por projeto). O líder deste tópico é firecrawl/firecrawl, com 205,758 estrelas.

36
Total de Repositórios
565,282
Total de estrelas
15,702
Média de Estrelas/Repositório

36 repositórios no total

1
firecrawl/firecrawl

Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-04-15
2
Panniantong/Agent-Reach

Dê ao seu agente de IA olhos para ver toda a internet. Leia e pesquise no Twitter, Reddit, YouTube, GitHub, Bilibili, XiaoHongShu — um único CLI, zero taxas de API.

Panniantong
⭐ 113,683 Python 👤 Panniantong User 🕐 Atualizado 2026-11-08 📅 Criado 2026-02-24
3
D4Vinci/Scrapling

🕷️ O MELHOR framework de web scraping, que dá conta de tudo, desde uma única solicitação até uma coleta em grande escala! Não seja tímido: participe aqui https://discord.gg/EMgGbDceNQ e siga-nos aqui para receber dicas e truques diários: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Atualizado 2026-11-17 📅 Criado 2024-10-13
4
ScrapeGraphAI/Scrapegraph-ai

Extrator Python baseado em IA

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Atualizado 2026-10-06 📅 Criado 2024-01-27
5
lexmount/moli

O melhor navegador headless para agentes de IA. Leve, rápido e altamente compatível. Desenvolvido em Rust

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-08-10
6
getmaxun/maxun

Transforme qualquer site em uma API estruturada. Extraia, automatize, pesquise e monitore a web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-10-23
7
gosom/google-maps-scraper

raspar dados do Google Maps. Extrai dados como nome, endereço, número de telefone, URL do site, classificação, número de avaliações, latitude e longitude, avaliações, e-mail e mais para cada lugar

gosom
⭐ 8,291 Go 👤 gosom User 🕐 Atualizado 2026-11-21 📅 Criado 2023-04-22
8
BruceDone/awesome-crawler

Uma coleção de awesome web crawler, spider em diferentes linguagens

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Atualizado 2024-06-16 📅 Criado 2016-10-10
9
jaypyles/Scraperr

Webscraper auto-hospedado.

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 Atualizado 2025-10-12 📅 Criado 2024-07-06
10
AhmadHassan-BTed/JinaClip

Extensão de navegador de nível profissional, com prioridade para o processamento local, que transforma qualquer página da web em Markdown de alta fidelidade e otimizado para LLM, inteiramente no ambiente de execução do navegador. Sem nuvem, com foco na privacidade e desenvolvida especificamente para fluxos de trabalho de IA.

AhmadHassan-BTed
⭐ 4,160 JavaScript 👤 AhmadHassan-BTed User 🕐 Atualizado 2026-11-09 📅 Criado 2026-05-16
11
oxylabs/google-ai-mode-scraper

Extraia respostas do Modo IA do Google em grande escala sem bloqueios.

oxylabs
⭐ 3,619 Java 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2025-09-08
12
arpit-omprakash/100ProjectsOfCode

Uma lista de projetos práticos de construção de conhecimento.

arpit-omprakash
⭐ 3,548 👤 arpit-omprakash User 🕐 Atualizado 2024-04-12 📅 Criado 2020-10-05
13
itsOwen/CyberScraper-2077

Um poderoso web scraper alimentado por LLM | OpenAI, Gemini e Ollama

itsOwen
⭐ 3,302 Python 👤 itsOwen User 🕐 Atualizado 2026-10-12 📅 Criado 2024-08-17
14
php-curl-class/php-curl-class

A Classe Curl do PHP facilita o envio de requisições HTTP e a integração com APIs web

php-curl-class
⭐ 3,293 PHP 👤 php-curl-class Organization 🕐 Atualizado 2026-11-17 📅 Criado 2013-08-16
15
oxylabs/how-to-scrape-amazon-product-data

O processo de extração de dados de produtos da Amazon usando Python, incluindo títulos, avaliações, preços, imagens e descrições.

oxylabs
⭐ 3,248 Python 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-09-03
16
spider-rs/spider

Coleta fundamental de dados da web com baixa latência em Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-01-07
17
lncrawl/lightnovel-crawler

Gerar e baixar e-books de fontes online.

lncrawl
⭐ 2,717 Python 👤 lncrawl Organization 🕐 Atualizado 2026-11-11 📅 Criado 2018-01-17
18
anaskhan96/soup

Web Scraper em Go, semelhante ao BeautifulSoup

anaskhan96
⭐ 2,302 Go 👤 anaskhan96 User 🕐 Atualizado 2026-10-24 📅 Criado 2017-02-23
19
oxylabs/how-to-scrape-google-scholar

Um guia para extrair títulos, autores e citações do Google Scholar usando Python e a API SERP Scraper da Oxylabs.

oxylabs
⭐ 2,095 Python 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-03-07
20
oxylabs/how-to-scrape-amazon-prices

Um código para extrair itens mais vendidos, resultados de pesquisa e ofertas atualmente disponíveis da Amazon usando Python e a API Oxylabs E-Commerce Scraper.

oxylabs
⭐ 2,083 Python 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-03-21
21
gildas-lormeau/single-file-cli

Ferramenta CLI para salvar uma cópia fiel de uma página da web completa em um único arquivo HTML (baseado em SingleFile)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 Atualizado 2026-11-18 📅 Criado 2022-05-31
22
fastcrw/crw

Alternativa rápida e leve ao Firecrawl/Tavily em Rust. API de web scraping, crawler e pesquisa com servidor MCP para agentes de IA. API compatível com Firecrawl (/scrape, /crawl, /search). 2,3x mais rápida que o Tavily, 1,5x mais rápida que o Firecrawl em benchmarks de 1K URLs. 6 MB de RAM, binário único. Auto-hospedagem ou uso em nuvem gerenciada.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-03-02
23
dondai44423/donsetch

Obtenção, pesquisa e rastreamento web para agentes de IA. Desenvolvido do zero em Rust. Sem chaves, sem contas. AGPL v3.

dondai44423
⭐ 1,138 Rust 👤 dondai44423 User 🕐 Atualizado 2026-11-21 📅 Criado 2026-08-07
24
juancarlospaco/faster-than-requests

Requisições mais rápidas no Python 3

juancarlospaco
⭐ 1,131 Nim 👤 juancarlospaco User 🕐 Atualizado 2026-11-19 📅 Criado 2018-11-13
25
0x676e67/wreq

Um cliente HTTP em Rust ergonômico e focado em privacidade

0x676e67
⭐ 1,118 Rust 👤 0x676e67 User 🕐 Atualizado 2026-11-20 📅 Criado 2024-09-19
26
oxylabs/ai-scraper-py

AI Scraper é uma ferramenta de scraping poderosa e um agente de scraping construído para automatizar a extração de dados com precisão inigualável. Ideal para tarefas de scraping de IA escaláveis em diversas fontes web, esta ferramenta simplifica operações de scraping complexas em fluxos de trabalho eficientes e inteligentes.

oxylabs
⭐ 1,089 👤 oxylabs Organization 🕐 Atualizado 2026-04-02 📅 Criado 2025-09-25
27
postmodern/spidr

Uma biblioteca versátil de web spidering em Ruby que pode rastrear um site, múltiplos domínios, links específicos ou infinitamente. Spidr foi projetada para ser rápida e fácil de usar.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Atualizado 2026-01-12 📅 Criado 2009-03-08
28
cassidoo/scrapers

Uma lista de scrapers de toda a web.

cassidoo
⭐ 723 👤 cassidoo User 🕐 Atualizado 2025-02-07 📅 Criado 2016-04-18
29
lumpinif/deepcrawl

100% grátis e alternativa open-source completa ao Firecrawl edge com extração de links melhor para agentes - que você pode implantar no Cloudflare ou Vercel por conta própria.

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 Atualizado 2026-08-24 📅 Criado 2025-05-22
30
shaikhsajid1111/social-media-profile-scrapers

Buscar dados do usuário em mídias sociais

shaikhsajid1111
⭐ 588 Python 👤 shaikhsajid1111 User 🕐 Atualizado 2026-09-15 📅 Criado 2020-04-26
31
spekulatius/PHPScraper

Um utilitário web universal para PHP.

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 Atualizado 2026-09-08 📅 Criado 2020-04-21
32
jaebradley/basketball_reference_web_scraper

API de Estatísticas da NBA via Basketball Reference

jaebradley
⭐ 563 HTML 👤 jaebradley User 🕐 Atualizado 2026-11-21 📅 Criado 2015-10-23
33
oxylabs/oxylabs-ai-studio-openclaw

Plugin oficial Openclaw do Oxylabs AI-Studio

oxylabs
⭐ 549 TypeScript 👤 oxylabs Organization 🕐 Atualizado 2026-09-16 📅 Criado 2026-02-26
34
oxylabs/quick-start-guide

Guias de início rápido de Python para aproveitar ao máximo o teste gratuito da API Web Scraper da Oxylabs.

oxylabs
⭐ 512 👤 oxylabs Organization 🕐 Atualizado 2026-06-19 📅 Criado 2022-03-14
35
AlexMathew/scrapple

Uma estrutura para criar extratores de conteúdo web semiautomáticos

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 Atualizado 2026-01-16 📅 Criado 2014-12-13
36
oxylabs/web-scraper-api

API completa de web scraping para extração de dados em tempo real e em grande escala: proxies, gerenciamento de CAPTCHA, renderização de JavaScript e análise em uma única solicitação, com retorno em HTML ou JSON estruturado.

oxylabs
⭐ 503 👤 oxylabs Organization 🕐 Atualizado 2026-10-01 📅 Criado 2026-06-05

Perguntas Frequentes

1

Qual é o repositório de #web-scraper mais popular no GitHub?

O projeto de código aberto de #web-scraper mais bem classificado no GitHub é firecrawl/firecrawl, com 205,758 estrelas. Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.

2

Quais linguagens de programação são mais usadas nos repositórios de #web-scraper?

Entre os projetos de #web-scraper mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, Rust, Go.

3

Como é calculada a classificação dos repositórios de #web-scraper?

Acompanhamos 36 repositórios ativos de código aberto marcados com #web-scraper (com mais de 500 estrelas), totalizando 565,282 estrelas e uma média de 15,702 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.