Git Stars Git Stars

#web-scraping Repositórios

Descubra 381 repositórios ativos de código aberto no GitHub marcados com #web-scraping, acumulando um total de 2,147,590 estrelas (uma média de 5,636 por projeto). O líder deste tópico é firecrawl/firecrawl, com 205,758 estrelas.

381
Total de Repositórios
2.1M
Total de estrelas
5,636
Média de Estrelas/Repositório

382 repositórios no total

1
firecrawl/firecrawl

Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-04-15
2
jackfrued/Python-100-Days

Python - 100 dias de iniciante a mestre

jackfrued
⭐ 187,961 Jupyter Notebook 👤 jackfrued User 🕐 Atualizado 2026-07-29 📅 Criado 2018-03-01
3
ytdl-org/youtube-dl

Programa de linha de comando para baixar vídeos do YouTube.com e de outros sites de vídeo

ytdl-org
⭐ 141,627 Python 👤 ytdl-org Organization 🕐 Atualizado 2026-11-06 📅 Criado 2010-10-31
4
browser-use/browser-use

Biblioteca Python de código aberto para agentes de navegador com IA, além do Browser Use Cloud: navegadores furtivos e uma API hospedada para agentes.

browser-use
⭐ 121,654 Python 👤 browser-use Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-10-31
5
D4Vinci/Scrapling

🕷️ O MELHOR framework de web scraping, que dá conta de tudo, desde uma única solicitação até uma coleta em grande escala! Não seja tímido: participe aqui https://discord.gg/EMgGbDceNQ e siga-nos aqui para receber dicas e truques diários: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Atualizado 2026-11-17 📅 Criado 2024-10-13
6
unclecode/crawl4ai

Crawl4AI Cloud oficial: uma API hospedada de scraping da web, extração e pesquisa para agentes de IA. Chave de API gratuita, 1.000 créditos por mês e sem cartão. Totalmente de código aberto: este repositório contém o crawler Apache-2.0 que o alimenta, e você pode hospedá-lo por conta própria.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Atualizado 2026-11-20 📅 Criado 2024-05-09
7
NanmiCoder/MediaCrawler

Nota do Xiaohongshu | Web scraping de comentários, Vídeo do Douyin | Web scraping de comentários, Vídeo do Kuaishou | Web scraping de comentários, Vídeo do Bilibili | Web scraping de comentários, Postagem do Weibo | Web scraping de comentários, Postagem do Baidu Tieba | Web scraping de respostas de comentários do Baidu Tieba | Artigo de perguntas e respostas do Zhihu | Web scraping de comentários

NanmiCoder
⭐ 71,528 Python 👤 NanmiCoder User 🕐 Atualizado 2026-11-21 📅 Criado 2023-06-09
8
scrapy/scrapy

Scrapy, um framework Python rápido e de alto nível para rastreamento e raspagem web.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Atualizado 2026-11-19 📅 Criado 2010-02-22
9
soimort/you-get

:arrow_double_down: Baixador simplório que raspa a web

soimort
⭐ 56,851 Python 👤 soimort User 🕐 Atualizado 2026-11-15 📅 Criado 2012-08-20
10
gedoor/legado

Legado 3.0 Book Reader with powerful controls & full functions❤️. O Leitura 3.0 é uma ferramenta que permite personalizar as fontes para a leitura de conteúdo online, proporcionando aos amantes da literatura online uma experiência de leitura conveniente, rápida e confortável.

gedoor
⭐ 47,268 Kotlin 👤 gedoor User 🕐 Atualizado 2026-05-27 📅 Criado 2019-05-22
11
JCodesMore/ai-website-cloner-template

Clone qualquer site com um comando usando agentes de codificação com IA

JCodesMore
⭐ 39,582 TypeScript 👤 JCodesMore User 🕐 Atualizado 2026-11-10 📅 Criado 2026-03-13
12
dgtlmoon/changedetection.io

A melhor e mais simples ferramenta para detectar alterações em sites, monitorar páginas da web e receber alertas de mudanças. Ideal para acompanhar alterações de conteúdo, quedas de preço, avisos de reposição de estoque e adulterações em sites — com MCP incluído! Tudo grátis ou aproveite nosso plano SaaS!

dgtlmoon
⭐ 35,939 Python 👤 dgtlmoon User 🕐 Atualizado 2026-11-20 📅 Criado 2021-01-27
13
CloakHQ/CloakBrowser

Chromium furtivo que passa em todos os testes de detecção de bots. Substituto direto do Playwright com patches de impressão digital no nível do código-fonte. Mais de 50 testes aprovados.

CloakHQ
⭐ 33,007 Python 👤 CloakHQ Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-02-22
14
ScrapeGraphAI/Scrapegraph-ai

Extrator Python baseado em IA

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Atualizado 2026-10-06 📅 Criado 2024-01-27
15
apify/crawlee

Crawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe arquivos HTML, PDF, JPG, PNG e outros de websites. Funciona com Puppeteer, Playwright, Cheerio, JSDOM e HTTP puro. Em modo com e sem interface gráfica (headful e headless). Com rotação de proxy.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-08-26
16
browserbase/stagehand

O SDK para extrair dados e interagir com qualquer site na web. Comece com Claude Code, Codex, Eve, Mastra e muito mais.

browserbase
⭐ 26,109 TypeScript 👤 browserbase Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-03-24
17
lexmount/moli

O melhor navegador headless para agentes de IA. Leve, rápido e altamente compatível. Desenvolvido em Rust

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-08-10
18
Evil0ctal/Douyin_TikTok_Download_API

🚀 API auto-hospedada para coletar dados do Douyin, TikTok e Bilibili e baixar vídeos sem marca-d'água. Compatível com chamadas de agentes de IA via MCP e transcrição de fala offline. Implantação Docker com um clique. | Extrator auto-hospedado para TikTok, Douyin e Bilibili e baixador de vídeos sem marca-d'água — API REST assíncrona, servidor MCP para agentes de IA, CLI e console web, além de transcrição de fala offline para os vídeos baixados. Pool de identidades autorreparável, arquivo PostgreSQL e inicialização com um único `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Atualizado 2026-11-20 📅 Criado 2021-11-07
19
getmaxun/maxun

Transforme qualquer site em uma API estruturada. Extraia, automatize, pesquise e monitore a web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-10-23
20
MODSetter/SurfSense

Alternativa de código aberto ao NotebookLM, isolada de redes e focada na privacidade. Um agente de IA que pesquisa, transforma e edita seus documentos. Entre no nosso Discord: https://discord.gg/ejRNvftDp9

MODSetter
⭐ 16,907 Python 👤 MODSetter User 🕐 Atualizado 2026-11-14 📅 Criado 2024-07-30
21
yusufkaraaslan/Skill_Seekers

Converta sites de documentação, repositórios do GitHub e PDFs em habilidades do Claude AI com detecção automática de conflitos

yusufkaraaslan
⭐ 15,351 Python 👤 yusufkaraaslan User 🕐 Atualizado 2026-11-16 📅 Criado 2025-10-17
22
pjialin/py12306

🚂 12306 Assistente de compra de bilhetes, suporta cluster, múltiplas contas, compra de bilhetes multi-tarefas e gestão de página Web

pjialin
⭐ 14,960 Python 👤 pjialin User 🕐 Atualizado 2026-10-01 📅 Criado 2019-01-07
23
nanobrowser/nanobrowser

Agente de IA de código aberto para automação na web. Use seu navegador real com a sessão iniciada para automatizar tarefas diárias.

nanobrowser
⭐ 14,359 TypeScript 👤 nanobrowser Organization 🕐 Atualizado 2026-11-17 📅 Criado 2024-12-31
24
seleniumbase/SeleniumBase

Automação de navegador rápida e confiável para testes de ponta a ponta, raspagem de dados e navegação furtiva. Contorna a detecção de bots com o modo CDP. Integra-se ao pytest, Playwright e MCP.

seleniumbase
⭐ 13,272 Python 👤 seleniumbase Organization 🕐 Atualizado 2026-11-21 📅 Criado 2014-03-04
25
jiji262/douyin-downloader

Um prático downloader do Douyin para downloads de itens individuais e de perfis em lote, com exibição do progresso, novas tentativas, deduplicação com SQLite e suporte a fallback pelo navegador. Ferramenta de download em lote do Douyin compatível com vídeos, álbuns de imagens, coleções e músicas (áudio original).

jiji262
⭐ 12,644 Python 👤 jiji262 User 🕐 Atualizado 2026-11-21 📅 Criado 2023-05-25
26
jo-inc/camofox-browser

Navegador headless stealth para agentes de IA — contorna Cloudflare, detecção de bots e anti-scraping. Substituição drop-in do Puppeteer/Playwright.

jo-inc
⭐ 12,437 JavaScript 👤 jo-inc Organization 🕐 Atualizado 2026-11-10 📅 Criado 2026-01-26
27
jhy/jsoup

jsoup: o parser HTML para Java, construído para edição, limpeza, raspagem (scraping) de HTML e segurança contra XSS.

jhy
⭐ 11,418 Java 👤 jhy User 🕐 Atualizado 2026-11-18 📅 Criado 2009-12-19
28
NopeCHALLC/nopecha-extension

Solucionador de CAPTCHA automatizado para o seu navegador. Funciona com Selenium, Puppeteer, Playwright e mais.

NopeCHALLC
⭐ 11,140 👤 NopeCHALLC User 🕐 Atualizado 2026-10-02 📅 Criado 2023-03-23
29
pinchtab/pinchtab

Ponte de automação de navegação de alto desempenho e orquestrador multi-instância com injeção furtiva avançada e painel de controle em tempo real.

pinchtab
⭐ 10,599 Go 👤 pinchtab Organization 🕐 Atualizado 2026-11-10 📅 Criado 2026-02-15
30
apify/crawlee-python

Crawlee — uma biblioteca Python de web scraping e automação de navegador para criar crawlers confiáveis. Extraia dados estruturados com LLMs por meio do Pydantic AI ou controle o navegador em linguagem natural com o Stagehand. Compatível com BeautifulSoup, Parsel, Playwright e HTTP bruto. Baixe HTML, PDF, imagens e outros arquivos. A rotação de proxies está incluída.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-01-10
31
scrapinghub/portia

Raspagem visual para Scrapy

scrapinghub
⭐ 9,479 Python 👤 scrapinghub Organization 🕐 Atualizado 2024-06-26 📅 Criado 2014-03-21
32
nashsu/FreeAskInternet

FreeAskInternet é um agregador de pesquisa e gerador de respostas completamente gratuito, PRIVADO e executado LOCALMENTE, que utiliza MÚLTIPLOS LLMs, sem necessidade de GPU. O usuário pode fazer uma pergunta e o sistema realizará uma pesquisa multi-motor e combinará o resultado da pesquisa com o LLM para gerar a resposta com base nos resultados da pesquisa. É tudo GRATUITO para usar.

nashsu
⭐ 8,734 Python 👤 nashsu User 🕐 Atualizado 2024-04-18 📅 Criado 2024-04-05
33
cv-cat/Spider_XHS

Coleta de dados com crawler do Xiaohongshu (RED), engenharia reversa do Xiaohongshu, mensagens privadas, transmissão ao vivo e soluções de operação integral no Xiaohongshu

cv-cat
⭐ 8,542 Python 👤 cv-cat User 🕐 Atualizado 2026-10-22 📅 Criado 2023-08-08
34
cporter202/API-mega-list

Este repositório do GitHub é uma poderosa coleção de APIs que você pode começar a usar imediatamente para construir tudo, desde automações simples até aplicativos em grande escala. Uma das listas de APIs mais valiosas do GitHub — ponto final. 💪

cporter202
⭐ 8,406 JavaScript 👤 cporter202 User 🕐 Atualizado 2026-11-19 📅 Criado 2025-12-09
35
ericchiang/pup

Analisando HTML na linha de comando

ericchiang
⭐ 8,372 HTML 👤 ericchiang User 🕐 Atualizado 2024-05-02 📅 Criado 2014-09-01
36
mherrmann/helium

Automação web mais leve com Python

mherrmann
⭐ 8,333 Python 👤 mherrmann User 🕐 Atualizado 2026-10-22 📅 Criado 2019-11-26
37
gosom/google-maps-scraper

raspar dados do Google Maps. Extrai dados como nome, endereço, número de telefone, URL do site, classificação, número de avaliações, latitude e longitude, avaliações, e-mail e mais para cada lugar

gosom
⭐ 8,291 Go 👤 gosom User 🕐 Atualizado 2026-11-21 📅 Criado 2023-04-22
38
lorien/awesome-web-scraping

Lista de bibliotecas, ferramentas e APIs para web scraping e processamento de dados.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Atualizado 2026-11-21 📅 Criado 2015-08-12
39
alirezamika/autoscraper

Um Extrator de dados da web Inteligente, Automático, Rápido e Leve para Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Atualizado 2026-07-29 📅 Criado 2020-08-31
40
firecrawl/firecrawl-mcp-server

Servidor MCP oficial do Firecrawl, a API de contexto para agentes de IA: pesquise, extraia conteúdo e interaja com a web, além de analisar, rastrear e mapear sites e usar Agent e Monitor em qualquer cliente MCP.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-12-06
41
WECENG/ticket-purchase

Grande cevada bilhete automático de compra, suporte para pessoal, cidade, data, sessão, seleção de preços

WECENG
⭐ 7,844 Python 👤 WECENG User 🕐 Atualizado 2026-05-14 📅 Criado 2023-10-12
42
mgdm/htmlq

Como jq, mas para HTML.

mgdm
⭐ 7,591 Rust 👤 mgdm User 🕐 Atualizado 2026-05-27 📅 Criado 2019-05-07
43
go-rod/rod

Um driver do Chrome DevTools Protocol para automação e raspagem da web.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 Atualizado 2026-08-11 📅 Criado 2020-01-21
44
adbar/trafilatura

Ferramenta Python e de linha de comando para coletar texto e metadados da Web: Rastreamento, raspagem, extração, com saída em CSV, JSON, HTML, MD, TXT, XML

adbar
⭐ 7,157 Python 👤 adbar User 🕐 Atualizado 2026-11-20 📅 Criado 2019-04-08
45
autoscrape-labs/pydoll

Pydoll é uma biblioteca para automatizar navegadores baseados em chromium sem um WebDriver, oferecendo interações realistas.

autoscrape-labs
⭐ 7,145 HTML 👤 autoscrape-labs Organization 🕐 Atualizado 2026-11-08 📅 Criado 2024-10-27
46
lexiforest/curl_cffi

Binding Python para o fork curl-impersonate via cffi. Um cliente http que pode simular impressões digitais de navegador tls/ja3/http2.

lexiforest
⭐ 6,909 Python 👤 lexiforest User 🕐 Atualizado 2026-11-21 📅 Criado 2022-03-10
47
browser-act/skills

CLI de automação de navegador construída para agentes de IA. Supere barreiras anti-bot, transfira para humanos em várias plataformas quando estiver travado. Execução paralela de múltiplas tarefas, operação independente de múltiplas sessões, navegação isolada de múltiplas contas.

browser-act
⭐ 6,385 Python 👤 browser-act Organization 🕐 Atualizado 2026-11-04 📅 Criado 2026-02-06
48
nickscamara/open-deep-research

Um clone de pesquisa profunda de código aberto. Um Agente de IA que analisa grandes quantidades de dados da web extraídos com o Firecrawl

nickscamara
⭐ 6,242 TypeScript 👤 nickscamara User 🕐 Atualizado 2025-05-07 📅 Criado 2025-02-03
49
MontFerret/ferret

Linguagem declarativa de automação de dados e runtime Go para fluxos de trabalho de extração estruturada.

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 Atualizado 2026-11-19 📅 Criado 2018-08-23
50
RedSiege/EyeWitness

O EyeWitness foi projetado para tirar capturas de tela de websites, fornecer algumas informações de cabeçalho do servidor e identificar credenciais padrão, se possível.

RedSiege
⭐ 5,906 Python 👤 RedSiege Organization 🕐 Atualizado 2026-01-05 📅 Criado 2014-02-26

Perguntas Frequentes

1

Qual é o repositório de #web-scraping mais popular no GitHub?

O projeto de código aberto de #web-scraping mais bem classificado no GitHub é firecrawl/firecrawl, com 205,758 estrelas. Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.

2

Quais linguagens de programação são mais usadas nos repositórios de #web-scraping?

Entre os projetos de #web-scraping mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, JavaScript, Go.

3

Como é calculada a classificação dos repositórios de #web-scraping?

Acompanhamos 381 repositórios ativos de código aberto marcados com #web-scraping (com mais de 500 estrelas), totalizando 2,147,590 estrelas e uma média de 5,636 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.