Git Stars Git Stars

#scraping Repositórios

Descubra 109 repositórios ativos de código aberto no GitHub marcados com #scraping, acumulando um total de 768,143 estrelas (uma média de 7,047 por projeto). O líder deste tópico é firecrawl/firecrawl, com 205,758 estrelas.

109
Total de Repositórios
768,143
Total de estrelas
7,047
Média de Estrelas/Repositório

109 repositórios no total

1
firecrawl/firecrawl

Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-04-15
2
D4Vinci/Scrapling

🕷️ O MELHOR framework de web scraping, que dá conta de tudo, desde uma única solicitação até uma coleta em grande escala! Não seja tímido: participe aqui https://discord.gg/EMgGbDceNQ e siga-nos aqui para receber dicas e truques diários: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Atualizado 2026-11-17 📅 Criado 2024-10-13
3
scrapy/scrapy

Scrapy, um framework Python rápido e de alto nível para rastreamento e raspagem web.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Atualizado 2026-11-19 📅 Criado 2010-02-22
4
soxoj/maigret

🕵️‍♂️ Reúna um dossiê sobre uma pessoa pelo nome de usuário em 6 mil sites

soxoj
⭐ 41,111 Python 👤 soxoj User 🕐 Atualizado 2026-11-21 📅 Criado 2020-06-27
5
ScrapeGraphAI/Scrapegraph-ai

Extrator Python baseado em IA

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Atualizado 2026-10-06 📅 Criado 2024-01-27
6
apify/crawlee

Crawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe arquivos HTML, PDF, JPG, PNG e outros de websites. Funciona com Puppeteer, Playwright, Cheerio, JSDOM e HTTP puro. Em modo com e sem interface gráfica (headful e headless). Com rotação de proxy.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-08-26
7
gocolly/colly

Framework elegante de raspagem e rastreamento para Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Atualizado 2026-10-16 📅 Criado 2017-09-29
8
psf/requests-html

Análise de HTML Pythonica para Humanos™

psf
⭐ 13,874 Python 👤 psf Organization 🕐 Atualizado 2024-04-16 📅 Criado 2018-02-24
9
daijro/camoufox

🦊 Navegador antideteção

daijro
⭐ 13,533 C 👤 daijro User 🕐 Atualizado 2026-11-19 📅 Criado 2024-07-26
10
ultrafunkamsterdam/undetected-chromedriver

Chromedriver Selenium Personalizado | Configuração Zero | Ultrapassa TODOS os sistemas de mitigação de bots (como Distil / Imperva / Datadadome / CloudFlare IUAM)

ultrafunkamsterdam
⭐ 12,725 Python 👤 ultrafunkamsterdam User 🕐 Atualizado 2025-07-05 📅 Criado 2019-12-22
11
jo-inc/camofox-browser

Navegador headless stealth para agentes de IA — contorna Cloudflare, detecção de bots e anti-scraping. Substituição drop-in do Puppeteer/Playwright.

jo-inc
⭐ 12,437 JavaScript 👤 jo-inc Organization 🕐 Atualizado 2026-11-10 📅 Criado 2026-01-26
12
code4craft/webmagic

Uma estrutura de crawler web escalável para Java.

code4craft
⭐ 11,660 Java 👤 code4craft User 🕐 Atualizado 2025-12-20 📅 Criado 2013-04-23
13
apify/crawlee-python

Crawlee — uma biblioteca Python de web scraping e automação de navegador para criar crawlers confiáveis. Extraia dados estruturados com LLMs por meio do Pydantic AI ou controle o navegador em linguagem natural com o Stagehand. Compatível com BeautifulSoup, Parsel, Playwright e HTTP bruto. Baixe HTML, PDF, imagens e outros arquivos. A rotação de proxies está incluída.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-01-10
14
lorien/awesome-web-scraping

Lista de bibliotecas, ferramentas e APIs para web scraping e processamento de dados.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Atualizado 2026-11-21 📅 Criado 2015-08-12
15
alirezamika/autoscraper

Um Extrator de dados da web Inteligente, Automático, Rápido e Leve para Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Atualizado 2026-07-29 📅 Criado 2020-08-31
16
tabulapdf/tabula

Tabula é uma ferramenta para libertar tabelas de dados presas dentro de arquivos PDF

tabulapdf
⭐ 7,414 CSS 👤 tabulapdf Organization 🕐 Atualizado 2025-03-14 📅 Criado 2013-03-11
17
adbar/trafilatura

Ferramenta Python e de linha de comando para coletar texto e metadados da Web: Rastreamento, raspagem, extração, com saída em CSV, JSON, HTML, MD, TXT, XML

adbar
⭐ 7,157 Python 👤 adbar User 🕐 Atualizado 2026-11-20 📅 Criado 2019-04-08
18
autoscrape-labs/pydoll

Pydoll é uma biblioteca para automatizar navegadores baseados em chromium sem um WebDriver, oferecendo interações realistas.

autoscrape-labs
⭐ 7,145 HTML 👤 autoscrape-labs Organization 🕐 Atualizado 2026-11-08 📅 Criado 2024-10-27
19
proxifly/free-proxy-list

🚀 Lista de proxies HTTP, SOCKS4 e SOCKS5 gratuitos * Atualizada a cada 5 minutos * e API de proxy rotativo (mais de 100 países)

proxifly
⭐ 7,083 👤 proxifly Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-07-13
20
jaypyles/Scraperr

Webscraper auto-hospedado.

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 Atualizado 2025-10-12 📅 Criado 2024-07-06
21
d60/twikit

Raspador da API do Twitter | Sem uma chave de API | API Interna do Twitter | Gratuito | Raspador do Twitter | Bot do Twitter

d60
⭐ 4,785 Python 👤 d60 User 🕐 Atualizado 2026-03-10 📅 Criado 2024-01-20
22
bjesus/pipet

Ferramenta multifuncional para raspar e extrair dados de ativos online, feita para hackers

bjesus
⭐ 4,610 Go 👤 bjesus User 🕐 Atualizado 2024-10-12 📅 Criado 2024-08-31
23
sparklemotion/mechanize

Mechanize é uma biblioteca ruby que facilita a interação web automatizada.

sparklemotion
⭐ 4,443 Ruby 👤 sparklemotion Organization 🕐 Atualizado 2026-10-26 📅 Criado 2008-04-18
24
CodeCutTech/Data-science

Coleção de tópicos úteis de ciência de dados, juntamente com artigos, vídeos e código

CodeCutTech
⭐ 4,158 Jupyter Notebook 👤 CodeCutTech Organization 🕐 Atualizado 2025-11-16 📅 Criado 2020-07-17
25
kalil0321/reverse-api-engineer

Faça engenharia reversa de qualquer site para transformá-lo em um cliente de API tipado. Compatível com Claude Code, Codex, Cursor e OpenCode.

kalil0321
⭐ 4,088 Python 👤 kalil0321 User 🕐 Atualizado 2026-11-21 📅 Criado 2025-12-23
26
snooppr/snoop

Snoop — ferramenta de inteligência de código aberto (mundo OSINT)

snooppr
⭐ 4,072 Python 👤 snooppr User 🕐 Atualizado 2026-11-20 📅 Criado 2020-02-14
27
fake-useragent/fake-useragent

Gerador de user-agent simples e atualizado com banco de dados do mundo real

fake-useragent
⭐ 4,047 Python 👤 fake-useragent Organization 🕐 Atualizado 2026-03-29 📅 Criado 2013-03-04
28
any4ai/AnyCrawl

AnyCrawl 🚀: Um rastreador Node.js/TypeScript que transforma sites em dados prontos para LLM e extrai resultados SERP estruturados do Google/Bing/Baidu/etc. Multi-threading nativo para processamento em massa.

any4ai
⭐ 3,580 TypeScript 👤 any4ai User 🕐 Atualizado 2026-11-12 📅 Criado 2025-03-31
29
adryfish/fingerprint-chromium

Um navegador de impressão digital de código aberto baseado no Ungoogled Chromium. Navegador de impressão digital. Navegador de privacidade.

adryfish
⭐ 3,300 👤 adryfish User 🕐 Atualizado 2026-10-02 📅 Criado 2024-12-09
30
aapatre/Automatic-Udemy-Course-Enroller-GET-PAID-UDEMY-COURSES-for-FREE

Você quer APRENDER COISAS NOVAS de GRAÇA? Não se preocupe, com o poder de web-scraping e automação, este script encontrará os cupons Udemy necessários e inscreverá você em CURSOS PAGOS DA UDEMY, TOTALMENTE GRÁTIS!

aapatre
⭐ 3,289 Python 👤 aapatre User 🕐 Atualizado 2026-04-28 📅 Criado 2020-09-12
31
symfony/panther

Uma biblioteca de testes de navegador e rastreamento web para PHP e Symfony

symfony
⭐ 3,074 PHP 👤 symfony Organization 🕐 Atualizado 2026-10-03 📅 Criado 2018-03-16
32
kevinzg/facebook-scraper

Extrair dados de páginas públicas do Facebook sem uma chave de API

kevinzg
⭐ 3,006 Python 👤 kevinzg User 🕐 Atualizado 2024-06-22 📅 Criado 2019-03-15
33
vladkens/twscrape

Biblioteca Python e CLI para scraping de X/Twitter com rotação de múltiplas contas e tratamento integrado de limites de taxa.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 Atualizado 2026-11-19 📅 Criado 2023-05-05
34
oxylabs/how-to-scrape-google-trends

Aprenda passo a passo como extrair dados do Google Trends e fazer uma comparação de resultados usando Python e a API SERP da Oxylabs. Extraia palavras-chave, sua popularidade, detalhamento por região, consultas relacionadas e muito mais.

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-08-06
35
spider-rs/spider

Coleta fundamental de dados da web com baixa latência em Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-01-07
36
geziyor/geziyor

Geziyor, framework de rastreamento e raspagem web ultrarrápido para Go. Suporta renderização JS.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 Atualizado 2026-07-02 📅 Criado 2019-06-06
37
brightdata/brightdata-mcp

Um servidor poderoso de Protocolo de Contexto de Modelo (MCP) que fornece uma solução completa para acesso público à web.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Atualizado 2026-11-18 📅 Criado 2025-04-15
38
apify/fingerprint-suite

Ferramentas de fingerprinting de navegador para anonimizar seus scrapers. Desenvolvido por Apify.

apify
⭐ 2,678 TypeScript 👤 apify Organization 🕐 Atualizado 2026-11-18 📅 Criado 2022-05-04
39
botswin/BotBrowser

Núcleo Avançado de Navegador de Privacidade com Defesa Unificada de Impressões Digitais: Cloudflare, Akamai, Kasada, Shape, DataDome, PerimeterX, hCaptcha, FunCaptcha, Imperva, reCAPTCHA, ThreatMetrix, Adscore

botswin
⭐ 2,667 TypeScript 👤 botswin Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-09-08
40
oss-invisible/playwright

Playwright invisível: um Playwright que os sistemas antibot não conseguem detectar, sem captchas: a mesma API, Firefox headless furtivo com proteção contra detecção, impressão digital indetectável, contorna a detecção de bots, web scraping e automação de navegador com Python.

oss-invisible
⭐ 2,612 Python 👤 oss-invisible Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-05-13
41
simonw/shot-scraper

Um utilitário de linha de comando para tirar capturas de tela de sites, gravar demonstrações em vídeo e raspar sites usando JavaScript

simonw
⭐ 2,609 Python 👤 simonw User 🕐 Atualizado 2026-10-14 📅 Criado 2022-03-08
42
transitive-bullshit/awesome-puppeteer

Uma lista selecionada de recursos incríveis do Puppeteer.

transitive-bullshit
⭐ 2,528 👤 transitive-bullshit User 🕐 Atualizado 2024-07-19 📅 Criado 2018-05-07
43
lorien/grab

Estrutura de Web Scraping

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Atualizado 2025-09-19 📅 Criado 2013-05-01
44
Jieyab89/OSINT-Cheat-sheet

Folha de dicas OSINT, lista de ferramentas OSINT, wiki, conjunto de dados, artigo, livro, OSINT de equipe vermelha (red team) para hackers, dicas OSINT e ramificação OSINT. Este repositório será atualizado a cada nova pesquisa, abrangendo pesquisa, ciência, tecnologia e tutoriais. Por favor, use-o com sabedoria.

Jieyab89
⭐ 2,333 HTML 👤 Jieyab89 User 🕐 Atualizado 2026-11-16 📅 Criado 2021-11-22
45
php-embed/Embed

Obter informações de qualquer serviço web ou página

php-embed
⭐ 2,140 PHP 👤 php-embed Organization 🕐 Atualizado 2026-11-21 📅 Criado 2012-10-09
46
TheGP/untidetect-tools

Lista de ferramentas e navegadores anti-detecção e de humanização, incluindo resolvedores de captcha e ativação por SMS.

TheGP
⭐ 2,075 👤 TheGP User 🕐 Atualizado 2026-10-07 📅 Criado 2024-01-21
47
iiab/iiab

Internet-in-a-Box - Construa sua própria BIBLIOTECA DE ALEXANDRIA com um Raspberry Pi !

iiab
⭐ 2,056 Jinja 👤 iiab Organization 🕐 Atualizado 2026-11-20 📅 Criado 2017-05-28
48
claffin/cloudproxy

Esconda o IP dos seus scrapers por trás da nuvem. Provisione servidores proxy em diferentes provedores de nuvem para melhorar o sucesso do seu scraping.

claffin
⭐ 1,729 Python 👤 claffin User 🕐 Atualizado 2026-11-05 📅 Criado 2021-04-16
49
oxylabs/scrape-google-python

Neste tutorial, demonstramos como extrair dados públicos do Google com Python e a API Oxylabs.

oxylabs
⭐ 1,719 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-07-30
50
emcf/thepipe

Obtenha dados limpos de documentos complexos, impulsionado por modelos de visão e linguagem ⚡

emcf
⭐ 1,529 Python 👤 emcf User 🕐 Atualizado 2026-09-28 📅 Criado 2024-03-22

Perguntas Frequentes

1

Qual é o repositório de #scraping mais popular no GitHub?

O projeto de código aberto de #scraping mais bem classificado no GitHub é firecrawl/firecrawl, com 205,758 estrelas. Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.

2

Quais linguagens de programação são mais usadas nos repositórios de #scraping?

Entre os projetos de #scraping mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, Go, JavaScript.

3

Como é calculada a classificação dos repositórios de #scraping?

Acompanhamos 109 repositórios ativos de código aberto marcados com #scraping (com mais de 500 estrelas), totalizando 768,143 estrelas e uma média de 7,047 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.