Git Stars Git Stars

#scraper Repositórios

Descubra 128 repositórios ativos de código aberto no GitHub marcados com #scraper, acumulando um total de 792,441 estrelas (uma média de 6,190 por projeto). O líder deste tópico é firecrawl/firecrawl, com 205,758 estrelas.

128
Total de Repositórios
792,441
Total de estrelas
6,190
Média de Estrelas/Repositório

128 repositórios no total

1
firecrawl/firecrawl

Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-04-15
2
unclecode/crawl4ai

Crawl4AI Cloud oficial: uma API hospedada de scraping da web, extração e pesquisa para agentes de IA. Chave de API gratuita, 1.000 créditos por mês e sem cartão. Totalmente de código aberto: este repositório contém o crawler Apache-2.0 que o alimenta, e você pode hospedá-lo por conta própria.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Atualizado 2026-11-20 📅 Criado 2024-05-09
3
huginn/huginn

Crie agentes que monitoram e agem em seu nome. Seus agentes estão aguardando!

huginn
⭐ 50,601 Ruby 👤 huginn Organization 🕐 Atualizado 2026-11-21 📅 Criado 2013-03-10
4
NaiboWang/EasySpider

Um crawler/spider web visual sem código: um software de automação de navegador, coleta de dados e web scraping que permite projetar e executar tarefas de rastreamento graficamente, sem escrever código. Alias: ServiceWrapper, um sistema inteligente de encapsulamento de serviços para aplicações web.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Atualizado 2026-11-16 📅 Criado 2020-07-18
5
iawia002/lux

👾 Biblioteca e ferramenta CLI rápida e simples para download de vídeos, escrita em Go

iawia002
⭐ 31,854 Go 👤 iawia002 User 🕐 Atualizado 2026-03-29 📅 Criado 2018-02-24
6
cheeriojs/cheerio

A biblioteca rápida, flexível e elegante para analisar e manipular HTML e XML.

cheeriojs
⭐ 30,552 TypeScript 👤 cheeriojs Organization 🕐 Atualizado 2026-11-20 📅 Criado 2011-10-09
7
apify/crawlee

Crawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe arquivos HTML, PDF, JPG, PNG e outros de websites. Funciona com Puppeteer, Playwright, Cheerio, JSDOM e HTTP puro. Em modo com e sem interface gráfica (headful e headless). Com rotação de proxy.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-08-26
8
gocolly/colly

Framework elegante de raspagem e rastreamento para Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Atualizado 2026-10-16 📅 Criado 2017-09-29
9
Evil0ctal/Douyin_TikTok_Download_API

🚀 API auto-hospedada para coletar dados do Douyin, TikTok e Bilibili e baixar vídeos sem marca-d'água. Compatível com chamadas de agentes de IA via MCP e transcrição de fala offline. Implantação Docker com um clique. | Extrator auto-hospedado para TikTok, Douyin e Bilibili e baixador de vídeos sem marca-d'água — API REST assíncrona, servidor MCP para agentes de IA, CLI e console web, além de transcrição de fala offline para os vídeos baixados. Pool de identidades autorreparável, arquivo PostgreSQL e inicialização com um único `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Atualizado 2026-11-20 📅 Criado 2021-11-07
10
getmaxun/maxun

Transforme qualquer site em uma API estruturada. Extraia, automatize, pesquise e monitore a web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-10-23
11
codelucas/newspaper

newspaper3k é uma ferramenta de extração de notícias, texto completo e metadados de artigos em Python 3. Docs avançados:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 Atualizado 2026-10-26 📅 Criado 2013-11-25
12
NopeCHALLC/nopecha-extension

Solucionador de CAPTCHA automatizado para o seu navegador. Funciona com Selenium, Puppeteer, Playwright e mais.

NopeCHALLC
⭐ 11,140 👤 NopeCHALLC User 🕐 Atualizado 2026-10-02 📅 Criado 2023-03-23
13
guyueyingmu/avbook

Sistema de Gerenciamento de Filmes AV, crawlers para avmoo, javbus, javlibrary, biblioteca online de vídeos AV, banco de dados de links magnéticos AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 Atualizado 2024-06-01 📅 Criado 2017-02-19
14
apify/crawlee-python

Crawlee — uma biblioteca Python de web scraping e automação de navegador para criar crawlers confiáveis. Extraia dados estruturados com LLMs por meio do Pydantic AI ou controle o navegador em linguagem natural com o Stagehand. Compatível com BeautifulSoup, Parsel, Playwright e HTTP bruto. Baixe HTML, PDF, imagens e outros arquivos. A rotação de proxies está incluída.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-01-10
15
alirezamika/autoscraper

Um Extrator de dados da web Inteligente, Automático, Rápido e Leve para Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Atualizado 2026-07-29 📅 Criado 2020-08-31
16
go-rod/rod

Um driver do Chrome DevTools Protocol para automação e raspagem da web.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 Atualizado 2026-08-11 📅 Criado 2020-01-21
17
BruceDone/awesome-crawler

Uma coleção de awesome web crawler, spider em diferentes linguagens

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Atualizado 2024-06-16 📅 Criado 2016-10-10
18
mishushakov/llm-scraper

Transforme qualquer página da web em dados estruturados usando LLMs

mishushakov
⭐ 6,956 TypeScript 👤 mishushakov User 🕐 Atualizado 2026-10-26 📅 Criado 2024-04-20
19
AhmadIbrahiim/Website-downloader

💡 Baixe o código-fonte completo de qualquer site (incluindo todos os ativos). [ Javascripts, Stylesheets, Imagens ] usando Node.js

AhmadIbrahiim
⭐ 6,206 HTML 👤 AhmadIbrahiim User 🕐 Atualizado 2026-08-12 📅 Criado 2019-10-26
20
niespodd/browser-fingerprinting

Análise dos sistemas de Proteção de Bots com contramedidas disponíveis 🚿. Como derrotar o sistema anti-bot 👻 e contornar scripts de impressão digital de navegador 🕵️‍♂️ ao fazer web scraping?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 Atualizado 2026-07-27 📅 Criado 2021-01-23
21
d60/twikit

Raspador da API do Twitter | Sem uma chave de API | API Interna do Twitter | Gratuito | Raspador do Twitter | Bot do Twitter

d60
⭐ 4,785 Python 👤 d60 User 🕐 Atualizado 2026-03-10 📅 Criado 2024-01-20
22
fent/node-ytdl-core

Downloader de vídeo do YouTube em javascript.

fent
⭐ 4,732 JavaScript 👤 fent User 🕐 Atualizado 2026-11-10 📅 Criado 2014-06-29
23
joeyism/linkedin_scraper

Uma biblioteca que faz scraping de dados de utilizadores do Linkedin

joeyism
⭐ 4,699 Python 👤 joeyism User 🕐 Atualizado 2026-04-10 📅 Criado 2017-10-27
24
bjesus/pipet

Ferramenta multifuncional para raspar e extrair dados de ativos online, feita para hackers

bjesus
⭐ 4,610 Go 👤 bjesus User 🕐 Atualizado 2024-10-12 📅 Criado 2024-08-31
25
myreader-io/myGPTReader

Uma maneira impulsionada pela comunidade de ler e conversar com bots de IA - com tecnologia chatGPT.

myreader-io
⭐ 4,416 Python 👤 myreader-io Organization 🕐 Atualizado 2026-02-05 📅 Criado 2023-03-08
26
UltimaHoarder/UltimaScraper

Ferramenta de extração de dados atualmente focada em conteúdo adulto (OnlyFans etc.) — atualizada regularmente

UltimaHoarder
⭐ 4,302 TypeScript 👤 UltimaHoarder User 🕐 Atualizado 2026-11-21 📅 Criado 2019-06-24
27
IonicaBizau/scrape-it

Um scraper Node.js para humanos.

IonicaBizau
⭐ 4,069 JavaScript 👤 IonicaBizau User 🕐 Atualizado 2026-11-20 📅 Criado 2016-04-28
28
edoardottt/cariddi

Obtenha uma lista de domínios, rastreie URLs e escaneie em busca de endpoints, segredos, chaves de API, extensões de arquivo, tokens e muito mais

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Atualizado 2026-11-19 📅 Criado 2021-04-27
29
Anakin-Inc/anakin

API de web scraping de código aberto. Transforme qualquer site em Markdown limpo ou JSON estruturado. Navegador anti-detecção, seleção automática de proxy, auto-hospedado. Um comando: make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 Atualizado 2026-08-18 📅 Criado 2026-03-17
30
sqzw-x/mdcx

Raspador de metadados de filmes

sqzw-x
⭐ 3,727 Python 👤 sqzw-x User 🕐 Atualizado 2026-08-23 📅 Criado 2023-11-06
31
JavScraper/Emby.Plugins.JavScraper

Um plugin raspador de metadados de filmes japoneses para Emby/Jellyfin que extrai informações de filmes de determinados sites.

JavScraper
⭐ 3,709 C# 👤 JavScraper User 🕐 Atualizado 2024-07-08 📅 Criado 2020-01-20
32
itsOwen/CyberScraper-2077

Um poderoso web scraper alimentado por LLM | OpenAI, Gemini e Ollama

itsOwen
⭐ 3,302 Python 👤 itsOwen User 🕐 Atualizado 2026-10-12 📅 Criado 2024-08-17
33
aapatre/Automatic-Udemy-Course-Enroller-GET-PAID-UDEMY-COURSES-for-FREE

Você quer APRENDER COISAS NOVAS de GRAÇA? Não se preocupe, com o poder de web-scraping e automação, este script encontrará os cupons Udemy necessários e inscreverá você em CURSOS PAGOS DA UDEMY, TOTALMENTE GRÁTIS!

aapatre
⭐ 3,289 Python 👤 aapatre User 🕐 Atualizado 2026-04-28 📅 Criado 2020-09-12
34
facundoolano/google-play-scraper

Scraper Node.js para obter dados do Google Play

facundoolano
⭐ 3,005 JavaScript 👤 facundoolano User 🕐 Atualizado 2026-10-17 📅 Criado 2015-04-07
35
vladkens/twscrape

Biblioteca Python e CLI para scraping de X/Twitter com rotação de múltiplas contas e tratamento integrado de limites de taxa.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 Atualizado 2026-11-19 📅 Criado 2023-05-05
36
oxylabs/how-to-scrape-google-trends

Aprenda passo a passo como extrair dados do Google Trends e fazer uma comparação de resultados usando Python e a API SERP da Oxylabs. Extraia palavras-chave, sua popularidade, detalhamento por região, consultas relacionadas e muito mais.

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-08-06
37
geziyor/geziyor

Geziyor, framework de rastreamento e raspagem web ultrarrápido para Go. Suporta renderização JS.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 Atualizado 2026-07-02 📅 Criado 2019-06-06
38
microlinkhq/metascraper

Extraia metadados de qualquer URL usando Open Graph, JSON-LD, meta tags HTML e mecanismos de fallback inteligentes.

microlinkhq
⭐ 2,754 HTML 👤 microlinkhq Organization 🕐 Atualizado 2026-11-19 📅 Criado 2016-05-25
39
jae-jae/QueryList

:spider: O framework progressivo de rastreamento PHP! Um elegante framework progressivo de coleta PHP.

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 Atualizado 2026-10-20 📅 Criado 2015-12-20
40
Serene-Arc/bulk-downloader-for-reddit

Baixa e arquiva conteúdo do reddit

Serene-Arc
⭐ 2,631 Python 👤 Serene-Arc User 🕐 Atualizado 2026-04-12 📅 Criado 2018-06-14
41
zerodytrash/TikTok-Live-Connector

API do TikTok LIVE para Node.js: uma biblioteca não oficial para receber eventos de transmissões ao vivo (comentários, presentes etc.) em tempo real do TikTok LIVE.

zerodytrash
⭐ 2,332 TypeScript 👤 zerodytrash User 🕐 Atualizado 2026-11-11 📅 Criado 2022-02-04
42
watercrawl/WaterCrawl

Transformar Conteúdo Web em Dados Prontos para LLM

watercrawl
⭐ 2,244 TypeScript 👤 watercrawl Organization 🕐 Atualizado 2026-08-17 📅 Criado 2024-12-15
43
cyberagiinc/DevDocs

Servidor MCP de documentação de tecnologia baseado em UI, totalmente gratuito e privado. Projetado com codificadores e desenvolvedores de software em mente. Integre facilmente ao Cursor, Windsurf, Cline, Roo Code, Claude Desktop App

cyberagiinc
⭐ 2,106 TypeScript 👤 cyberagiinc Organization 🕐 Atualizado 2026-02-04 📅 Criado 2025-01-15
44
PaulMcInnis/JobFunnel

Raspagem de sites de emprego em uma única planilha sem duplicatas.

PaulMcInnis
⭐ 2,103 Python 👤 PaulMcInnis User 🕐 Atualizado 2025-12-04 📅 Criado 2017-08-25
45
TeamNewPipe/NewPipeExtractor

A biblioteca principal do NewPipe para extrair dados de sites de streaming

TeamNewPipe
⭐ 2,070 Java 👤 TeamNewPipe Organization 🕐 Atualizado 2026-11-19 📅 Criado 2017-03-01
46
KatrielMoses/MailAccess

Ferramenta OSINT gratuita para e-mails, com mais de 5.000 plataformas, agrupamento de identidades e detecção de vazamentos. Não são necessárias chaves de API. pip install mailaccess

KatrielMoses
⭐ 1,824 Python 👤 KatrielMoses User 🕐 Atualizado 2026-11-17 📅 Criado 2026-05-18
47
eatmoreduck/boss-zhipin-scraper

Scraper do BOSS Zhipin / Ferramenta de extração de dados de vagas do BOSS Zhipin, baseada no protocolo Chrome CDP para reutilizar sessões de login reais, contornar o anti-scraping de fontes e gerar JSON/CSV de salários em texto simples + análise de habilidades salariais.

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 Atualizado 2026-11-03 📅 Criado 2026-06-11
48
website-scraper/node-website-scraper

Baixar site para o diretório local (incluindo todo o css, imagens, js, etc.)

website-scraper
⭐ 1,773 JavaScript 👤 website-scraper Organization 🕐 Atualizado 2026-11-11 📅 Criado 2014-09-04
49
oxylabs/how-to-scrape-google-jobs

Aprenda a criar seu próprio scraper do Google Jobs que raspa simultaneamente o Google Jobs para várias consultas de pesquisa e localizações geográficas com Python e a API Google Jobs Scraper da Oxylabs. https://oxylabs.io/blog/how-to-scrape-google-jobs

oxylabs
⭐ 1,761 Python 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-02-08
50
oxylabs/google-play-scraper

Coletor do Google Play para reunir detalhes públicos sobre aplicativos, jogos, filmes e programas de TV, livros e muito mais.

oxylabs
⭐ 1,746 Python 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2023-09-01

Perguntas Frequentes

1

Qual é o repositório de #scraper mais popular no GitHub?

O projeto de código aberto de #scraper mais bem classificado no GitHub é firecrawl/firecrawl, com 205,758 estrelas. Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.

2

Quais linguagens de programação são mais usadas nos repositórios de #scraper?

Entre os projetos de #scraper mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, Go, JavaScript.

3

Como é calculada a classificação dos repositórios de #scraper?

Acompanhamos 128 repositórios ativos de código aberto marcados com #scraper (com mais de 500 estrelas), totalizando 792,441 estrelas e uma média de 6,190 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.