Git Stars Git Stars

#scraping Repositórios

109
Total de Repositórios
768,143
Total de estrelas
7,047
Média de Estrelas/Repositório

109 repositórios no total

51
tinyfish-io/agentql

AgentQL é um conjunto de ferramentas para conectar sua IA à web. Apresentando uma linguagem de consulta e integrações Playwright para interagir com elementos e extrair dados de forma rápida, precisa e em escala. Inclui API REST, SDKs Python e JavaScript, depurador de navegador.

tinyfish-io
⭐ 1,510 Python 👤 tinyfish-io Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-02-20
52
rebrowser/rebrowser-patches

Coleção de patches para puppeteer e playwright para evitar a detecção de automação e vazamentos. Ajuda a evitar páginas CAPTCHA do Cloudflare e DataDome. Fácil de aplicar/remover patches, pode ser ativado/desativado sob demanda.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 Atualizado 2026-11-02 📅 Criado 2024-08-06
53
ScrapingBee/chatgpt-scraper-api

Colete respostas estruturadas de um scraper ChatGPT enviando um prompt com credenciais válidas da API de scraping ChatGPT. Ative a pesquisa ao vivo, injete contexto HTML e automatize fluxos de trabalho inteligentes de scraper ChatGPT com apenas alguns parâmetros.

ScrapingBee
⭐ 1,465 👤 ScrapingBee Organization 🕐 Atualizado 2026-07-15 📅 Criado 2026-03-12
54
okfn-brasil/querido-diario

📰 Diários oficiais brasileiros acessíveis a todos | 📰 Brazilian government gazettes, accessible to everyone.

okfn-brasil
⭐ 1,424 Python 👤 okfn-brasil Organization 🕐 Atualizado 2026-10-12 📅 Criado 2018-04-01
55
feder-cr/invisible_puppeteer

Puppeteer para Python que os sistemas antibots não conseguem detectar, sem captchas: a mesma API, Firefox headless furtivo com proteção contra detecção, uma impressão digital indetectável, evasão da detecção de bots, scraping da web e automação do navegador.

feder-cr
⭐ 1,403 Python 👤 feder-cr User 🕐 Atualizado 2026-10-19 📅 Criado 2024-09-01
56
raznem/parsera

Biblioteca leve para raspagem de websites com LLMs

raznem
⭐ 1,372 Python 👤 raznem User 🕐 Atualizado 2025-12-17 📅 Criado 2024-08-12
57
lorey/mlscraper

🤖 Extraia dados de sites HTML automaticamente apenas fornecendo exemplos

lorey
⭐ 1,370 Python 👤 lorey User 🕐 Atualizado 2024-03-17 📅 Criado 2020-07-30
58
scrapy/parsel

Parsel permite extrair dados de documentos XML/HTML usando seletores XPath ou CSS

scrapy
⭐ 1,368 Python 👤 scrapy Organization 🕐 Atualizado 2026-11-12 📅 Criado 2015-04-24
59
mov-cli/mov-cli

Assista a tudo diretamente do seu terminal.

mov-cli
⭐ 1,313 Python 👤 mov-cli Organization 🕐 Atualizado 2025-10-05 📅 Criado 2022-03-11
60
daijro/browserforge

🎭 Gerador inteligente de cabeçalho e impressão digital do navegador

daijro
⭐ 1,298 Python 👤 daijro User 🕐 Atualizado 2026-10-29 📅 Criado 2024-03-13
61
plabayo/rama

estrutura de serviço modular para mover e transformar pacotes de rede

plabayo
⭐ 1,273 Rust 👤 plabayo Organization 🕐 Atualizado 2026-11-21 📅 Criado 2022-08-07
62
Decodo/Decodo

Proxies residenciais rotativos HTTP(S)/SOCKS5 - exemplos de código e informações gerais.

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 Atualizado 2026-11-11 📅 Criado 2019-01-07
63
neon-mmd/websurfx

:rocket: Uma alternativa de código aberto ao searx que fornece um motor de metapesquisa com aparência moderna :sparkles:, ultrarrápido :zap:, que respeita a privacidade :disguised_face: e seguro :lock:

neon-mmd
⭐ 1,231 Rust 👤 neon-mmd User 🕐 Atualizado 2026-11-06 📅 Criado 2023-04-28
64
datawhores/OF-Scraper

Um fork completamente renovado e redesenhado, com suporte para OnlyFans e Fansly, repensado do zero com base no onlyfans-scraper original.

datawhores
⭐ 1,219 Python 👤 datawhores User 🕐 Atualizado 2026-11-21 📅 Criado 2023-03-22
65
germondai/trawl

Mecanismo de scraping auto-hospedado — ignora qualquer desafio JS e captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternativa ao FlareSolverr e Byparr e substituição direta para sua pilha *arr.

germondai
⭐ 1,209 TypeScript 👤 germondai User 🕐 Atualizado 2026-11-16 📅 Criado 2026-06-26
66
AndyTheFactory/newspaper4k

📰 Newspaper4k um fork do amado Newspaper3k. Extração de artigos, títulos e metadados de sites de notícias.

AndyTheFactory
⭐ 1,170 Python 👤 AndyTheFactory User 🕐 Atualizado 2026-11-01 📅 Criado 2023-10-22
67
bellingcat/auto-archiver

Arquive automaticamente links para vídeos, imagens e conteúdo de mídia social do Planilhas Google (e mais).

bellingcat
⭐ 1,158 Python 👤 bellingcat Organization 🕐 Atualizado 2026-11-18 📅 Criado 2021-01-15
68
soxoj/socid-extractor

⛏️ O mecanismo de extração por trás do Maigret: transforme qualquer URL de perfil em um registro OSINT estruturado em mais de 150 sites

soxoj
⭐ 1,143 Python 👤 soxoj User 🕐 Atualizado 2026-11-20 📅 Criado 2019-11-17
69
ai-to-ai/Auto-Gmail-Creator

Robô Criador Automático e em Massa de Contas Gmail de Código Aberto, utilizando Selenium & Seleniumwire (Python). Sinta-se à vontade para entrar em contato comigo para projetos envolvendo Django/Flask, ML, AI, GPT, Automação e Scraping.

ai-to-ai
⭐ 1,138 Python 👤 ai-to-ai User 🕐 Atualizado 2024-09-26 📅 Criado 2023-02-20
70
scrapfly/scrapfly-scrapers

Scripts escaláveis de web scraping em Python para mais de 80 domínios populares

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-05-22
71
elixir-crawly/crawly

Crawly, um framework de rastreamento e raspagem web de alto nível para Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Atualizado 2026-11-20 📅 Criado 2019-03-09
72
online-judge-tools/oj

Ferramentas para vários juízes online. Baixando casos de exemplo, gerando casos de teste adicionais, testando seu código e enviando-o.

online-judge-tools
⭐ 1,128 Python 👤 online-judge-tools Organization 🕐 Atualizado 2024-05-03 📅 Criado 2017-01-05
73
viu-media/viu

Sua experiência de anime no navegador a partir do terminal

viu-media
⭐ 1,062 Python 👤 viu-media Organization 🕐 Atualizado 2026-05-06 📅 Criado 2024-05-27
74
jfilter/clean-text

🧹 Pacote Python para limpeza de texto

jfilter
⭐ 1,031 Python 👤 jfilter User 🕐 Atualizado 2026-10-26 📅 Criado 2018-12-06
75
daijro/hrequests

🚀 Web scraping para humanos

daijro
⭐ 976 Python 👤 daijro User 🕐 Atualizado 2024-12-01 📅 Criado 2023-07-06
76
Krasjet/pdf.tocgen

Um conjunto de ferramentas CLI para gerar automaticamente tabelas de conteúdo para arquivos PDF.

Krasjet
⭐ 853 Python 👤 Krasjet User 🕐 Atualizado 2026-05-13 📅 Criado 2020-07-28
77
leoncvlt/loconotion

📄 Ferramenta Python para transformar páginas do Notion.so em websites estáticos, leves e personalizáveis

leoncvlt
⭐ 853 Python 👤 leoncvlt User 🕐 Atualizado 2024-07-22 📅 Criado 2020-05-16
78
tiliondev/fortress

Motor Chromium furtivo que impede que scrapers e agentes de navegador sejam bloqueados com uma única alteração em uma linha de código.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 Atualizado 2026-11-03 📅 Criado 2026-07-02
79
MorvanZhou/easy-scraping-tutorial

Código de tutorial de web scraping em Python simples, mas útil.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Atualizado 2024-04-07 📅 Criado 2017-12-29
80
Lookyloo/lookyloo

Lookyloo é uma interface web que permite aos usuários capturar uma página de um site e, em seguida, exibir uma árvore de domínios que se chamam uns aos outros.

Lookyloo
⭐ 790 Python 👤 Lookyloo Organization 🕐 Atualizado 2026-11-20 📅 Criado 2017-07-23
81
alpkeskin/rota

Um mecanismo de rotação de proxy de alto desempenho com gerenciamento automatizado de IP e monitoramento de saúde em tempo real

alpkeskin
⭐ 775 Go 👤 alpkeskin User 🕐 Atualizado 2026-09-25 📅 Criado 2024-06-02
82
ZacharyHampton/HomeHarvest

Pacote Python para raspagem de dados de propriedades imobiliárias

ZacharyHampton
⭐ 764 Python 👤 ZacharyHampton User 🕐 Atualizado 2025-12-26 📅 Criado 2023-09-15
83
serpapi/google-search-results-python

Resultados de Pesquisa do Google via Pacote Python SERP API

serpapi
⭐ 762 Python 👤 serpapi Organization 🕐 Atualizado 2026-08-18 📅 Criado 2018-01-10
84
1broseidon/ketch

CLI rápida e sem estado para pesquisa e extração de conteúdo da web. Desenvolvida para agentes de IA.

1broseidon
⭐ 756 Go 👤 1broseidon User 🕐 Atualizado 2026-11-19 📅 Criado 2026-03-25
85
josephlimtech/linkedin-profile-scraper-api

Raspador de perfil do LinkedIn retornando dados de perfil estruturados em JSON.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Atualizado 2024-04-05 📅 Criado 2018-12-21
86
prescience-data/dark-knowledge

😈📚 Uma biblioteca selecionada de artigos de pesquisa e apresentações para entusiastas de contra-detecção e privacidade na web.

prescience-data
⭐ 715 JavaScript 👤 prescience-data User 🕐 Atualizado 2024-02-19 📅 Criado 2021-04-15
87
Yuvi9587/Kemono-Downloader

Kemono pawchive Downloader é um aplicativo rápido baseado em PyQt5 para arquivar conteúdo de uma ampla gama de sites, incluindo Kemono, Coomer, Bunkr, Erome, Saint2.su, nhentai e Discord. Ele possui um navegador de criadores, verificador de atualizações e suporta downloads multi-thread e multi-partes. As sessões podem ser pausadas, retomadas ou recuperar filtros.

Yuvi9587
⭐ 675 Python 👤 Yuvi9587 User 🕐 Atualizado 2026-11-12 📅 Criado 2025-05-05
88
ScriptSmith/socialreaper

Biblioteca de scraping/coleta de dados de redes sociais para as APIs do Facebook, Twitter, Reddit, YouTube, Pinterest e Tumblr

ScriptSmith
⭐ 668 Python 👤 ScriptSmith User 🕐 Atualizado 2026-09-29 📅 Criado 2017-01-31
89
Xonshiz/comic-dl

Comic-dl é uma ferramenta de linha de comando para baixar mangás e quadrinhos de vários sites de quadrinhos e mangás. Sites suportados: readcomiconline.to, mangafox.me, comic naver e muitos outros.

Xonshiz
⭐ 667 Python 👤 Xonshiz User 🕐 Atualizado 2025-07-31 📅 Criado 2016-11-13
90
freelawproject/juriscraper

Uma API para coletar metadados de sites de tribunais americanos.

freelawproject
⭐ 664 HTML 👤 freelawproject Organization 🕐 Atualizado 2026-11-21 📅 Criado 2014-08-08
91
AnonCatalyst/Ominis-OSINT

Esta aplicação Python é uma ferramenta de OSINT (Inteligência de Código Aberto) chamada "Ominis OSINT - Web Hunter". Ela realiza a coleta de informações online consultando o Google em busca de resultados de pesquisa relacionados a uma consulta inserida pelo usuário. A ferramenta extrai informações relevantes, como títulos, URLs e possíveis menções da consulta nos resultados.

AnonCatalyst
⭐ 655 Python 👤 AnonCatalyst User 🕐 Atualizado 2026-11-17 📅 Criado 2023-10-09
92
gunkonchi/xscrape

Cliente assíncrono em Python para coletar dados públicos do X (Twitter): pesquisas, perfis, threads, respostas e conteúdo multimídia. Inclui rotação de contas, limitação adaptativa de solicitações e exportação para JSON/CSV/SQLite.

gunkonchi
⭐ 647 Python 👤 gunkonchi User 🕐 Atualizado 2026-10-20 📅 Criado 2026-09-26
93
lorey/social-media-profiles-regexs

:card_index: Extraia perfis de redes sociais e mais com expressões regulares

lorey
⭐ 642 Python 👤 lorey User 🕐 Atualizado 2024-01-11 📅 Criado 2015-06-24
94
scrapfly/Antibot-Detector

Deteção em tempo real de sistemas antibot, captchas e técnicas de fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security e muito mais, com pontuação de confiança e ferramentas avançadas de captura.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Atualizado 2026-11-17 📅 Criado 2025-09-03
95
l4rm4nd/LinkedInDumper

Script Python 3 para despejar/raspar/extrair funcionários da empresa da API do LinkedIn

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 Atualizado 2026-08-21 📅 Criado 2022-10-17
96
ksanjeev284/reddit-universal-scraper

Universal Reddit Scraper - Funciona em qualquer Subreddit ou Usuário

ksanjeev284
⭐ 620 Python 👤 ksanjeev284 User 🕐 Atualizado 2026-10-22 📅 Criado 2025-12-13
97
umihico/docker-selenium-lambda

A demonstração mais simples de automação do Chrome com Python e Selenium no AWS Lambda

umihico
⭐ 614 Dockerfile 👤 umihico User 🕐 Atualizado 2026-11-12 📅 Criado 2021-03-12
98
kr4ude/onlyfans-scraper

Uma ferramenta que permite extrair mídia de qualquer conta Onlyfans e mais

kr4ude
⭐ 605 Python 👤 kr4ude User 🕐 Atualizado 2025-11-25 📅 Criado 2025-11-10
99
drudge/n8n-nodes-puppeteer

Nó n8n para automação de navegador usando Puppeteer

drudge
⭐ 589 TypeScript 👤 drudge User 🕐 Atualizado 2026-05-08 📅 Criado 2022-05-07
100
spekulatius/PHPScraper

Um utilitário web universal para PHP.

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 Atualizado 2026-09-08 📅 Criado 2020-04-21