Git Stars Git Stars

#web-scraping Repositórios

381
Total de Repositórios
2.1M
Total de estrelas
5,636
Média de Estrelas/Repositório

382 repositórios no total

101
jerry3747/taobao_seckill

Liquidações pela metade do preço no Taobao e Tmall, para garantir TVs e Maotai, vamos acabar com os atravessadores!

jerry3747
⭐ 2,667 Python 👤 jerry3747 User 🕐 Atualizado 2024-07-12 📅 Criado 2020-12-29
102
Predidit/KazumiRules

Repositório de regras da Kazumi, contribuições são bem-vindas ^•ﻌ•^

Predidit
⭐ 2,653 Dart 👤 Predidit User 🕐 Atualizado 2026-11-13 📅 Criado 2024-05-22
103
Anning01/AIMedia

AIMedia é um software integrado que captura automaticamente tendências, cria artigos por IA e realiza a publicação automática. Suporta plataformas como Toutiao, Xiaohongshu e Contas Oficiais (WeChat), entre outras.

Anning01
⭐ 2,619 TypeScript 👤 Anning01 User 🕐 Atualizado 2026-11-04 📅 Criado 2024-10-28
104
oss-invisible/playwright

Playwright invisível: um Playwright que os sistemas antibot não conseguem detectar, sem captchas: a mesma API, Firefox headless furtivo com proteção contra detecção, impressão digital indetectável, contorna a detecção de bots, web scraping e automação de navegador com Python.

oss-invisible
⭐ 2,612 Python 👤 oss-invisible Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-05-13
105
Mahanaicoach/google-maps-scraper-kit

Scraper gratuito e de código aberto do Google Maps para geração de leads (Python, sem chave de API nem Docker). Exporta para CSV nome, telefone, e-mail, site, avaliação e links do Instagram/Facebook/LinkedIn/TikTok/YouTube/X. 100 locais com e-mails em 44 s; --grid supera o limite de 120 do Google. Verificação dos registros MX dos e-mails e detecção de pixels de anúncios. Skill para Claude Code, Codex e Cursor.

Mahanaicoach
⭐ 2,567 Python 👤 Mahanaicoach User 🕐 Atualizado 2026-11-19 📅 Criado 2026-06-21
106
lorien/grab

Estrutura de Web Scraping

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Atualizado 2025-09-19 📅 Criado 2013-05-01
107
openbullet/OpenBullet2

OpenBullet reinventado

openbullet
⭐ 2,447 C# 👤 openbullet User 🕐 Atualizado 2026-09-07 📅 Criado 2020-04-23
108
0xMassi/webclaw

Extração rápida de conteúdo web local-first para LLMs. Raspe, rastreie, extraia dados estruturados — tudo em Rust. CLI, REST API e servidor MCP.

0xMassi
⭐ 2,440 Rust 👤 0xMassi User 🕐 Atualizado 2026-11-21 📅 Criado 2026-03-10
109
paquettg/php-html-parser

Um parser de DOM HTML. Ele permite que você manipule HTML. Encontre tags em uma página HTML usando seletores, assim como no jQuery.

paquettg
⭐ 2,405 HTML 👤 paquettg User 🕐 Atualizado 2024-08-09 📅 Criado 2013-12-13
110
drunkdream/weread-exporter

Exportar livros do WeChat Read para formatos como epub, pdf, mobi, etc.

drunkdream
⭐ 2,403 Python 👤 drunkdream User 🕐 Atualizado 2026-03-21 📅 Criado 2023-02-11
111
saifyxpro/HeadlessX

Plataforma de automação de navegador auto-hospedado e invisível. Alimentada pelo Camoufox (Firefox) com taxa de detecção de 0%. Construída para velocidade, privacidade e escalabilidade.

saifyxpro
⭐ 2,365 TypeScript 👤 saifyxpro User 🕐 Atualizado 2026-11-12 📅 Criado 2025-09-12
112
jxhczhl/JsRpc

Chamada remota de métodos do navegador (rpc), evitando a necessidade de extrair código para configurar o ambiente

jxhczhl
⭐ 2,352 Go 👤 jxhczhl User 🕐 Atualizado 2026-06-08 📅 Criado 2021-09-25
113
codingforentrepreneurs/30-Days-of-Python

Aprenda Python pelos próximos 30 (ou mais) dias.

codingforentrepreneurs
⭐ 2,232 HTML 👤 codingforentrepreneurs User 🕐 Atualizado 2024-02-27 📅 Criado 2016-03-09
114
chao325/MaoTai_GUIT

Tmall TaoBao iMaotai iMatoTai JD Jingdong compra relâmpago, Jingdong Maotai compra relâmpago versão Windows, pronto para uso imediato sem configuração de ambiente. Desenvolvimento iminente (protocolo open source com Apache License)

chao325
⭐ 2,147 Python 👤 chao325 User 🕐 Atualizado 2026-11-12 📅 Criado 2023-09-20
115
btahir/open-deep-research

Alternativa de código aberto ao Gemini Deep Research. Gere relatórios com IA baseados em resultados de pesquisa.

btahir
⭐ 2,141 TypeScript 👤 btahir User 🕐 Atualizado 2025-12-15 📅 Criado 2024-12-24
116
ThePhaseless/Byparr

Obtenha seus cookies antibot válidos você mesmo!

ThePhaseless
⭐ 2,117 Python 👤 ThePhaseless User 🕐 Atualizado 2026-11-19 📅 Criado 2024-07-24
117
oxylabs/how-to-scrape-google-scholar

Um guia para extrair títulos, autores e citações do Google Scholar usando Python e a API SERP Scraper da Oxylabs.

oxylabs
⭐ 2,095 Python 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-03-07
118
oxylabs/how-to-scrape-amazon-prices

Um código para extrair itens mais vendidos, resultados de pesquisa e ofertas atualmente disponíveis da Amazon usando Python e a API Oxylabs E-Commerce Scraper.

oxylabs
⭐ 2,083 Python 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-03-21
119
ssili126/tv

Fontes de transmissão ao vivo de TV de hotel IPv4 coletadas automaticamente, velocidade de reprodução testada automaticamente, atualizadas automaticamente todos os dias. Inclui canais CCTV (CCTV e canais de satélite) e alguns canais locais, com reprodução suave. Também pode ser executado no Docker em OpenWrt ou Synology.

ssili126
⭐ 2,052 Python 👤 ssili126 User 🕐 Atualizado 2026-11-04 📅 Criado 2024-01-12
120
supermemoryai/markdowner

Uma ferramenta rápida para converter qualquer site em dados markdown prontos para LLM. Desenvolvido por https://supermemory.ai

supermemoryai
⭐ 2,033 TypeScript 👤 supermemoryai Organization 🕐 Atualizado 2026-10-02 📅 Criado 2024-05-09
121
midudev/curso-python

Curso de Python do zero e para todos os públicos com exercícios

midudev
⭐ 2,006 Python 👤 midudev User 🕐 Atualizado 2026-10-16 📅 Criado 2025-01-15
122
zhegexiaohuozi/SeimiCrawler

Um framework de crawler Java simples, ágil e distribuído com suporte a SpringBoot; Um framework de crawler ágil e distribuído.

zhegexiaohuozi
⭐ 1,984 Java 👤 zhegexiaohuozi User 🕐 Atualizado 2026-11-17 📅 Criado 2015-11-06
123
KEV0143/Parser-Chitai-Gorod

Analisador inteligente para o catálogo "Chitai-Gorod". Coleta e estruturação de dados de alta velocidade baseada em quaisquer parâmetros especificados: do ISBN à dinâmica de descontos.

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 Atualizado 2026-09-17 📅 Criado 2025-05-18
124
bogdanfinn/tls-client

Cliente HTTP semelhante a net/http.Client, com opções para selecionar impressões digitais TLS específicas do cliente a serem usadas nas requisições.

bogdanfinn
⭐ 1,949 Go 👤 bogdanfinn User 🕐 Atualizado 2026-11-18 📅 Criado 2022-07-09
125
stevenyomi/copymanga

Extensão CopyManga para Tachiyomi.

stevenyomi
⭐ 1,941 👤 stevenyomi User 🕐 Atualizado 2024-02-18 📅 Criado 2022-06-30
126
nat/natbot

Dirigir um navegador com GPT-3

nat
⭐ 1,933 Python 👤 nat User 🕐 Atualizado 2024-06-09 📅 Criado 2022-09-29
127
ARC-MX/sgcc_electricity_new

HomeAssistant: Consulta de Contas de Eletricidade da State Grid

ARC-MX
⭐ 1,925 Python 👤 ARC-MX User 🕐 Atualizado 2026-11-07 📅 Criado 2024-05-08
128
bugswriter/notflix

Notflix é um script shell para pesquisar e transmitir torrents.

bugswriter
⭐ 1,913 Shell 👤 bugswriter User 🕐 Atualizado 2024-06-18 📅 Criado 2022-01-01
129
saermart/DouyinLiveWebFetcher

Extração de Dados de Comentários/Barragem da Versão Web das Transmissões Ao Vivo do Douyin (Última Versão 2025)

saermart
⭐ 1,909 Python 👤 saermart User 🕐 Atualizado 2026-09-08 📅 Criado 2024-01-02
⭐ 1,894 Python 👤 LawRefBook Organization 🕐 Atualizado 2026-11-18 📅 Criado 2022-03-21
131
Freedium-cfd/web

ESTE REPOSITÓRIO É APENAS UM ESPELHO! O repositório principal de desenvolvimento é https://codeberg.org/Freedium-cfd/web

Freedium-cfd
⭐ 1,885 Python 👤 Freedium-cfd Organization 🕐 Atualizado 2026-10-20 📅 Criado 2023-08-21
132
enetx/surf

SURF - Cliente HTTP Go avançado com personificação de navegadores Chrome/Firefox, HTTP/3 com impressão digital QUIC, emulação TLS JA3/JA4 e desvio anti-bot para automação web e scraping.

enetx
⭐ 1,853 Go 👤 enetx User 🕐 Atualizado 2026-11-15 📅 Criado 2025-08-30
133
microlinkhq/browserless

O driver headless do Chrome/Chromium sobre o Puppeteer. Tire capturas de tela, gere PDFs, extraia texto e HTML com uma API pronta para produção.

microlinkhq
⭐ 1,846 JavaScript 👤 microlinkhq Organization 🕐 Atualizado 2026-11-20 📅 Criado 2017-09-06
134
tkfy920/qstock

O qstock, desenvolvido pela conta oficial do WeChat "Python Finance Quantitative", visa ser um pacote pessoal de análise de pesquisa e investimento quantitativo. Atualmente, inclui módulos para aquisição de dados (data), visualização (plot), seleção de ações (stock) e backtesting quantitativo (strategy backtest). O qstock fornecerá aos usuários interfaces de dados concisas e dados do mercado financeiro padronizados. O módulo de visualização oferece aos usuários uma interface simples para gráficos interativos baseados na web; o módulo de seleção de ações fornece dados de seleção de ações da Tonghuashun e seleção de ações personalizada, incluindo RPS, tendência MM, indicadores financeiros, modelos de fluxo de caixa, etc.; o módulo de backtesting oferece a todos frameworks e modelos básicos vetorizados (baseados em pandas) e orientados por eventos. Siga a conta oficial do WeChat "Python Finance Quantitative" para obter mais informações sobre o aplicativo.

tkfy920
⭐ 1,839 Python 👤 tkfy920 User 🕐 Atualizado 2025-03-16 📅 Criado 2022-10-10
135
deweizhu/bookget

bookget Ferramenta de download de livros antigos digitais.

deweizhu
⭐ 1,824 Go 👤 deweizhu User 🕐 Atualizado 2026-01-23 📅 Criado 2023-04-09
136
kickscondor/fraidycat

Siga blogs, wikis, canais do YouTube, bem como contas no Twitter, Instagram, etc., a partir de uma única página.

kickscondor
⭐ 1,809 JavaScript 👤 kickscondor User 🕐 Atualizado 2024-02-07 📅 Criado 2019-06-22
137
lit26/finvizfinance

Biblioteca Python de análise Finviz.

lit26
⭐ 1,790 Python 👤 lit26 User 🕐 Atualizado 2026-11-18 📅 Criado 2020-07-23
138
adsbypasser/adsbypasser

Ignorar contador de anúncios, se possível.

adsbypasser
⭐ 1,790 JavaScript 👤 adsbypasser Organization 🕐 Atualizado 2026-11-21 📅 Criado 2012-12-17
139
oxylabs/how-to-scrape-google-jobs

Aprenda a criar seu próprio scraper do Google Jobs que raspa simultaneamente o Google Jobs para várias consultas de pesquisa e localizações geográficas com Python e a API Google Jobs Scraper da Oxylabs. https://oxylabs.io/blog/how-to-scrape-google-jobs

oxylabs
⭐ 1,761 Python 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-02-08
140
ProxyShard/ShardBrowser

Launcher de navegador anti-detecção, gratuito e de código aberto, para web scraping e gerenciamento de múltiplas contas. Desenvolvido pela equipe ShardX (anteriormente ProxyShard). Spoofing de impressão digital em nível de mecanismo no Chromium 158 (WebGL / WebGPU / Client Hints / fontes / TLS), mais de 220 perfis de dispositivos incluídos e QUIC + WebRTC estáveis por meio de SOCKS5.

ProxyShard
⭐ 1,735 TypeScript 👤 ProxyShard User 🕐 Atualizado 2026-11-21 📅 Criado 2026-05-30
141
egoist/sitefetch

Baixe um site inteiro e salve-o como um arquivo de texto (para ser usado com modelos de IA).

egoist
⭐ 1,733 TypeScript 👤 egoist User 🕐 Atualizado 2025-01-18 📅 Criado 2025-01-07
142
acoooder/aliyunpanshare

Compartilhamento de recursos de filmes e séries no Baidu Netdisk, Quark Netdisk e Aliyun Drive. Publicação diária das últimas séries de TV, programas de variedades e recursos cinematográficos.

acoooder
⭐ 1,729 👤 acoooder User 🕐 Atualizado 2026-11-21 📅 Criado 2023-02-21
143
qinlili23333/ctfileGet

Obter o endereço de link direto de uso único do Chengtong Netdisk

qinlili23333
⭐ 1,725 JavaScript 👤 qinlili23333 User 🕐 Atualizado 2025-11-07 📅 Criado 2021-02-11
144
oxylabs/scrape-google-python

Neste tutorial, demonstramos como extrair dados públicos do Google com Python e a API Oxylabs.

oxylabs
⭐ 1,719 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-07-30
145
rushter/selectolax

Binding Python para os motores Modest e Lexbor. Parser HTML5 rápido com seletores CSS para Python.

rushter
⭐ 1,717 Python 👤 rushter User 🕐 Atualizado 2026-11-10 📅 Criado 2017-11-26
146
Shrans/GalSites

Ciallo~(∠・ω< )⌒☆

Shrans
⭐ 1,716 Python 👤 Shrans User 🕐 Atualizado 2026-10-26 📅 Criado 2024-10-16
147
gildas-lormeau/single-file-cli

Ferramenta CLI para salvar uma cópia fiel de uma página da web completa em um único arquivo HTML (baseado em SingleFile)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 Atualizado 2026-11-18 📅 Criado 2022-05-31
148
MgArcher/Text_select_captcha

Reconhecimento de CAPTCHA que abrange seleção de texto por clique, seleção de caracteres, escolha e toque, implementado e treinado com PyTorch.

MgArcher
⭐ 1,679 Python 👤 MgArcher User 🕐 Atualizado 2026-05-08 📅 Criado 2020-08-23
149
Altimis/Scweet

Scraper do Twitter e do X para Python: extraia tweets, perfis, seguidores, contas seguidas e tendências sem a API oficial. Uma biblioteca de scraping do Twitter com pool de várias contas, suporte a proxies e processamento assíncrono, ou uma versão hospedada no Apify.

Altimis
⭐ 1,667 Python 👤 Altimis User 🕐 Atualizado 2026-11-20 📅 Criado 2020-12-14
150
ttttmr/Wechat2RSS

Conversão de Conta Oficial do WeChat para RSS

ttttmr
⭐ 1,665 Shell 👤 ttttmr User 🕐 Atualizado 2026-11-20 📅 Criado 2021-09-25