Git Stars Git Stars

#web-scraping Repositórios

381
Total de Repositórios
2.1M
Total de estrelas
5,636
Média de Estrelas/Repositório

382 repositórios no total

151
Nutlope/turboseek

Um motor de busca de IA inspirado pela Perplexity

Nutlope
⭐ 1,660 TypeScript 👤 Nutlope User 🕐 Atualizado 2026-10-23 📅 Criado 2024-05-26
152
oxylabs/ai-map-py

O AI Map é uma ferramenta de mapeamento de websites alimentada por IA, da Oxylabs AI Studio, que utiliza comandos de linguagem natural para descobrir e extrair URLs relevantes de qualquer website de forma inteligente.

oxylabs
⭐ 1,651 👤 oxylabs Organization 🕐 Atualizado 2026-04-02 📅 Criado 2025-10-29
153
orangecoding/fredy

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] (encontre imóveis de verdade com toda a facilidade) - O Fredy continua a procurar novos apartamentos, casas e imóveis na Europa em plataformas como ImmoScout24, Immowelt e eBay Kleinanzeigen e envia-lhe instantaneamente os resultados através do Slack, Telegram, e-mail, Discord ou ntfy, para que possa concentrar-se nas coisas mais importantes da vida ;)

orangecoding
⭐ 1,648 JavaScript 👤 orangecoding User 🕐 Atualizado 2026-11-19 📅 Criado 2018-01-15
154
Xetera/ghost-cursor

🖱️ Gerar movimentos de mouse semelhantes aos humanos com o Puppeteer ou em qualquer plano 2D

Xetera
⭐ 1,634 TypeScript 👤 Xetera User 🕐 Atualizado 2026-11-04 📅 Criado 2019-10-15
155
justmarkham/DAT8

Curso de Ciência de Dados da Assembleia Geral de 2015 em Washington, DC

justmarkham
⭐ 1,622 Jupyter Notebook 👤 justmarkham User 🕐 Atualizado 2024-06-05 📅 Criado 2015-08-07
156
karust/openserp

Pesquisa na web auto-hospedada para agentes de IA e SEO. Google, Bing, Yandex, Baidu, DuckDuckGo e Ecosia, renderizados em um navegador real: resultados classificados e Markdown limpo das páginas. API, CLI, MCP 🎉

karust
⭐ 1,605 Go 👤 karust User 🕐 Atualizado 2026-11-19 📅 Criado 2023-06-23
157
Kaliiiiiiiiii-Vinyzu/patchright-python

Versão Python não detectada da biblioteca Playwright de testes e automação.

Kaliiiiiiiiii-Vinyzu
⭐ 1,603 Python 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 Atualizado 2026-11-10 📅 Criado 2024-11-02
158
ulixee/hero

O navegador web construído para scraping

ulixee
⭐ 1,557 TypeScript 👤 ulixee Organization 🕐 Atualizado 2026-05-16 📅 Criado 2021-07-28
159
dteviot/WebToEpub

Uma extensão simples do Chrome (e Firefox) que converte Web Novels (e outras páginas da web) em um EPUB.

dteviot
⭐ 1,544 JavaScript 👤 dteviot User 🕐 Atualizado 2026-11-20 📅 Criado 2015-11-23
160
headzoo/surf

Navegação web programática com estado em Go.

headzoo
⭐ 1,533 Go 👤 headzoo User 🕐 Atualizado 2024-01-24 📅 Criado 2014-08-25
161
0x676e67/wreq-python

Um cliente HTTP Python ergonômico e consciente da privacidade

0x676e67
⭐ 1,526 Python 👤 0x676e67 User 🕐 Atualizado 2026-11-15 📅 Criado 2025-02-10
162
tidyverse/rvest

Web scraping simples para R

tidyverse
⭐ 1,524 R 👤 tidyverse Organization 🕐 Atualizado 2026-10-27 📅 Criado 2014-07-23
163
tinyfish-io/agentql

AgentQL é um conjunto de ferramentas para conectar sua IA à web. Apresentando uma linguagem de consulta e integrações Playwright para interagir com elementos e extrair dados de forma rápida, precisa e em escala. Inclui API REST, SDKs Python e JavaScript, depurador de navegador.

tinyfish-io
⭐ 1,510 Python 👤 tinyfish-io Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-02-20
164
liguobao/HouseSearch

Procure imóveis para alugar no mapa: cansado de percorrer a cidade inteira em busca de um lugar para alugar? Experimente uma maneira diferente e procure imóveis diretamente no mapa! [Conta oficial e miniprograma do WeChat: 人生删除指南]

liguobao
⭐ 1,495 JavaScript 👤 liguobao User 🕐 Atualizado 2026-11-14 📅 Criado 2016-08-07
165
antonmedv/finder

Gerador de Seletor CSS 🗺

antonmedv
⭐ 1,491 HTML 👤 antonmedv User 🕐 Atualizado 2025-11-20 📅 Criado 2018-02-20
166
rebrowser/rebrowser-patches

Coleção de patches para puppeteer e playwright para evitar a detecção de automação e vazamentos. Ajuda a evitar páginas CAPTCHA do Cloudflare e DataDome. Fácil de aplicar/remover patches, pode ser ativado/desativado sob demanda.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 Atualizado 2026-11-02 📅 Criado 2024-08-06
167
ScrapingBee/chatgpt-scraper-api

Colete respostas estruturadas de um scraper ChatGPT enviando um prompt com credenciais válidas da API de scraping ChatGPT. Ative a pesquisa ao vivo, injete contexto HTML e automatize fluxos de trabalho inteligentes de scraper ChatGPT com apenas alguns parâmetros.

ScrapingBee
⭐ 1,465 👤 ScrapingBee Organization 🕐 Atualizado 2026-07-15 📅 Criado 2026-03-12
168
Surfer-Org/Protocol

Estrutura de código aberto para exportar os seus dados pessoais.

Surfer-Org
⭐ 1,462 TypeScript 👤 Surfer-Org Organization 🕐 Atualizado 2024-12-25 📅 Criado 2024-08-09
169
austin-weeks/miasma

Prenda os scrapers web de IA em um poço de veneno infinito.

austin-weeks
⭐ 1,459 Rust 👤 austin-weeks User 🕐 Atualizado 2026-11-05 📅 Criado 2026-03-18
170
roach-php/core

O kit de ferramentas completo para web scraping em PHP.

roach-php
⭐ 1,456 PHP 👤 roach-php Organization 🕐 Atualizado 2025-10-27 📅 Criado 2021-08-17
171
wordware-ai/twitter

Agente de IA para Análise de Personalidade no Twitter

wordware-ai
⭐ 1,446 TypeScript 👤 wordware-ai Organization 🕐 Atualizado 2026-08-02 📅 Criado 2024-06-03
172
mattsse/chromiumoxide

API Rust do Protocolo DevTools do Chrome

mattsse
⭐ 1,437 Rust 👤 mattsse User 🕐 Atualizado 2026-04-03 📅 Criado 2020-11-28
173
Miserlou/SoundScrape

Baixador do SoundCloud (e Bandcamp e Mixcloud) em Python.

Miserlou
⭐ 1,436 Python 👤 Miserlou User 🕐 Atualizado 2024-06-23 📅 Criado 2013-12-29
174
foxhui/WebAI2API

WebAI2API: Ferramenta de conversão de IA web para API baseada em Camoufox, suporta LMArena/Gemini e mais, concorrência multi-janela e isolamento de contas. | Web AI to OpenAI API via Camoufox. Supports LMArena/Gemini and more, multi-window concurrency & account isolation.

foxhui
⭐ 1,429 JavaScript 👤 foxhui User 🕐 Atualizado 2026-07-10 📅 Criado 2025-11-23
175
oxylabs/how-to-scrape-google-finance

Use a API Web Scraper para extrair dados do Google Finance, incluindo nomes de ações, preços e variações de preços em percentagem.

oxylabs
⭐ 1,403 Python 👤 oxylabs Organization 🕐 Atualizado 2025-09-23 📅 Criado 2024-09-25
176
feder-cr/invisible_puppeteer

Puppeteer para Python que os sistemas antibots não conseguem detectar, sem captchas: a mesma API, Firefox headless furtivo com proteção contra detecção, uma impressão digital indetectável, evasão da detecção de bots, scraping da web e automação do navegador.

feder-cr
⭐ 1,403 Python 👤 feder-cr User 🕐 Atualizado 2026-10-19 📅 Criado 2024-09-01
177
mckaywrigley/clarity-ai

Um clone do Perplexity.

mckaywrigley
⭐ 1,401 TypeScript 👤 mckaywrigley User 🕐 Atualizado 2024-03-28 📅 Criado 2023-02-19
178
facundoolano/app-store-scraper

raspar dados da itunes app store

facundoolano
⭐ 1,396 JavaScript 👤 facundoolano User 🕐 Atualizado 2025-07-27 📅 Criado 2016-05-31
179
regenrek/deepwiki-mcp

📖 Servidor MCP para buscar deepwiki.com e obter o conhecimento mais recente no Cursor e em outros Editores de Código

regenrek
⭐ 1,393 TypeScript 👤 regenrek User 🕐 Atualizado 2026-03-20 📅 Criado 2025-04-28
180
sardanioss/httpcloak

Cliente HTTP Go com fingerprinting TLS/HTTP2 idêntico ao navegador. Contornar detecção de bots imitando perfeitamente Chrome, Firefox e Safari ao nível criptográfico (JA3/JA4, impressão Akamai, ordem de cabeçalhos). Suporta HTTP/1.1, HTTP/2, HTTP/3, sessões, cookies e proxies.

sardanioss
⭐ 1,387 Go 👤 sardanioss User 🕐 Atualizado 2026-11-14 📅 Criado 2025-12-28
181
MiniGlome/Archive.org-Downloader

Script Python3 para baixar livros do archive.org em formato PDF

MiniGlome
⭐ 1,385 Python 👤 MiniGlome User 🕐 Atualizado 2026-09-27 📅 Criado 2021-02-17
182
fugary/calibre-douban

Novo plugin de origem de metadados do Douban para o Calibre. O Douban não fornece mais APIs de livros ao público, portanto, só pode usar rastreamento na web para obter dados. Este é um plugin do Calibre para Douban baseado em rastreamento na web.

fugary
⭐ 1,382 Python 👤 fugary User 🕐 Atualizado 2025-11-08 📅 Criado 2021-12-12
183
firecrawl/open-scouts

🔥 Plataforma de monitoramento web impulsionada por IA. Crie exploradores automatizados que buscam na web e enviam alertas por e‑mail quando encontram o que você procura.

firecrawl
⭐ 1,372 TypeScript 👤 firecrawl Organization 🕐 Atualizado 2026-11-13 📅 Criado 2025-11-28
184
sourcegraph/webloop

WebLoop: WebKit programável e sem interface gráfica, com uma API em Go. Como o PhantomJS, mas para Go.

sourcegraph
⭐ 1,366 Go 👤 sourcegraph Organization 🕐 Atualizado 2024-04-01 📅 Criado 2013-10-27
185
philippta/flyscrape

Flyscrape é uma ferramenta de web scraping de linha de comando projetada para aqueles sem habilidades avançadas de programação.

philippta
⭐ 1,347 Go 👤 philippta User 🕐 Atualizado 2025-11-24 📅 Criado 2023-08-28
186
Sniper970119/dianping_spider

Web Crawler (Rastreador) do Dianping (todo o site é rastreável, resolve a criptografia de fonte dinâmica, não é OCR). Atualização contínua

Sniper970119
⭐ 1,329 Python 👤 Sniper970119 User 🕐 Atualizado 2026-11-03 📅 Criado 2021-01-22
187
firecrawl/fire-enrich

🔥 Ferramenta de enriquecimento de dados com inteligência artificial que transforma e-mails em conjuntos de dados ricos com perfis de empresas, dados de financiamento, tecnologias utilizadas e muito mais, utilizando Firecrawl e IA multi-agente

firecrawl
⭐ 1,308 TypeScript 👤 firecrawl Organization 🕐 Atualizado 2026-10-26 📅 Criado 2025-06-06
188
AI4Finance-Foundation/FinNLP

Democratizando dados financeiros em escala da Internet.

AI4Finance-Foundation
⭐ 1,292 Jupyter Notebook 👤 AI4Finance-Foundation Organization 🕐 Atualizado 2024-07-01 📅 Criado 2023-02-07
189
kkangert/kspider

Kspider é uma plataforma de crawling que permite definir fluxos de trabalho de rastreamento de forma gráfica, possibilitando a implementação de um processo de rastreamento sem a necessidade de código. O Kspider não se limita apenas a crawling, podendo também ser utilizado para testes de automação WEB, e há muitas outras funcionalidades esperando por você para explorar.

kkangert
⭐ 1,285 Java 👤 kkangert User 🕐 Atualizado 2024-08-19 📅 Criado 2024-07-07
190
fastcrw/crw

Alternativa rápida e leve ao Firecrawl/Tavily em Rust. API de web scraping, crawler e pesquisa com servidor MCP para agentes de IA. API compatível com Firecrawl (/scrape, /crawl, /search). 2,3x mais rápida que o Tavily, 1,5x mais rápida que o Firecrawl em benchmarks de 1K URLs. 6 MB de RAM, binário único. Auto-hospedagem ou uso em nuvem gerenciada.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-03-02
191
techwithtim/Price-Tracking-Web-Scraper

Um rastreador de preços automatizado que usa bright data, playwright, react e flask.

techwithtim
⭐ 1,284 Python 👤 techwithtim User 🕐 Atualizado 2024-10-17 📅 Criado 2023-06-23
192
ovobrowsersupport/ovobrowser

Mecanismo de impressão digital do Chromium em nível de código-fonte, classificado pelos sites de detecção como um Chrome comum. Mecanismo de impressão digital do Chromium em nível de código-fonte que passa nos testes de detecção de bots. Não é injeção de JS — são patches de C++ compilados no binário.

ovobrowsersupport
⭐ 1,277 👤 ovobrowsersupport User 🕐 Atualizado 2026-11-16 📅 Criado 2026-08-23
193
raawaa/jav-scrapy

Trabalhador árduo para extrair em massa links de magnet AV ou capas

raawaa
⭐ 1,275 JavaScript 👤 raawaa User 🕐 Atualizado 2026-10-17 📅 Criado 2015-10-31
194
TaxyAI/browser-extension

Automatize o seu navegador com GPT-4

TaxyAI
⭐ 1,269 TypeScript 👤 TaxyAI Organization 🕐 Atualizado 2025-01-15 📅 Criado 2023-03-27
195
chromedp/examples

Exemplos de código do chromedp.

chromedp
⭐ 1,265 Go 👤 chromedp Organization 🕐 Atualizado 2026-11-18 📅 Criado 2017-12-26
196
Decodo/Decodo

Proxies residenciais rotativos HTTP(S)/SOCKS5 - exemplos de código e informações gerais.

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 Atualizado 2026-11-11 📅 Criado 2019-01-07
197
MarioVilas/googlesearch

Pesquisa Google a partir do Python (não oficial).

MarioVilas
⭐ 1,249 Python 👤 MarioVilas User 🕐 Atualizado 2025-11-11 📅 Criado 2012-10-22
198
kairi003/Get-cookies.txt-LOCALLY

Obtenha cookies.txt, NUNCA envie informações para fora.

kairi003
⭐ 1,230 JavaScript 👤 kairi003 User 🕐 Atualizado 2025-10-07 📅 Criado 2023-03-01
199
mika-cn/maoxian-web-clipper

Uma extensão da web para recortar informações de uma página da web. Salve-as em sua máquina local para evitar a invalidação da informação. Sem registro chato, sem cobrança.

mika-cn
⭐ 1,230 JavaScript 👤 mika-cn User 🕐 Atualizado 2026-08-23 📅 Criado 2018-08-09
200
eooce/Auto-login-netlib

Login automático no site netlib.re para manter o domínio ativo

eooce
⭐ 1,220 JavaScript 👤 eooce User 🕐 Atualizado 2025-11-08 📅 Criado 2025-11-06