Git Stars Git Stars

#web-scraping Repositórios

381
Total de Repositórios
2.1M
Total de estrelas
5,636
Média de Estrelas/Repositório

382 repositórios no total

51
matthewmueller/x-ray

O próximo web scraper. Veja através do ruído <html>.

matthewmueller
⭐ 5,899 JavaScript 👤 matthewmueller User 🕐 Atualizado 2026-08-31 📅 Criado 2015-02-05
52
omkarcloud/botasaurus

O Framework Tudo em Um para Construir Scrapers Invencíveis

omkarcloud
⭐ 5,857 TypeScript 👤 omkarcloud Organization 🕐 Atualizado 2026-11-13 📅 Criado 2023-05-09
53
executeautomation/mcp-playwright

Servidor de Protocolo de Contexto do Modelo Playwright - Ferramenta para automatizar Navegadores e APIs no Claude Desktop, Cline, Cursor IDE e Mais 🔌

executeautomation
⭐ 5,681 TypeScript 👤 executeautomation User 🕐 Atualizado 2025-12-13 📅 Criado 2024-12-03
54
KnockOutEZ/wigolo

A web ideal para seu agente de codificação de IA — pesquisa local, busca, rastreamento e pesquisa via MCP. Sem chaves de API, sem nuvem, $0/consulta. Beta pública.

KnockOutEZ
⭐ 5,560 TypeScript 👤 KnockOutEZ User 🕐 Atualizado 2026-11-21 📅 Criado 2026-04-12
55
Kaliiiiiiiiii-Vinyzu/patchright

Versão não detectada da biblioteca de teste e automação Playwright.

Kaliiiiiiiiii-Vinyzu
⭐ 5,227 TypeScript 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 Atualizado 2026-11-13 📅 Criado 2023-11-07
56
Manavarya09/design-extract

Extraia o sistema de design completo de qualquer site com um comando. Tokens DTCG, semântico+primitivo+composto, servidor MCP para Claude Code/Cursor/Windsurf, emissores multiplataforma (iOS SwiftUI, Android Compose, Flutter, WordPress), Tailwind v4, variáveis do Figma, shadcn/ui, auditoria de saúde CSS, remediação WCAG, extensão do Chrome. MIT, Playwright, Node 20+.

Manavarya09
⭐ 5,180 HTML 👤 Manavarya09 User 🕐 Atualizado 2026-11-18 📅 Criado 2026-04-15
57
ultrafunkamsterdam/nodriver

Sucessor do Undetected-Chromedriver. Fornecendo um framework extremamente rápido para automação web, web scraping, bots e quaisquer outras ideias criativas que são normalmente impedidas por sistemas irritantes anti-bot como Captcha / CloudFlare / Imperva / hCaptcha

ultrafunkamsterdam
⭐ 4,950 Python 👤 ultrafunkamsterdam User 🕐 Atualizado 2026-10-26 📅 Criado 2024-02-20
58
jaypyles/Scraperr

Webscraper auto-hospedado.

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 Atualizado 2025-10-12 📅 Criado 2024-07-06
59
NanmiCoder/CrawlerTutorial

Web Scraping Básico, Web Scraping Intermediário, Web Scraping Avançado

NanmiCoder
⭐ 4,873 Python 👤 NanmiCoder User 🕐 Atualizado 2026-04-03 📅 Criado 2024-03-24
60
request/request-promise

O cliente de requisição HTTP simplificado 'request' com suporte a Promises. Potencializado por Bluebird.

request
⭐ 4,734 JavaScript 👤 request Organization 🕐 Atualizado 2024-01-31 📅 Criado 2013-10-04
61
REMitchell/python-scraping

Amostras de código do livro Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 Atualizado 2024-06-01 📅 Criado 2015-06-14
62
AhmadHassan-BTed/Noria

Um extrator agêntico para plataformas de mensagens. A Noria recebe mensagens e URLs por chat, coleta dados da web para avaliar o conteúdo com base em matrizes de pontuação personalizadas (por exemplo, vagas de emprego e bolsas de estudo) e envia um resumo estruturado, com uma pontuação de compatibilidade calculada, diretamente para o número de mensagens atribuído.

AhmadHassan-BTed
⭐ 4,624 JavaScript 👤 AhmadHassan-BTed User 🕐 Atualizado 2026-11-10 📅 Criado 2026-05-31
63
linsomniac/spotify_to_ytmusic

Copiar playlists e músicas curtidas do Spotify para o YTMusic

linsomniac
⭐ 4,588 Python 👤 linsomniac User 🕐 Atualizado 2026-04-13 📅 Criado 2023-12-22
64
0xHJK/music-dl

Pesquise e baixe músicas: pesquise e baixe músicas do NetEase Cloud Music, QQ Music, Kugou Music, Baidu Music, Xiami Music, Migu Music, etc.

0xHJK
⭐ 4,423 Python 👤 0xHJK User 🕐 Atualizado 2025-08-12 📅 Criado 2019-01-08
65
ssut/py-googletrans

(não oficial) Googletrans: API de tradução gratuita e ilimitada do Google para Python. Traduz totalmente sem custo.

ssut
⭐ 4,303 Python 👤 ssut User 🕐 Atualizado 2026-08-08 📅 Criado 2015-06-05
66
RookieEnough/Orion-Store

O lugar ideal para aplicações de código aberto e depuradas. A OrionStore oferece acesso instantâneo ao YouTube Morphe, ao YT Music Morphe e a ferramentas essenciais de código aberto, sem confusão. Sem servidores nem rastreamento: apenas uma porta de entrada bonita e moderna para as aplicações de que gosta.

RookieEnough
⭐ 4,285 Kotlin 👤 RookieEnough User 🕐 Atualizado 2026-11-19 📅 Criado 2025-11-28
67
scrapinghub/splash

Navegador leve e com script, como serviço, com uma API HTTP

scrapinghub
⭐ 4,197 Python 👤 scrapinghub Organization 🕐 Atualizado 2024-08-02 📅 Criado 2013-05-20
68
kalil0321/reverse-api-engineer

Faça engenharia reversa de qualquer site para transformá-lo em um cliente de API tipado. Compatível com Claude Code, Codex, Cursor e OpenCode.

kalil0321
⭐ 4,088 Python 👤 kalil0321 User 🕐 Atualizado 2026-11-21 📅 Criado 2025-12-23
69
snooppr/snoop

Snoop — ferramenta de inteligência de código aberto (mundo OSINT)

snooppr
⭐ 4,072 Python 👤 snooppr User 🕐 Atualizado 2026-11-20 📅 Criado 2020-02-14
70
IonicaBizau/scrape-it

Um scraper Node.js para humanos.

IonicaBizau
⭐ 4,069 JavaScript 👤 IonicaBizau User 🕐 Atualizado 2026-11-20 📅 Criado 2016-04-28
71
ericciarla/trendFinder

Fique por dentro dos tópicos em alta nas mídias sociais e na web com IA

ericciarla
⭐ 4,016 TypeScript 👤 ericciarla User 🕐 Atualizado 2025-02-17 📅 Criado 2024-12-31
72
osnr/TabFS

Monte suas abas do navegador como um sistema de arquivos.

osnr
⭐ 3,916 JavaScript 👤 osnr User 🕐 Atualizado 2024-12-28 📅 Criado 2019-02-26
73
Samueli924/chaoxing

Superstar Learning/Superstar ErYa/PanYa Superstar Complete Task Points Automatically Unattended

Samueli924
⭐ 3,883 Python 👤 Samueli924 User 🕐 Atualizado 2026-09-28 📅 Criado 2020-11-20
74
sentient-agi/OpenDeepSearch

LLM impulsionado por pesquisa de ponta

sentient-agi
⭐ 3,824 Python 👤 sentient-agi Organization 🕐 Atualizado 2025-04-04 📅 Criado 2025-03-20
75
edoardottt/cariddi

Obtenha uma lista de domínios, rastreie URLs e escaneie em busca de endpoints, segredos, chaves de API, extensões de arquivo, tokens e muito mais

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Atualizado 2026-11-19 📅 Criado 2021-04-27
76
3441293738/creatorhub

Monitoramento · coleta · republicação de conteúdo em várias plataformas. Um único painel web para gerenciar Douyin / Xiaohongshu / Kuaishou / Canais do WeChat / TikTok / Bilibili / Instagram / Xiaohongshu internacional (rednote)

3441293738
⭐ 3,774 Python 👤 3441293738 User 🕐 Atualizado 2026-11-21 📅 Criado 2026-07-03
77
Anakin-Inc/anakin

API de web scraping de código aberto. Transforme qualquer site em Markdown limpo ou JSON estruturado. Navegador anti-detecção, seleção automática de proxy, auto-hospedado. Um comando: make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 Atualizado 2026-08-18 📅 Criado 2026-03-17
78
cv-cat/DouYin_Spider

Engenharia reversa do TikTok, rastreador do TikTok, todas as APIs do TikTok, mensagens privadas, monitoramento de salas de transmissão ao vivo

cv-cat
⭐ 3,711 Python 👤 cv-cat User 🕐 Atualizado 2026-10-23 📅 Criado 2023-10-17
79
oxylabs/amazon-scraper

API de Scraping gratuita da Amazon para extrair dados de pesquisa, produto, listagem de ofertas, avaliações, perguntas e respostas, mais vendidos e vendedores.

oxylabs
⭐ 3,417 Python 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2022-11-29
81
oxylabs/oxylabs-ai-studio-py

Coleta de dados estruturados de qualquer site usando scraper, crawler e automação de navegador com IA. Web scraping e crawling com prompts em linguagem natural. Equipe seus agentes LLM com dados atualizados. SDK Python do AI Studio para coleta inteligente de dados da web.

oxylabs
⭐ 3,394 Python 👤 oxylabs Organization 🕐 Atualizado 2026-08-21 📅 Criado 2025-06-17
82
vibheksoni/stealth-browser-mcp

Automação furtiva de navegador para agentes de IA via MCP e o protocolo Chrome DevTools: navegação, hooks de rede, extração do DOM e clonagem de interfaces de usuário com precisão de pixel.

vibheksoni
⭐ 3,384 Python 👤 vibheksoni User 🕐 Atualizado 2026-11-20 📅 Criado 2025-08-09
83
php-curl-class/php-curl-class

A Classe Curl do PHP facilita o envio de requisições HTTP e a integração com APIs web

php-curl-class
⭐ 3,293 PHP 👤 php-curl-class Organization 🕐 Atualizado 2026-11-17 📅 Criado 2013-08-16
84
Virtual-Browser/VirtualBrowser

Navegador anti-fingerprint gratuito, navegador de impressão digital, navegador de privacidade, navegador anti-identificação, navegador anti-reconhecimento, navegador anti-associação, navegador de impressão digital gratuito especializado em airdrops web3 https://virtualbrowser.cc/?src=github

Virtual-Browser
⭐ 3,282 Vue 👤 Virtual-Browser User 🕐 Atualizado 2026-10-16 📅 Criado 2023-05-20
85
hydrusnetwork/hydrus

Um etiquetador de mídia pessoal no estilo booru que permite importar arquivos e tags do seu disco rígido e de sites populares. O conteúdo pode ser compartilhado com outros usuários através de servidores gerenciados pelos próprios usuários.

hydrusnetwork
⭐ 3,276 Python 👤 hydrusnetwork User 🕐 Atualizado 2026-11-18 📅 Criado 2013-02-19
86
oxylabs/how-to-scrape-amazon-product-data

O processo de extração de dados de produtos da Amazon usando Python, incluindo títulos, avaliações, preços, imagens e descrições.

oxylabs
⭐ 3,248 Python 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-09-03
87
mitsuhiko/agent-stuff

Estes são comandos que uso com agentes, principalmente Claude.

mitsuhiko
⭐ 3,223 TypeScript 👤 mitsuhiko User 🕐 Atualizado 2026-09-27 📅 Criado 2025-11-02
88
scrapy/scrapyd

Um daemon de serviço para executar spiders do Scrapy

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 Atualizado 2026-10-23 📅 Criado 2013-02-01
90
langchain-ai/social-media-agent

📲 Um agente para obter, selecionar e agendar publicações de redes sociais com intervenção humana (human-in-the-loop).

langchain-ai
⭐ 3,045 TypeScript 👤 langchain-ai Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-11-21
91
TheBlewish/Automated-AI-Web-Researcher-Ollama

Um programa Python que transforma um LLM, em execução no Ollama, num pesquisador automatizado, o qual com uma única consulta determinará as áreas de foco a serem investigadas, fará pesquisas na web e extrairá conteúdo de vários websites relevantes, e conduzirá a pesquisa para você, tudo por conta própria! E mais, incluindo, mas não se limitando a, salvar as descobertas para você!

TheBlewish
⭐ 3,019 Python 👤 TheBlewish User 🕐 Atualizado 2026-09-02 📅 Criado 2024-11-20
92
x4nth055/pythoncode-tutorials

Tutoriais de Código Python

x4nth055
⭐ 3,003 Jupyter Notebook 👤 x4nth055 User 🕐 Atualizado 2026-09-30 📅 Criado 2019-07-29
93
vladkens/twscrape

Biblioteca Python e CLI para scraping de X/Twitter com rotação de múltiplas contas e tratamento integrado de limites de taxa.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 Atualizado 2026-11-19 📅 Criado 2023-05-05
94
rust-headless-chrome/rust-headless-chrome

Uma API de alto nível para controlar o Chrome ou Chromium sem cabeça sobre o Protocolo DevTools. É o equivalente em Rust do Puppeteer, uma biblioteca Node mantida pela equipe do Chrome DevTools.

rust-headless-chrome
⭐ 2,960 Rust 👤 rust-headless-chrome Organization 🕐 Atualizado 2026-06-11 📅 Criado 2018-09-18
95
oxylabs/how-to-scrape-google-trends

Aprenda passo a passo como extrair dados do Google Trends e fazer uma comparação de resultados usando Python e a API SERP da Oxylabs. Extraia palavras-chave, sua popularidade, detalhamento por região, consultas relacionadas e muito mais.

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-08-06
96
digininja/CeWL

CeWL é um Gerador de Lista de Palavras Personalizada

digininja
⭐ 2,896 Ruby 👤 digininja User 🕐 Atualizado 2026-06-24 📅 Criado 2016-04-22
97
spider-rs/spider

Coleta fundamental de dados da web com baixa latência em Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-01-07
98
Geniusay/ChopperBot

Para 虎牙, 斗鱼, 抖音, BiliBili, TikTok, Twitch: 🔥Robô AI inteligente e popular para edição e publicação de vídeos de transmissões ao vivo🔥, automatizado 🤖, totalmente inteligente ⚙ (gera inteligentemente cortes, títulos, capas, descrições), visualização 👓, monitoramento de tendências da plataforma 🌡, plug-ins ricos e expansíveis 🕹, implantação rápida ⚡, criação e publicação automática de contas de vídeo 🌟, suporta DIY 🎮

Geniusay
⭐ 2,758 Java 👤 Geniusay User 🕐 Atualizado 2025-08-04 📅 Criado 2023-04-27
99
levywang/avhub

Ferramenta de Pesquisa e Gerenciamento de Recursos R18

levywang
⭐ 2,742 Vue 👤 levywang User 🕐 Atualizado 2026-04-18 📅 Criado 2025-03-07
100
brightdata/brightdata-mcp

Um servidor poderoso de Protocolo de Contexto de Modelo (MCP) que fornece uma solução completa para acesso público à web.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Atualizado 2026-11-18 📅 Criado 2025-04-15