Git Stars Git Stars

#web-scraping Repositórios

381
Total de Repositórios
2.1M
Total de estrelas
5,636
Média de Estrelas/Repositório

382 repositórios no total

301
z0m31en7/Uscrapper

Uscrapper Vanta: Mergulhe mais fundo na web com esta poderosa ferramenta de código aberto. Extraia insights valiosos com facilidade e eficiência, de fontes da web superficial e profunda. Potencialize sua mineração e análise de dados com as capacidades avançadas de Vanta. Rápido, confiável e fácil de usar, Uscrapper Vanta é a escolha definitiva para pesquisadores e analistas.

z0m31en7
⭐ 740 Python 👤 z0m31en7 User 🕐 Atualizado 2024-11-24 📅 Criado 2023-05-31
302
djadmin/medium-cli

Medium para Hackers - :computer: Uma CLI para Histórias do Medium.

djadmin
⭐ 735 JavaScript 👤 djadmin User 🕐 Atualizado 2026-02-13 📅 Criado 2016-01-21
303
drawrowfly/amazon-product-api

Raspador Amazon. Raspe produtos dos resultados de pesquisa da Amazon ou avaliações de um produto específico

drawrowfly
⭐ 734 JavaScript 👤 drawrowfly User 🕐 Atualizado 2024-07-05 📅 Criado 2019-10-06
304
ScrapeGraphAI/scrapecraft

Editor de web scraping com tecnologia de IA e construtor de fluxo de trabalho visual. Crie, teste e implemente web scrapers usando linguagem natural. Desenvolvido por ScrapeGraphAI e LangGraph.

ScrapeGraphAI
⭐ 731 Python 👤 ScrapeGraphAI Organization 🕐 Atualizado 2025-12-26 📅 Criado 2025-07-01
305
rubycdp/vessel

Framework Ruby rápido de alto nível para rastreamento web

rubycdp
⭐ 725 Ruby 👤 rubycdp Organization 🕐 Atualizado 2026-11-03 📅 Criado 2019-09-17
306
MorganZhang100/zhihu-spider

Uma aranha da web para zhihu.com

MorganZhang100
⭐ 725 Python 👤 MorganZhang100 User 🕐 Atualizado 2024-01-17 📅 Criado 2015-02-22
307
lzjun567/python_scripts

Alguns códigos de demonstração relacionados a Python

lzjun567
⭐ 715 HTML 👤 lzjun567 User 🕐 Atualizado 2024-07-21 📅 Criado 2017-02-07
308
lhccong/fish-island-backend

Backend Mo Yu Dao 🎣 Baseado em rastreador web ➕ Netty ➕ SpringBoot ➕ Redis ➕ MySQL. Código aberto 🌟 Um site de lazer completo.

lhccong
⭐ 710 Java 👤 lhccong User 🕐 Atualizado 2026-11-18 📅 Criado 2025-02-20
309
kovidgoyal/html5-parser

Análise rápida de HTML 5 baseada em C para Python

kovidgoyal
⭐ 710 C 👤 kovidgoyal User 🕐 Atualizado 2026-09-20 📅 Criado 2017-06-03
310
lumpinif/deepcrawl

100% grátis e alternativa open-source completa ao Firecrawl edge com extração de links melhor para agentes - que você pode implantar no Cloudflare ou Vercel por conta própria.

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 Atualizado 2026-08-24 📅 Criado 2025-05-22
311
maaaaz/webscreenshot

Um script simples para tirar capturas de tela de uma lista de sites

maaaaz
⭐ 696 Python 👤 maaaaz User 🕐 Atualizado 2025-10-19 📅 Criado 2014-01-12
312
only-cli/oc

Transforme qualquer site em uma CLI compacta, adaptada para agentes de IA. Navegue pela web usando centenas de tokens, não dezenas de milhares.

only-cli
⭐ 694 JavaScript 👤 only-cli User 🕐 Atualizado 2026-11-17 📅 Criado 2026-08-18
313
firecrawl/cli

CLI e recursos para agentes do Firecrawl: pesquise, extraia conteúdo e interaja com a Web pelo terminal ou por qualquer agente de programação. Além disso, analise, rastreie e mapeie sites e use Agent e Monitor. O Firecrawl é a API de contexto para agentes de IA.

firecrawl
⭐ 694 TypeScript 👤 firecrawl Organization 🕐 Atualizado 2026-11-19 📅 Criado 2026-01-07
314
karpathy/hn-time-capsule

Analisando discussões do Hacker News de uma década atrás, em retrospectiva, com LLMs

karpathy
⭐ 693 Python 👤 karpathy User 🕐 Atualizado 2025-12-10 📅 Criado 2025-12-10
315
xiaosimao/IP_POOL

Pool de proxies IP gratuito

xiaosimao
⭐ 686 Python 👤 xiaosimao User 🕐 Atualizado 2025-09-15 📅 Criado 2017-09-22
316
perkeep/gphotos-cdp

Este programa usa o Protocolo DevTools do Chrome para controlar uma sessão do Chrome que baixa suas fotos armazenadas no Google Fotos.

perkeep
⭐ 683 Go 👤 perkeep Organization 🕐 Atualizado 2024-06-30 📅 Criado 2019-08-08
317
yixiu001/Free-SS-NODES

Obtenção de nós ss gratuitos

yixiu001
⭐ 681 👤 yixiu001 User 🕐 Atualizado 2024-11-11 📅 Criado 2024-11-11
318
everyinfra/everyinfra-agent-plugins

Servidor MCP e plugin para agentes da EveryInfra: API de scraping para TikTok, Instagram, Amazon, YouTube, Xiaohongshu e Douyin. 612 APIs de dados em 106 plataformas, a partir de US$ 0,56 por 1.000 chamadas. Para Claude Code, Cursor e Codex.

everyinfra
⭐ 672 Python 👤 everyinfra Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-09-01
319
firecrawl/open-researcher

🔥 Assistente de pesquisa visual em IA que exibe pensamento em tempo real, oferece análise em vista dividida e citações automáticas usando Claude e Firecrawl

firecrawl
⭐ 667 TypeScript 👤 firecrawl Organization 🕐 Atualizado 2025-07-02 📅 Criado 2025-06-27
320
wimglenn/advent-of-code-data

Obtenha seus dados do Advent of Code com uma única instrução de importação

wimglenn
⭐ 666 Python 👤 wimglenn User 🕐 Atualizado 2026-08-01 📅 Criado 2016-12-03
321
oxylabs/Agent-browser

Execute scripts de automação complexos através de sessões em nuvem remotas, com proxies residenciais integrados, resolução automática de CAPTCHA e renderização nativa de JavaScript para os sites dinâmicos mais difíceis.

oxylabs
⭐ 663 👤 oxylabs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2026-04-17
322
adamschwartz/web.scraper.workers.dev

Extraia texto de sites usando seletor CSS.

adamschwartz
⭐ 658 JavaScript 👤 adamschwartz User 🕐 Atualizado 2024-02-14 📅 Criado 2019-10-10
323
asmcos/requests

Uma biblioteca de cliente HTTP em golang. Salve para requisições python.

asmcos
⭐ 656 Go 👤 asmcos User 🕐 Atualizado 2026-10-09 📅 Criado 2018-08-27
324
yanzhou/CnkiSpider

Web Crawler do CNKI

yanzhou
⭐ 653 Python 👤 yanzhou User 🕐 Atualizado 2025-03-08 📅 Criado 2014-11-05
325
11firefly11/fir-proxy

Um programa de pool de proxy gráfico com proxies rotativos

11firefly11
⭐ 650 Python 👤 11firefly11 User 🕐 Atualizado 2025-12-04 📅 Criado 2025-07-22
326
KNKPA/KNKPAnime

KNKPAnime: Um aplicativo para assistir animes que suporta múltiplas fontes de streaming e comentários flutuantes.

KNKPA
⭐ 648 Dart 👤 KNKPA Organization 🕐 Atualizado 2025-02-01 📅 Criado 2024-04-20
327
Threezh1/SiteCopy

sitecopy é uma ferramenta que facilita o backup de sites pessoais e a coleta de dados de rede

Threezh1
⭐ 647 Python 👤 Threezh1 User 🕐 Atualizado 2024-01-21 📅 Criado 2019-12-12
328
ScrapingBee/google-hotels-api

Automatize o scraping de dados de hotéis, incluindo preços, disponibilidade, classificações e provedores de reservas, com uma integração da API do Google Hotels.

ScrapingBee
⭐ 645 👤 ScrapingBee Organization 🕐 Atualizado 2026-04-08 📅 Criado 2026-04-08
⭐ 640 CSS 👤 dreamsofcode-io Organization 🕐 Atualizado 2024-08-04 📅 Criado 2024-07-26
330
cfinke/EpsteOut

Veja quais dos seus contatos do LinkedIn aparecem nos arquivos de Epstein.

cfinke
⭐ 638 Python 👤 cfinke User 🕐 Atualizado 2026-10-17 📅 Criado 2026-02-04
331
lzjqsdd/NewsSpider

Rastrear notícias de Toutiao, NetEase, Tencent e outras, e construir um motor de busca simples

lzjqsdd
⭐ 638 Python 👤 lzjqsdd User 🕐 Atualizado 2024-05-14 📅 Criado 2016-04-19
332
scrapfly/Antibot-Detector

Deteção em tempo real de sistemas antibot, captchas e técnicas de fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security e muito mais, com pontuação de confiança e ferramentas avançadas de captura.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Atualizado 2026-11-17 📅 Criado 2025-09-03
333
ohyicong/Google-Image-Scraper

Uma biblioteca para fazer raspagem de imagens do Google

ohyicong
⭐ 636 Python 👤 ohyicong User 🕐 Atualizado 2025-02-16 📅 Criado 2020-07-18
335
deedy5/primp

Cliente HTTP capaz de se passar por navegadores web

deedy5
⭐ 634 Rust 👤 deedy5 User 🕐 Atualizado 2026-09-13 📅 Criado 2024-04-12
336
achuthasubhash/Complete-Life-Cycle-of-a-Data-Science-Project

Ciclo de Vida Completo de um Projeto de Ciência de Dados

achuthasubhash
⭐ 631 👤 achuthasubhash User 🕐 Atualizado 2024-06-07 📅 Criado 2020-09-02
337
eliemichel/LilySurfaceScraper

Importar shaders e ambientes no Blender a partir de um único URL

eliemichel
⭐ 625 Cython 👤 eliemichel User 🕐 Atualizado 2026-06-19 📅 Criado 2019-04-28
338
super-l/superl-url

Um programa que coleta o conteúdo de URLs dos resultados de busca de mecanismos de pesquisa com base em palavras-chave. Ele pode coletar automaticamente endereços reais e títulos de sites relevantes, entre outras informações, de vários mecanismos de pesquisa, pode ser salvo como um arquivo e remove automaticamente URLs duplicadas. Ao mesmo tempo, também permite personalizar a exclusão de múltiplos domínios, etc.

super-l
⭐ 621 Python 👤 super-l User 🕐 Atualizado 2025-04-12 📅 Criado 2017-08-03
339
Lofter1/anyflip-downloader

Baixe os livros anyflip em PDF

Lofter1
⭐ 619 Go 👤 Lofter1 User 🕐 Atualizado 2026-11-16 📅 Criado 2023-02-05
340
chenluda/zhihu-download

Converter artigos da coluna Zhihu para arquivos Markdown e salvá-los localmente

chenluda
⭐ 613 Python 👤 chenluda User 🕐 Atualizado 2025-03-21 📅 Criado 2023-05-12
341
liuda30201/AI-Coding

Guia de benefícios para programação com IA: um diretório de serviços intermediários e sites comunitários para Claude Code, Codex e Cursor. Reúne cotas gratuitas, bônus de cadastro, atividades de check-in e avaliações, além de oferecer um painel visual e ferramentas de coleta de dados em Python.

liuda30201
⭐ 611 HTML 👤 liuda30201 User 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-15
342
alchaincyf/huashu-chrome

Permita que qualquer agente de IA controle o seu próprio Chrome, mantendo todas as sessões iniciadas. MCP + extensão do Chrome, compatível com Claude Code / Codex / Cursor / Gemini CLI.

alchaincyf
⭐ 609 JavaScript 👤 alchaincyf User 🕐 Atualizado 2026-11-15 📅 Criado 2026-08-26
343
testusyd/douyin_downloader

Máquina de gacha de bolsa de sorte Douyin, ferramenta de captura de bolsa de sorte Douyin, escrita por mim em VC++ no meu tempo livre, com algumas outras pequenas funções, downloader de vídeo Douyin sem marca d'água, downloader de gravação de stream ao vivo Douyin, ferramenta de deixar de seguir em massa Douyin

testusyd
⭐ 605 👤 testusyd User 🕐 Atualizado 2026-03-08 📅 Criado 2025-05-22
344
ThinkerWen/TicketMonitoring

Cevada, Maoyan, Funwan Island, Piaoxingqiu, monitoramento de ingressos de retorno para shows

ThinkerWen
⭐ 605 Python 👤 ThinkerWen User 🕐 Atualizado 2025-01-24 📅 Criado 2023-10-22
345
lunnar211/HackFacebokpass

Hacking o Facebook pelo Termux. Esta ferramenta foi codificada por TecnicalDipesh. Você pode extrair qualquer ID e senha do Facebook.

lunnar211
⭐ 603 Python 👤 lunnar211 User 🕐 Atualizado 2026-03-26 📅 Criado 2019-11-11
346
web-agent-master/google-search

Uma ferramenta Node.js baseada em Playwright que ignora mecanismos antirraspagem de mecanismos de busca para executar pesquisas no Google. Alternativa local às APIs SERP com integração de servidor MCP.

web-agent-master
⭐ 598 TypeScript 👤 web-agent-master Organization 🕐 Atualizado 2025-04-06 📅 Criado 2025-03-04
347
jiuzhi-1/meituan-shenquan

Meituan Cupom Diário Atividade Regional Script Automatizado

jiuzhi-1
⭐ 595 Python 👤 jiuzhi-1 User 🕐 Atualizado 2024-05-08 📅 Criado 2021-10-15
348
ytdl-org/ytdl-nightly

Compilações noturnas para youtube-dl.

ytdl-org
⭐ 593 Python 👤 ytdl-org Organization 🕐 Atualizado 2026-11-06 📅 Criado 2023-07-02
349
shaikhsajid1111/social-media-profile-scrapers

Buscar dados do usuário em mídias sociais

shaikhsajid1111
⭐ 588 Python 👤 shaikhsajid1111 User 🕐 Atualizado 2026-09-15 📅 Criado 2020-04-26
350
spekulatius/PHPScraper

Um utilitário web universal para PHP.

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 Atualizado 2026-09-08 📅 Criado 2020-04-21