Git Stars Git Stars

#data-extraction Repositórios

131
Total de Repositórios
729,329
Total de estrelas
5,567
Média de Estrelas/Repositório

131 repositórios no total

51
hi-primus/optimus

:truck: Fluxos de Trabalho Ágeis de Preparação de Dados facilitados com Pandas, Dask, cuDF, Dask-cuDF, Vaex e PySpark

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 Atualizado 2024-12-02 📅 Criado 2017-07-13
52
chinoogawa/fbht

Ferramenta de Hacking do Facebook

chinoogawa
⭐ 1,510 Python 👤 chinoogawa User 🕐 Atualizado 2024-05-09 📅 Criado 2013-12-16
53
ShilongLee/Crawler

Servidor de API de código aberto para web scraping de plataformas como Douyin (versão mais recente de a_bogus), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo, etc. Implantação rápida com um clique via docker.

ShilongLee
⭐ 1,490 JavaScript 👤 ShilongLee User 🕐 Atualizado 2026-10-19 📅 Criado 2024-05-24
54
HolographicHat/Yae

Ferramenta de exportação de dados do Genshin Impact mais rápida e precisa

HolographicHat
⭐ 1,471 C# 👤 HolographicHat User 🕐 Atualizado 2026-11-15 📅 Criado 2022-03-21
55
Miserlou/SoundScrape

Baixador do SoundCloud (e Bandcamp e Mixcloud) em Python.

Miserlou
⭐ 1,436 Python 👤 Miserlou User 🕐 Atualizado 2024-06-23 📅 Criado 2013-12-29
56
wyzxxz/heapdump_tool

Ferramenta de consulta de informações sensíveis em heapdump, por exemplo, para localizar senhas em texto claro em heapdumps do Spring, AK, SK, etc.

wyzxxz
⭐ 1,430 👤 wyzxxz User 🕐 Atualizado 2024-05-21 📅 Criado 2021-08-06
57
ScrapingBee/ai-web-scraper

Extraia dados sem esforço com nossa API de scraper com IA. Simplifique a extração de dados, obtenha saídas JSON limpas e adapte-se às alterações de página. Experimente grátis hoje mesmo!

ScrapingBee
⭐ 1,424 👤 ScrapingBee Organization 🕐 Atualizado 2026-03-13 📅 Criado 2026-03-12
58
thinh-vu/vnstock

Um toolkit Python intuitivo para iniciantes, mas poderoso para análise financeira e automação — construído para tornar o investimento moderno acessível a todos

thinh-vu
⭐ 1,422 👤 thinh-vu User 🕐 Atualizado 2026-11-07 📅 Criado 2022-02-27
59
facundoolano/app-store-scraper

raspar dados da itunes app store

facundoolano
⭐ 1,396 JavaScript 👤 facundoolano User 🕐 Atualizado 2025-07-27 📅 Criado 2016-05-31
60
raznem/parsera

Biblioteca leve para raspagem de websites com LLMs

raznem
⭐ 1,372 Python 👤 raznem User 🕐 Atualizado 2025-12-17 📅 Criado 2024-08-12
61
philippta/flyscrape

Flyscrape é uma ferramenta de web scraping de linha de comando projetada para aqueles sem habilidades avançadas de programação.

philippta
⭐ 1,347 Go 👤 philippta User 🕐 Atualizado 2025-11-24 📅 Criado 2023-08-28
62
mvdbos/php-spider

Um rastreador web PHP configurável e extensível

mvdbos
⭐ 1,338 PHP 👤 mvdbos User 🕐 Atualizado 2026-11-02 📅 Criado 2013-02-25
63
Sniper970119/dianping_spider

Web Crawler (Rastreador) do Dianping (todo o site é rastreável, resolve a criptografia de fonte dinâmica, não é OCR). Atualização contínua

Sniper970119
⭐ 1,329 Python 👤 Sniper970119 User 🕐 Atualizado 2026-11-03 📅 Criado 2021-01-22
64
jbarrow/commonforms

CommonForms — modelos abertos para detecção automática de campos de formulário PDF

jbarrow
⭐ 1,309 Python 👤 jbarrow User 🕐 Atualizado 2026-06-17 📅 Criado 2025-09-17
65
firecrawl/fire-enrich

🔥 Ferramenta de enriquecimento de dados com inteligência artificial que transforma e-mails em conjuntos de dados ricos com perfis de empresas, dados de financiamento, tecnologias utilizadas e muito mais, utilizando Firecrawl e IA multi-agente

firecrawl
⭐ 1,308 TypeScript 👤 firecrawl Organization 🕐 Atualizado 2026-10-26 📅 Criado 2025-06-06
66
fastcrw/crw

Alternativa rápida e leve ao Firecrawl/Tavily em Rust. API de web scraping, crawler e pesquisa com servidor MCP para agentes de IA. API compatível com Firecrawl (/scrape, /crawl, /search). 2,3x mais rápida que o Tavily, 1,5x mais rápida que o Firecrawl em benchmarks de 1K URLs. 6 MB de RAM, binário único. Auto-hospedagem ou uso em nuvem gerenciada.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-03-02
67
raawaa/jav-scrapy

Trabalhador árduo para extrair em massa links de magnet AV ou capas

raawaa
⭐ 1,275 JavaScript 👤 raawaa User 🕐 Atualizado 2026-10-17 📅 Criado 2015-10-31
68
google/textfsm

Módulo Python para analisar texto semiestruturado em tabelas Python.

google
⭐ 1,258 Python 👤 google Organization 🕐 Atualizado 2026-11-16 📅 Criado 2015-06-23
69
KillzXGaming/Switch-Toolbox

Uma ferramenta para editar vários formatos de arquivo de videogame

KillzXGaming
⭐ 1,249 C# 👤 KillzXGaming User 🕐 Atualizado 2026-11-15 📅 Criado 2018-11-12
71
yfedoseev/pdf_oxide

A biblioteca PDF mais rápida para Python e Rust. Extração de texto, extração de imagens, conversão para markdown, criação e edição de PDF. Média de 0.8 ms, 5× mais rápida que os líderes da indústria, taxa de aprovação de 100% em 3.830 PDFs. MIT/Apache-2.0.

yfedoseev
⭐ 1,205 Rust 👤 yfedoseev User 🕐 Atualizado 2026-11-21 📅 Criado 2025-11-05
72
andreroggeri/pynubank

Acesse seus extratos do Nubank pelo Python

andreroggeri
⭐ 1,197 Python 👤 andreroggeri User 🕐 Atualizado 2026-11-19 📅 Criado 2017-06-19
73
dchrastil/ScrapedIn

Uma ferramenta para raspar o LinkedIn sem restrições de API para reconhecimento de dados

dchrastil
⭐ 1,168 Python 👤 dchrastil User 🕐 Atualizado 2024-04-11 📅 Criado 2018-03-29
74
soxoj/socid-extractor

⛏️ O mecanismo de extração por trás do Maigret: transforme qualquer URL de perfil em um registro OSINT estruturado em mais de 150 sites

soxoj
⭐ 1,143 Python 👤 soxoj User 🕐 Atualizado 2026-11-20 📅 Criado 2019-11-17
76
caolvchong-top/twitter_download

Twitter Imagens Vídeos Web Crawler; Download com um clique

caolvchong-top
⭐ 1,087 Python 👤 caolvchong-top User 🕐 Atualizado 2026-07-28 📅 Criado 2022-08-23
77
utkarshkukreti/select.rs

Uma biblioteca Rust para extrair dados úteis de documentos HTML, adequada para web scraping.

utkarshkukreti
⭐ 1,018 Rust 👤 utkarshkukreti User 🕐 Atualizado 2025-03-19 📅 Criado 2015-07-15
78
stravalib/stravalib

Biblioteca para fornecer uma interface de cliente simples para a API REST da Strava (v3).

stravalib
⭐ 1,002 Python 👤 stravalib Organization 🕐 Atualizado 2026-11-21 📅 Criado 2013-03-17
79
WittmannF/sort-google-scholar

Classificação dos resultados de pesquisa do Google Scholar com base no número de citações

WittmannF
⭐ 999 Python 👤 WittmannF User 🕐 Atualizado 2026-10-30 📅 Criado 2016-04-30
80
busiyiworld/maimemo-export

Usado para exportar o banco de palavras do Mòmo Back Words e gerar bancos de palavras personalizados adequados para List Back Words, No Back Words, Oulu Dictionary, etc.

busiyiworld
⭐ 995 TypeScript 👤 busiyiworld Organization 🕐 Atualizado 2025-10-30 📅 Criado 2021-03-29
81
YaoZeyuan/zhihuhelp

Reescrevendo o Zhihu Helper com base em Node e TypeScript

YaoZeyuan
⭐ 985 TypeScript 👤 YaoZeyuan User 🕐 Atualizado 2026-10-24 📅 Criado 2019-02-04
82
AutoAccountingOrg/AutoAccounting

Cada uma das suas contas merece ser registrada!

AutoAccountingOrg
⭐ 984 Kotlin 👤 AutoAccountingOrg Organization 🕐 Atualizado 2026-10-23 📅 Criado 2024-01-04
84
paperswithcode/paperswithcode-data

O conjunto de dados completo por trás do paperswithcode.com

paperswithcode
⭐ 938 👤 paperswithcode Organization 🕐 Atualizado 2025-09-08 📅 Criado 2019-01-31
85
browser-use/awesome-prompts

Tabela de prompts incríveis de Uso do Navegador

browser-use
⭐ 926 👤 browser-use Organization 🕐 Atualizado 2025-03-26 📅 Criado 2025-03-26
86
eclaire-labs/eclaire

Assistente de IA local e de código aberto para seus dados. Unifique tarefas, notas, documentos, fotos e favoritos. Privado, auto-hospedado e extensível via APIs.

eclaire-labs
⭐ 925 TypeScript 👤 eclaire-labs Organization 🕐 Atualizado 2026-11-08 📅 Criado 2025-09-02
87
goose3/goose3

Uma versão compatível com Python 3 do goose http://goose3.readthedocs.io/en/latest/index.html

goose3
⭐ 916 HTML 👤 goose3 Organization 🕐 Atualizado 2026-07-23 📅 Criado 2016-12-11
88
Rishikant181/Rettiwt-API

Uma ferramenta CLI e uma API para buscar dados do Twitter gratuitamente!

Rishikant181
⭐ 904 TypeScript 👤 Rishikant181 User 🕐 Atualizado 2026-11-10 📅 Criado 2022-01-24
⭐ 900 👤 golangboy User 🕐 Atualizado 2025-03-25 📅 Criado 2025-03-24
90
Mingtzge/2019-CCF-BDCI-OCR-MCZJ-OCR-IdentificationIDElement

Código-fonte do desafio da Equipe Tianchen Poxiao, ganhadora do Prêmio de Melhor Exploração Inovadora na Competição CCF-BDCI de 2019 e campeã do desafio de Extração de Elementos de Cartão de Identidade Baseada em OCR.

Mingtzge
⭐ 899 Python 👤 Mingtzge User 🕐 Atualizado 2024-07-25 📅 Criado 2019-12-30
91
microsoft/typeagent-py

RAG Estruturado: ingestão, indexação, consulta

microsoft
⭐ 898 Python 👤 microsoft Organization 🕐 Atualizado 2026-11-14 📅 Criado 2025-09-09
93
coddingtonbear/python-myfitnesspal

Acesse programaticamente os seus dados de acompanhamento de refeições armazenados no MyFitnessPal

coddingtonbear
⭐ 875 Python 👤 coddingtonbear User 🕐 Atualizado 2025-09-28 📅 Criado 2013-07-16
94
frictionlessdata/frictionless-py

Estrutura de gerenciamento de dados para Python que fornece funcionalidades para descrever, extrair, validar e transformar dados tabulares

frictionlessdata
⭐ 859 Python 👤 frictionlessdata Organization 🕐 Atualizado 2026-10-15 📅 Criado 2014-12-23
95
longxiaofei/spider-BaiduIndex

SDK de dados para Baidu Index

longxiaofei
⭐ 800 Python 👤 longxiaofei User 🕐 Atualizado 2025-11-24 📅 Criado 2018-09-27
96
linkedin/URL-Detector

Uma biblioteca Java para detectar e normalizar URLs em texto

linkedin
⭐ 786 Java 👤 linkedin Organization 🕐 Atualizado 2025-07-12 📅 Criado 2015-02-06
97
LYiHub/platform-war-public

Um framework de chatbot/GraphRAG que cria agentes multi-LLM a partir de comentários de usuários de plataformas sociais e os permite debater sobre tópicos específicos.

LYiHub
⭐ 783 Python 👤 LYiHub Organization 🕐 Atualizado 2024-12-14 📅 Criado 2024-12-14
98
Higurashi-kagome/wereader

Uma extensão de navegador: usada principalmente para fazer anotações no WeChat Reading, útil para leitores que usam frequentemente Markdown para anotações.

Higurashi-kagome
⭐ 775 TypeScript 👤 Higurashi-kagome User 🕐 Atualizado 2025-08-31 📅 Criado 2020-06-04
99
mattsse/voyager

rastrear e raspar páginas da web em rust

mattsse
⭐ 767 Rust 👤 mattsse User 🕐 Atualizado 2024-12-14 📅 Criado 2020-12-22
100
python-mechanize/mechanize

O código-fonte oficial para o projeto python-mechanize

python-mechanize
⭐ 760 Python 👤 python-mechanize Organization 🕐 Atualizado 2026-11-16 📅 Criado 2017-03-08