Git Stars Git Stars

#data-processing Repositórios

Descubra 72 repositórios ativos de código aberto no GitHub marcados com #data-processing, acumulando um total de 211,976 estrelas (uma média de 2,944 por projeto). O líder deste tópico é pathwaycom/pathway, com 61,976 estrelas.

72
Total de Repositórios
211,976
Total de estrelas
2,944
Média de Estrelas/Repositório

72 repositórios no total

1
pathwaycom/pathway

Framework ETL em Python para processamento de streaming, análise em tempo real, pipelines de LLM e RAG.

pathwaycom
⭐ 61,976 Python 👤 pathwaycom Organization 🕐 Atualizado 2026-11-21 📅 Criado 2022-11-27
2
cocoindex-io/cocoindex

Motor incremental para agentes de horizonte longo 🌟 Dê uma estrela se gostar!

cocoindex-io
⭐ 11,923 Rust 👤 cocoindex-io Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-03-03
3
onceupon/Bash-Oneliner

Uma coleção de scripts úteis do Bash One-Liners e truques de terminal para processamento de dados e manutenção de sistemas Linux.

onceupon
⭐ 10,805 👤 onceupon User 🕐 Atualizado 2026-09-22 📅 Criado 2016-06-14
4
johnkerl/miller

Miller é como awk, sed, cut, join e sort para dados com índice de nome, como CSV, TSV e JSON tabular

johnkerl
⭐ 10,069 Go 👤 johnkerl User 🕐 Atualizado 2026-11-20 📅 Criado 2015-05-03
5
OpenDCAI/DataFlow

[SIGMOD'27] Preparação de dados simplificada com os mais recentes operadores e pipelines baseados em LLM.

OpenDCAI
⭐ 8,650 Python 👤 OpenDCAI Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-10-13
6
TomWright/dasel

Consulta, transformação e modificação unificadas de JSON, TOML, YAML, XML, INI, HCL, KDL e CSV.

TomWright
⭐ 8,093 Go 👤 TomWright User 🕐 Atualizado 2026-11-02 📅 Criado 2020-09-22
7
datajuicer/data-juicer

Processamento de dados para e com modelos de fundação! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

datajuicer
⭐ 7,266 Python 👤 datajuicer Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-08-01
8
google/snappy

Um compactador/descompactador rápido

google
⭐ 6,633 C++ 👤 google Organization 🕐 Atualizado 2026-10-23 📅 Criado 2014-03-03
9
NVIDIA/DALI

Uma biblioteca acelerada por GPU contendo blocos de construção altamente otimizados e um motor de execução para processamento de dados, a fim de acelerar aplicações de treinamento e inferência de aprendizado profundo.

NVIDIA
⭐ 5,797 C++ 👤 NVIDIA Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-06-01
10
deepseek-ai/smallpond

Um framework leve de processamento de dados construído em DuckDB e 3FS.

deepseek-ai
⭐ 4,960 Python 👤 deepseek-ai Organization 🕐 Atualizado 2025-03-05 📅 Criado 2025-02-24
11
unionai-oss/pandera

Uma biblioteca leve, flexível e expressiva para testes de dados estatísticos

unionai-oss
⭐ 4,532 Python 👤 unionai-oss Organization 🕐 Atualizado 2026-11-19 📅 Criado 2018-11-01
12
knownsec/aipyapp

Python Potencializado por IA e IA Potencializada por Python (Uso do Python)

knownsec
⭐ 4,026 HTML 👤 knownsec Organization 🕐 Atualizado 2026-02-15 📅 Criado 2025-04-06
13
Rdatatable/data.table

O pacote data.table de R estende data.frame:

Rdatatable
⭐ 3,930 R 👤 Rdatatable Organization 🕐 Atualizado 2026-11-20 📅 Criado 2014-06-07
14
TimelyDataflow/differential-dataflow

Uma implementação de differential dataflow usando timely dataflow em Rust.

TimelyDataflow
⭐ 3,040 Rust 👤 TimelyDataflow Organization 🕐 Atualizado 2026-11-21 📅 Criado 2015-05-05
15
numaproj/numaflow

Plataforma nativa Kubernetes para executar trabalhos massivamente paralelos de dados/streaming

numaproj
⭐ 2,837 Rust 👤 numaproj Organization 🕐 Atualizado 2026-11-19 📅 Criado 2022-05-20
16
datachain-ai/datachain

A camada de contexto para dados não estruturados: conjuntos de dados tipados e versionados sobre S3, GCS, Azure

datachain-ai
⭐ 2,831 Python 👤 datachain-ai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-06-25
17
elixir-broadway/broadway

Ingestão e processamento de dados concorrentes e multi-estágios com Elixir

elixir-broadway
⭐ 2,694 Elixir 👤 elixir-broadway Organization 🕐 Atualizado 2026-11-06 📅 Criado 2018-11-05
18
google/googlesql

GoogleSQL (antigo ZetaSQL) - Framework de Análise para SQL

google
⭐ 2,644 C++ 👤 google Organization 🕐 Atualizado 2026-11-18 📅 Criado 2019-04-16
19
asyml/texar

Kit de ferramentas para aprendizado de máquina, processamento de linguagem natural e geração de texto em TensorFlow. Isso faz parte do projeto CASL: http://casl-project.ai/

asyml
⭐ 2,391 Python 👤 asyml Organization 🕐 Atualizado 2026-07-21 📅 Criado 2017-07-22
20
bytewax/bytewax

Processamento de Fluxo Python

bytewax
⭐ 2,074 Python 👤 bytewax Organization 🕐 Atualizado 2026-11-13 📅 Criado 2022-02-04
21
NVIDIA-NeMo/Curator

Kit de ferramentas escalável para pré-processamento e curadoria de dados para LLMs

NVIDIA-NeMo
⭐ 1,866 Python 👤 NVIDIA-NeMo Organization 🕐 Atualizado 2026-11-19 📅 Criado 2024-03-14
22
felt/tippecanoe

Construa conjuntos de tiles vetoriais a partir de grandes coleções de feições GeoJSON.

felt
⭐ 1,638 C++ 👤 felt Organization 🕐 Atualizado 2026-11-16 📅 Criado 2022-08-15
23
allenai/dolma

Dados e ferramentas para gerar e inspecionar dados de pré-treinamento do OLMo.

allenai
⭐ 1,564 Python 👤 allenai Organization 🕐 Atualizado 2026-08-24 📅 Criado 2023-06-20
24
pyper-dev/pyper

Python Concorrente Simplificado

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 Atualizado 2025-02-04 📅 Criado 2024-05-22
25
GoogleCloudPlatform/data-science-on-gcp

Código-fonte que acompanha o livro: Ciência de Dados na Plataforma Google Cloud, Valliappa Lakshmanan, O'Reilly 2017

GoogleCloudPlatform
⭐ 1,432 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 Atualizado 2026-02-20 📅 Criado 2017-02-10
26
zapret-info/z-i

Registo de Endereços de Internet filtrado na Federação Russa

zapret-info
⭐ 1,388 👤 zapret-info User 🕐 Atualizado 2025-10-01 📅 Criado 2012-11-19
27
ncbi/sra-tools

Ferramentas SRA

ncbi
⭐ 1,376 C 👤 ncbi Organization 🕐 Atualizado 2026-11-19 📅 Criado 2014-08-21
28
run-house/kubetorch

Distribua e execute cargas de trabalho de IA no Kubernetes de forma mágica em Python, como o PyTorch para infraestrutura de ML.

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 Atualizado 2026-05-29 📅 Criado 2022-05-10
29
RadarCODE/awesome-sar

Uma lista selecionada de softwares, bibliotecas e recursos incríveis de Radar de Abertura Sintética (SAR).

RadarCODE
⭐ 1,193 👤 RadarCODE Organization 🕐 Atualizado 2025-07-22 📅 Criado 2016-06-03
30
GeospatialPython/pyshp

Esta biblioteca lê e escreve ESRI Shapefiles em Python puro.

GeospatialPython
⭐ 1,160 Python 👤 GeospatialPython User 🕐 Atualizado 2026-11-16 📅 Criado 2014-03-04
31
nikic/iter

Primitivas de iteração usando geradores

nikic
⭐ 1,145 PHP 👤 nikic User 🕐 Atualizado 2026-09-23 📅 Criado 2013-07-01
32
felixonmars/fcitx5-pinyin-zhwiki

Dicionário Fcitx 5 Pinyin de zh.wikipedia.org

felixonmars
⭐ 1,108 Python 👤 felixonmars User 🕐 Atualizado 2026-10-17 📅 Criado 2020-05-23
33
tadija/AEXML

Minion Swift para análise XML simples e leve

tadija
⭐ 1,037 Swift 👤 tadija User 🕐 Atualizado 2026-11-19 📅 Criado 2014-10-16
34
google-deepmind/tree

tree é uma biblioteca para trabalhar com estruturas de dados aninhadas

google-deepmind
⭐ 1,027 Python 👤 google-deepmind Organization 🕐 Atualizado 2026-11-15 📅 Criado 2019-10-08
35
thepycoach/automation

Automação com Python (Excel, scripts, etc)

thepycoach
⭐ 1,010 Jupyter Notebook 👤 thepycoach User 🕐 Atualizado 2024-05-19 📅 Criado 2021-05-02
36
negokaz/excel-mcp-server

Um servidor do Protocolo de Contexto de Modelo (MCP) que lê e grava dados do MS Excel

negokaz
⭐ 991 Go 👤 negokaz User 🕐 Atualizado 2025-07-19 📅 Criado 2025-02-16
37
fireducks-dev/fireducks

Abrir uma issue no FireDucks

fireducks-dev
⭐ 929 Jupyter Notebook 👤 fireducks-dev Organization 🕐 Atualizado 2025-05-22 📅 Criado 2023-10-12
38
samtools/bcftools

Este é o repositório de desenvolvimento oficial para BCFtools. Consulte as instruções de instalação e outra documentação aqui http://samtools.github.io/bcftools/howtos/install.html

samtools
⭐ 905 C 👤 samtools Organization 🕐 Atualizado 2026-11-20 📅 Criado 2013-07-12
39
bastibe/python-soundfile

SoundFile é uma biblioteca de áudio baseada em libsndfile, CFFI e NumPy

bastibe
⭐ 872 Python 👤 bastibe User 🕐 Atualizado 2026-10-24 📅 Criado 2013-08-27
40
TeamMsgExtractor/msg-extractor

Extrai e-mails e anexos salvos nos arquivos .msg do Microsoft Outlook

TeamMsgExtractor
⭐ 858 Python 👤 TeamMsgExtractor Organization 🕐 Atualizado 2026-11-05 📅 Criado 2013-07-24
41
MohElshamy1994/n8n-course-Projetcs

Projetos n8n para o meu curso no YouTube.

MohElshamy1994
⭐ 854 👤 MohElshamy1994 User 🕐 Atualizado 2025-10-19 📅 Criado 2025-07-13
42
0xfdf/toraniko

Um modelo de risco de ações multifatorial para negociação quantitativa.

0xfdf
⭐ 853 Python 👤 0xfdf User 🕐 Atualizado 2024-08-16 📅 Criado 2024-07-03
43
benibela/xidel

Ferramenta de linha de comando para baixar e extrair dados de páginas HTML/XML ou APIs JSON, usando CSS, XPath 3.0, XQuery 3.0, JSONiq ou correspondência de padrões. Também pode criar novos documentos XML/HTML/JSON ou documentos transformados.

benibela
⭐ 836 Pascal 👤 benibela User 🕐 Atualizado 2025-02-22 📅 Criado 2015-06-11
44
bugen/pypipe

Ferramenta de linha de comando Python de pipe

bugen
⭐ 802 Python 👤 bugen User 🕐 Atualizado 2024-01-04 📅 Criado 2023-09-20
45
influxdata/flux

Flux é uma linguagem de script leve para consultar bancos de dados (como InfluxDB) e trabalhar com dados. Faz parte do InfluxDB 1.7 e 2.0, mas pode ser executado independentemente deles.

influxdata
⭐ 794 FLUX 👤 influxdata Organization 🕐 Atualizado 2026-11-17 📅 Criado 2018-06-14
46
PreSenseRadar/OpenRadar

Uma biblioteca de código aberto para interagir e processar dados de radar, especializada em radares MIMO mmWave

PreSenseRadar
⭐ 776 Jupyter Notebook 👤 PreSenseRadar User 🕐 Atualizado 2024-04-30 📅 Criado 2019-09-20
47
ChenghaoMou/text-dedup

Desduplicação de texto tudo-em-um

ChenghaoMou
⭐ 765 Python 👤 ChenghaoMou User 🕐 Atualizado 2026-03-09 📅 Criado 2021-03-13
48
JuliaParallel/Dagger.jl

Uma estrutura para execução paralela e fora do núcleo

JuliaParallel
⭐ 734 Julia 👤 JuliaParallel Organization 🕐 Atualizado 2026-11-02 📅 Criado 2015-12-03
49
hstreamdb/hstream

HStreamDB é um banco de dados de streaming nativo da nuvem, de código aberto, para IoT e muito mais. Modernize sua pilha de dados para aplicações em tempo real.

hstreamdb
⭐ 728 Haskell 👤 hstreamdb Organization 🕐 Atualizado 2024-12-26 📅 Criado 2020-08-31
50
omarabid/rust-companies

Uma lista de empresas que usam Rust em produção.

omarabid
⭐ 721 👤 omarabid User 🕐 Atualizado 2026-09-11 📅 Criado 2020-02-05

Perguntas Frequentes

1

Qual é o repositório de #data-processing mais popular no GitHub?

O projeto de código aberto de #data-processing mais bem classificado no GitHub é pathwaycom/pathway, com 61,976 estrelas. Framework ETL em Python para processamento de streaming, análise em tempo real, pipelines de LLM e RAG.

2

Quais linguagens de programação são mais usadas nos repositórios de #data-processing?

Entre os projetos de #data-processing mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, C++, Jupyter Notebook, Rust.

3

Como é calculada a classificação dos repositórios de #data-processing?

Acompanhamos 72 repositórios ativos de código aberto marcados com #data-processing (com mais de 500 estrelas), totalizando 211,976 estrelas e uma média de 2,944 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.