#data-pipeline Repositórios
Descubra 67 repositórios ativos de código aberto no GitHub marcados com #data-pipeline, acumulando um total de 219,024 estrelas (uma média de 3,269 por projeto). O líder deste tópico é xai-org/x-algorithm, com 34,361 estrelas.
67 repositórios no total
Movimentação de dados open-source para pipelines ELT e agentes de IA — de APIs, bancos de dados e arquivos para data warehouses, lagos de dados e aplicações de IA. Tanto self-hosted quanto Cloud.
Capacitando a Inteligência de Dados com SQL Distribuído para Fragmentação, Escalabilidade e Segurança em Todos os Bancos de Dados.
Captura de dados alterados para uma variedade de bancos de dados. Por favor, registre os problemas em https://github.com/debezium/dbz/issues.
Uma lista selecionada de motores de fluxo de trabalho de código aberto incríveis
O repositório RedPajama-Data contém código para preparar grandes conjuntos de dados para treinar grandes modelos de linguagem.
Orquestrador de workflows auto-hospedável para equipes cujo trabalho principal não é orquestração. YAML declarativo para seus scripts, comandos SSH, contêineres etc.; mantenha os workflows separados da lógica de negócio. Um único binário, sem banco de dados, funciona com recursos de hardware limitados. Uma alternativa ao Airflow, Cron e aos agendadores de tarefas.
Segmento focado em privacidade e segurança - alternativa, em Golang e React
ingestr é uma ferramenta de CLI para copiar dados entre quaisquer bancos de dados de forma integrada com um único comando.
Uma lista de recursos úteis para aprender Engenharia de Dados do zero
Servidor de inferência de código aberto e cluster de produção para todos os modelos que seu agente precisa.
Memphis.dev é uma plataforma de streaming de dados altamente escalável e sem esforço.
Uma biblioteca de registro de dados de código aberto para modelos de aprendizado de máquina e pipelines de dados. 📚 Oferece visibilidade da qualidade dos dados e do desempenho do modelo ao longo do tempo. 🛡️ Suporta coleta de dados que preserva a privacidade, garantindo segurança e robustez. 📈
Membros do Congresso dos Estados Unidos, 1789-Presente, em YAML/JSON/CSV, bem como comitês, presidentes e vice-presidentes.
A solução de observabilidade de dados nativa do dbt para engenheiros de dados e análises. Monitore seus pipelines de dados em minutos. Disponível como serviço auto-hospedado ou na nuvem com recursos premium.
O Meridian corta o ruído das notícias, raspando centenas de fontes, analisando as histórias com IA e fornecendo resumos diários concisos e personalizados.
Retriever de Dados do Polymarket que busca, processa e estrutura dados do Polymarket, incluindo mercados, eventos de pedidos e negociações.
OLake Go: replicação de código aberto de bancos de dados, Kafka e S3 para Apache Iceberg e Parquet. Fontes: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. Anteriormente, datazip-inc/olake. A manutenção de tabelas fica em datazip-inc/olake-fusion.
Sistema composto de análise de equipe de ações com múltiplos agentes de IA inteligentes para monitoramento de pratos. Baseado em múltiplos agentes de IA, simula o processo de análise de uma equipe de analistas de valores mobiliários, fornecendo análise abrangente de investimentos em ações e sugestões de decisão. Novo: rastreamento e análise de lista de dragões e tigres de capital quente, análise de alerta e rotação de setores. Suporta análise em lote multi-thread, monitoramento em tempo real de pontos-chave, envio de alertas, reserva de interface miniqmt, suporta negociação quantitativa. Realmente realiza 'IA negocia ações por você', adequado para Ações A da China Continental. Para o site de teste abaixo, preencha a chave temporária deepseek, delete após o teste para evitar risco de vazamento. Nota: Acesso excessivo ao serviço de nuvem de teste pode fazer com que a fonte de dados recuse. Para uso, implante localmente.
Rastrear secwiki e xuanwu.github.io/sec.today, analisar sites de informações de segurança, tendências de segurança e extrair contas de profissionais de segurança (twitter, weixin, github, etc.)
ETL/ELT de código aberto que você implanta nos seus próprios servidores ou na nuvem. Desenvolvido com base no DuckDB: pipelines visuais no-code/low-code ou SQL, 446 componentes, dbt, CDC, qualidade de dados, ETL reverso, linhagem e MCP para agentes de IA. Sem nuvem do fornecedor e sem cobrança por linha.
Código-fonte que acompanha o livro: Ciência de Dados na Plataforma Google Cloud, Valliappa Lakshmanan, O'Reilly 2017
Kspider é uma plataforma de crawling que permite definir fluxos de trabalho de rastreamento de forma gráfica, possibilitando a implementação de um processo de rastreamento sem a necessidade de código. O Kspider não se limita apenas a crawling, podendo também ser utilizado para testes de automação WEB, e há muitas outras funcionalidades esperando por você para explorar.
Crie um data warehouse no SQL Server a partir de dois sistemas de origem, um CRM e um ERP, passando pelas camadas bronze, silver e gold. Arquivos e scripts do projeto completo gratuito.
zerocode-tdd é um framework gratuito e de código aberto para testes automatizados, desenvolvido pela comunidade e orientado a resultados, destinado a pipelines de dados, ETL, APIs REST, Kafka (fluxos de dados), bancos de dados e cenários de carga — tudo definido em JSON ou YAML simples, sem escrever código.
🌊 Sincronize continuamente os sistemas onde seus dados residem com os sistemas onde você _deseja_ que eles residam, gerenciando seus fluxos de dados com o Estuary. 🌊
qData é uma plataforma de dados open source leve, completa em recursos e nativa de IA. Ela abrange integração, desenvolvimento, modelagem e governança de dados, além de ativos e serviços de API, com implantação autogerenciada, escalabilidade flexível e uso comercial.
SeaTunnel é uma plataforma de integração de dados distribuída e de alto desempenho para a sincronização e transformação de dados massivos (offline e em tempo real).
Ferramenta Pythonica para orquestrar fluxos de trabalho de machine-learning/high performance/quantum-computing em ambientes de computação heterogêneos.
Census Reporter é um projeto financiado pelo Knight News Challenge para facilitar que jornalistas escrevam reportagens usando informações do escritório do Censo dos EUA.
Engenharia de Dados Prática: Um Guia de Projeto Imobiliário Mãos à Obra
A Lista de Pesquisas Mais Quentes do Weibo registra as buscas populares do Weibo a partir de 24 de novembro de 2020. Os dados são capturados a cada hora e arquivados diariamente.
Dados abertos de endereços a nível nacional (nível Chōchōme) (277.191 registros)
Lide facilmente com operações diárias de CLI via Python em vez de programas Bash regulares. 🇺🇦 #supporting
Analisando discussões do Hacker News de uma década atrás, em retrospectiva, com LLMs
Ferramenta para usar sinais sem fio para ver se você está sendo seguido.
Perguntas Frequentes
Qual é o repositório de #data-pipeline mais popular no GitHub?
O projeto de código aberto de #data-pipeline mais bem classificado no GitHub é xai-org/x-algorithm, com 34,361 estrelas. Algoritmo que alimenta o feed 'For You' no X
Quais linguagens de programação são mais usadas nos repositórios de #data-pipeline?
Entre os projetos de #data-pipeline mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Java, Go, Rust.
Como é calculada a classificação dos repositórios de #data-pipeline?
Acompanhamos 67 repositórios ativos de código aberto marcados com #data-pipeline (com mais de 500 estrelas), totalizando 219,024 estrelas e uma média de 3,269 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.