Git Stars Git Stars

#data-pipelines 저장소

#data-pipelines 태그가 지정된 GitHub의 활성 오픈 소스 저장소 50개를 확인해 보세요. 총 323,108개의 스타를 획득했으며 프로젝트당 평균 6,462개입니다. 이 주제를 이끄는 저장소는 73,884개의 스타를 받은 twitter/the-algorithm입니다.

50
총 리포지토리
323,108
총 별점
6,462
리포지토리당 평균 스타 수

저장소 총 50개

1
twitter/the-algorithm

X 추천 알고리즘 소스 코드

twitter
⭐ 73,884 Scala 👤 twitter Organization 🕐 업데이트됨 2025-09-08 📅 생성됨 2023-03-27
2
pathwaycom/pathway

스트림 처리, 실시간 분석, LLM 파이프라인 및 RAG를 위한 Python ETL 프레임워크.

pathwaycom
⭐ 61,976 Python 👤 pathwaycom Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2022-11-27
3
apache/airflow

Apache Airflow - 워크플로를 프로그래밍 방식으로 작성, 예약 및 모니터링할 수 있는 플랫폼

apache
⭐ 47,583 Python 👤 apache Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2015-04-13
4
dagster-io/dagster

데이터 자산의 개발, 생산 및 관찰을 위한 오케스트레이션 플랫폼.

dagster-io
⭐ 16,453 Python 👤 dagster-io Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2018-04-30
5
Unstructured-IO/unstructured

문서를 구조화된 데이터로 손쉽게 변환하세요. Unstructured는 복잡한 문서를 언어 모델을 위한 깨끗하고 구조화된 형식으로 변환하는 오픈 소스 ETL 솔루션입니다. 프로덕션 등급 워크플로, 파티셔닝, 보강, 청킹 및 임베딩을 위한 엔터프라이즈급 플랫폼 제품에 대해 자세히 알아보려면 당사 웹사이트를 방문하십시오.

Unstructured-IO
⭐ 15,769 HTML 👤 Unstructured-IO Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2022-09-26
6
apache/dolphinscheduler

Apache DolphinScheduler는 현대적인 데이터 오케스트레이션 플랫폼입니다. 저코드로 고성능 워크플로우를 생성하는 데 민첩합니다.

apache
⭐ 14,559 Java 👤 apache Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2019-03-01
7
kedro-org/kedro

Kedro는 생산 준비가 된 데이터 사이언스를 위한 도구 상자입니다. 소프트웨어 엔지니어링 모범 사례를 사용하여 재현 가능하고, 유지 관리 가능하며, 모듈러인 데이터 엔지니어링 및 데이터 사이언스 파이프라인을 생성하는 데 도움을 줍니다.

kedro-org
⭐ 11,059 Python 👤 kedro-org Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2019-04-18
8
mage-ai/mage-ai

🧙 데이터 통합 및 변환을 위한 데이터 파이프라인을 구축, 실행 및 관리합니다.

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2022-05-16
9
OpenDCAI/DataFlow

[SIGMOD'27] 최신 LLM 기반 연산자와 파이프라인을 활용한 손쉬운 데이터 준비.

OpenDCAI
⭐ 8,650 Python 👤 OpenDCAI Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-10-13
10
fluvio-community/fluvio

🦀 개발자를 위한 이벤트 스트림 처리로, 움직이는 데이터를 수집하고 변환하여 반응형 데이터 집약적 애플리케이션을 구동합니다.

fluvio-community
⭐ 5,270 Rust 👤 fluvio-community Organization 🕐 업데이트됨 2026-11-05 📅 생성됨 2019-08-31
11
gayanvoice/top-github-users

GitHub에서 순위를 확인하세요! 이 저장소에 ⭐를 누르는 것을 잊지 마세요.

gayanvoice
⭐ 4,988 👤 gayanvoice User 🕐 업데이트됨 2026-11-21 📅 생성됨 2021-06-03
12
StructuredLabs/preswald

Preswald는 Python 기반 인터랙티브 데이터 앱을 위한 WASM 패키저입니다. Pyodide, DuckDB, Pandas 및 Plotly, Matplotlib 등을 사용하여 복잡한 데이터 워크플로우 전체, 특히 시각화를 단일 파일로 번들링하여 브라우저에서 완전히 실행할 수 있습니다. 오프라인에서 실행되고, 빠르게 로드되며, 문서처럼 공유할 수 있는 대시보드, 보고서 및 노트북을 구축하세요.

StructuredLabs
⭐ 4,266 Python 👤 StructuredLabs Organization 🕐 업데이트됨 2026-06-11 📅 생성됨 2024-12-14
13
ucbepic/docetl

에이전트 기반 LLM 기반 데이터 처리 및 ETL 시스템

ucbepic
⭐ 4,266 Python 👤 ucbepic Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2024-07-09
14
Netflix/maestro

Maestro: Netflix의 워크플로우 오케스트레이터

Netflix
⭐ 3,852 Java 👤 Netflix Organization 🕐 업데이트됨 2026-11-06 📅 생성됨 2024-04-17
15
meltano/meltano

Meltano: 여러분의 가장 대담한 데이터 및 ML 기반 제품 아이디어를 현실로 만드는 선언적 코드 중심 데이터 통합 엔진. 자체 API 통합을 작성, 유지 관리 및 확장하는 데 작별을 고하세요.

meltano
⭐ 2,683 Python 👤 meltano Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2021-06-21
16
elementary-data/elementary

데이터 및 분석 엔지니어를 위한 dbt 네이티브 데이터 관찰 솔루션. 몇 분 안에 데이터 파이프라인을 모니터링하세요. 프리미엄 기능을 갖춘 자체 호스팅 또는 클라우드 서비스로 제공됩니다.

elementary-data
⭐ 2,435 HTML 👤 elementary-data Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2021-08-30
17
feldera/feldera

Feldera 점진적 계산 엔진

feldera
⭐ 2,181 Rust 👤 feldera Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-05-11
18
data-engineering-community/data-engineering-wiki

데이터 엔지니어링을 배우기 가장 좋은 곳입니다. 데이터 엔지니어링 커뮤니티에서 만들고 유지 관리합니다.

data-engineering-community
⭐ 2,067 CSS 👤 data-engineering-community Organization 🕐 업데이트됨 2026-09-15 📅 생성됨 2021-05-04
19
bruin-data/bruin

SQL 및 Python을 사용하여 데이터 파이프라인을 구축하고, 다양한 소스에서 데이터를 수집하며, 품질 검사를 추가하고, 엔드투엔드 흐름을 구축합니다.

bruin-data
⭐ 1,816 Go 👤 bruin-data Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-08-03
20
yobix-ai/extractous

빠르고 효율적인 비정형 데이터 추출. Rust로 작성되었으며 다양한 언어에 대한 바인딩을 제공합니다.

yobix-ai
⭐ 1,660 Rust 👤 yobix-ai Organization 🕐 업데이트됨 2024-12-21 📅 생성됨 2024-06-04
21
dashbitco/flow

GenStage 위의 계산 병렬 흐름

dashbitco
⭐ 1,625 Elixir 👤 dashbitco Organization 🕐 업데이트됨 2026-09-25 📅 생성됨 2017-01-18
22
combust/mleap

MLeap: ML 파이프라인을 프로덕션에 배포

combust
⭐ 1,544 Scala 👤 combust Organization 🕐 업데이트됨 2026-11-09 📅 생성됨 2016-08-23
23
pyper-dev/pyper

간편한 동시성 파이썬

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 업데이트됨 2025-02-04 📅 생성됨 2024-05-22
24
Netflix/mantis

개발자들이 실시간, 비용 효율적이고 운영 중심의 애플리케이션을 쉽게 구축할 수 있게 해주는 플랫폼

Netflix
⭐ 1,472 Java 👤 Netflix Organization 🕐 업데이트됨 2026-10-28 📅 생성됨 2019-06-06
25
opendatadiscovery/odd-platform

최초의 오픈 소스 데이터 검색 및 관찰 가능성 플랫폼입니다. 데이터 실무자들의 업무를 쉽게 하여 귀하가 비즈니스에 집중할 수 있도록 합니다.

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 업데이트됨 2026-10-19 📅 생성됨 2021-07-07
27
amphi-ai/amphi-etl

Python으로 구동되는 시각적 데이터 준비

amphi-ai
⭐ 1,410 TypeScript 👤 amphi-ai Organization 🕐 업데이트됨 2026-08-24 📅 생성됨 2024-03-20
28
gtoonstra/etl-with-airflow

Airflow를 사용한 ETL 모범 사례, 예시와 함께

gtoonstra
⭐ 1,353 Shell 👤 gtoonstra User 🕐 업데이트됨 2024-09-25 📅 생성됨 2016-10-16
29
meta-pytorch/data

PyTorch 도메인 라이브러리에서 공유할 데이터 로딩 및 유틸리티를 위한 PyTorch 저장소입니다.

meta-pytorch
⭐ 1,266 Python 👤 meta-pytorch Organization 🕐 업데이트됨 2026-11-12 📅 생성됨 2021-05-12
30
dataform-co/dataform

Dataform은 BigQuery에서 SQL 기반 데이터 작업을 관리하기 위한 프레임워크입니다.

dataform-co
⭐ 998 TypeScript 👤 dataform-co Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2018-09-03
31
fal-ai/fal

⚡ 수백만 명에게 오픈소스 ML 모델을 제공하는 가장 빠른 방법

fal-ai
⭐ 983 Python 👤 fal-ai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-12-11
32
ocsf/ocsf-schema

OCSF 스키마

ocsf
⭐ 917 👤 ocsf Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2022-04-16
33
mafintosh/pump

스트림을 함께 파이프 연결하고, 그 중 하나가 닫히면 모두를 닫기

mafintosh
⭐ 917 JavaScript 👤 mafintosh User 🕐 업데이트됨 2026-02-28 📅 생성됨 2013-08-14
35
artie-labs/transfer

변경 데이터 캡처를 활용하는 데이터베이스 복제 플랫폼. 실시간으로 데이터베이스의 프로덕션 데이터를 데이터 웨어하우스(Snowflake, BigQuery, Redshift, Databricks)로 스트리밍하십시오.

artie-labs
⭐ 845 Go 👤 artie-labs Organization 🕐 업데이트됨 2026-05-09 📅 생성됨 2022-11-06
36
joboccara/pipes

C++에서 컬렉션에 대한 표현력 있는 코드용 파이프라인

joboccara
⭐ 835 C++ 👤 joboccara User 🕐 업데이트됨 2024-10-30 📅 생성됨 2017-02-19
37
astronomer/airflow-guides

Apache Airflow를 빠르게 시작하고 실행할 수 있도록 도와주는 가이드와 문서.

astronomer
⭐ 816 JavaScript 👤 astronomer Organization 🕐 업데이트됨 2025-11-15 📅 생성됨 2018-05-17
38
tuplex/tuplex

Tuplex는 Python으로 작성된 데이터 과학 파이프라인을 컴파일된 코드 속도로 실행하는 병렬 빅데이터 처리 프레임워크입니다. Tuplex는 Apache Spark 또는 Dask와 유사한 Python API를 제공하지만, Python 인터프리터를 호출하는 대신 주어진 파이프라인 및 입력 데이터 세트에 대해 최적화된 LLVM 바이트코드를 생성합니다.

tuplex
⭐ 812 C++ 👤 tuplex Organization 🕐 업데이트됨 2025-08-10 📅 생성됨 2021-06-30
39
BasPH/data-pipelines-with-apache-airflow

Apache Airflow를 사용한 데이터 파이프라인 코드

BasPH
⭐ 810 Python 👤 BasPH User 🕐 업데이트됨 2024-08-15 📅 생성됨 2019-06-10
40
turbolytics/sql-flow

스트리밍 데이터를 위한 DuckDB

turbolytics
⭐ 808 Go 👤 turbolytics User 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-11-21
41
raystack/optimus

Optimus는 데이터 변환, 데이터 모델링, 파이프라인 및 데이터 품질 관리를 위한 사용하기 쉽고 안정적이며 성능이 뛰어난 워크플로우 오케스트레이터입니다.

raystack
⭐ 757 Go 👤 raystack Organization 🕐 업데이트됨 2024-06-08 📅 생성됨 2021-03-22
42
datalab-to/pdftext

PDF에서 구조화된 텍스트를 빠르게 추출

datalab-to
⭐ 744 Python 👤 datalab-to Organization 🕐 업데이트됨 2026-10-22 📅 생성됨 2024-04-24
43
digitalocean/firebolt

스트리밍 ETL, 관측성 데이터 파이프라인 및 이벤트 처리 앱을 위한 Golang 프레임워크

digitalocean
⭐ 717 Go 👤 digitalocean Organization 🕐 업데이트됨 2024-06-14 📅 생성됨 2019-10-31
44
noneback/go-taskflow

순수 Go 범용 태스크 병렬 프로그래밍 프레임워크

noneback
⭐ 642 Go 👤 noneback User 🕐 업데이트됨 2026-08-16 📅 생성됨 2024-03-06
45
cgrand/xforms

Clojure(script)을 위한 추가 트랜스듀서와 감소 함수

cgrand
⭐ 591 Clojure 👤 cgrand User 🕐 업데이트됨 2024-01-22 📅 생성됨 2015-09-03
46
singer-io/singer-python

Python에서 Singer 형식 작성

singer-io
⭐ 585 Python 👤 singer-io Organization 🕐 업데이트됨 2026-11-02 📅 생성됨 2016-10-28
47
apache/flink-playgrounds

Apache Flink 플레이그라운드

apache
⭐ 555 Java 👤 apache Organization 🕐 업데이트됨 2026-09-28 📅 생성됨 2019-07-12
48
cas-bigdatalab/piflow

πflow는 Spark를 지원하는 빅 데이터 흐름 엔진입니다

cas-bigdatalab
⭐ 541 Python 👤 cas-bigdatalab Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2018-05-03
49
elementary-data/dbt-data-reliability

이 dbt 패키지는 메타데이터, 아티팩트 및 테스트 결과를 캡처하여 이상 징후를 감지하고, 데이터 품질을 모니터링하며, 메타데이터 테이블을 구축할 수 있게 합니다. Elementary OSS를 구동하며 Elementary Cloud의 전체 Data & AI Control Plane에서 사용되는 더 넓은 컨텍스트 레이어를 제공합니다.

elementary-data
⭐ 531 Python 👤 elementary-data Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2022-01-09
50
LearningJournal/Spark-Programming-In-Python

Apache Spark 3 - 초보자를 위한 Python Spark 프로그래밍

LearningJournal
⭐ 510 Python 👤 LearningJournal User 🕐 업데이트됨 2024-07-25 📅 생성됨 2020-05-31

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #data-pipelines 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #data-pipelines 프로젝트는 73,884개의 스타를 받은 twitter/the-algorithm입니다. X 추천 알고리즘 소스 코드

2

#data-pipelines 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #data-pipelines 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Go, Java, Rust입니다.

3

#data-pipelines 저장소 순위는 어떻게 계산되나요?

#data-pipelines 태그가 지정된 활성 오픈 소스 저장소(50개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 323,108개이며 저장소당 평균 6,462개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.