Git Stars Git Stars

#data-pipeline 저장소

#data-pipeline 태그가 지정된 GitHub의 활성 오픈 소스 저장소 67개를 확인해 보세요. 총 219,024개의 스타를 획득했으며 프로젝트당 평균 3,269개입니다. 이 주제를 이끄는 저장소는 34,361개의 스타를 받은 xai-org/x-algorithm입니다.

67
총 리포지토리
219,024
총 별점
3,269
리포지토리당 평균 스타 수

저장소 총 67개

1
xai-org/x-algorithm

X의 For You 피드를 구동하는 알고리즘

xai-org
⭐ 34,361 Rust 👤 xai-org Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-01-19
2
airbytehq/airbyte

오픈소스 데이터 이동: ELT 파이프라인 및 AI 에이전트용 — API, 데이터베이스, 파일에서 데이터 웨어하우스, 데이터 레이크, AI 애플리케이션으로. 셀프 호스팅 및 클라우드.

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2020-07-27
3
apache/shardingsphere

분산 SQL을 통해 모든 데이터베이스에서 샤딩, 확장성 및 보안을 위한 데이터 인텔리전스 강화.

apache
⭐ 20,832 Java 👤 apache Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-01-18
4
debezium/debezium

다양한 데이터베이스를 위한 변경 데이터 캡처. 문제는 https://github.com/debezium/dbz/issues 에 기록해 주세요.

debezium
⭐ 13,366 Java 👤 debezium Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2016-01-22
5
pentaho/pentaho-kettle

Pentaho Data Integration (ETL) 또는 Kettle

pentaho
⭐ 8,419 Java 👤 pentaho Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2013-10-08
6
meirwah/awesome-workflow-engines

훌륭한 오픈 소스 워크플로 엔진의 큐레이션된 목록

meirwah
⭐ 7,967 👤 meirwah User 🕐 업데이트됨 2026-10-11 📅 생성됨 2015-05-20
7
datajuicer/data-juicer

기초 모델을 위한, 그리고 기초 모델과 함께하는 데이터 처리! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

datajuicer
⭐ 7,266 Python 👤 datajuicer Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-08-01
8
snowplow/snowplow

고객 데이터 인프라의 리더

snowplow
⭐ 7,052 Scala 👤 snowplow Organization 🕐 업데이트됨 2026-10-19 📅 생성됨 2012-03-01
9
apache/flink-cdc

Flink CDC는 스트리밍 데이터 통합 도구입니다

apache
⭐ 6,495 Java 👤 apache Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2020-07-27
10
clidey/whodb

데이터 접근과 운영 인텔리전스의 만남

clidey
⭐ 5,065 Go 👤 clidey Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-06-11
11
togethercomputer/RedPajama-Data

RedPajama-Data 리포지토리에는 대규모 언어 모델 훈련을 위한 대규모 데이터셋 준비 코드가 포함되어 있습니다.

togethercomputer
⭐ 4,997 Python 👤 togethercomputer Organization 🕐 업데이트됨 2026-06-03 📅 생성됨 2023-04-14
12
dagucloud/dagu

주요 업무가 오케스트레이션이 아닌 팀을 위한 셀프 호스팅 가능한 워크플로 오케스트레이터입니다. 스크립트, SSH 명령, 컨테이너 등을 선언형 YAML로 관리하고, 워크플로를 비즈니스 로직과 분리하세요. 단일 바이너리로 제공되며 데이터베이스가 필요 없고 제한된 하드웨어 리소스에서도 실행됩니다. Airflow, Cron, 작업 스케줄러의 대안입니다.

dagucloud
⭐ 4,642 Go 👤 dagucloud Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2022-04-22
13
rudderlabs/rudder-server

프라이버시와 보안 중심의 Segment 대안, Golang과 React로

rudderlabs
⭐ 4,520 Go 👤 rudderlabs Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2019-07-19
14
bruin-data/ingestr

ingestr는 단일 명령으로 모든 데이터베이스 간에 데이터를 원활하게 복사하는 CLI 도구입니다.

bruin-data
⭐ 4,049 Go 👤 bruin-data Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-02-12
15
adilkhash/Data-Engineering-HowTo

데이터 엔지니어링을 처음부터 배우기 위한 유용한 자료 목록

adilkhash
⭐ 4,049 👤 adilkhash User 🕐 업데이트됨 2026-10-30 📅 생성됨 2019-03-28
16
superlinked/sie

에이전트가 필요로 하는 모든 모델을 위한 오픈소스 추론 서버 및 프로덕션 클러스터.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-11-07
17
superstreamlabs/memphis

Memphis.dev는 매우 확장 가능하고 손쉬운 데이터 스트리밍 플랫폼입니다.

superstreamlabs
⭐ 3,442 Go 👤 superstreamlabs Organization 🕐 업데이트됨 2026-03-02 📅 생성됨 2022-02-01
18
whylabs/whylogs

머신러닝 모델 및 데이터 파이프라인을 위한 오픈소스 데이터 로깅 라이브러리입니다. 📚 시간 경과에 따른 데이터 품질 및 모델 성능에 대한 가시성을 제공합니다. 🛡️ 개인 정보 보호 데이터 수집을 지원하여 안전성 및 견고성을 보장합니다. 📈

whylabs
⭐ 2,819 Jupyter Notebook 👤 whylabs Organization 🕐 업데이트됨 2025-01-10 📅 생성됨 2020-08-14
19
unitedstates/congress-legislators

미국 의회 의원들, 1789-현재, YAML/JSON/CSV 형식으로, 그리고 위원회, 대통령, 부통령.

unitedstates
⭐ 2,473 Python 👤 unitedstates Organization 🕐 업데이트됨 2026-11-15 📅 생성됨 2012-09-27
20
elementary-data/elementary

데이터 및 분석 엔지니어를 위한 dbt 네이티브 데이터 관찰 솔루션. 몇 분 안에 데이터 파이프라인을 모니터링하세요. 프리미엄 기능을 갖춘 자체 호스팅 또는 클라우드 서비스로 제공됩니다.

elementary-data
⭐ 2,435 HTML 👤 elementary-data Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2021-08-30
21
iliane5/meridian

Meridian은 수백 개의 소스를 스크랩하고 AI로 스토리를 분석하여 간결하고 개인화된 일일 브리핑을 제공하여 뉴스 노이즈를 뚫습니다.

iliane5
⭐ 2,415 TypeScript 👤 iliane5 User 🕐 업데이트됨 2025-05-30 📅 생성됨 2025-03-06
22
warproxxx/poly_data

시장, 주문 이벤트 및 거래를 포함한 Polymarket 데이터를 가져오고, 처리하며 구조화하는 Polymarket 데이터 검색기.

warproxxx
⭐ 2,353 Python 👤 warproxxx User 🕐 업데이트됨 2026-09-08 📅 생성됨 2025-10-03
23
reugn/go-streams

Go를 위한 가벼운 스트림 처리 라이브러리

reugn
⭐ 2,178 Go 👤 reugn User 🕐 업데이트됨 2026-01-14 📅 생성됨 2019-04-30
24
datazip-inc/olake-go

OLake Go: 데이터베이스, Kafka, S3의 데이터를 Apache Iceberg 및 Parquet으로 복제하는 오픈 소스 도구입니다. 소스: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. 이전 이름은 datazip-inc/olake입니다. 테이블 유지 관리 기능은 datazip-inc/olake-fusion에 있습니다.

datazip-inc
⭐ 2,166 Go 👤 datazip-inc Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-10-15
25
oficcejo/aiagents-stock

복합 다중 AI 지능 에이전트 주식 팀 분석 감시 시스템, 여러 AI 에이전트를 기반으로 증권 애널리스트 팀 분석 과정을 시뮬레이션, 포괄적인 주식 투자 분석 및 의사결정 제안을 제공. 신규 추가: 유동성 자본 용호榜 추적 분석, 섹터 경고 순환 분석, 배치 다중 스레드 분석 지원, 주요 지점 실시간 모니터링, 경고 메시지 전송, miniqmt 인터페이스 예약, 양적 거래 지원, 진정으로 'AI가 주식 거래를 대신', 중국 본토 A주 적합. 아래 테스트 사이트에 deepseek 임시 키 입력, 테스트 후 삭제 (누출 위험). 주의: 테스트 클라우드 서비스 접근 과다로 데이터 소스 거부 가능. 사용 시 로컬 배포.

oficcejo
⭐ 2,101 Python 👤 oficcejo User 🕐 업데이트됨 2026-10-10 📅 생성됨 2025-10-03
26
pydoit/doit

CLI 작업 관리 및 자동화 도구

pydoit
⭐ 2,098 Python 👤 pydoit Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2014-02-14
27
Multiwoven/multiwoven

🔥🔥🔥 오픈 소스 Reverse ETL - hightouch 및 census의 대안.

Multiwoven
⭐ 1,685 Ruby 👤 Multiwoven Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2023-10-20
28
bazaarvoice/jolt

Java로 작성된 JSON 변환 라이브러리.

bazaarvoice
⭐ 1,674 Java 👤 bazaarvoice Organization 🕐 업데이트됨 2026-10-28 📅 생성됨 2013-02-15
29
tanjiti/sec_profile

secwiki와 xuanwu.github.io/sec.today를 크롤링하여, 보안 정보 사이트, 보안 트렌드를 분석하고, 보안 작업자 계정(twitter, weixin, github 등)을 추출

tanjiti
⭐ 1,640 HTML 👤 tanjiti User 🕐 업데이트됨 2026-11-21 📅 생성됨 2019-02-19
30
slothflowlabs/duckle

자체 서버 또는 클라우드에 배포하는 오픈 소스 ETL/ELT입니다. DuckDB 기반으로 구축되었으며, 노코드/로우코드 시각적 파이프라인 또는 SQL, 446개 컴포넌트, dbt, CDC, 데이터 품질, 리버스 ETL, 데이터 계보, AI 에이전트를 위한 MCP를 제공합니다. 벤더 클라우드가 필요 없고 행 단위 과금도 없습니다.

slothflowlabs
⭐ 1,558 Rust 👤 slothflowlabs Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-05-21
31
xitongsys/parquet-go

파라켓 파일 읽기/쓰기를 위한 순수 Golang 라이브러리

xitongsys
⭐ 1,432 Go 👤 xitongsys User 🕐 업데이트됨 2026-05-08 📅 생성됨 2017-09-02
32
GoogleCloudPlatform/data-science-on-gcp

소스 코드: Google Cloud Platform의 데이터 과학, Valliappa Lakshmanan, O'Reilly 2017

GoogleCloudPlatform
⭐ 1,432 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 업데이트됨 2026-02-20 📅 생성됨 2017-02-10
33
weifuwan/seatunnel-web

Apache SeaTunnel을 더 쉽게 사용할 수 있도록 합니다.

weifuwan
⭐ 1,406 TypeScript 👤 weifuwan User 🕐 업데이트됨 2026-07-16 📅 생성됨 2026-02-10
34
kkangert/kspider

Kspider는 코딩 없이 크롤링 프로세스를 구현할 수 있도록 그래픽 방식으로 크롤링 프로세스를 정의할 수 있는 크롤링 플랫폼입니다. Kspider는 웹 크롤링에만 국한되지 않고 WEB 자동화 테스트에도 사용할 수 있으며, 더 많은 기능을 탐색할 수 있습니다.

kkangert
⭐ 1,285 Java 👤 kkangert User 🕐 업데이트됨 2024-08-19 📅 생성됨 2024-07-07
35
DataWithBaraa/sql-data-warehouse-project

두 개의 소스 시스템(CRM 및 ERP)에서 브론즈, 실버, 골드 계층을 거쳐 SQL Server에 데이터 웨어하우스를 구축하세요. 무료 전체 프로젝트의 파일 및 스크립트.

DataWithBaraa
⭐ 1,089 TSQL 👤 DataWithBaraa User 🕐 업데이트됨 2026-11-06 📅 생성됨 2024-12-30
36
authorjapps/zerocode

zerocode-tdd는 커뮤니티에서 개발한 무료 오픈 소스 결과 중심 자동화 테스트 프레임워크로, 데이터 파이프라인, ETL, REST API, Kafka(데이터 스트림), 데이터베이스 및 부하 시나리오를 지원합니다. 모든 항목을 간단한 JSON 또는 YAML로 정의할 수 있어 코딩이 전혀 필요하지 않습니다.

authorjapps
⭐ 1,017 Java 👤 authorjapps User 🕐 업데이트됨 2026-11-12 📅 생성됨 2016-07-05
37
estuary/flow

🌊 Estuary로 데이터 흐름을 관리하여 데이터가 있는 시스템에서 데이터가 _있기를 원하는_ 시스템으로 지속적으로 동기화하세요. 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2020-02-13
38
qiantongtech/qData

qData는 가볍고 기능이 완비된 AI 네이티브 오픈 소스 데이터 플랫폼입니다. 데이터 통합, 개발, 모델링, 거버넌스, 자산 및 API 서비스를 제공하며, 자체 호스팅 배포, 유연한 확장 및 상업적 사용을 지원합니다.

qiantongtech
⭐ 950 Java 👤 qiantongtech Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-05-17
39
apache/seatunnel-web

SeaTunnel은 대규모 데이터(오프라인 및 실시간)의 동기화 및 변환을 위한 분산 고성능 데이터 통합 플랫폼입니다.

apache
⭐ 888 Java 👤 apache Organization 🕐 업데이트됨 2026-01-22 📅 생성됨 2022-09-26
40
AgnostiqHQ/covalent

이종 컴퓨팅 환경에서 머신러닝/고성능/양자 컴퓨팅 워크플로우를 오케스트레이션하기 위한 Pythonic 도구.

AgnostiqHQ
⭐ 869 Python 👤 AgnostiqHQ Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2021-11-03
41
spotify/klio

오디오를 위한 더 스마트한 데이터 파이프라인.

spotify
⭐ 866 Python 👤 spotify Organization 🕐 업데이트됨 2024-01-10 📅 생성됨 2020-08-07
42
censusreporter/censusreporter

Census Reporter는 Knight News Challenge에서 자금을 지원받은 프로젝트로, 기자들이 미국 인구조사국의 정보를 사용하여 이야기를 쓰기 쉽게 하기 위한 것입니다.

censusreporter
⭐ 846 HTML 👤 censusreporter Organization 🕐 업데이트됨 2026-10-26 📅 생성됨 2013-05-20
43
ssp-data/practical-data-engineering

실용적인 데이터 엔지니어링: 부동산 프로젝트 실습 가이드

ssp-data
⭐ 833 Jupyter Notebook 👤 ssp-data Organization 🕐 업데이트됨 2026-06-25 📅 생성됨 2020-11-18
44
justjavac/weibo-trending-hot-search

웨이보 인기 검색어 순위는 2020년 11월 24일부터 웨이보의 인기 검색어를 기록합니다. 데이터는 매시간 수집되며 매일 보관됩니다.

justjavac
⭐ 804 TypeScript 👤 justjavac User 🕐 업데이트됨 2026-11-21 📅 생성됨 2020-11-24
45
tidymodels/infer

tidyverse-friendly 통계 추론을 위한 R 패키지

tidymodels
⭐ 796 R 👤 tidymodels Organization 🕐 업데이트됨 2026-04-13 📅 생성됨 2017-06-05
46
geolonia/japanese-addresses

전국 마을 구역별(277,191건) 주소 데이터 오픈데이터

geolonia
⭐ 774 JavaScript 👤 geolonia Organization 🕐 업데이트됨 2026-08-05 📅 생성됨 2020-07-12
47
hudl/statsbombpy

StatsBomb 데이터를 Python으로 쉽게 스트리밍하세요

hudl
⭐ 758 Python 👤 hudl Organization 🕐 업데이트됨 2026-10-20 📅 생성됨 2020-01-08
48
CZ-NIC/pz

일반적인 Bash 프로그램 대신 Python을 사용하여 일상적인 CLI 작업을 쉽게 처리하십시오. 🇺🇦 #supporting

CZ-NIC
⭐ 732 Python 👤 CZ-NIC Organization 🕐 업데이트됨 2025-11-24 📅 생성됨 2020-11-25
49
karpathy/hn-time-capsule

LLM을 사용하여 10년 전 Hacker News 토론을 사후적으로 분석하기

karpathy
⭐ 693 Python 👤 karpathy User 🕐 업데이트됨 2025-12-10 📅 생성됨 2025-12-10
50
azmatt/chasing_your_tail

무선 신호를 사용하여 자신을 따라오는지 확인할 수 있는 도구입니다.

azmatt
⭐ 691 Python 👤 azmatt User 🕐 업데이트됨 2025-02-18 📅 생성됨 2022-01-01

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #data-pipeline 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #data-pipeline 프로젝트는 34,361개의 스타를 받은 xai-org/x-algorithm입니다. X의 For You 피드를 구동하는 알고리즘

2

#data-pipeline 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #data-pipeline 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Java, Go, Rust입니다.

3

#data-pipeline 저장소 순위는 어떻게 계산되나요?

#data-pipeline 태그가 지정된 활성 오픈 소스 저장소(67개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 219,024개이며 저장소당 평균 3,269개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.