#etl 저장소
#etl 태그가 지정된 GitHub의 활성 오픈 소스 저장소 105개를 확인해 보세요. 총 408,616개의 스타를 획득했으며 프로젝트당 평균 3,891개입니다. 이 주제를 이끄는 저장소는 61,976개의 스타를 받은 pathwaycom/pathway입니다.
저장소 총 105개
어디서나 모든 것을 오케스트레이션하세요. 데이터, 인프라, 비즈니스 프로세스 및 AI 에이전트 전반의 워크플로를 위한 오픈 소스 컨트롤 플레인입니다. 선언형 YAML, 이벤트 기반, 모든 언어 지원, Git 버전 관리, 수백만 건의 실행으로 확장 가능합니다.
오픈소스 데이터 이동: ELT 파이프라인 및 AI 에이전트용 — API, 데이터베이스, 파일에서 데이터 웨어하우스, 데이터 레이크, AI 애플리케이션으로. 셀프 호스팅 및 클라우드.
클라우드 구성 및 보안 데이터를 위한 데이터 파이프라인. 클라우드 자산 인벤토리, CSPM, FinOps 및 취약점 관리 솔루션을 구축합니다. AWS, Azure, GCP 및 70개 이상의 클라우드 및 SaaS 소스에서 데이터를 추출합니다.
DataX 통합 시각화 페이지에서 데이터 소스를 선택하면 원클릭으로 데이터 동기화 작업을 생성할 수 있으며, RDBMS, Hive, HBase, ClickHouse, MongoDB 등의 데이터 소스를 지원합니다. RDBMS 데이터 동기화 작업을 대량으로 생성하고, 오픈 소스 스케줄링 시스템을 통합하여 분산 처리, 증분 동기화 데이터, 실시간 실행 로그 보기, 실행기 자원 모니터링, 실행 프로세스 KILL, 데이터 소스 정보 암호화 등을 지원합니다.
AWS에서의 pandas - Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer 및 S3 (Parquet, CSV, JSON 및 EXCEL)와의 쉬운 통합.
Apache DevLake는 DevOps 도구에서 파편화된 데이터를 수집, 분석 및 시각화하여 엔지니어링 우수성, 개발자 경험 및 커뮤니티 성장에 대한 통찰력을 추출하는 오픈 소스 개발자 데이터 플랫폼입니다.
이더리움 블록, 트랜잭션, ERC20 / ERC721 토큰, 전송, 영수증, 로그, 계약, 내부 트랜잭션에 대한 ETL(추출, 변환, 로드) 작업을 위한 Python 스크립트. 데이터는 Google BigQuery에서 사용 가능 https://goo.gl/oY5BCQ
Apache Hamilton은 데이터 과학자와 엔지니어가 계보/추적 및 메타데이터를 인코딩하는 테스트 가능한 모듈식 자체 문서화 데이터 흐름을 정의하도록 돕습니다. 파이썬이 실행되는 모든 곳에서 실행되고 확장됩니다.
Instill Core는 데이터, 모델 및 파이프라인 오케스트레이션을 위한 풀스택 AI 인프라 도구로, 다양한 AI 우선 애플리케이션 구축의 모든 측면을 간소화하도록 설계되었습니다.
단일 C++ 바이너리로 제공되는 가장 빠른 통합 스트리밍 SQL 엔진. ⚡ 밀리초 단위 지연 시간. 100 GB/s 이상의 처리량. 스트림, 로그, 메트릭, 이벤트 및 CDC에서 상태를 유지하는 컨텍스트를 지속적으로 계산합니다.
OLake Go: 데이터베이스, Kafka, S3의 데이터를 Apache Iceberg 및 Parquet으로 복제하는 오픈 소스 도구입니다. 소스: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. 이전 이름은 datazip-inc/olake입니다. 테이블 유지 관리 기능은 datazip-inc/olake-fusion에 있습니다.
데이터 엔지니어링을 배우기 가장 좋은 곳입니다. 데이터 엔지니어링 커뮤니티에서 만들고 유지 관리합니다.
자체 서버 또는 클라우드에 배포하는 오픈 소스 ETL/ELT입니다. DuckDB 기반으로 구축되었으며, 노코드/로우코드 시각적 파이프라인 또는 SQL, 446개 컴포넌트, dbt, CDC, 데이터 품질, 리버스 ETL, 데이터 계보, AI 에이전트를 위한 MCP를 제공합니다. 벤더 클라우드가 필요 없고 행 단위 과금도 없습니다.
Alibaba DataX의 후속 프로젝트로 활발히 유지 관리되고 있으며, 30개 이상의 RDBMS 및 NoSQL 데이터 소스를 지원하는 빠르고 다재다능한 오픈 소스 ETL 도구입니다.
자주 묻는 질문
GitHub에서 가장 인기 있는 #etl 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #etl 프로젝트는 61,976개의 스타를 받은 pathwaycom/pathway입니다. 스트림 처리, 실시간 분석, LLM 파이프라인 및 RAG를 위한 Python ETL 프레임워크.
#etl 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #etl 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Java, Go, Rust입니다.
#etl 저장소 순위는 어떻게 계산되나요?
#etl 태그가 지정된 활성 오픈 소스 저장소(105개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 408,616개이며 저장소당 평균 3,891개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.