#data-pipeline 저장소
#data-pipeline 태그가 지정된 GitHub의 활성 오픈 소스 저장소 67개를 확인해 보세요. 총 219,024개의 스타를 획득했으며 프로젝트당 평균 3,269개입니다. 이 주제를 이끄는 저장소는 34,361개의 스타를 받은 xai-org/x-algorithm입니다.
저장소 총 67개
오픈소스 데이터 이동: ELT 파이프라인 및 AI 에이전트용 — API, 데이터베이스, 파일에서 데이터 웨어하우스, 데이터 레이크, AI 애플리케이션으로. 셀프 호스팅 및 클라우드.
RedPajama-Data 리포지토리에는 대규모 언어 모델 훈련을 위한 대규모 데이터셋 준비 코드가 포함되어 있습니다.
주요 업무가 오케스트레이션이 아닌 팀을 위한 셀프 호스팅 가능한 워크플로 오케스트레이터입니다. 스크립트, SSH 명령, 컨테이너 등을 선언형 YAML로 관리하고, 워크플로를 비즈니스 로직과 분리하세요. 단일 바이너리로 제공되며 데이터베이스가 필요 없고 제한된 하드웨어 리소스에서도 실행됩니다. Airflow, Cron, 작업 스케줄러의 대안입니다.
머신러닝 모델 및 데이터 파이프라인을 위한 오픈소스 데이터 로깅 라이브러리입니다. 📚 시간 경과에 따른 데이터 품질 및 모델 성능에 대한 가시성을 제공합니다. 🛡️ 개인 정보 보호 데이터 수집을 지원하여 안전성 및 견고성을 보장합니다. 📈
데이터 및 분석 엔지니어를 위한 dbt 네이티브 데이터 관찰 솔루션. 몇 분 안에 데이터 파이프라인을 모니터링하세요. 프리미엄 기능을 갖춘 자체 호스팅 또는 클라우드 서비스로 제공됩니다.
OLake Go: 데이터베이스, Kafka, S3의 데이터를 Apache Iceberg 및 Parquet으로 복제하는 오픈 소스 도구입니다. 소스: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. 이전 이름은 datazip-inc/olake입니다. 테이블 유지 관리 기능은 datazip-inc/olake-fusion에 있습니다.
복합 다중 AI 지능 에이전트 주식 팀 분석 감시 시스템, 여러 AI 에이전트를 기반으로 증권 애널리스트 팀 분석 과정을 시뮬레이션, 포괄적인 주식 투자 분석 및 의사결정 제안을 제공. 신규 추가: 유동성 자본 용호榜 추적 분석, 섹터 경고 순환 분석, 배치 다중 스레드 분석 지원, 주요 지점 실시간 모니터링, 경고 메시지 전송, miniqmt 인터페이스 예약, 양적 거래 지원, 진정으로 'AI가 주식 거래를 대신', 중국 본토 A주 적합. 아래 테스트 사이트에 deepseek 임시 키 입력, 테스트 후 삭제 (누출 위험). 주의: 테스트 클라우드 서비스 접근 과다로 데이터 소스 거부 가능. 사용 시 로컬 배포.
secwiki와 xuanwu.github.io/sec.today를 크롤링하여, 보안 정보 사이트, 보안 트렌드를 분석하고, 보안 작업자 계정(twitter, weixin, github 등)을 추출
자체 서버 또는 클라우드에 배포하는 오픈 소스 ETL/ELT입니다. DuckDB 기반으로 구축되었으며, 노코드/로우코드 시각적 파이프라인 또는 SQL, 446개 컴포넌트, dbt, CDC, 데이터 품질, 리버스 ETL, 데이터 계보, AI 에이전트를 위한 MCP를 제공합니다. 벤더 클라우드가 필요 없고 행 단위 과금도 없습니다.
소스 코드: Google Cloud Platform의 데이터 과학, Valliappa Lakshmanan, O'Reilly 2017
Kspider는 코딩 없이 크롤링 프로세스를 구현할 수 있도록 그래픽 방식으로 크롤링 프로세스를 정의할 수 있는 크롤링 플랫폼입니다. Kspider는 웹 크롤링에만 국한되지 않고 WEB 자동화 테스트에도 사용할 수 있으며, 더 많은 기능을 탐색할 수 있습니다.
두 개의 소스 시스템(CRM 및 ERP)에서 브론즈, 실버, 골드 계층을 거쳐 SQL Server에 데이터 웨어하우스를 구축하세요. 무료 전체 프로젝트의 파일 및 스크립트.
zerocode-tdd는 커뮤니티에서 개발한 무료 오픈 소스 결과 중심 자동화 테스트 프레임워크로, 데이터 파이프라인, ETL, REST API, Kafka(데이터 스트림), 데이터베이스 및 부하 시나리오를 지원합니다. 모든 항목을 간단한 JSON 또는 YAML로 정의할 수 있어 코딩이 전혀 필요하지 않습니다.
qData는 가볍고 기능이 완비된 AI 네이티브 오픈 소스 데이터 플랫폼입니다. 데이터 통합, 개발, 모델링, 거버넌스, 자산 및 API 서비스를 제공하며, 자체 호스팅 배포, 유연한 확장 및 상업적 사용을 지원합니다.
Census Reporter는 Knight News Challenge에서 자금을 지원받은 프로젝트로, 기자들이 미국 인구조사국의 정보를 사용하여 이야기를 쓰기 쉽게 하기 위한 것입니다.
웨이보 인기 검색어 순위는 2020년 11월 24일부터 웨이보의 인기 검색어를 기록합니다. 데이터는 매시간 수집되며 매일 보관됩니다.
자주 묻는 질문
GitHub에서 가장 인기 있는 #data-pipeline 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #data-pipeline 프로젝트는 34,361개의 스타를 받은 xai-org/x-algorithm입니다. X의 For You 피드를 구동하는 알고리즘
#data-pipeline 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #data-pipeline 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Java, Go, Rust입니다.
#data-pipeline 저장소 순위는 어떻게 계산되나요?
#data-pipeline 태그가 지정된 활성 오픈 소스 저장소(67개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 219,024개이며 저장소당 평균 3,269개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.