#data-engineering 저장소
저장소 총 152개
Project Egeria의 핵심 플랫폼으로, Open Metadata 및 Governance를 지원합니다. 개방형 타입 시스템, 분산 지식 그래프, REST API, 지능형 거버넌스 및 사전 구축된 콘텐츠를 제공합니다.
FlyFish는 데이터 시각화 코딩 플랫폼입니다. 간단한 방법으로 데이터 모델을 빠르게 생성하고 드래그하여 일련의 데이터 시각화 솔루션을 신속하게 생성할 수 있습니다.
테이블 형식 데이터를 설명, 추출, 유효성 검사 및 변환하는 기능을 제공하는 Python용 데이터 관리 프레임워크
Udemy 과정 "The Complete dbt (Data Build Tool) Bootcamp" 보충 자료
오픈소스 에이전틱 데이터 엔지니어링 하네스 for dbt, SQL, 클라우드 데이터 웨어하ウス. 100+ 도구, 10 웨어하ウス, AI 기반.
효율적인 데이터 파이프라인 구축을 위한 Python 프레임워크입니다. 모듈성과 협업을 촉진하여 간단하고 재사용 가능한 구성 요소로 복잡한 파이프라인을 만들 수 있습니다.
ChainKnowledgeGraph, 산업 체인 지식 그래프는 A주 상장 회사, 산업, 제품의 3가지 유형의 엔티티를 포함하며, 상장 회사의 소속 산업 관계, 상위 산업 관계, 제품의 업스트림 원자재 관계, 제품의 다운스트림 제품 관계, 회사의 주요 제품, 제품 하위 분류 등 총 6가지 주요 범주를 포함합니다. 상장 회사: 4,654개, 산업: 511개, 제품: 95,559개, 업스트림 원자재: 56,824개, 상위 산업: 480개, 다운스트림 제품: 390개, 제품 하위 분류: 52,937개, 소속 산업: 3,946개.
Databricks 데이터 엔지니어 Associate 자격증 시험 준비 과정 자료
데이터 흐름 엔진은 데이터 통합, 데이터 동기화, 데이터 교환, 데이터 공유, 작업 구성, 작업 스케줄링을 위한 데이터 기반의 하위 데이터 구동 엔진입니다. 데이터 흐름 엔진은 제어와 실행 분리, 다중 스트림 계층, 플러그인 라이브러리와 같은 아키텍처를 채택하여 대규모 데이터 작업, 빈번한 데이터 보고, 빈번한 데이터 수집, 이기종 데이터 호환성과 같은 실제 데이터 문제를 해결합니다.
이 프로젝트는 Scala 언어로 Apache Spark SQL, RDD, DataFrame 및 Dataset 예제를 제공합니다.
동반 소스 코드: O'Reilly Media에서 출간 예정인 Lakshmanan & Tigani의 'BigQuery: The Definitive Guide'