#data-engineering Репозитории
Всего репозиториев: 152
Коллекция самых важных репозиториев Github для специалистов по ML, AI и науке о данных
Основная платформа Project Egeria обеспечивает поддержку Open Metadata и Governance. Она включает открытую систему типов, распределённый граф знаний, REST API, интеллектуальное управление и готовый контент.
Еще один репозиторий с базовыми концепциями, техническими проблемами и ресурсами по инженерии данных на испанском языке 🧙✨
Разработанный сообществом, простой, но мощный фреймворк для быстрого, экономичного распределенного вычисления над данными.
FlyFish — это платформа для кодирования визуализации данных. Мы можем быстро и просто создать модель данных, а затем с помощью перетаскивания быстро сгенерировать набор решений для визуализации данных.
Самая продвинутая платформа для обработки данных, позволяющая создавать масштабируемые конвейеры обработки данных и перемещать данные между различными источниками и назначениями данных.
Neum AI — это лучшая в своем классе платформа для управления созданием и синхронизацией векторных вложений в больших масштабах.
Каркас управления данными для Python, предоставляющий функциональность для описания, извлечения, проверки и преобразования табличных данных
Дополнительные материалы для курса Udemy "The Complete dbt (Data Build Tool) Bootcamp"
Практическая инженерия данных: практическое руководство по проектам в сфере недвижимости
Открытая агентная платформа для инженерной обработки данных для dbt, SQL и облачных хранилищ данных. 100+ инструментов, 10 хранилищ, на базе ИИ.
Python-фреймворк для создания эффективных конвейеров данных. Он способствует модульности и сотрудничеству, позволяя создавать сложные конвейеры из простых, многократно используемых компонентов.
Руководства и документация, чтобы помочь вам начать и запустить Apache Airflow.
ChainKnowledgeGraph, граф знаний производственной цепочки включает компании, котирующиеся на бирже A, отрасли и продукты, всего 3 типа сущностей, включая отношения принадлежности к отрасли для котируемых компаний, отношения вышестоящих отраслей, отношения исходных материалов для продуктов, отношения последующих продуктов, основные продукты компаний и подкатегории продуктов, всего 6 основных категорий. Котируемые компании: 4 654, отрасли: 511, продукты: 95 559, исходные материалы: 56 824, вышестоящие отрасли: 480, последующие продукты: 390, подкатегории продуктов: 52 937, относящиеся отрасли: 3 946.
Узнайте свои данные лучше! Datavines — это платформа нового поколения для наблюдения за данными, поддерживающая управление метаданными и качество данных.
Ресурсы подготовительного курса для экзамена Databricks Data Engineer Associate
Подборка громких реальных примеров неудачных проектов машинного обучения
Этот репозиторий помогает научить людей правильно определять и создавать накопительные таблицы!
Этот репозиторий содержит записные книжки и презентации, которые мы используем для наших технических докладов Databricks "
VectorFlow — это конвейер встраивания векторов с высокой пропускной способностью, который принимает необработанные данные, преобразует их в векторы и записывает в выбранную вами базу данных векторов.
Движок потока данных — это базовый движок на основе данных для интеграции данных, синхронизации данных, обмена данными, совместного использования данных, настройки задач и планирования задач. Движок потока данных использует такие архитектуры, как разделение управления и выполнения, многопоточные уровни и библиотеку плагинов, для решения реальных проблем данных, связанных с крупномасштабными задачами обработки данных, частыми отчетами о данных, частым сбором данных и совместимостью с гетерогенными данными.
Магазин в одном месте для всех ваших нужд в GIS-программировании
Аналитика данных и BI в браузере с использованием DuckDB-WASM. Конфиденциальность прежде всего: ваши данные остаются локально; сервер не требуется.
Анализ патентов с использованием публичных наборов данных Google Patents в BigQuery
Conduit передает данные между хранилищами данных. Замена Kafka Connect. JVM не требуется.
Synmetrix – готовый к производству семантический слой с открытым исходным кодом на Cube
Имитационное моделирование сезона НБА методом Монте-Карло с использованием dbt, duckdb и evidence.dev
Создание наборов данных с использованием естественного языка
Инструментарий Python для извлечения и преобразования данных блокчейна Биткойн в структурированные форматы.
Этот проект предоставляет примеры Apache Spark SQL, RDD, DataFrame и Dataset на языке Scala.
Куратированный список инструментов с открытым исходным кодом, используемых в аналитических платформах и экосистеме инженерии данных
Сопутствующий исходный код: BigQuery: The Definitive Guide от Lakshmanan & Tigani, будет опубликован O'Reilly Media
🧠 Ментальная карта 🗺️ архитектуры программного обеспечения и программной инженерии
Вики, содержащая фрагменты информации и знаний о виртуальной машине BEAM (которая запускает Erlang/OTP и другие языки на основе BEAM).