#data-engineering Репозитории
Всего репозиториев: 152
Apache Hamilton помогает специалистам по данным и инженерам определять тестируемые, модульные, самодокументируемые потоки данных, которые кодируют происхождение/отслеживание и метаданные. Работает и масштабируется везде, где работает python.
Сервис машинного обучения с низким уровнем кода для персонализированного ранжирования статей, листингов, результатов поиска, рекомендаций, который повышает вовлеченность пользователей. Дружелюбный движок Learn-to-Rank
Лучшее место для изучения инженерии данных. Создано и поддерживается сообществом инженеров данных.
👾 nao — решение № 1 в сфере агентской BI с открытым исходным кодом. (1) Создайте контекст с помощью nao-core CLI; (2) разверните чат-интерфейс nao для всех.
Будущее Data Engineering — CLI SQL-клиент для современной дата-стека, обеспечивающий AI-native контекстное проектирование для данных.
Feathr – Масштабируемая, унифицированная платформа для инжиниринга данных и искусственного интеллекта для корпораций
Более 2000+ вопросов для собеседования инженера данных.
Полный список из более чем 180 YouTube-каналов, посвященных науке о данных, инженерии данных, машинному обучению, глубокому обучению, информатике, программированию, разработке программного обеспечения и т. д.
Материалы бесплатного 30-часового курса по SQL: базы данных для SQL Server, MySQL и PostgreSQL, все запросы из 41 главы и слайды.
MLRun — это открытая платформа MLOps для быстрого создания и управления непрерывными приложениями ML на протяжении всего их жизненного цикла. MLRun интегрируется в вашу среду разработки и CI/CD и автоматизирует доставку производственных данных, конвейеров ML и онлайн-приложений.
ktx — это исполняемый контекстный слой для агентов данных и аналитики 🐙 Позвольте Claude Code, Codex или другим ИИ-агентам точно запрашивать аналитические базы данных с полным контекстом вашей компании
:bar_chart: :clipboard: Панели управления с использованием файлов YAML или JSON
Скрипты и документация для https://www.dolthub.com/repositories/chenditc/investment_data
ETL/ELT с открытым исходным кодом, который можно развернуть на собственных серверах или в облаке. Построен на DuckDB: визуальные конвейеры без кода или с минимальным кодом либо SQL, 446 компонентов, dbt, CDC, контроль качества данных, обратный ETL, происхождение данных и MCP для ИИ-агентов. Без облака поставщика и без оплаты за каждую строку.
Куратированная коллекция из более 300 статей из инженерных блогов ведущих технологических компаний. Узнайте, как лучшие инженерные команды решают реальные проблемы в масштабе.
Первая платформа с открытым исходным кодом для обнаружения и наблюдаемости данных. Мы облегчаем жизнь специалистам по данным, чтобы вы могли сосредоточиться на своем бизнесе.
Исходный код, сопровождающий книгу: Наука о данных на платформе Google Cloud, Valliappa Lakshmanan, O'Reilly 2017
Quilt — это платформа управления научными данными на AWS, которая помогает командам и ИИ находить, доверять и повторно использовать данные с помощью глубоко версионированных, богатых контекстом пакетов данных.
Dianping Crawler (можно сканировать весь сайт, решает проблему шифрования динамических шрифтов, без OCR). Постоянное обновление
Курированный, но неполный список ресурсов по ориентированному на данные ИИ.
Тестирование контрактов данных с открытым исходным кодом для Snowflake, Databricks, BigQuery, Kafka и ещё 15 платформ. Создано на основе Open Data Contract Standard (ODCS). Лицензия MIT.
Подборка удивительно превосходных ресурсов по Hadoop и экосистеме Hadoop
Создайте хранилище данных в SQL Server на основе двух исходных систем — CRM и ERP — с использованием слоёв bronze, silver и gold. Файлы и скрипты полного бесплатного проекта.
Публичные исполняемые примеры использования NLP от John Snow Labs для Apache Spark.
🧞 Преобразуйте объекты JSON в MySQL, JSON Schema, Mongoose, Google BigQuery, Swagger и многое другое.
Учебные материалы для Zoomcamp по аналитике на фондовых рынках
Dataform — это фреймворк для управления операциями с данными на основе SQL в BigQuery.
🌊 Непрерывно синхронизируйте системы, в которых находятся ваши данные, с системами, в которых вы _хотите_ их видеть, управляя потоками данных с помощью Estuary. 🌊