#data-engineering Репозитории
Откройте для себя 152 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #data-engineering, с общим числом 727,632 звёзд (в среднем 4,787 на проект). Лидером этой темы является apache/superset, набравший 75,603 звёзд.
Всего репозиториев: 152
Узнайте, как разрабатывать, развертывать и итерировать производственные приложения ML.
Apache Airflow - Платформа для программного создания, планирования и мониторинга рабочих процессов
Data Engineering Zoomcamp — это бесплатный 9-недельный курс по созданию готовых к продакшену пайплайнов данных. Присоединяйтесь к курсу здесь 👇🏼
Оркестрируйте всё и повсюду. Открытая управляющая платформа для рабочих процессов с данными, инфраструктурой, бизнес-процессами и ИИ-агентами. Декларативный YAML, событийная архитектура, поддержка любых языков, контроль версий в Git и масштабирование до миллионов запусков.
📚 Статьи и технические блоги от компаний, делящихся своей работой по науке о данных и машинному обучению в производстве.
Prefect — это фреймворк для оркестрации рабочих процессов, предназначенный для создания устойчивых конвейеров данных на Python.
Открытый исходный код для перемещения данных в ELT-пайплайнах и AI-агентах — из API, баз данных и файлов в хранилища данных, озёра данных и AI-приложения. Как в self-hosted, так и в облаке.
Превратите данные и алгоритмы ИИ в готовые к производству веб-приложения в кратчайшие сроки.
Платформа оркестрации для разработки, производства и наблюдения за данными активами.
Инкрементальный движок для агентов с долгим горизонтом 🌟 Поставь звезду, если нравится!
🐚 Shell, работающий на Python. Полнофункциональный, кросс-платформенный и дружелюбный к ИИ.
Платформа потоковой передачи событий для агентского ИИ. Непрерывно поглощайте, трансформируйте и предоставляйте потоки событий в реальном времени, в масштабе.
🧙 Создавайте, запускайте и управляйте конвейерами данных для интеграции и преобразования данных.
Извлечение неструктурированных данных на базе LLM — Разработано для развертываний API и рабочих процессов ETL-пайплайнов
Бизнес-аналитика как код: создавайте быстрые, интерактивные визуализации данных в SQL и markdown
Конвейеры данных для данных конфигурации и безопасности облака. Создание решений для инвентаризации облачных активов, CSPM, FinOps и управления уязвимостями. Извлечение данных из AWS, Azure, GCP и более чем 70 облачных и SaaS-источников.
Data Load Tool (dlt) — это библиотека Python с открытым исходным кодом, которая упрощает загрузку данных 🛠️
Страница визуализации интеграции DataX: выберите источник данных, чтобы с одного клика сгенерировать задачу синхронизации данных. Поддерживает источники данных, такие как RDBMS, Hive, HBase, ClickHouse, MongoDB и т.д. Пакетное создание задач синхронизации данных RDBMS, интеграция с открытой системой планирования, поддержка распределенной обработки, инкрементальной синхронизации данных, просмотра логов выполнения в реальном времени, мониторинга ресурсов исполнителя, KILL выполняющихся процессов, шифрования информации источников данных и т.д.
Высокопроизводительный движок данных для рабочих нагрузок ИИ и мультимодальных систем. Обрабатывайте изображения, аудио, видео и структурированные данные в любом масштабе.
Краткие содержания и ресурсы для книги "Designing Machine Learning Systems" (Chip Huyen, O'Reilly 2022)
DeepAnalyze — это первый агентный LLM для автономного анализа данных. 🎈 Ваш ИИ-аналитик данных, который автоматически анализирует огромные массивы данных и генерирует профессиональные отчеты всего одним кликом!
Альтернатива Segment, ориентированная на конфиденциальность и безопасность, на Golang и React
SQL Translator - это инструмент для преобразования запросов на естественном языке в SQL-код с использованием искусственного интеллекта. Этот проект на 100% бесплатен и имеет открытый исходный код.
pandas на AWS - Легкая интеграция с Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer и S3 (Parquet, CSV, JSON и EXCEL).
Список множества вопросов для собеседований и реальных задач в сфере технологий! (https://tech-vault-web.vercel.app/)
Полностью совместимая замена Apache Spark, написанная на Rust, объединяющая пакетную обработку, потоковую обработку и вычислительно интенсивные AI-нагрузки.
Memphis.dev — это высокомасштабируемая и простая платформа для потоковой передачи данных
Узнайте, как проектировать, разрабатывать, развертывать и итерировать производственные ML-приложения.
Apache DevLake — это платформа для анализа данных разработки с открытым исходным кодом, предназначенная для сбора, анализа и визуализации разрозненных данных из инструментов DevOps, извлекая ценную информацию для инженерного совершенства, опыта разработчиков и роста сообщества.
Научитесь создавать своего ИИ-ассистента «Второй мозг» с помощью LLM, агентов, RAG, дообучения, LLMOps и методов ИИ-систем.
Новый SOTA для RAG — оригинальная архитектура поиска и база знаний с открытым исходным кодом для людей и агентов.
Потрясающий список проектов по разработке данных с открытым исходным кодом
Meltano: декларативный движок интеграции данных, ориентированный на код, который воплощает в жизнь ваши самые смелые идеи продуктов на основе данных и машинного обучения. Попрощайтесь с написанием, поддержкой и масштабированием собственных интеграций API.
Часто задаваемые вопросы
Какой репозиторий по теме #data-engineering наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #data-engineering на GitHub — apache/superset, набравший 75,603 звёзд. Apache Superset — это платформа для визуализации данных и исследования данных
Какие языки программирования чаще всего используются в репозиториях по теме #data-engineering?
Среди наиболее высоко оценённых проектов по теме #data-engineering на GitHub чаще всего используются языки программирования Python, Go, Rust, Jupyter Notebook.
Как рассчитывается рейтинг репозиториев по теме #data-engineering?
Мы отслеживаем 152 активных репозиториев с открытым исходным кодом, отмеченных тегом #data-engineering (500 и более звёзд), с общим числом 727,632 звёзд и в среднем 4,787 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.