#pipeline Репозитории
Откройте для себя 82 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #pipeline, с общим числом 355,781 звёзд (в среднем 4,338 на проект). Лидером этой темы является kestra-io/kestra, набравший 30,303 звёзд.
Всего репозиториев: 82
Оркестрируйте всё и повсюду. Открытая управляющая платформа для рабочих процессов с данными, инфраструктурой, бизнес-процессами и ИИ-агентами. Декларативный YAML, событийная архитектура, поддержка любых языков, контроль версий в Git и масштабирование до миллионов запусков.
Prefect — это фреймворк для оркестрации рабочих процессов, предназначенный для создания устойчивых конвейеров данных на Python.
Реактивный блокнот для Python — запускайте воспроизводимые эксперименты, запрашивайте с помощью SQL, выполняйте как скрипт, развертывайте как приложение и версионируйте с помощью git. Хранится как чистый Python. Все в современном редакторе, разработанном с учётом ИИ.
Открытый исходный код для перемещения данных в ELT-пайплайнах и AI-агентах — из API, баз данных и файлов в хранилища данных, озёра данных и AI-приложения. Как в self-hosted, так и в облаке.
Превратите данные и алгоритмы ИИ в готовые к производству веб-приложения в кратчайшие сроки.
PRQL — это современный язык для преобразования данных — простая, мощная, конвейерная замена SQL.
httpx — это быстрый и многоцелевой HTTP-инструментарий, который позволяет запускать несколько зондов с помощью библиотеки retryablehttp.
Установите Jenkins, настройте Docker в качестве подчиненного узла, настройте ci/cd, разверните приложения в k8s, используя Argo CD в стиле GitOps.
🧙 Создавайте, запускайте и управляйте конвейерами данных для интеграции и преобразования данных.
Самая полная карта разработки игр (Game Development Map). Помогает разработчикам игр экономить время на известных проблемах, высвобождая больше энергии для более творческой работы.
cube studio Open-Source Cloud-Native Универсальная AI-платформа для машинного обучения/глубокого обучения/больших моделей, полный процесс алгоритмической цепочки MLOps, платформа аренды вычислительных мощностей, онлайн-разработка в Notebook, оркестровка конвейера задач методом перетаскивания, распределенное обучение на нескольких машинах с несколькими GPU, поиск гиперпараметров, виртуализация VGPU для сервиса инференса, граничные вычисления, автоматизированная разметка на платформе разметки, дообучение SFT больших моделей (deepseek и др.)/модель вознаграждения/обучение с подкреплением, многомашинный инференс больших моделей (vllm/ollama/mindie и др.), частная база знаний, маркетплейс AI-моделей, поддержка отечественных CPU/GPU/NPU экосистемы Ascend, поддержка RDMA, поддержка распределенных фреймворков (pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano и др.)
Jenkins X предоставляет автоматизированный CI+CD для Kubernetes с Preview-окружениями на Pull Requests с использованием Cloud Native пайплайнов от Tekton
Руководство по созданию практических систем глубокого обучения на уровне производства для развертывания в реальных приложениях.
Towhee — это фреймворк, предназначенный для создания простых и быстрых конвейеров обработки нейронных данных.
Аддоны Blender, улучшающие рабочий процесс разработки игр между Blender и Unreal.
QuantMind — это открытый фреймворк для извлечения и поиска знаний в области количественных финансов, изначально разработанный для интеллектуальных агентов.
SaaS Boilerplate – бесплатный стек SaaS с открытым исходным кодом, который позволяет быстрее создавать SaaS-продукты на React, Django и AWS. Сосредоточьтесь на основной бизнес-логике вместо написания повторяющихся функций!
Собственная платформа Kubernetes для запуска массово параллельных задач обработки данных/потоковой передачи
CubeStudio — это открытая облачная универсальная платформа для машинного обучения/глубокого обучения/больших моделей ИИ/MaaS/MLOps/платформа искусственного интеллекта/платформа обучения и вывода, охватывающая полный конвейер алгоритмов, мультитенантность, платформу аренды вычислительных мощностей, ретрансляцию токенов, оркестрацию конвейеров задач с помощью перетаскивания, распределенное обучение на нескольких машинах с несколькими картами, поиск гиперпараметров, сервисы вывода, виртуализацию VGPU, взаимодействие облако-край-устройство, периферийные вычисления, автоматизированную платформу аннотации, тонкую настройку SFT/модель вознаграждения/обучение с подкреплением для больших моделей, таких как DeepSeek, многомашинный вывод для больших моделей с vLLM/Ollama/MindIE, интеллектуальные агенты LLMOps с частной базой знаний, рынок моделей ИИ, поддержка планирования отечественных гетерогенных вычислительных мощностей (Ascend, Cambricon, Hygon, Moore Threads, Muxi и др.), поддержка IB/RoCE/RDMA и поддержка Xinchuang.
HuixiangDou: Преодоление сценариев группового чата с помощью технической поддержки на основе LLM
Библиотека Python для создания конвейеров данных с использованием функционального программирования в цепочке
Instill Core — это полнофункциональный инструмент инфраструктуры ИИ для оркестрации данных, моделей и конвейеров, разработанный для оптимизации всех аспектов создания универсальных приложений с приоритетом на ИИ.
Общепринятая C++ & Python DAG-система. Кроссплатформенный фреймворк для параллельных вычислений на основе графов потоков данных, без сторонних зависимостей, включенный в awesome-cpp. Добро пожаловать в star & fork & exchange
Самый быстрый унифицированный SQL-движок для потоковой обработки в одном бинарном файле C++. ⚡ Задержка — миллисекунды. Пропускная способность — более 100 ГБ/с. Непрерывно вычисляет контекст с сохранением состояния на основе потоков, журналов, метрик, событий и CDC.
Расширения PyTorch для быстрого прототипирования R&D и фарминга в Kaggle
Пайплайн анализа секвенирования РНК с использованием STAR, RSEM, HISAT2 или Salmon с подсчетами генов/изоформ и обширным контролем качества.
Утилита для построения графиков в реальном времени для терминала/консоли с вводом данных из stdin
Инструментарий конвейера, ориентированный на R, для воспроизводимости и высокопроизводительных вычислений
Высокопроизводительное, модульное, безопасное по памяти и готовое к эксплуатации решение для инференса, приема данных и индексирования, разработанное на Rust 🦀
Микробиблиотека потоковых компонентов для создания пользовательских конвейеров обработки JSON и JSONC с минимальным потреблением памяти — анализируйте, фильтруйте и преобразуйте JSON, размер которого значительно превышает объем доступной памяти, с помощью API токенов в стиле SAX в Node.js или Web Streams.
Кроссплатформенный инструмент командной строки для параллельного выполнения заданий
Часто задаваемые вопросы
Какой репозиторий по теме #pipeline наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #pipeline на GitHub — kestra-io/kestra, набравший 30,303 звёзд. Оркестрируйте всё и повсюду. Открытая управляющая платформа для рабочих процессов с данными, инфраструктурой, бизнес-процессами и ИИ-агентами. Декларативный YAML, событийная архитектура, поддержка любых языков, контроль версий в Git и масштабирование до миллионов запусков.
Какие языки программирования чаще всего используются в репозиториях по теме #pipeline?
Среди наиболее высоко оценённых проектов по теме #pipeline на GitHub чаще всего используются языки программирования Python, Go, TypeScript, Rust.
Как рассчитывается рейтинг репозиториев по теме #pipeline?
Мы отслеживаем 82 активных репозиториев с открытым исходным кодом, отмеченных тегом #pipeline (500 и более звёзд), с общим числом 355,781 звёзд и в среднем 4,338 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.