#mlops Репозитории
Всего репозиториев: 227
Краткие содержания и ресурсы для книги "Designing Machine Learning Systems" (Chip Huyen, O'Reilly 2022)
Практическое руководство по LLM: от основ до развертывания расширенных приложений LLM и RAG на AWS с использованием лучших практик LLMOps
PyTorch Lightning + Hydra. Очень удобный шаблон для ML-экспериментов. ⚡🔥⚡
Superduper: комплексная платформа для создания пользовательских ИИ-приложений и агентов.
Argilla — это инструмент для совместной работы инженеров по ИИ и экспертов в предметной области для создания высококачественных наборов данных
Экономически эффективные и подключаемые компоненты инфраструктуры для инференса GenAI
cube studio Open-Source Cloud-Native Универсальная AI-платформа для машинного обучения/глубокого обучения/больших моделей, полный процесс алгоритмической цепочки MLOps, платформа аренды вычислительных мощностей, онлайн-разработка в Notebook, оркестровка конвейера задач методом перетаскивания, распределенное обучение на нескольких машинах с несколькими GPU, поиск гиперпараметров, виртуализация VGPU для сервиса инференса, граничные вычисления, автоматизированная разметка на платформе разметки, дообучение SFT больших моделей (deepseek и др.)/модель вознаграждения/обучение с подкреплением, многомашинный инференс больших моделей (vllm/ollama/mindie и др.), частная база знаний, маркетплейс AI-моделей, поддержка отечественных CPU/GPU/NPU экосистемы Ascend, поддержка RDMA, поддержка распределенных фреймворков (pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano и др.)
Подборка лучших действительно открытых проектов, моделей, инструментов и инфраструктуры ИИ. Обновляется ежедневно.
Фреймворк MLOps для упаковки, развертывания, мониторинга и управления тысячами производственных моделей машинного обучения
🤖 𝗔𝗽𝗽𝗿𝗲𝗻𝗲𝘇 бесплатно, как создать сквозную систему 𝗟𝗟𝗠 и 𝗥𝗔𝗚 , готовую к производству, используя лучшие практики 𝗟𝗟𝗠𝗢𝗽𝘀: ~ 𝘤𝘰𝘥𝘪𝘨𝘰 𝘴𝘰𝘶𝘳𝘤𝘦 + 12 практических 𝘭𝘦çᴏ𝘯𝘴
⚡️SwanLab — открытый, современный инструмент для отслеживания и визуализации обучения ИИ. Поддерживает облачное / самохостинг использование. Интегрирован с PyTorch / Transformers / verl / LLaMA Factory / ms-swift / Ultralytics / MMEngine / Keras и др.
RAG (Retrieval Augmented Generation) Framework для создания модульных, открытых приложений для продакшена от TrueFoundry
FEDML – Единая и масштабируемая ML-библиотека для крупномасштабного распределенного обучения, обслуживания моделей и федеративного обучения. FEDML Launch, кросс-облачный планировщик, позволяет запускать любые ИИ-задания в любом облаке GPU или локальном кластере. TensorOpera AI (https://TensorOpera.ai), построенная на основе этой библиотеки, — это ваша платформа генеративного ИИ в больших масштабах.
Deepchecks: Тесты для непрерывной валидации ML-моделей и данных. Deepchecks — это комплексное решение с открытым исходным кодом для всех ваших потребностей в валидации ИИ и ML, позволяющее тщательно тестировать ваши данные и модели от исследования до продакшена.
Synapsa Commons: бесплатные практические курсы по ИИ, которые можно запускать где угодно (Colab, Kaggle, Binder, Codespaces, Jupyter). Доказательства соответствия Закону ЕС об ИИ, валидация моделей, прогнозное техническое обслуживание, извлечение данных из документов, поиск и RAG, ИИ-агенты и MCP, а также смоделированный гуманоид. Каждый урок проверяется автоматически. От команды, создающей Synapsa.
Коллекция научных методов, процессов, алгоритмов и систем для создания историй и моделей.
Сервер логического вывода с открытым исходным кодом и производственный кластер для всех моделей, необходимых вашему агенту.
ИИ и машинное обучение с Kubeflow, Amazon EKS и SageMaker
Узнайте, как проектировать, разрабатывать, развертывать и итерировать производственные ML-приложения.
Determined — это платформа машинного обучения с открытым исходным кодом, которая упрощает распределенное обучение, настройку гиперпараметров, отслеживание экспериментов и управление ресурсами. Работает с PyTorch и TensorFlow.
Научитесь создавать своего ИИ-ассистента «Второй мозг» с помощью LLM, агентов, RAG, дообучения, LLMOps и методов ИИ-систем.
Контекстный слой для неструктурированных данных: типизированные, версионированные наборы данных поверх S3, GCS, Azure
Библиотека с открытым исходным кодом для ведения журналов данных для моделей машинного обучения и конвейеров данных. 📚 Обеспечивает наглядность качества данных и производительности модели с течением времени. 🛡️ Поддерживает сбор данных с сохранением конфиденциальности, обеспечивая безопасность и надежность. 📈
Референтная система vLLM для нативной для K8S кластерной развертки с оптимизацией производительности под руководством сообщества
Apache Hamilton помогает специалистам по данным и инженерам определять тестируемые, модульные, самодокументируемые потоки данных, которые кодируют происхождение/отслеживание и метаданные. Работает и масштабируется везде, где работает python.
CubeStudio — это открытая облачная универсальная платформа для машинного обучения/глубокого обучения/больших моделей ИИ/MaaS/MLOps/платформа искусственного интеллекта/платформа обучения и вывода, охватывающая полный конвейер алгоритмов, мультитенантность, платформу аренды вычислительных мощностей, ретрансляцию токенов, оркестрацию конвейеров задач с помощью перетаскивания, распределенное обучение на нескольких машинах с несколькими картами, поиск гиперпараметров, сервисы вывода, виртуализацию VGPU, взаимодействие облако-край-устройство, периферийные вычисления, автоматизированную платформу аннотации, тонкую настройку SFT/модель вознаграждения/обучение с подкреплением для больших моделей, таких как DeepSeek, многомашинный вывод для больших моделей с vLLM/Ollama/MindIE, интеллектуальные агенты LLMOps с частной базой знаний, рынок моделей ИИ, поддержка планирования отечественных гетерогенных вычислительных мощностей (Ascend, Cambricon, Hygon, Moore Threads, Muxi и др.), поддержка IB/RoCE/RDMA и поддержка Xinchuang.
Создавайте приложения, которые принимают решения (чат-боты, агенты, симуляции и т. д.). Мониторинг, отслеживание, сохранение и выполнение на вашей собственной инфраструктуре.
Курируемый список замечательных проектов и ресурсов, связанных с Argo (проект CNCF, получивший статус выпускника)
LUPINE — это мост GPU over IP, позволяющий подключать GPU удаленных машин к машинам только с CPU.
Выполнение простого извлечения данных из моделей LLM при различных длинах контекста для измерения точности