#llmops Репозитории
Откройте для себя 111 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #llmops, с общим числом 716,901 звёзд (в среднем 6,458 на проект). Лидером этой темы является BerriAI/litellm, набравший 63,649 звёзд.
Всего репозиториев: 111
Самый быстрый и легкий AI-шлюз. Ядро на Rust с Python SDK. Вызов более 100 LLM API в формате OpenAI (или нативном) с отслеживанием затрат, защитными механизмами, балансировкой нагрузки и ведением журнала [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
Узнайте, как разрабатывать, развертывать и итерировать производственные приложения ML.
🪢 Открытая платформа для разработки ИИ: AI Gateway, наблюдаемость агентов, оценка и управление промптами и навыками на базе OpenTelemetry. Единая открытая платформа для каждого вызова ИИ и каждого агента. Разверните её самостоятельно или используйте Langfuse Cloud.
Composio поддерживает более 1000 наборов инструментов, поиск инструментов, управление контекстом, аутентификацию и изолированную рабочую среду, чтобы помочь вам строить ИИ-агентов, которые превращают намерение в действие.
Открытая платформа для инженерной разработки ИИ для агентов, LLM и моделей ML. MLflow позволяет командам любого размера отлаживать, оценивать, мониторить и оптимизировать приложения ИИ производственного качества, контролируя затраты и управляя доступом к моделям и данным.
Тестируйте свои промпты, агенты и RAG. Red teaming/пентестинг/сканирование уязвимостей для ИИ. Сравнивайте производительность GPT, Claude, Gemini, DeepSeek и других моделей. Простые декларативные конфигурации с поддержкой командной строки и интеграцией CI/CD. Используется компаниями OpenAI и Anthropic.
Этот проект направлен на обмен техническими принципами и практическим опытом, связанным с большими моделями (инженерия больших моделей, практическое применение больших моделей).
Отлаживайте, оценивайте и отслеживайте ваши LLM-приложения, RAG-системы и агентские рабочие процессы с помощью комплексного отслеживания, автоматизированных оценок и готовых к производству панелей мониторинга.
🚀 Подборка ресурсов, дорожных карт, инструментов и проектов в области ИИ-инжиниринга, охватывающая LLM, RAG, ИИ-агентов, MCP, дообучение, оценку и промышленные системы ИИ.
RocketRide — это метахарнесс с открытым исходным кодом для ИИ, оснащённый единственным рантаймом корпоративного уровня, созданным на C++. Создавайте, тестируйте и публикуйте долговечных агентов, способных масштабироваться в рабочей среде.
<⚡️> SuperAGI - Open-source framework автономных ИИ-агентов, ориентированный на разработчиков. Позволяет разработчикам быстро и надежно создавать, управлять и запускать полезные автономные агенты.
Python SDK для фреймворка наблюдения, мониторинга и оценки Agent AI. Включает такие функции, как трассировка агентов, LLM и инструментов, отладка мультиагентной системы, самохостируемая панель управления и расширенная аналитика с просмотром временной шкалы и графа выполнения.
Сверхбыстрый AI-шлюз с интегрированными защитными барьерами. Маршрутизация к 1600+ LLM, 50+ AI-защитным барьерам с 1 быстрым и дружелюбным API.
Запускайте любые LLM с открытым исходным кодом, такие как DeepSeek и Llama, в качестве совместимой с OpenAI конечной точки API в облаке.
BISHENG — это корпоративная платформа Agent с открытым исходным кодом для создания, развертывания и управления ИИ-приложениями. Она объединяет ИИ-агентов, рабочие процессы, RAG и управление знаниями, интеграцию с настольными агентами и хостинг приложений, созданных с помощью vibecoding, а также унифицированное управление моделями, оценку, наблюдаемость, контроль доступа и корпоративное администрирование.
TensorZero — это открытая платформа LLMOps, которая объединяет шлюз LLM, наблюдаемость, оценку, оптимизацию и эксперименты.
Тонкая настройка LLM из одного YAML. Потоковая передача слоев обучает модель 8B на 4 ГБ ноутбучном GPU.
Самый простой способ обслуживания AI-приложений и моделей - Создавайте API вывода моделей, очереди заданий, приложения LLM, конвейеры с несколькими моделями и многое другое!
Evidently — это фреймворк с открытым исходным кодом для обеспечения наблюдаемости ML и LLM. Оценивайте, тестируйте и отслеживайте любую систему на базе ИИ или конвейер данных. От табличных данных до Gen AI. Более 100 метрик.
OpenTelemetry-ориентированная платформа наблюдаемости с открытым исходным кодом для вашего GenAI или LLM приложения
Plano — это прокси-сервер и плоскость данных, созданные на основе ИИ для агентных приложений. Умная маршрутизация LLM, наблюдаемость, оркестрация агентов и защитные механизмы, чтобы вы могли сосредоточиться на основной логике ваших агентов.
ClearML - Автоматически волшебный CI/CD для упрощения вашей AI-нагрузки. Управление экспериментами, Управление данными, Pipeline, Оркестрация, Планирование и Обслуживание в одном решении MLOps/LLMOps
Развертывайте агенты ИИ в Google Cloud за минуты, а не за месяцы. Готовые к эксплуатации шаблоны со встроенными CI/CD, оценкой и наблюдаемостью.
🧊 Платформа наблюдаемости LLM с открытым исходным кодом. Одна строка кода для мониторинга, оценки и экспериментов. YC W23 🍓
Потрясающий и тщательно подобранный список лучших инструментов LLMOps для разработчиков
🐢 Библиотека с открытым исходным кодом для оценки и тестирования LLM-агентов
Платформа оптимизации ИИ-агентов нового поколения: Cozeloop решает проблемы разработки ИИ-агентов, предоставляя возможности управления полным жизненным циклом от разработки, отладки и оценки до мониторинга.
Практическое руководство по LLM: от основ до развертывания расширенных приложений LLM и RAG на AWS с использованием лучших практик LLMOps
Superduper: комплексная платформа для создания пользовательских ИИ-приложений и агентов.
Этот инструмент устарел. Вместо него используйте Agentic Document Extraction.
cube studio Open-Source Cloud-Native Универсальная AI-платформа для машинного обучения/глубокого обучения/больших моделей, полный процесс алгоритмической цепочки MLOps, платформа аренды вычислительных мощностей, онлайн-разработка в Notebook, оркестровка конвейера задач методом перетаскивания, распределенное обучение на нескольких машинах с несколькими GPU, поиск гиперпараметров, виртуализация VGPU для сервиса инференса, граничные вычисления, автоматизированная разметка на платформе разметки, дообучение SFT больших моделей (deepseek и др.)/модель вознаграждения/обучение с подкреплением, многомашинный инференс больших моделей (vllm/ollama/mindie и др.), частная база знаний, маркетплейс AI-моделей, поддержка отечественных CPU/GPU/NPU экосистемы Ascend, поддержка RDMA, поддержка распределенных фреймворков (pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano и др.)
Наблюдаемость и оценка агентов с открытым исходным кодом для команд AI-платформ. Отслеживайте, тестируйте, маршрутизируйте и управляйте каждым агентом и помощником в написании кода в компании.
🤖 𝗔𝗽𝗽𝗿𝗲𝗻𝗲𝘇 бесплатно, как создать сквозную систему 𝗟𝗟𝗠 и 𝗥𝗔𝗚 , готовую к производству, используя лучшие практики 𝗟𝗟𝗠𝗢𝗽𝘀: ~ 𝘤𝘰𝘥𝘪𝘨𝘰 𝘴𝘰𝘶𝘳𝘤𝘦 + 12 практических 𝘭𝘦çᴏ𝘯𝘴
RAG (Retrieval Augmented Generation) Framework для создания модульных, открытых приложений для продакшена от TrueFoundry
Laminar — платформа с открытым исходным кодом для обеспечения наблюдаемости, специально созданная для ИИ-агентов. YC S24.
🕹️ Платформа LLMOps с открытым исходным кодом, ориентированная на разработчиков, предназначенная для оптимизации проектирования подсказок, управления версиями, мгновенной доставки, совместной работы, устранения неполадок, наблюдаемости и многого другого.
AGiXT — это динамичная платформа автоматизации ИИ-агентов, которая обеспечивает бесшовную оркестрацию управления инструкциями и выполнения сложных задач на различных поставках ИИ. Объединяя адаптивную память, интеллектуальные функции и универсальную систему плагинов, AGiXT предлагает эффективные и комплексные решения в области ИИ.
Научитесь создавать своего ИИ-ассистента «Второй мозг» с помощью LLM, агентов, RAG, дообучения, LLMOps и методов ИИ-систем.
Тот же агент — меньше расходы. Инструменты и инфраструктура, чтобы ваша ИИ-система выполняла больше задач. Меньше токенов. Меньше вычислений. Ниже затраты.
Часто задаваемые вопросы
Какой репозиторий по теме #llmops наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #llmops на GitHub — BerriAI/litellm, набравший 63,649 звёзд. Самый быстрый и легкий AI-шлюз. Ядро на Rust с Python SDK. Вызов более 100 LLM API в формате OpenAI (или нативном) с отслеживанием затрат, защитными механизмами, балансировкой нагрузки и ведением журнала [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
Какие языки программирования чаще всего используются в репозиториях по теме #llmops?
Среди наиболее высоко оценённых проектов по теме #llmops на GitHub чаще всего используются языки программирования Python, TypeScript, Jupyter Notebook, Rust.
Как рассчитывается рейтинг репозиториев по теме #llmops?
Мы отслеживаем 111 активных репозиториев с открытым исходным кодом, отмеченных тегом #llmops (500 и более звёзд), с общим числом 716,901 звёзд и в среднем 6,458 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.