#llmops Репозитории
Всего репозиториев: 111
Открытая визуальная среда программирования для боевого тестирования подсказок для LLM.
Apache Hamilton помогает специалистам по данным и инженерам определять тестируемые, модульные, самодокументируемые потоки данных, которые кодируют происхождение/отслеживание и метаданные. Работает и масштабируется везде, где работает python.
CubeStudio — это открытая облачная универсальная платформа для машинного обучения/глубокого обучения/больших моделей ИИ/MaaS/MLOps/платформа искусственного интеллекта/платформа обучения и вывода, охватывающая полный конвейер алгоритмов, мультитенантность, платформу аренды вычислительных мощностей, ретрансляцию токенов, оркестрацию конвейеров задач с помощью перетаскивания, распределенное обучение на нескольких машинах с несколькими картами, поиск гиперпараметров, сервисы вывода, виртуализацию VGPU, взаимодействие облако-край-устройство, периферийные вычисления, автоматизированную платформу аннотации, тонкую настройку SFT/модель вознаграждения/обучение с подкреплением для больших моделей, таких как DeepSeek, многомашинный вывод для больших моделей с vLLM/Ollama/MindIE, интеллектуальные агенты LLMOps с частной базой знаний, рынок моделей ИИ, поддержка планирования отечественных гетерогенных вычислительных мощностей (Ascend, Cambricon, Hygon, Moore Threads, Muxi и др.), поддержка IB/RoCE/RDMA и поддержка Xinchuang.
Создавайте приложения, которые принимают решения (чат-боты, агенты, симуляции и т. д.). Мониторинг, отслеживание, сохранение и выполнение на вашей собственной инфраструктуре.
Bionic — это суверенный агентный ИИ для предприятий: он работает локально и может безопасно взаимодействовать с вашими конфиденциальными данными и системами.
UpTrain — это унифицированная платформа с открытым исходным кодом для оценки и улучшения генеративных ИИ-приложений. Мы предоставляем оценки по более чем 20 предварительно настроенным проверкам (охватывающим случаи использования языка, кода, встраивания), выполняем анализ первопричин сбоев и даем рекомендации по их устранению.
Открытая платформа полного цикла для оценки, наблюдения и улучшения приложений LLM и ИИ-агентов. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Самостоятельный хостинг. Apache 2.0.
No-code фреймворк для мультиагентных систем для создания LLM-агентов, рабочих процессов и приложений с использованием ваших данных
Waku Agent — это принадлежащий вам каркас ИИ-агента с открытым исходным кодом: цикл, память, оценки и постоянно работающий слой (входящие события, таймеры, подтверждения и исходящие сообщения) в коде, который остаётся читаемым.
Масштабируемый, быстрый и дружелюбный к диску поиск векторов в Postgres, преемник pgvecto.rs.
Балансировщик нагрузки и платформа для обслуживания LLM/VLM с открытым исходным кодом для самостоятельного хостинга LLM (и VLM) в масштабе 🏓🦙 Альтернатива проектам вроде llm-d, Docker Model Runner и т.д., но с меньшим количеством движущихся частей и простыми развертываниями, построенными вокруг экосистемы ggml. Работает на CPU и GPU.
[Фреймворк разработки GenAI-приложений] 🚀 Быстро и легко создавайте GenAI-приложения 💬 Легко взаимодействуйте с GenAI-агентом в коде, используя структурированные данные и синтаксис цепочечных вызовов 🧩 Используйте событийно-ориентированный поток *TriggerFlow* для управления сложной логикой работы GenAI 🔀 Переключайтесь на любую модель без переписывания кода приложения
RTP-LLM: высокопроизводительный движок вывода LLM от Alibaba для различных приложений.
Декларативный оркестратор платформы, управляемый намерениями, для внутренней платформы разработчиков (IDP).
Среда выполнения SmythOS (SRE) — это облачная среда выполнения с открытым исходным кодом для агентского ИИ. Безопасная, модульная и готовая к производству, она позволяет разработчикам создавать, запускать и управлять интеллектуальными агентами в локальных, облачных и периферийных средах.
Фреймворк для комплексной диагностики и оптимизации агентов с использованием смоделированных, реалистичных синтетических взаимодействий
База данных SDK, фреймворков, библиотек и инструментов для создания, мониторинга, отладки и развертывания автономных ИИ-агентов
Langtrace 🔍 — это инструмент наблюдаемости полного цикла с открытым исходным кодом на основе Open Telemetry для LLM-приложений, предоставляющий отслеживание в реальном времени, оценку и метрики для популярных LLM, LLM-фреймворков, vectorDB и многого другого. Интеграция с использованием Typescript, Python. 🚀💻📊
AuditPilot: проверяемые корпоративные ИИ-агенты для рабочих процессов, основанных на доказательствах, управляемых инструментов, оценочных приспособлений, человеческой проверки и доставки исправлений.
Трассировочный CI/CD для ИИ-агентов: сбои в продакшене превращаются в регрессионные тесты, блокирующие PR. Автоматическое обнаружение и кластеризация, фиксация в герметичных тестовых случаях и воспроизведение в CI за $0.
DataDreamer: Промпт. Генерация синтетических данных. Обучение и выравнивание моделей. 🤖💤
Открытый LLM-шлюз на Rust. Единая конечная точка для OpenAI, Anthropic, Gemini и любых других поставщиков. Любой SDK, любая модель, любой инструмент.
Самостоятельно размещаемый шлюз для ИИ с открытым исходным кодом. Единая точка доступа к более чем 40 провайдерам с виртуальными ключами, бюджетами и отслеживанием использования.
⛓️ Автоматическое предоставление LLM-приложений и агентов LangChain с помощью FastApi. LLMops
Учебные пособия и примеры сценариев для больших языковых моделей (LLM), с использованием langchain, openai, llamaindex, gpt, chromadb и pinecone
Начните свою инициативу LLMOps с гибкого, надежного и продуктивного пакета Python.
Интерактивное резюме с интеграцией чата ИИ. Создано с React 19, TypeScript, Claude API. Общайтесь с моим ИИ-аватаром о моем опыте.
Neum AI — это лучшая в своем классе платформа для управления созданием и синхронизацией векторных вложений в больших масштабах.
CI/CD с нативной поддержкой трейсов для ИИ-агентов: оценивайте трейсы из production, группируйте сбои, превращайте их в воспроизводимые регрессионные тесты и блокируйте PR, вызывающие регрессии. Можно развернуть на собственных серверах.
Самостоятельно размещаемая платформа ИИ-агентов для компаний, изначально ориентированных на ИИ. Агенты Claude Code, Codex, Gemini и OpenCode. Apache 2.0.
Этот пример демонстрирует полный сквозной процесс создания RAG-приложения с помощью Prompty и Azure AI Foundry. Он включает в себя код приложения GPT-4 LLM, оценки, автоматизацию развертывания с помощью AZD CLI, действия GitHub для оценки и развертывания, а также сопоставление намерений для сопоставления нескольких задач LLM.
Посмотрите, что сделали ваши агенты кодирования и сколько это стоило. Разбивает каждую задачу на рабочие шаги — используемые инструменты, изменённые файлы, выполненные тесты, затраченное время и токены. Локальный дашборд для Claude Code, Codex, OpenCode и других. Без входа в систему, без телеметрии.
Практические Colab-ноутбуки без использования фреймворков для развития навыков AI Engineer / Forward Deployed Engineer (FDE): API моделей, структурированный вывод, вызов инструментов, RAG, оценка как основа разработки, агенты (цикл с нуля, проектирование инструментов, защитные барьеры, MCP, навыки), fine-tuning против LoRA, prompt-инъекции/безопасность, LLMOps и работа с клиентами. Работает на бесплатном API Groq.
Что если бы OpenAI Deep Research и Dify были одной платформой? OpenAgent — архитектура для быстрого создания вертикальных ИИ-агентов с глубокими циклами рассуждений, визуальными рабочими процессами, RAG и делегированием A2A.