#evals Репозитории
Откройте для себя 25 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #evals, с общим числом 108,810 звёзд (в среднем 4,352 на проект). Лидером этой темы является mastra-ai/mastra, набравший 29,719 звёзд.
Всего репозиториев: 25
Mastra — это современный фреймворк TypeScript для приложений и агентов на основе ИИ.
Наблюдаемость и контроль для сред выполнения ИИ-агентов. Фиксируйте каждый запуск и обеспечивайте надёжность во время выполнения с помощью принудительного применения политик.
Python SDK для мониторинга ИИ-агентов, отслеживания затрат на LLM, бенчмаркинга и многого другого. Интегрируется с большинством LLM и фреймворков агентов, включая CrewAI, Agno, OpenAI Agents SDK, Langchain, Autogen, AG2 и CamelAI
Создание, оценка и оптимизация систем ИИ. Включает оценки (evals), RAG, агентов, тонкую настройку (fine-tuning), генерацию синтетических данных, управление наборами данных, MCP и многое другое.
Руководство по проектированию систем ИИ для инженеров, создающих производственные системы ИИ и системы оценки.
Laminar — платформа с открытым исходным кодом для обеспечения наблюдаемости, специально созданная для ИИ-агентов. YC S24.
Создавайте протестированные навыки агентов и управляйте их жизненным циклом через пользовательский маркетплейс: доказательства, обнаружение, обновления, откат, карантин и распространение на 17 платформ.
Платформа для тестирования и оценки, позволяющая общаться, проверять и отлаживать серверы MCP, приложения MCP и приложения ChatGPT.
Открытая платформа полного цикла для оценки, наблюдения и улучшения приложений LLM и ИИ-агентов. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Самостоятельный хостинг. Apache 2.0.
Waku Agent — это принадлежащий вам каркас ИИ-агента с открытым исходным кодом: цикл, память, оценки и постоянно работающий слой (входящие события, таймеры, подтверждения и исходящие сообщения) в коде, который остаётся читаемым.
Создавайте агентные системы. Запускайте их с уверенностью. Оркеструйте агентов, автоматизируйте бизнес-процессы, проверяйте каждое выполнение и сохраняйте контроль за человеком. Разверните Heym на собственной инфраструктуре.
Готовое к производству решение для обслуживания клиентов с открытым исходным кодом, встроенными оценками и мониторингом
Практическое руководство по рекурсивному самоулучшению (RSI). Новейшее доказательство NVIDIA — в разборе с опорой на проверенные временем инженерные принципы. Квинтэссенция метода без ручного вмешательства от победителя хакатона OpenAI по harness engineering.
🥤 RAGLite — это набор инструментов Python для генерации с расширенным поиском (RAG) с использованием DuckDB или PostgreSQL
Трассировочный CI/CD для ИИ-агентов: сбои в продакшене превращаются в регрессионные тесты, блокирующие PR. Автоматическое обнаружение и кластеризация, фиксация в герметичных тестовых случаях и воспроизведение в CI за $0.
Курируемая библиотека лучших ресурсов для создания и оценки AI-агентов — статьи, блоги, выступления, инструменты, бенчмарки. Поддерживается BenchFlow.
Создатель навыков, который доказывает эффективность своих навыков. Создание навыков на основе доказательств для Claude Code и Codex: генерация с базовым тестированием, регрессионная оценка для каждого навыка, диагностика экосистемы, кросс-средовая компиляция и опциональный проактивный советник.
Практические Colab-ноутбуки без использования фреймворков для развития навыков AI Engineer / Forward Deployed Engineer (FDE): API моделей, структурированный вывод, вызов инструментов, RAG, оценка как основа разработки, агенты (цикл с нуля, проектирование инструментов, защитные барьеры, MCP, навыки), fine-tuning против LoRA, prompt-инъекции/безопасность, LLMOps и работа с клиентами. Работает на бесплатном API Groq.
Слой самоулучшения для ИИ-агентов. Ratel анализирует трассировки вашего агента, выявляет проблемы, рекомендует исправления и проводит оценку на реальных сессиях до запуска. Самостоятельное размещение: одно приложение, один Postgres. В комплекте SDK для TypeScript и Python.
Часто задаваемые вопросы
Какой репозиторий по теме #evals наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #evals на GitHub — mastra-ai/mastra, набравший 29,719 звёзд. Mastra — это современный фреймворк TypeScript для приложений и агентов на основе ИИ.
Какие языки программирования чаще всего используются в репозиториях по теме #evals?
Среди наиболее высоко оценённых проектов по теме #evals на GitHub чаще всего используются языки программирования Python, TypeScript, JavaScript, Jupyter Notebook.
Как рассчитывается рейтинг репозиториев по теме #evals?
Мы отслеживаем 25 активных репозиториев с открытым исходным кодом, отмеченных тегом #evals (500 и более звёзд), с общим числом 108,810 звёзд и в среднем 4,352 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.