#llm-evaluation Репозитории
Откройте для себя 108 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #llm-evaluation, с общим числом 444,825 звёзд (в среднем 4,118 на проект). Лидером этой темы является ifixai-ai/iFixAi, набравший 46,592 звёзд.
Всего репозиториев: 108
Независимый аудит ИИ-агентов. Проводится человеком или самим агентом, чтобы ответить на самый важный вопрос в экономике ИИ-агентов: выполняет ли агент то, что должен? С iFixAi вы получите ответ менее чем за 120 секунд.
🪢 Открытая платформа для разработки ИИ: AI Gateway, наблюдаемость агентов, оценка и управление промптами и навыками на базе OpenTelemetry. Единая открытая платформа для каждого вызова ИИ и каждого агента. Разверните её самостоятельно или используйте Langfuse Cloud.
Открытая платформа для инженерной разработки ИИ для агентов, LLM и моделей ML. MLflow позволяет командам любого размера отлаживать, оценивать, мониторить и оптимизировать приложения ИИ производственного качества, контролируя затраты и управляя доступом к моделям и данным.
Тестируйте свои промпты, агенты и RAG. Red teaming/пентестинг/сканирование уязвимостей для ИИ. Сравнивайте производительность GPT, Claude, Gemini, DeepSeek и других моделей. Простые декларативные конфигурации с поддержкой командной строки и интеграцией CI/CD. Используется компаниями OpenAI и Anthropic.
Отлаживайте, оценивайте и отслеживайте ваши LLM-приложения, RAG-системы и агентские рабочие процессы с помощью комплексного отслеживания, автоматизированных оценок и готовых к производству панелей мониторинга.
Evals — это фреймворк для оценки LLM и LLM-систем, а также реестр бенчмарков с открытым исходным кодом.
Легко дообучайте (SFT/RL), оценивайте и развёртывайте Qwen, Gemma или любую открытую агентную LLM/VLM!
Полноценная платформа для AI Red Teaming, обеспечивающая безопасность экосистем ИИ с помощью Agent Scan, Skills Scan, MCP Scan, AI Infra Scan и оценки взлома ограничений LLM.
Оптимизируйте подсказки, код и многое другое с помощью рефлексивной оптимизации на базе ИИ
NoneLinear - Оценка ReLE: Оценка возможностей китайских больших моделей ИИ (постоянное обновление): В настоящее время включает 374 модели, охватывая коммерческие модели, такие как ChatGPT, GPT-5.4, Google Gemini-3.1-pro, Claude-4.6, Ernie-X1.1, Ernie-5.0, Qwen3.6-max, Qwen3.6-plus, Baichuan, iFlytek Spark, SenseChat, а также модели с открытым исходным кодом, такие как Step3.5-flash, Kimi-k2.6, Ernie4.5, MiniMax-M2.7, DeepSeek-v4, Qwen3.6, Llama4, Zhipu GLM-5.1, MiMo-V2, LongCat, Gemma4, Mistral и другие. Предоставляет не только рейтинг, но и базу данных дефектов моделей, содержащую более 2 миллионов записей, что облегчает сообществу исследования, анализ и улучшение больших моделей.
Agent OS: агент становится умнее самостоятельно. Мы лишь удерживаем курс: отбор через собеседование, поэтапная оценка и цикл развития с заданным бюджетом. MCP-сервер, 14 сред выполнения: Claude Code, Codex CLI, Gemini CLI, OpenCode, Copilot, Kiro и другие.
🧊 Платформа наблюдаемости LLM с открытым исходным кодом. Одна строка кода для мониторинга, оценки и экспериментов. YC W23 🍓
🐢 Библиотека с открытым исходным кодом для оценки и тестирования LLM-агентов
Практическое руководство по LLM: от основ до развертывания расширенных приложений LLM и RAG на AWS с использованием лучших практик LLMOps
Paper2Code: Автоматизация генерации кода из научных статей по машинному обучению
Универсальный мультимодальный набор для оценки задач по тексту, изображениям, видео и аудио
Коллекция научных методов, процессов, алгоритмов и систем для создания историй и моделей.
Laminar — платформа с открытым исходным кодом для обеспечения наблюдаемости, специально созданная для ИИ-агентов. YC S24.
Курируемый список из более чем 100 библиотек и фреймворков для инженеров по искусственному интеллекту, создающих с помощью LLM
Бенчмаркинг сложных способностей к рассуждению больших языковых моделей с помощью цепочки рассуждений
Исчерпывающие ресурсы по генеративному ИИ, включая подробную дорожную карту, проекты, примеры использования, подготовку к собеседованию и подготовку к программированию.
Выполнение простого извлечения данных из моделей LLM при различных длинах контекста для измерения точности
Открытая платформа полного цикла для оценки, наблюдения и улучшения приложений LLM и ИИ-агентов. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Самостоятельный хостинг. Apache 2.0.
Проекты и ресурсы, которые помогут вам стать лучшим разработчиком ИИ.
🦄 ИИ, который работает - каждое воскресенье в 10:00 по тихоокеанскому стандартному времени
ресурсы о приложении на основе LLM с использованием шаблона RAG
Создавайте, обогащайте и трансформируйте наборы данных с помощью моделей ИИ без кода
Мощный инструмент для автоматизированного фаззинга LLM. Он разработан, чтобы помочь разработчикам и исследователям безопасности выявлять и смягчать потенциальные обходы защиты (jailbreaks) в их LLM API.
Агент аудита выравнивания, способный быстро исследовать гипотезы выравнивания
Prompty упрощает создание, управление, отладку и оценку LLM-подсказок для ваших ИИ-приложений. Prompty — это класс активов и формат для LLM-подсказок, разработанный для улучшения наблюдаемости, понятности и переносимости для разработчиков.
Часто задаваемые вопросы
Какой репозиторий по теме #llm-evaluation наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #llm-evaluation на GitHub — ifixai-ai/iFixAi, набравший 46,592 звёзд. Независимый аудит ИИ-агентов. Проводится человеком или самим агентом, чтобы ответить на самый важный вопрос в экономике ИИ-агентов: выполняет ли агент то, что должен? С iFixAi вы получите ответ менее чем за 120 секунд.
Какие языки программирования чаще всего используются в репозиториях по теме #llm-evaluation?
Среди наиболее высоко оценённых проектов по теме #llm-evaluation на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, TypeScript, Java.
Как рассчитывается рейтинг репозиториев по теме #llm-evaluation?
Мы отслеживаем 108 активных репозиториев с открытым исходным кодом, отмеченных тегом #llm-evaluation (500 и более звёзд), с общим числом 444,825 звёзд и в среднем 4,118 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.