#evaluation-framework Репозитории
Откройте для себя 13 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #evaluation-framework, с общим числом 100,331 звёзд (в среднем 7,717 на проект). Лидером этой темы является promptfoo/promptfoo, набравший 27,516 звёзд.
Всего репозиториев: 13
Тестируйте свои промпты, агенты и RAG. Red teaming/пентестинг/сканирование уязвимостей для ИИ. Сравнивайте производительность GPT, Claude, Gemini, DeepSeek и других моделей. Простые декларативные конфигурации с поддержкой командной строки и интеграцией CI/CD. Используется компаниями OpenAI и Anthropic.
Evals — это фреймворк для оценки LLM и LLM-систем, а также реестр бенчмарков с открытым исходным кодом.
Фреймворк для оценки языковых моделей на малом количестве примеров.
Создание, оценка и оптимизация систем ИИ. Включает оценки (evals), RAG, агентов, тонкую настройку (fine-tuning), генерацию синтетических данных, управление наборами данных, MCP и многое другое.
Lighteval — это ваш универсальный набор инструментов для оценки LLM на различных бэкэндах
Открытая платформа полного цикла для оценки, наблюдения и улучшения приложений LLM и ИИ-агентов. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Самостоятельный хостинг. Apache 2.0.
:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Оценка передовых достижений в области ИИ
Этот проект направлен на сравнение и оценку телеметрии различных EDR-продуктов.
AgentLab: Фреймворк с открытым исходным кодом для разработки, тестирования и бенчмаркинга веб-агентов на различных задачах, созданный для масштабируемости и воспроизводимости。
Вдохновляя следующее поколение моделей Segment Anything: Комплексная оценка SAM и SAM 2 с использованием разнообразных подсказок для контекстно-зависимых концепций в различных сценах
Часто задаваемые вопросы
Какой репозиторий по теме #evaluation-framework наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #evaluation-framework на GitHub — promptfoo/promptfoo, набравший 27,516 звёзд. Тестируйте свои промпты, агенты и RAG. Red teaming/пентестинг/сканирование уязвимостей для ИИ. Сравнивайте производительность GPT, Claude, Gemini, DeepSeek и других моделей. Простые декларативные конфигурации с поддержкой командной строки и интеграцией CI/CD. Используется компаниями OpenAI и Anthropic.
Какие языки программирования чаще всего используются в репозиториях по теме #evaluation-framework?
Среди наиболее высоко оценённых проектов по теме #evaluation-framework на GitHub чаще всего используются языки программирования Python, TypeScript, Jupyter Notebook.
Как рассчитывается рейтинг репозиториев по теме #evaluation-framework?
Мы отслеживаем 13 активных репозиториев с открытым исходным кодом, отмеченных тегом #evaluation-framework (500 и более звёзд), с общим числом 100,331 звёзд и в среднем 7,717 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.