Git Stars Git Stars

#evaluation 저장소

#evaluation 태그가 지정된 GitHub의 활성 오픈 소스 저장소 89개를 확인해 보세요. 총 369,872개의 스타를 획득했으며 프로젝트당 평균 4,155개입니다. 이 주제를 이끄는 저장소는 39,550개의 스타를 받은 lm-sys/FastChat입니다.

89
총 리포지토리
369,872
총 별점
4,155
리포지토리당 평균 스타 수

저장소 총 89개

1
lm-sys/FastChat

대규모 언어 모델을 훈련, 서빙 및 평가하기 위한 개방형 플랫폼. Vicuna 및 Chatbot Arena의 리포지토리 공개.

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 업데이트됨 2026-05-01 📅 생성됨 2023-03-19
2
Tencent/WeKnora

오픈소스 LLM 지식 플랫폼: 원시 문서를 쿼리 가능한 RAG, 자율 추론 에이전트, 그리고 자체 유지 위키로 변환합니다.

Tencent
⭐ 37,938 Go 👤 Tencent Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-07-22
3
langfuse/langfuse

🪢 OpenTelemetry 기반의 오픈소스 AI 엔지니어링 플랫폼: AI 게이트웨이, 에이전트 옵저버빌리티, 평가, 프롬프트/스킬 관리 기능을 제공합니다. 모든 AI 호출과 에이전트를 위한 하나의 오픈 플랫폼입니다. 직접 호스팅하거나 Langfuse Cloud를 사용하세요.

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-05-18
4
mlflow/mlflow

에이전트, LLM, ML 모델을 위한 오픈 소스 AI 엔지니어링 플랫폼. MLflow는 모든 규모의 팀이 프로덕션 품질의 AI 애플리케이션을 디버그, 평가, 모니터링, 최적화할 수 있게 하며 비용을 제어하고 모델 및 데이터 액세스를 관리합니다.

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2018-06-05
5
promptfoo/promptfoo

프롬프트, 에이전트, RAG를 테스트하세요. AI를 위한 레드팀/펜테스팅/취약점 스캔을 수행합니다. GPT, Claude, Gemini, DeepSeek 등의 성능을 비교하세요. 명령줄 및 CI/CD 통합을 지원하는 간단한 선언적 구성을 제공합니다. OpenAI와 Anthropic에서 사용 중입니다.

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-04-28
6
comet-ml/opik

포괄적인 추적, 자동화된 평가 및 프로덕션 준비 대시보드를 사용하여 LLM 애플리케이션, RAG 시스템 및 에이전트 워크플로를 디버깅, 평가 및 모니터링하십시오.

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-05-10
7
vibrantlabsai/ragas

LLM 애플리케이션 평가를 강화하세요 🚀

vibrantlabsai
⭐ 16,395 Python 👤 vibrantlabsai Organization 🕐 업데이트됨 2026-11-14 📅 생성됨 2023-05-08
8
open-compass/opencompass

OpenCompass는 OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek 등의 다양한 대규모 언어 모델(LLM)을 지원하는 평가 플랫폼으로, 지식, 추론, 코딩, 과학, 언어, 긴 문맥 및 안전성을 다루는 100개 이상의 데이터셋을 제공합니다.

open-compass
⭐ 7,610 Python 👤 open-compass Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2023-06-15
9
alchaincyf/darwin-skill

达尔文.skill —— 당신의 Skill을 무한 진화시키는 시스템: 평가→개선→테스트→유지 또는 롤백 | Claude Code를 위한 Autoresearch에서 영감을 받은 자율 스킬 최적화. 평가, 개선, 테스트, 유지 또는 되돌리기.

alchaincyf
⭐ 7,015 HTML 👤 alchaincyf User 🕐 업데이트됨 2026-11-18 📅 생성됨 2026-04-13
10
Helicone/helicone

🧊 오픈소스 LLM 관찰 플랫폼. 모니터링, 평가, 실험을 위한 단 한 줄의 코드. YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2023-01-31
11
coze-dev/coze-loop

차세대 AI 에이전트 최적화 플랫폼: Cozeloop은 개발, 디버깅, 평가부터 모니터링까지 전체 수명 주기 관리 기능을 제공하여 AI 에이전트 개발의 과제를 해결합니다.

coze-dev
⭐ 5,799 Go 👤 coze-dev Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2025-06-24
12
Kiln-AI/Kiln

AI 시스템 구축, 평가 및 최적화. 평가(evals), RAG, 에이전트, 미세 조정, 합성 데이터 생성, 데이터셋 관리, MCP 등이 포함됩니다.

Kiln-AI
⭐ 5,286 Python 👤 Kiln-AI Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-07-23
13
langwatch/langwatch

AI 플랫폼 팀을 위한 오픈 소스 에이전트 관측성과 평가. 회사의 모든 에이전트와 코딩 어시스턴트를 추적하고, 테스트하고, 라우팅하고, 거버넌스하세요.

langwatch
⭐ 5,050 TypeScript 👤 langwatch Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-09-09
14
EvolvingLMMs-Lab/lmms-eval

텍스트, 이미지, 비디오 및 오디오 작업을 위한 One-for-All 멀티모달 평가 툴킷

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-03-07
15
open-compass/VLMEvalKit

대형 멀티모달 모델(LMM)을 위한 오픈 소스 평가 툴킷, 220개 이상의 LMM, 80개 이상의 벤치마크 지원

open-compass
⭐ 4,499 Python 👤 open-compass Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2023-12-01
16
MichaelGrupp/evo

오도메트리와 SLAM 평가를 위한 Python 패키지

MichaelGrupp
⭐ 4,367 Python 👤 MichaelGrupp User 🕐 업데이트됨 2026-11-15 📅 생성됨 2017-09-13
17
NVIDIA/SkillEvaluator

AI 에이전트의 스킬과 플러그인을 평가하기 위한 다계층 프레임워크입니다. 품질 게이트, 보안 스캔, 테스트 하네스 호환성 검사, 의미적 중복 감지, 합성 평가 데이터 세트 생성, 그리고 스킬이 에이전트의 동작에 미치는 영향을 측정하는 실시간 에이전트 평가 기능을 제공합니다. 재사용 가능한 CI 템플릿을 제공하여 모든 검사 항목을 어떤 저장소에나 적용할 수 있습니다.

NVIDIA
⭐ 4,300 Python 👤 NVIDIA Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-06-24
18
modelscope/evalscope

효율적인 대규모 모델(LLM, VLM, AIGC) 평가 및 성능 벤치마킹을 위한 간소화되고 사용자 정의 가능한 프레임워크입니다.

modelscope
⭐ 3,715 Python 👤 modelscope Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-12-07
19
embeddings-benchmark/mteb

MTEB: 언어와 모달리티를 아우르는 임베딩의 최첨단 평가

embeddings-benchmark
⭐ 3,519 Python 👤 embeddings-benchmark Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2022-04-05
20
lmnr-ai/lmnr

Laminar - AI 에이전트용으로 특별히 제작된 오픈 소스 관측 가능성 플랫폼. YC S24.

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-08-29
21
CLUEbenchmark/SuperCLUE

SuperCLUE: 중국어 범용 대규모 모델 종합 벤치마크 | 중국어 기초 모델 벤치마크

CLUEbenchmark
⭐ 3,308 👤 CLUEbenchmark Organization 🕐 업데이트됨 2026-02-06 📅 생성됨 2023-05-02
22
viebel/klipse

Klipse는 기술 블로그에 인터랙티브 코드 스니펫을 삽입하기 위한 JavaScript 플러그인입니다.

viebel
⭐ 3,134 HTML 👤 viebel User 🕐 업데이트됨 2024-10-01 📅 생성됨 2015-11-19
23
ianarawjo/ChainForge

LLM에 대한 프롬프트를 실전 테스트하기 위한 오픈 소스 시각적 프로그래밍 환경입니다.

ianarawjo
⭐ 3,044 TypeScript 👤 ianarawjo User 🕐 업데이트됨 2026-10-29 📅 생성됨 2023-03-26
24
microsoft/promptbench

대규모 언어 모델을 위한 통합 평가 프레임워크

microsoft
⭐ 2,786 Python 👤 microsoft Organization 🕐 업데이트됨 2026-02-20 📅 생성됨 2023-06-13
25
yaojingang/yao-meta-skill

YAO = AI 결과 창출. 재사용 가능한 에이전트 스킬을 위한 엄격한 엔지니어링, 평가, 거버넌스 및 이식성 시스템.

yaojingang
⭐ 2,739 Python 👤 yaojingang User 🕐 업데이트됨 2026-11-09 📅 생성됨 2026-03-31
26
huggingface/lighteval

Lighteval은 여러 백엔드에 걸쳐 LLM을 평가하는 올인원 툴킷입니다.

huggingface
⭐ 2,587 Python 👤 huggingface Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-01-26
27
huggingface/evaluate

🤗 Evaluate: 기계 학습 모델 및 데이터셋을 쉽게 평가하기 위한 라이브러리입니다.

huggingface
⭐ 2,498 Python 👤 huggingface Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2022-03-30
28
1517005260/graph-rag-agent

RAG 조립: GraphRAG, LightRAG, Neo4j-llm-graph-builder를 수동으로 조립 및 융합하여 지식 그래프를 구축하고 검색합니다. DeepSearch 기술을 통합하여 개인 도메인 RAG 추론을 구현합니다. GraphRAG를 위한 자체 평가 프레임워크를 제작했습니다.

1517005260
⭐ 2,355 Python 👤 1517005260 User 🕐 업데이트됨 2025-11-05 📅 생성됨 2025-02-12
29
uptrain-ai/uptrain

UpTrain은 생성형 AI 애플리케이션을 평가하고 개선하기 위한 오픈 소스 통합 플랫폼입니다. 저희는 20개 이상의 사전 구성된 검사(언어, 코드, 임베딩 사용 사례 포함)에 대한 등급을 제공하고, 실패 사례에 대한 근본 원인 분석을 수행하며, 문제 해결 방법에 대한 통찰력을 제공합니다.

uptrain-ai
⭐ 2,337 Python 👤 uptrain-ai Organization 🕐 업데이트됨 2024-08-18 📅 생성됨 2022-11-07
30
MCPJam/inspector

MCP 서버, MCP 앱 및 ChatGPT 앱을 채팅, 검사, 디버깅하기 위한 테스트 및 평가 플랫폼입니다.

MCPJam
⭐ 2,331 TypeScript 👤 MCPJam Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-05-23
31
Sahir619/fable-method

우화 워크플로: 클로드 우화 5가 작동한 방식, 모든 모델이 실행할 수 있는 기술로 정제되었으며, 정직함을 유지하는 평가가 포함되어 있습니다. 생각하다 / 행동하다 / 증명하다.

Sahir619
⭐ 2,324 Python 👤 Sahir619 User 🕐 업데이트됨 2026-10-03 📅 생성됨 2026-07-06
32
Xnhyacinth/Awesome-LLM-Long-Context-Modeling

📰 LLM 기반 장기 컨텍스트 모델링에 대한 필독 논문 및 블로그 🔥

Xnhyacinth
⭐ 2,191 👤 Xnhyacinth User 🕐 업데이트됨 2026-11-13 📅 생성됨 2023-09-17
33
huggingface/evaluation-guidebook

Open LLM Leaderboard를 관리하고 lighteval을 설계하면서 얻은 LLM 평가에 대한 실용적인 통찰력과 이론적 지식을 모두 공유합니다!

huggingface
⭐ 2,166 Jupyter Notebook 👤 huggingface Organization 🕐 업데이트됨 2025-12-03 📅 생성됨 2024-10-09
34
ContinualAI/avalanche

Avalanche: PyTorch 기반의 연속 학습을 위한 엔드투엔드 라이브러리.

ContinualAI
⭐ 2,054 Python 👤 ContinualAI Organization 🕐 업데이트됨 2025-03-11 📅 생성됨 2020-03-05
35
Cloud-CV/EvalAI

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: AI 최신 기술 평가

Cloud-CV
⭐ 2,049 Python 👤 Cloud-CV Organization 🕐 업데이트됨 2026-11-14 📅 생성됨 2016-10-21
36
tatsu-lab/alpaca_eval

지시를 따르는 언어 모델을 위한 자동 평가 도구. 사람이 검증했으며, 고품질, 저렴함, 빠름.

tatsu-lab
⭐ 2,010 Jupyter Notebook 👤 tatsu-lab Organization 🕐 업데이트됨 2025-08-09 📅 생성됨 2023-05-25
37
trpc-group/trpc-agent-go

그래프 워크플로우, 도구, 메모리, A2A, AG-UI, MCP, 평가 및 관측 가능성을 갖춘 프로덕션 에이전트 시스템 구축을 위한 Go 프레임워크.

trpc-group
⭐ 1,940 Go 👤 trpc-group Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-05-14
38
xinshuoweng/AB3DMOT

(IROS 2020, ECCVW 2020) "3D Multi-Object Tracking: A Baseline and New Evaluation Metrics"에 대한 공식 Python 구현

xinshuoweng
⭐ 1,805 Python 👤 xinshuoweng User 🕐 업데이트됨 2024-04-03 📅 생성됨 2019-06-19
39
onestardao/WFGY

WFGY는 AI 추론, RAG, 에이전트 및 실제 워크플로우를 위한 주요 오픈 소스 릴리스인 WFGY 5.0 Polaris Protocol로 향하고 있습니다. Problem Map, Global Debug Card, WFGY 4.0 및 CFV 이스터 에그를 포함합니다.

onestardao
⭐ 1,804 Jupyter Notebook 👤 onestardao User 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-06-04
40
SmartFlowAI/EmoLLM

정신 건강 대규모 언어 모델 (LLM x 정신 건강), 사전 및 사후 훈련 & 데이터셋 & 평가 & 배포 & RAG, InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM 시리즈 모델 포함

SmartFlowAI
⭐ 1,797 Python 👤 SmartFlowAI Organization 🕐 업데이트됨 2026-06-18 📅 생성됨 2024-01-11
41
deepsense-ai/ragbits

GenAI 애플리케이션의 신속한 개발을 위한 구성 요소

deepsense-ai
⭐ 1,678 Python 👤 deepsense-ai Organization 🕐 업데이트됨 2026-05-18 📅 생성됨 2024-09-02
42
MLGroupJLU/LLM-eval-survey

"A Survey on Evaluation of Large Language Models" 설문 조사 논문의 공식 GitHub 페이지입니다.

MLGroupJLU
⭐ 1,615 👤 MLGroupJLU User 🕐 업데이트됨 2026-11-18 📅 생성됨 2023-07-02
43
sepandhaghighi/pycm

Python 다중 클래스 혼동 행렬 라이브러리

sepandhaghighi
⭐ 1,507 Python 👤 sepandhaghighi User 🕐 업데이트됨 2026-11-16 📅 생성됨 2018-01-22
44
Maluuba/nlg-eval

자연어 생성을 위한 다양한 비지도 자동 메트릭 평가 코드.

Maluuba
⭐ 1,391 Python 👤 Maluuba Organization 🕐 업데이트됨 2024-08-20 📅 생성됨 2017-06-27
45
NVIDIA-NeMo/Gym

환경을 사용하여 모델과 에이전트를 평가하고 개선하세요

NVIDIA-NeMo
⭐ 1,347 Python 👤 NVIDIA-NeMo Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-08-25
46
ScalingIntelligence/KernelBench

KernelBench: LLM은 GPU 커널을 작성할 수 있을까? - Torch -> CUDA(+ 기타 DSL)를 포함한 벤치마크 + 툴킷

ScalingIntelligence
⭐ 1,336 Jupyter Notebook 👤 ScalingIntelligence Organization 🕐 업데이트됨 2026-03-24 📅 생성됨 2024-10-25
47
TIGER-AI-Lab/ClawBench

일상 작업에 대한 브라우저 AI 에이전트의 오픈소스 벤치마크.

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 업데이트됨 2026-11-05 📅 생성됨 2026-04-10
48
abo-abo/lispy

간결하고 명료한 LISP 편집

abo-abo
⭐ 1,297 Emacs Lisp 👤 abo-abo User 🕐 업데이트됨 2026-01-23 📅 생성됨 2014-01-10
49
EthicalML/xai

XAI - 머신러닝(기계 학습)을 위한 eXplainability (설명 가능성) 도구 상자

EthicalML
⭐ 1,270 Python 👤 EthicalML Organization 🕐 업데이트됨 2025-11-29 📅 생성됨 2019-01-11
50
plurai-ai/intellagent

시뮬레이션된 실제 합성 상호 작용을 사용하여 에이전트를 포괄적으로 진단하고 최적화하기 위한 프레임워크

plurai-ai
⭐ 1,266 Python 👤 plurai-ai Organization 🕐 업데이트됨 2026-09-14 📅 생성됨 2024-10-28

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #evaluation 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #evaluation 프로젝트는 39,550개의 스타를 받은 lm-sys/FastChat입니다. 대규모 언어 모델을 훈련, 서빙 및 평가하기 위한 개방형 플랫폼. Vicuna 및 Chatbot Arena의 리포지토리 공개.

2

#evaluation 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #evaluation 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, Jupyter Notebook, Go입니다.

3

#evaluation 저장소 순위는 어떻게 계산되나요?

#evaluation 태그가 지정된 활성 오픈 소스 저장소(89개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 369,872개이며 저장소당 평균 4,155개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.