Git Stars Git Stars

#llm-evaluation 저장소

#llm-evaluation 태그가 지정된 GitHub의 활성 오픈 소스 저장소 108개를 확인해 보세요. 총 444,825개의 스타를 획득했으며 프로젝트당 평균 4,118개입니다. 이 주제를 이끄는 저장소는 46,592개의 스타를 받은 ifixai-ai/iFixAi입니다.

108
총 리포지토리
444,825
총 별점
4,118
리포지토리당 평균 스타 수

저장소 총 108개

1
ifixai-ai/iFixAi

AI 에이전트 독립 감사. 사람이나 에이전트 스스로가 실행하여 AI 에이전트 경제에서 가장 중요한 질문에 답합니다. 에이전트가 해야 할 일을 제대로 수행하고 있는가? iFixAi를 사용하면 120초 이내에 이 질문에 대한 답을 얻을 수 있습니다.

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-04-27
2
langfuse/langfuse

🪢 OpenTelemetry 기반의 오픈소스 AI 엔지니어링 플랫폼: AI 게이트웨이, 에이전트 옵저버빌리티, 평가, 프롬프트/스킬 관리 기능을 제공합니다. 모든 AI 호출과 에이전트를 위한 하나의 오픈 플랫폼입니다. 직접 호스팅하거나 Langfuse Cloud를 사용하세요.

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-05-18
3
mlflow/mlflow

에이전트, LLM, ML 모델을 위한 오픈 소스 AI 엔지니어링 플랫폼. MLflow는 모든 규모의 팀이 프로덕션 품질의 AI 애플리케이션을 디버그, 평가, 모니터링, 최적화할 수 있게 하며 비용을 제어하고 모델 및 데이터 액세스를 관리합니다.

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2018-06-05
4
promptfoo/promptfoo

프롬프트, 에이전트, RAG를 테스트하세요. AI를 위한 레드팀/펜테스팅/취약점 스캔을 수행합니다. GPT, Claude, Gemini, DeepSeek 등의 성능을 비교하세요. 명령줄 및 CI/CD 통합을 지원하는 간단한 선언적 구성을 제공합니다. OpenAI와 Anthropic에서 사용 중입니다.

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-04-28
5
huggingface/open-r1

DeepSeek-R1의 완전한 복제

huggingface
⭐ 26,483 Python 👤 huggingface Organization 🕐 업데이트됨 2026-10-26 📅 생성됨 2025-01-24
6
comet-ml/opik

포괄적인 추적, 자동화된 평가 및 프로덕션 준비 대시보드를 사용하여 LLM 애플리케이션, RAG 시스템 및 에이전트 워크플로를 디버깅, 평가 및 모니터링하십시오.

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-05-10
7
openai/evals

Evals는 LLM 및 LLM 시스템을 평가하기 위한 프레임워크이며, 벤치마크의 오픈 소스 레지스트리입니다.

openai
⭐ 19,776 Python 👤 openai Organization 🕐 업데이트됨 2026-04-14 📅 생성됨 2023-01-23
8
confident-ai/deepeval

LLM 평가 프레임워크

confident-ai
⭐ 19,585 Python 👤 confident-ai Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2023-08-10
9
Arize-ai/phoenix

AI 관찰 가능성 및 평가

Arize-ai
⭐ 12,368 Python 👤 Arize-ai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2022-11-09
10
NVIDIA/garak

LLM 취약점 스캐너

NVIDIA
⭐ 10,122 Python 👤 NVIDIA Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2023-05-10
11
oumi-ai/oumi

Qwen, Gemma 또는 모든 오픈 에이전틱 LLM/VLM을 쉽게 파인튜닝(SFT/RL)하고 평가 및 배포하세요!

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-05-07
12
HKUDS/ClawWork

"ClawWork: OpenClaw, 당신의 AI 동료 - 💰 11시간 만에 $15K 수익"

HKUDS
⭐ 8,574 Python 👤 HKUDS Organization 🕐 업데이트됨 2026-03-03 📅 생성됨 2026-02-15
13
Tencent/AI-Infra-Guard

Agent Scan, Skills Scan, MCP Scan, AI Infra Scan 및 LLM 탈옥 평가를 통해 AI 생태계를 보호하는 풀스택 AI 레드팀 플랫폼입니다.

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-12-25
14
gepa-ai/gepa

AI 기반 반성적 최적화로 프롬프트, 코드 등을 최적화하세요

gepa-ai
⭐ 7,523 Jupyter Notebook 👤 gepa-ai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-08-05
15
gkamradt/langchain-tutorials

LangChain 라이브러리 개요 및 튜토리얼

gkamradt
⭐ 7,350 Jupyter Notebook 👤 gkamradt User 🕐 업데이트됨 2024-08-05 📅 생성됨 2023-02-13
16
simplescaling/s1

s1: 간단한 테스트 시간 스케일링

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 업데이트됨 2025-06-25 📅 생성됨 2025-02-01
17
jeinlee1991/chinese-llm-benchmark

NoneLinear - ReLE 평가: 중국어 AI 거대 모델 성능 평가 (지속 업데이트): 현재 374개의 모델을 포함하고 있으며, ChatGPT, GPT-5.4, Google Gemini-3.1-pro, Claude-4.6, Ernie-X1.1, Ernie-5.0, Qwen3.6-max, Qwen3.6-plus, Baichuan, iFlytek Spark, SenseChat 등 상용 모델과 Step3.5-flash, Kimi-k2.6, Ernie4.5, MiniMax-M2.7, DeepSeek-v4, Qwen3.6, Llama4, Zhipu GLM-5.1, MiMo-V2, LongCat, Gemma4, Mistral 등 오픈소스 모델을 아우릅니다. 순위표뿐만 아니라 200만 개 이상의 모델 결함 데이터베이스를 제공하여 커뮤니티의 연구, 분석 및 모델 개선을 지원합니다.

jeinlee1991
⭐ 6,522 👤 jeinlee1991 User 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-06-04
18
Q00/ouroboros

Agent OS: 에이전트는 스스로 더 똑똑해집니다. 우리는 기준을 지키기만 하면 됩니다. 인터뷰를 통한 선발, 단계별 평가, 예산이 책정된 진화 루프. MCP 서버, 14개 런타임 지원: Claude Code, Codex CLI, Gemini CLI, OpenCode, Copilot, Kiro 등.

Q00
⭐ 6,385 Python 👤 Q00 User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-01-14
19
Helicone/helicone

🧊 오픈소스 LLM 관찰 플랫폼. 모니터링, 평가, 실험을 위한 단 한 줄의 코드. YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2023-01-31
20
Giskard-AI/giskard-oss

🐢 LLM 에이전트를 위한 오픈 소스 평가 및 테스트 라이브러리

Giskard-AI
⭐ 5,965 Python 👤 Giskard-AI Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2022-03-06
21
PacktPublishing/LLM-Engineers-Handbook

LLM 실무 가이드: 기본 개념부터 AWS에 고급 LLM 및 RAG 앱 배포까지 LLMOps 모범 사례 활용

PacktPublishing
⭐ 5,438 Python 👤 PacktPublishing Organization 🕐 업데이트됨 2026-04-22 📅 생성됨 2024-04-09
22
going-doer/Paper2Code

Paper2Code: 머신러닝 과학 논문에서 코드 자동 생성

going-doer
⭐ 5,044 Python 👤 going-doer User 🕐 업데이트됨 2026-03-25 📅 생성됨 2025-04-25
23
EvolvingLMMs-Lab/lmms-eval

텍스트, 이미지, 비디오 및 오디오 작업을 위한 One-for-All 멀티모달 평가 툴킷

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-03-07
24
hemansnation/AI-Engineer-Headquarters

스토리 및 모델 구축을 위한 과학적 방법, 프로세스, 알고리즘 및 시스템 모음.

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 업데이트됨 2026-10-28 📅 생성됨 2022-03-29
25
truera/trulens

LLM 실험 및 AI 에이전트에 대한 평가 및 추적

truera
⭐ 3,665 Python 👤 truera Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2020-11-02
26
lmnr-ai/lmnr

Laminar - AI 에이전트용으로 특별히 제작된 오픈 소스 관측 가능성 플랫폼. YC S24.

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-08-29
27
openai/human-eval

"Evaluating Large Language Models Trained on Code" 논문 코드

openai
⭐ 3,431 Python 👤 openai Organization 🕐 업데이트됨 2026-10-16 📅 생성됨 2021-07-06
28
Sumanth077/ai-engineering-toolkit

LLM으로 구축하는 AI 엔지니어를 위한 100개 이상의 라이브러리 및 프레임워크 큐레이션 목록

Sumanth077
⭐ 3,402 👤 Sumanth077 User 🕐 업데이트됨 2026-05-11 📅 생성됨 2025-08-06
29
UKGovernmentBEIS/inspect_ai

Inspect: 대규모 언어 모델 평가를 위한 프레임워크

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-11-14
30
FranxYao/chain-of-thought-hub

연쇄 사고 프롬프팅을 이용한 대규모 언어 모델의 복잡한 추론 능력 벤치마킹

FranxYao
⭐ 2,762 Jupyter Notebook 👤 FranxYao User 🕐 업데이트됨 2024-08-04 📅 생성됨 2023-03-10
31
genieincodebottle/generative-ai

상세 로드맵, 프로젝트, 사용 사례, 면접 준비, 코딩 준비를 포함한 생성형 AI에 대한 종합적인 자료.

genieincodebottle
⭐ 2,675 Jupyter Notebook 👤 genieincodebottle User 🕐 업데이트됨 2026-11-09 📅 생성됨 2024-01-09
32
gkamradt/needle-in-a-haystack

다양한 컨텍스트 길이를 가진 LLM 모델에서 간단한 검색을 수행하여 정확도를 측정합니다.

gkamradt
⭐ 2,408 Jupyter Notebook 👤 gkamradt User 🕐 업데이트됨 2026-06-08 📅 생성됨 2023-11-11
33
future-agi/future-agi

오픈소스 엔드투엔드 플랫폼으로 LLM 및 AI 에이전트 애플리케이션을 평가, 관찰 및 개선합니다. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. 셀프 호스팅 가능. Apache 2.0.

future-agi
⭐ 2,284 Python 👤 future-agi Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-04-23
34
break-into-data/ai-engineer-toolkit

더 나은 AI 개발자가 될 수 있도록 돕는 프로젝트 및 리소스입니다.

break-into-data
⭐ 2,189 TypeScript 👤 break-into-data Organization 🕐 업데이트됨 2025-09-15 📅 생성됨 2025-02-24
36
msoedov/agentic_security

Agentic LLM 취약점 스캐너 / AI 레드팀 키트 🧪

msoedov
⭐ 2,048 Python 👤 msoedov User 🕐 업데이트됨 2026-11-19 📅 생성됨 2024-04-11
37
ai-that-works/ai-that-works

🦄 작동하는 AI - 매주 화요일 오전 10시 PST

ai-that-works
⭐ 2,016 TypeScript 👤 ai-that-works Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2025-04-02
39
centerforaisafety/hle

인류의 마지막 시험

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 업데이트됨 2026-09-23 📅 생성됨 2025-01-23
41
lizhe2004/Awesome-LLM-RAG-Application

RAG 패턴 기반 LLM 애플리케이션에 대한 리소스

lizhe2004
⭐ 1,662 👤 lizhe2004 User 🕐 업데이트됨 2026-10-12 📅 생성됨 2023-12-27
42
huggingface/aisheets

코딩 없이 AI 모델을 사용하여 데이터 세트를 구축, 보강 및 변환

huggingface
⭐ 1,656 TypeScript 👤 huggingface Organization 🕐 업데이트됨 2026-09-23 📅 생성됨 2025-01-16
43
cyberark/FuzzyAI

자동화된 LLM 퍼징을 위한 강력한 도구입니다. 개발자와 보안 연구원이 LLM API의 잠재적인 탈옥을 식별하고 완화하는 데 도움을 주도록 설계되었습니다.

cyberark
⭐ 1,611 Jupyter Notebook 👤 cyberark Organization 🕐 업데이트됨 2026-02-06 📅 생성됨 2024-12-03
44
sierra-research/tau-bench

Tau-Bench용 코드 및 데이터

sierra-research
⭐ 1,514 Python 👤 sierra-research Organization 🕐 업데이트됨 2026-03-18 📅 생성됨 2024-06-06
45
safety-research/bloom

bloom - 어떤 행동이든 즉시 평가하세요 🌸🌱

safety-research
⭐ 1,429 Python 👤 safety-research Organization 🕐 업데이트됨 2026-05-07 📅 생성됨 2025-06-24
47
meridianlabs-ai/inspect_petri

정렬 가설을 신속하게 탐색할 수 있는 정렬 감사 에이전트

meridianlabs-ai
⭐ 1,421 Python 👤 meridianlabs-ai Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-08-19
48
TIGER-AI-Lab/ClawBench

일상 작업에 대한 브라우저 AI 에이전트의 오픈소스 벤치마크.

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 업데이트됨 2026-11-05 📅 생성됨 2026-04-10
49
microsoft/prompty

Prompty를 사용하면 AI 애플리케이션을 위한 LLM 프롬프트를 쉽게 생성, 관리, 디버깅 및 평가할 수 있습니다. Prompty는 개발자의 관찰 가능성, 이해 가능성 및 이식성을 향상시키기 위해 설계된 LLM 프롬프트의 자산 클래스 및 형식입니다.

microsoft
⭐ 1,288 Rust 👤 microsoft Organization 🕐 업데이트됨 2026-11-09 📅 생성됨 2024-04-22
50
langchain-ai/openevals

LLM 앱을 위한 즉시 사용 가능한 평가 도구

langchain-ai
⭐ 1,259 Python 👤 langchain-ai Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2025-02-08

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #llm-evaluation 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #llm-evaluation 프로젝트는 46,592개의 스타를 받은 ifixai-ai/iFixAi입니다. AI 에이전트 독립 감사. 사람이나 에이전트 스스로가 실행하여 AI 에이전트 경제에서 가장 중요한 질문에 답합니다. 에이전트가 해야 할 일을 제대로 수행하고 있는가? iFixAi를 사용하면 120초 이내에 이 질문에 대한 답을 얻을 수 있습니다.

2

#llm-evaluation 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #llm-evaluation 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Jupyter Notebook, TypeScript, Java입니다.

3

#llm-evaluation 저장소 순위는 어떻게 계산되나요?

#llm-evaluation 태그가 지정된 활성 오픈 소스 저장소(108개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 444,825개이며 저장소당 평균 4,118개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.