#evaluation 저장소
#evaluation 태그가 지정된 GitHub의 활성 오픈 소스 저장소 89개를 확인해 보세요. 총 369,872개의 스타를 획득했으며 프로젝트당 평균 4,155개입니다. 이 주제를 이끄는 저장소는 39,550개의 스타를 받은 lm-sys/FastChat입니다.
저장소 총 89개
🪢 OpenTelemetry 기반의 오픈소스 AI 엔지니어링 플랫폼: AI 게이트웨이, 에이전트 옵저버빌리티, 평가, 프롬프트/스킬 관리 기능을 제공합니다. 모든 AI 호출과 에이전트를 위한 하나의 오픈 플랫폼입니다. 직접 호스팅하거나 Langfuse Cloud를 사용하세요.
에이전트, LLM, ML 모델을 위한 오픈 소스 AI 엔지니어링 플랫폼. MLflow는 모든 규모의 팀이 프로덕션 품질의 AI 애플리케이션을 디버그, 평가, 모니터링, 최적화할 수 있게 하며 비용을 제어하고 모델 및 데이터 액세스를 관리합니다.
프롬프트, 에이전트, RAG를 테스트하세요. AI를 위한 레드팀/펜테스팅/취약점 스캔을 수행합니다. GPT, Claude, Gemini, DeepSeek 등의 성능을 비교하세요. 명령줄 및 CI/CD 통합을 지원하는 간단한 선언적 구성을 제공합니다. OpenAI와 Anthropic에서 사용 중입니다.
포괄적인 추적, 자동화된 평가 및 프로덕션 준비 대시보드를 사용하여 LLM 애플리케이션, RAG 시스템 및 에이전트 워크플로를 디버깅, 평가 및 모니터링하십시오.
OpenCompass는 OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek 등의 다양한 대규모 언어 모델(LLM)을 지원하는 평가 플랫폼으로, 지식, 추론, 코딩, 과학, 언어, 긴 문맥 및 안전성을 다루는 100개 이상의 데이터셋을 제공합니다.
达尔文.skill —— 당신의 Skill을 무한 진화시키는 시스템: 평가→개선→테스트→유지 또는 롤백 | Claude Code를 위한 Autoresearch에서 영감을 받은 자율 스킬 최적화. 평가, 개선, 테스트, 유지 또는 되돌리기.
차세대 AI 에이전트 최적화 플랫폼: Cozeloop은 개발, 디버깅, 평가부터 모니터링까지 전체 수명 주기 관리 기능을 제공하여 AI 에이전트 개발의 과제를 해결합니다.
AI 플랫폼 팀을 위한 오픈 소스 에이전트 관측성과 평가. 회사의 모든 에이전트와 코딩 어시스턴트를 추적하고, 테스트하고, 라우팅하고, 거버넌스하세요.
AI 에이전트의 스킬과 플러그인을 평가하기 위한 다계층 프레임워크입니다. 품질 게이트, 보안 스캔, 테스트 하네스 호환성 검사, 의미적 중복 감지, 합성 평가 데이터 세트 생성, 그리고 스킬이 에이전트의 동작에 미치는 영향을 측정하는 실시간 에이전트 평가 기능을 제공합니다. 재사용 가능한 CI 템플릿을 제공하여 모든 검사 항목을 어떤 저장소에나 적용할 수 있습니다.
RAG 조립: GraphRAG, LightRAG, Neo4j-llm-graph-builder를 수동으로 조립 및 융합하여 지식 그래프를 구축하고 검색합니다. DeepSearch 기술을 통합하여 개인 도메인 RAG 추론을 구현합니다. GraphRAG를 위한 자체 평가 프레임워크를 제작했습니다.
UpTrain은 생성형 AI 애플리케이션을 평가하고 개선하기 위한 오픈 소스 통합 플랫폼입니다. 저희는 20개 이상의 사전 구성된 검사(언어, 코드, 임베딩 사용 사례 포함)에 대한 등급을 제공하고, 실패 사례에 대한 근본 원인 분석을 수행하며, 문제 해결 방법에 대한 통찰력을 제공합니다.
우화 워크플로: 클로드 우화 5가 작동한 방식, 모든 모델이 실행할 수 있는 기술로 정제되었으며, 정직함을 유지하는 평가가 포함되어 있습니다. 생각하다 / 행동하다 / 증명하다.
Open LLM Leaderboard를 관리하고 lighteval을 설계하면서 얻은 LLM 평가에 대한 실용적인 통찰력과 이론적 지식을 모두 공유합니다!
그래프 워크플로우, 도구, 메모리, A2A, AG-UI, MCP, 평가 및 관측 가능성을 갖춘 프로덕션 에이전트 시스템 구축을 위한 Go 프레임워크.
(IROS 2020, ECCVW 2020) "3D Multi-Object Tracking: A Baseline and New Evaluation Metrics"에 대한 공식 Python 구현
WFGY는 AI 추론, RAG, 에이전트 및 실제 워크플로우를 위한 주요 오픈 소스 릴리스인 WFGY 5.0 Polaris Protocol로 향하고 있습니다. Problem Map, Global Debug Card, WFGY 4.0 및 CFV 이스터 에그를 포함합니다.
정신 건강 대규모 언어 모델 (LLM x 정신 건강), 사전 및 사후 훈련 & 데이터셋 & 평가 & 배포 & RAG, InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM 시리즈 모델 포함
"A Survey on Evaluation of Large Language Models" 설문 조사 논문의 공식 GitHub 페이지입니다.
KernelBench: LLM은 GPU 커널을 작성할 수 있을까? - Torch -> CUDA(+ 기타 DSL)를 포함한 벤치마크 + 툴킷
자주 묻는 질문
GitHub에서 가장 인기 있는 #evaluation 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #evaluation 프로젝트는 39,550개의 스타를 받은 lm-sys/FastChat입니다. 대규모 언어 모델을 훈련, 서빙 및 평가하기 위한 개방형 플랫폼. Vicuna 및 Chatbot Arena의 리포지토리 공개.
#evaluation 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #evaluation 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, Jupyter Notebook, Go입니다.
#evaluation 저장소 순위는 어떻게 계산되나요?
#evaluation 태그가 지정된 활성 오픈 소스 저장소(89개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 369,872개이며 저장소당 평균 4,155개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.