Git Stars Git Stars

#evals Repositories

Entdecke 25 aktive Open-Source-GitHub-Repositories, die mit #evals getaggt sind und insgesamt 108,810 Sterne gesammelt haben (durchschnittlich 4,352 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist mastra-ai/mastra mit 29,719 Sternen.

25
Gesamtzahl der Repositories
108,810
Gesamtanzahl der Sterne
4,352
Durchschnittliche Sterne/Repo

Insgesamt 25 Repositories

1
mastra-ai/mastra

Mastra ist das moderne TypeScript-Framework für KI-gestützte Anwendungen und Agenten.

mastra-ai
⭐ 29,719 TypeScript 👤 mastra-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-08-06
2
Arize-ai/phoenix

KI-Beobachtbarkeit & Bewertung

Arize-ai
⭐ 12,368 Python 👤 Arize-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2022-11-09
3
FailproofAI/failproofai

Observability und Durchsetzung für KI-Agenten-Frameworks. Erfassen Sie jeden Lauf und gewährleisten Sie die Laufzeitzuverlässigkeit durch Richtliniendurchsetzung.

FailproofAI
⭐ 9,904 TypeScript 👤 FailproofAI Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-04-06
4
harbor-framework/harbor

Framework zur Bewertung und Verbesserung von Agenten

harbor-framework
⭐ 7,313 Python 👤 harbor-framework Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-08-04
5
AgentOps-AI/agentops

Python SDK für KI-Agentenüberwachung, LLM-Kostenverfolgung, Benchmarking und mehr. Integration mit den meisten LLMs und Agenten-Frameworks, einschließlich CrewAI, Agno, OpenAI Agents SDK, Langchain, Autogen, AG2 und CamelAI

AgentOps-AI
⭐ 5,971 Python 👤 AgentOps-AI Organization 🕐 Aktualisiert 2026-06-25 📅 Erstellt 2023-08-15
6
Kiln-AI/Kiln

KI-Systeme erstellen, bewerten und optimieren. Umfasst Evals (Bewertungen), RAG, Agenten, Feinabstimmung (Fine-Tuning), Generierung synthetischer Daten, Dataset-Management, MCP und mehr.

Kiln-AI
⭐ 5,286 Python 👤 Kiln-AI Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-07-23
7
pydantic/logfire

KI-Observability-Plattform für Produktions-LLM und Agentensysteme.

pydantic
⭐ 4,564 Python 👤 pydantic Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-04-23
8
ombharatiya/ai-system-design-guide

Leitfaden für das Design von KI-Systemen für Ingenieure, die produktive KI-Systeme und Evaluierungen entwickeln.

ombharatiya
⭐ 4,426 👤 ombharatiya User 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2025-12-16
9
truera/trulens

Bewertung und Verfolgung von LLM-Experimenten und KI-Agenten

truera
⭐ 3,665 Python 👤 truera Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2020-11-02
10
lmnr-ai/lmnr

Laminar – Open-Source-Observability-Plattform, die speziell für KI-Agenten entwickelt wurde. YC S24.

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-08-29
11
FrancyJGLisboa/agent-skills-platform

Erstellen Sie getestete Agenten-Skills und steuern Sie deren Lebenszyklus über einen benutzerdefinierten Marktplatz: Nachweise, Erkennung, Updates, Rollback, Quarantäne und Verteilung auf 17 Plattformen.

FrancyJGLisboa
⭐ 2,417 Python 👤 FrancyJGLisboa User 🕐 Aktualisiert 2026-09-15 📅 Erstellt 2025-10-18
12
MCPJam/inspector

Test- und Bewertungsplattform zum Chatten, Inspizieren und Debuggen von MCP-Servern, MCP-Apps und ChatGPT-Apps.

MCPJam
⭐ 2,331 TypeScript 👤 MCPJam Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-05-23
13
future-agi/future-agi

Open-Source-End-to-End-Plattform zur Bewertung, Beobachtung und Verbesserung von LLM- und KI-Agent-Anwendungen. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Selbst-hostbar. Apache 2.0.

future-agi
⭐ 2,284 Python 👤 future-agi Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-04-23
14
ShenSeanChen/waku-agent

Waku Agent ist ein Open-Source-Framework für KI-Agenten, das du selbst besitzt und kontrollierst: Schleife, Speicher, Evaluierungen und eine dauerhaft aktive Ebene (Ereignis-Posteingang, Timer, Genehmigungen und Postausgang) – in Code, der lesbar bleibt.

ShenSeanChen
⭐ 2,206 Python 👤 ShenSeanChen User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-07-10
15
heymrun/heym

Bauen Sie agentenbasierte Systeme. Führen Sie diese mit Zuversicht aus. Orchestrieren Sie Agenten, automatisieren Sie Geschäftsprozesse, überprüfen Sie jede Ausführung und behalten Sie die menschliche Kontrolle. Implementieren Sie Heym auf Ihrer eigenen Infrastruktur.

heymrun
⭐ 1,821 Python 👤 heymrun Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-03-28
16
mattpocock/evalite

Bewerten Sie Ihre LLM-gestützten Apps mit TypeScript

mattpocock
⭐ 1,740 TypeScript 👤 mattpocock User 🕐 Aktualisiert 2026-04-28 📅 Erstellt 2024-11-12
17
GitHamza0206/simba

Open-Source-Produktionsreifer Kundenservice mit integrierten Evals und Überwachung

GitHamza0206
⭐ 1,545 TypeScript 👤 GitHamza0206 User 🕐 Aktualisiert 2026-06-18 📅 Erstellt 2024-12-20
18
LilMGenius/paperthin

Das Skillbook für rekursive Selbstverbesserung (RSI). NVIDIAs neuester Nachweis, aufgeschlüsselt mit zeitloser Ingenieurskunst. Abgeleitet aus der Zero-Touch-Methode des Gewinners des OpenAI-Hackathons für Harness Engineering.

LilMGenius
⭐ 1,469 JavaScript 👤 LilMGenius User 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2026-06-19
19
superlinear-ai/raglite

🥤 RAGLite ist ein Python-Toolkit für Retrieval-Augmented Generation (RAG) mit DuckDB oder PostgreSQL

superlinear-ai
⭐ 1,215 Python 👤 superlinear-ai Organization 🕐 Aktualisiert 2026-11-01 📅 Erstellt 2024-06-10
20
Jwuthri/Tracely-ai

Trace-natives CI/CD für KI-Agenten – Produktionsfehler werden zu Regressionstests, die den PR blockieren. Automatisch erkennen, clustern, in hermetische Testfälle einfrieren und in der CI für 0 $ wiedergeben.

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-06-03
21
benchflow-ai/awesome-evals

Eine kuratierte, unverblümte Bibliothek der besten Ressourcen zum Erstellen und Bewerten von KI-Agenten – Papiere, Blogs, Vorträge, Werkzeuge, Benchmarks. Gepflegt von BenchFlow.

benchflow-ai
⭐ 1,049 👤 benchflow-ai Organization 🕐 Aktualisiert 2026-11-04 📅 Erstellt 2026-06-24
22
tripleyak/SkillForge

Ein Skill-Creator, der beweist, dass seine Skills funktionieren. Evidenzbasierte Skill-Erstellung für Claude Code und Codex: Baseline-getestete Generierung, regressionsbasierte Evaluierung pro Skill, Ökosystem-Diagnose, Cross-Runtime-Kompilierung und ein optionaler proaktiver Berater.

tripleyak
⭐ 918 Python 👤 tripleyak User 🕐 Aktualisiert 2026-07-29 📅 Erstellt 2025-12-30
23
overmind-core/overmind

Die Plattform zur kontinuierlichen Verbesserung von KI-Agenten.

overmind-core
⭐ 771 Python 👤 overmind-core Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-03-27
24
calmrocks/ai-engineer-notebooks

Praxisnahe, frameworkfreie Colab-Notebooks für das Skillset des AI Engineers / Forward Deployed Engineers (FDE) — Modell-APIs, strukturierte Ausgaben, Tool Calling, RAG, Evaluierungen als Kernrückgrat, Agenten (Schleifen von Grund auf, Tool-Design, Guardrails, MCP, Skills), Fine-Tuning vs. LoRA, Prompt-Injection/Sicherheit, LLMOps und kundenorientiertes Handwerk. Läuft über die kostenlose Groq-API.

calmrocks
⭐ 756 Jupyter Notebook 👤 calmrocks User 🕐 Aktualisiert 2026-11-07 📅 Erstellt 2026-08-11
25
ratel-ai/ratel

Die Selbstverbesserungsebene für KI-Agenten. Ratel analysiert die Traces deines Agenten, findet Fehler, empfiehlt Lösungen und führt vor dem Release Evaluierungen mit echten Sitzungen durch. Selbst gehostet: eine App, ein Postgres. Inklusive TypeScript- und Python-SDK.

ratel-ai
⭐ 566 TypeScript 👤 ratel-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-11-12

Häufig gestellte Fragen

1

Welches ist das beliebteste #evals-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#evals-Projekt auf GitHub ist mastra-ai/mastra mit 29,719 Sternen. Mastra ist das moderne TypeScript-Framework für KI-gestützte Anwendungen und Agenten.

2

Welche Programmiersprachen werden in #evals-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #evals-Projekten auf GitHub sind Python, TypeScript, JavaScript, Jupyter Notebook die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #evals-Repositories berechnet?

Wir verfolgen 25 aktive Open-Source-Repositories, die mit #evals getaggt sind (500+ Sterne), mit insgesamt 108,810 Sternen und durchschnittlich 4,352 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.