#evals Repositories
Entdecke 25 aktive Open-Source-GitHub-Repositories, die mit #evals getaggt sind und insgesamt 108,810 Sterne gesammelt haben (durchschnittlich 4,352 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist mastra-ai/mastra mit 29,719 Sternen.
Insgesamt 25 Repositories
Mastra ist das moderne TypeScript-Framework für KI-gestützte Anwendungen und Agenten.
Observability und Durchsetzung für KI-Agenten-Frameworks. Erfassen Sie jeden Lauf und gewährleisten Sie die Laufzeitzuverlässigkeit durch Richtliniendurchsetzung.
Python SDK für KI-Agentenüberwachung, LLM-Kostenverfolgung, Benchmarking und mehr. Integration mit den meisten LLMs und Agenten-Frameworks, einschließlich CrewAI, Agno, OpenAI Agents SDK, Langchain, Autogen, AG2 und CamelAI
KI-Systeme erstellen, bewerten und optimieren. Umfasst Evals (Bewertungen), RAG, Agenten, Feinabstimmung (Fine-Tuning), Generierung synthetischer Daten, Dataset-Management, MCP und mehr.
Leitfaden für das Design von KI-Systemen für Ingenieure, die produktive KI-Systeme und Evaluierungen entwickeln.
Laminar – Open-Source-Observability-Plattform, die speziell für KI-Agenten entwickelt wurde. YC S24.
Erstellen Sie getestete Agenten-Skills und steuern Sie deren Lebenszyklus über einen benutzerdefinierten Marktplatz: Nachweise, Erkennung, Updates, Rollback, Quarantäne und Verteilung auf 17 Plattformen.
Test- und Bewertungsplattform zum Chatten, Inspizieren und Debuggen von MCP-Servern, MCP-Apps und ChatGPT-Apps.
Open-Source-End-to-End-Plattform zur Bewertung, Beobachtung und Verbesserung von LLM- und KI-Agent-Anwendungen. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Selbst-hostbar. Apache 2.0.
Waku Agent ist ein Open-Source-Framework für KI-Agenten, das du selbst besitzt und kontrollierst: Schleife, Speicher, Evaluierungen und eine dauerhaft aktive Ebene (Ereignis-Posteingang, Timer, Genehmigungen und Postausgang) – in Code, der lesbar bleibt.
Bauen Sie agentenbasierte Systeme. Führen Sie diese mit Zuversicht aus. Orchestrieren Sie Agenten, automatisieren Sie Geschäftsprozesse, überprüfen Sie jede Ausführung und behalten Sie die menschliche Kontrolle. Implementieren Sie Heym auf Ihrer eigenen Infrastruktur.
Open-Source-Produktionsreifer Kundenservice mit integrierten Evals und Überwachung
Das Skillbook für rekursive Selbstverbesserung (RSI). NVIDIAs neuester Nachweis, aufgeschlüsselt mit zeitloser Ingenieurskunst. Abgeleitet aus der Zero-Touch-Methode des Gewinners des OpenAI-Hackathons für Harness Engineering.
🥤 RAGLite ist ein Python-Toolkit für Retrieval-Augmented Generation (RAG) mit DuckDB oder PostgreSQL
Trace-natives CI/CD für KI-Agenten – Produktionsfehler werden zu Regressionstests, die den PR blockieren. Automatisch erkennen, clustern, in hermetische Testfälle einfrieren und in der CI für 0 $ wiedergeben.
Eine kuratierte, unverblümte Bibliothek der besten Ressourcen zum Erstellen und Bewerten von KI-Agenten – Papiere, Blogs, Vorträge, Werkzeuge, Benchmarks. Gepflegt von BenchFlow.
Ein Skill-Creator, der beweist, dass seine Skills funktionieren. Evidenzbasierte Skill-Erstellung für Claude Code und Codex: Baseline-getestete Generierung, regressionsbasierte Evaluierung pro Skill, Ökosystem-Diagnose, Cross-Runtime-Kompilierung und ein optionaler proaktiver Berater.
Praxisnahe, frameworkfreie Colab-Notebooks für das Skillset des AI Engineers / Forward Deployed Engineers (FDE) — Modell-APIs, strukturierte Ausgaben, Tool Calling, RAG, Evaluierungen als Kernrückgrat, Agenten (Schleifen von Grund auf, Tool-Design, Guardrails, MCP, Skills), Fine-Tuning vs. LoRA, Prompt-Injection/Sicherheit, LLMOps und kundenorientiertes Handwerk. Läuft über die kostenlose Groq-API.
Die Selbstverbesserungsebene für KI-Agenten. Ratel analysiert die Traces deines Agenten, findet Fehler, empfiehlt Lösungen und führt vor dem Release Evaluierungen mit echten Sitzungen durch. Selbst gehostet: eine App, ein Postgres. Inklusive TypeScript- und Python-SDK.
Häufig gestellte Fragen
Welches ist das beliebteste #evals-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#evals-Projekt auf GitHub ist mastra-ai/mastra mit 29,719 Sternen. Mastra ist das moderne TypeScript-Framework für KI-gestützte Anwendungen und Agenten.
Welche Programmiersprachen werden in #evals-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #evals-Projekten auf GitHub sind Python, TypeScript, JavaScript, Jupyter Notebook die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #evals-Repositories berechnet?
Wir verfolgen 25 aktive Open-Source-Repositories, die mit #evals getaggt sind (500+ Sterne), mit insgesamt 108,810 Sternen und durchschnittlich 4,352 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.