#evaluation Repositories
Entdecke 89 aktive Open-Source-GitHub-Repositories, die mit #evaluation getaggt sind und insgesamt 369,872 Sterne gesammelt haben (durchschnittlich 4,155 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist lm-sys/FastChat mit 39,550 Sternen.
Insgesamt 89 Repositories
Eine offene Plattform für das Training, die Bereitstellung und die Bewertung großer Sprachmodelle. Veröffentlichungs-Repository für Vicuna und Chatbot Arena.
Open-Source-LLM-Wissensplattform: Verwandeln Sie Rohdokumente in eine abfragbare RAG, einen autonomen Reasoning-Agenten und eine selbstpflegende Wiki.
🪢 Open-Source-Plattform für KI-Engineering: AI Gateway, Agenten-Observability, Evaluierungen sowie Prompt- und Skill-Management, basierend auf OpenTelemetry. Eine offene Plattform für jeden KI-Aufruf und jeden Agenten. Selbst hosten oder Langfuse Cloud nutzen.
Die Open-Source-KI-Ingenieurplattform für Agenten, LLMs und ML-Modelle. MLflow ermöglicht es Teams aller Größen, produktionsreife KI-Anwendungen zu debuggen, auszuwerten, zu überwachen und zu optimieren, während Kosten kontrolliert und der Zugriff auf Modelle und Daten verwaltet wird.
Testen Sie Ihre Prompts, Agenten und RAGs. Red Teaming/Pentesting/Schwachstellenanalyse für KI. Vergleichen Sie die Leistung von GPT, Claude, Gemini, DeepSeek und mehr. Einfache deklarative Konfigurationen mit Befehlszeilen- und CI/CD-Integration. Wird von OpenAI und Anthropic verwendet.
Debuggen, bewerten und überwachen Sie Ihre LLM-Anwendungen, RAG-Systeme und agentenbasierten Workflows mit umfassendem Tracing, automatisierten Bewertungen und produktionsreifen Dashboards.
OpenCompass ist eine Plattform zur Bewertung großer Sprachmodelle (LLMs), die eine breite Palette von Modellen von OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek usw. über mehr als 100 Datensätze hinweg unterstützt. Diese decken Wissen, Schlussfolgern, Programmierung, Wissenschaft, Sprache, lange Kontexte und Sicherheit ab.
达尔文.skill —— Ein System, das deine Skills unendlich evolviert: Bewertung→Verbesserung→Test→Behalten oder Rollback | Autoresearch-inspirierte autonome Skill-Optimierung für Claude Code. Bewerten, verbessern, testen, behalten oder zurücksetzen.
🧊 Open-Source LLM-Observability-Plattform. Eine Codezeile zum Überwachen, Bewerten und Experimentieren. YC W23 🍓
Next-Generation KI-Agenten-Optimierungsplattform: Cozeloop adressiert Herausforderungen in der KI-Agentenentwicklung, indem es umfassende Managementfunktionen für den gesamten Lebenszyklus von der Entwicklung, dem Debugging und der Evaluierung bis zur Überwachung bietet.
KI-Systeme erstellen, bewerten und optimieren. Umfasst Evals (Bewertungen), RAG, Agenten, Feinabstimmung (Fine-Tuning), Generierung synthetischer Daten, Dataset-Management, MCP und mehr.
Open-Source-Agentenobservability und -Evaluierung für KI-Plattformteams. Verfolgen, testen, routen und verwalten Sie jeden Agenten und Programmierassistenten im Unternehmen.
One-for-All Multimodales Evaluations-Toolkit für Text-, Bild-, Video- und Audio-Aufgaben
Open-Source-Evaluierungstoolkit für große Multimodale Modelle (LMMs), unterstützt 220+ LMMs, 80+ Benchmarks
Mehrstufiges Framework zur Bewertung von Fähigkeiten und Plugins für KI-Agenten mit Qualitätsprüfungen, Sicherheits-Scans, Kompatibilitätsprüfungen für die Testumgebung, Erkennung semantischer Überschneidungen, Generierung synthetischer Evaluationsdatensätze und Live-Evaluation von Agenten, die misst, wie sich Fähigkeiten auf das Verhalten des Agenten auswirken. Enthält wiederverwendbare CI-Vorlagen, mit denen sich alle Prüfungen in jedes Repository integrieren lassen.
Ein optimiertes und anpassbares Framework für die effiziente Bewertung und Leistungsmessung großer Modelle (LLM, VLM, AIGC).
MTEB: Modernste Bewertung von Embeddings über Sprachen und Modalitäten hinweg
Laminar – Open-Source-Observability-Plattform, die speziell für KI-Agenten entwickelt wurde. YC S24.
SuperCLUE: Ein umfassender Benchmark für generelle chinesische große Modelle | Ein Benchmark für Basismodelle im Chinesischen
Klipse ist ein JavaScript-Plugin zum Einbetten interaktiver Code-Snippets in Tech-Blogs.
Eine quelloffene visuelle Programmierumgebung zum Testen von Prompts für LLMs.
YAO = KI-Ergebnisse erzielen. Ein strenges System für Engineering, Evaluierung, Governance und Portabilität wiederverwendbarer Agentenfähigkeiten.
Lighteval ist Ihr All-in-One-Toolkit zur Bewertung von LLMs über mehrere Backends hinweg
🤗 Evaluate: Eine Bibliothek zur einfachen Bewertung von Machine-Learning-Modellen und Datensätzen.
RAG fertigstellen: GraphRAG, LightRAG und Neo4j-llm-graph-builder zur Wissensgraphenerstellung und -suche manuell zusammengefügt und integriert; DeepSearch-Technologie zur Inferenz privater Domänen-RAG integriert; selbst erstellter Bewertungsrahmen für GraphRAG.
UpTrain ist eine Open-Source-Plattform, die darauf abzielt, generative KI-Anwendungen zu bewerten und zu verbessern. Wir bieten Noten für über 20 vorkonfigurierte Prüfungen (die Sprach-, Code- und Embedding-Anwendungsfälle abdecken), führen Ursachenanalysen bei Fehlerfällen durch und geben Einblicke, wie diese behoben werden können.
Test- und Bewertungsplattform zum Chatten, Inspizieren und Debuggen von MCP-Servern, MCP-Apps und ChatGPT-Apps.
Der Fable-Workflow: wie Claude Fable 5 funktionierte, destilliert in Fähigkeiten, die jedes Modell ausführen kann, mit der Bewertung, die es ehrlich hält. Denken / handeln / beweisen.
📰 Must-read-Artikel und Blogs über LLM-basierte Long-Context-Modellierung 🔥
Teilen von praktischen Einblicken und theoretischem Wissen über LLM-Evaluierung, die wir bei der Verwaltung der Open LLM Leaderboard und der Entwicklung von lighteval gesammelt haben!
Avalanche: eine End-to-End-Bibliothek für kontinuierliches Lernen basierend auf PyTorch.
:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Bewertung des Standes der Technik in der KI
Ein automatischer Evaluator für instruktionsfolgende Sprachmodelle. Vom Menschen validiert, qualitativ hochwertig, günstig und schnell.
Ein Go-Framework für den Aufbau von produktiven Agentensystemen mit Graph-Workflows, Tools, Speicher, A2A, AG-UI, MCP, Evaluierung und Beobachtbarkeit.
(IROS 2020, ECCVW 2020) Offizielle Python-Implementierung für „3D Multi-Object Tracking: A Baseline and New Evaluation Metrics“
WFGY steuert auf WFGY 5.0 Polaris Protocol zu, eine große Open-Source-Veröffentlichung für KI-Reasoning, RAG, Agents und reale Workflows. Enthält Problem Map, Global Debug Card, WFGY 4.0 und das CFV-Easter Egg.
Psychische Gesundheitsmodelle (LLM x Psychische Gesundheit), Vor- und Nachtraining & Datensatz & Evaluierung & Bereitstellung & RAG, mit Modellen der Reihen InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM
Die offizielle GitHub-Seite für die Umfragearbeit "A Survey on Evaluation of Large Language Models".
Evaluierungscode für verschiedene unüberwachte automatisierte Metriken für die Natural Language Generation.
KernelBench: Können LLMs GPU-Kernel schreiben? - Benchmark + Toolkit mit Torch -> CUDA (+ weitere DSLs)
Ein Framework für die umfassende Diagnose und Optimierung von Agenten mittels simulierter, realistischer synthetischer Interaktionen
Häufig gestellte Fragen
Welches ist das beliebteste #evaluation-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#evaluation-Projekt auf GitHub ist lm-sys/FastChat mit 39,550 Sternen. Eine offene Plattform für das Training, die Bereitstellung und die Bewertung großer Sprachmodelle. Veröffentlichungs-Repository für Vicuna und Chatbot Arena.
Welche Programmiersprachen werden in #evaluation-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #evaluation-Projekten auf GitHub sind Python, TypeScript, Jupyter Notebook, Go die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #evaluation-Repositories berechnet?
Wir verfolgen 89 aktive Open-Source-Repositories, die mit #evaluation getaggt sind (500+ Sterne), mit insgesamt 369,872 Sternen und durchschnittlich 4,155 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.