Git Stars Git Stars

#llm-evaluation Repository

Scopri 108 repository GitHub open source attivi contrassegnati con #llm-evaluation, che raccolgono un totale di 444,825 stelle (con una media di 4,118 stelle per progetto). Il progetto leader di questo argomento è ifixai-ai/iFixAi, con 46,592 stelle.

108
Totale Repository
444,825
Totale stelle
4,118
Media Stelle/Repo

108 repository in totale

1
ifixai-ai/iFixAi

Audit indipendente degli agenti IA. Eseguito da umani o dall'agente stesso, per rispondere alla domanda più cruciale nell'economia degli agenti IA: l'agente sta facendo ciò che dovrebbe fare? Con iFixAi puoi avere questa risposta in meno di 120 secondi.

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2026-04-27
2
langfuse/langfuse

🪢 Piattaforma open source per l’ingegneria dell’IA: AI Gateway, osservabilità degli agenti, valutazioni e gestione di prompt e competenze, basata su OpenTelemetry. Un’unica piattaforma aperta per ogni chiamata IA e ogni agente. Puoi ospitarla autonomamente o usare Langfuse Cloud.

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-05-18
3
mlflow/mlflow

La piattaforma di ingegneria IA open source per agenti, LLM e modelli ML. MLflow consente a team di tutte le dimensioni di debuggare, valutare, monitorare e ottimizzare applicazioni IA di qualità produttiva controllando i costi e gestendo l'accesso a modelli e dati.

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2018-06-05
4
promptfoo/promptfoo

Testa i tuoi prompt, agenti e RAG. Red teaming/pentesting/scansione delle vulnerabilità per l'IA. Confronta le prestazioni di GPT, Claude, Gemini, DeepSeek e altri. Configurazioni dichiarative semplici con integrazione da riga di comando e CI/CD. Utilizzato da OpenAI e Anthropic.

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-04-28
5
huggingface/open-r1

Riproduzione completa di DeepSeek-R1

huggingface
⭐ 26,483 Python 👤 huggingface Organization 🕐 Aggiornato 2026-10-26 📅 Creato 2025-01-24
6
comet-ml/opik

Esegui il debug, valuta e monitora le tue applicazioni LLM, i sistemi RAG e i flussi di lavoro agentic con tracing completo, valutazioni automatizzate e dashboard pronti per la produzione.

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-05-10
7
openai/evals

Evals è un framework per la valutazione di LLM e sistemi LLM e un registro open-source di benchmark.

openai
⭐ 19,776 Python 👤 openai Organization 🕐 Aggiornato 2026-04-14 📅 Creato 2023-01-23
8
confident-ai/deepeval

Il framework di valutazione LLM

confident-ai
⭐ 19,585 Python 👤 confident-ai Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2023-08-10
9
Arize-ai/phoenix

Osservabilità e Valutazione dell'IA

Arize-ai
⭐ 12,368 Python 👤 Arize-ai Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2022-11-09
10
NVIDIA/garak

lo scanner di vulnerabilità LLM

NVIDIA
⭐ 10,122 Python 👤 NVIDIA Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2023-05-10
11
oumi-ai/oumi

Metti facilmente a punto (SFT/RL), valuta e distribuisci Qwen, Gemma o qualsiasi LLM/VLM agentico open source!

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-05-07
12
HKUDS/ClawWork

"ClawWork: OpenClaw come tuo collega AI - 💰 $15K guadagnati in 11 ore"

HKUDS
⭐ 8,574 Python 👤 HKUDS Organization 🕐 Aggiornato 2026-03-03 📅 Creato 2026-02-15
13
Tencent/AI-Infra-Guard

Una piattaforma full-stack di AI Red Teaming che protegge gli ecosistemi di IA tramite Agent Scan, Skills Scan, MCP Scan, AI Infra Scan e la valutazione dei jailbreak degli LLM.

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-12-25
14
gepa-ai/gepa

Ottimizza prompt, codice e altro con l'ottimizzazione riflessiva basata sull'IA

gepa-ai
⭐ 7,523 Jupyter Notebook 👤 gepa-ai Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-08-05
15
gkamradt/langchain-tutorials

Panoramica e tutorial della libreria LangChain

gkamradt
⭐ 7,350 Jupyter Notebook 👤 gkamradt User 🕐 Aggiornato 2024-08-05 📅 Creato 2023-02-13
16
simplescaling/s1

s1: Scalatura semplice al momento dell'esecuzione

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 Aggiornato 2025-06-25 📅 Creato 2025-02-01
17
jeinlee1991/chinese-llm-benchmark

NoneLinear - Valutazione ReLE: Valutazione delle capacità dei modelli di IA in cinese (aggiornamento continuo): Attualmente include 374 modelli, coprendo modelli commerciali come ChatGPT, GPT-5.4, Google Gemini-3.1-pro, Claude-4.6, Ernie-X1.1, Ernie-5.0, Qwen3.6-max, Qwen3.6-plus, Baichuan, iFlytek Spark, SenseChat, nonché modelli open source come Step3.5-flash, Kimi-k2.6, Ernie4.5, MiniMax-M2.7, DeepSeek-v4, Qwen3.6, Llama4, Zhipu GLM-5.1, MiMo-V2, LongCat, Gemma4, Mistral e altri. Non fornisce solo una classifica, ma anche un database di difetti dei modelli con oltre 2 milioni di voci, facilitando la ricerca, l'analisi e il miglioramento dei grandi modelli per la comunità.

jeinlee1991
⭐ 6,522 👤 jeinlee1991 User 🕐 Aggiornato 2026-11-20 📅 Creato 2023-06-04
18
Q00/ouroboros

Agent OS: l’agente diventa più intelligente da solo. Noi ci limitiamo a mantenere la linea: selezione tramite colloquio, valutazione per fasi e ciclo di evoluzione con budget definito. Server MCP, 14 ambienti di runtime: Claude Code, Codex CLI, Gemini CLI, OpenCode, Copilot, Kiro e altri.

Q00
⭐ 6,385 Python 👤 Q00 User 🕐 Aggiornato 2026-11-21 📅 Creato 2026-01-14
19
Helicone/helicone

🧊 Piattaforma open source per l'osservabilità di LLM. Una riga di codice per monitorare, valutare e sperimentare. YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2023-01-31
20
Giskard-AI/giskard-oss

🐢 Libreria open-source per la valutazione e il test di agenti LLM

Giskard-AI
⭐ 5,965 Python 👤 Giskard-AI Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2022-03-06
21
PacktPublishing/LLM-Engineers-Handbook

La guida pratica ai LLM: Dalle basi all'implementazione di app LLM e RAG avanzate su AWS utilizzando le best practice di LLMOps

PacktPublishing
⭐ 5,438 Python 👤 PacktPublishing Organization 🕐 Aggiornato 2026-04-22 📅 Creato 2024-04-09
22
going-doer/Paper2Code

Paper2Code: Automazione della generazione di codice da articoli scientifici nell'apprendimento automatico

going-doer
⭐ 5,044 Python 👤 going-doer User 🕐 Aggiornato 2026-03-25 📅 Creato 2025-04-25
23
EvolvingLMMs-Lab/lmms-eval

Toolkit di valutazione multimodale One-for-All per attività testuali, di immagini, video e audio

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-03-07
24
hemansnation/AI-Engineer-Headquarters

Una raccolta di metodi scientifici, processi, algoritmi e sistemi per costruire storie e modelli.

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 Aggiornato 2026-10-28 📅 Creato 2022-03-29
25
truera/trulens

Valutazione e monitoraggio per esperimenti LLM e agenti AI

truera
⭐ 3,665 Python 👤 truera Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2020-11-02
26
lmnr-ai/lmnr

Laminar - piattaforma di osservabilità open source realizzata appositamente per gli agenti IA. YC S24.

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-08-29
27
openai/human-eval

Codice per il paper "Evaluating Large Language Models Trained on Code"

openai
⭐ 3,431 Python 👤 openai Organization 🕐 Aggiornato 2026-10-16 📅 Creato 2021-07-06
28
Sumanth077/ai-engineering-toolkit

Un elenco curato di oltre 100 librerie e framework per ingegneri AI che costruiscono con LLM

Sumanth077
⭐ 3,402 👤 Sumanth077 User 🕐 Aggiornato 2026-05-11 📅 Creato 2025-08-06
29
UKGovernmentBEIS/inspect_ai

Inspect: Un framework per la valutazione di modelli linguistici di grandi dimensioni

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2023-11-14
30
FranxYao/chain-of-thought-hub

Benchmarking delle capacità di ragionamento complesso dei modelli linguistici di grandi dimensioni con il prompt chain-of-thought

FranxYao
⭐ 2,762 Jupyter Notebook 👤 FranxYao User 🕐 Aggiornato 2024-08-04 📅 Creato 2023-03-10
31
genieincodebottle/generative-ai

Risorse complete sull'IA generativa, tra cui una roadmap dettagliata, progetti, casi d'uso, preparazione ai colloqui e preparazione alla codifica.

genieincodebottle
⭐ 2,675 Jupyter Notebook 👤 genieincodebottle User 🕐 Aggiornato 2026-11-09 📅 Creato 2024-01-09
32
gkamradt/needle-in-a-haystack

Esecuzione di recuperi semplici da modelli LLM con varie lunghezze di contesto per misurare l'accuratezza

gkamradt
⭐ 2,408 Jupyter Notebook 👤 gkamradt User 🕐 Aggiornato 2026-06-08 📅 Creato 2023-11-11
33
future-agi/future-agi

Piattaforma open-source end-to-end per valutare, osservare e migliorare applicazioni LLM e agenti AI. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Auto-ospitabile. Apache 2.0.

future-agi
⭐ 2,284 Python 👤 future-agi Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-04-23
34
break-into-data/ai-engineer-toolkit

Progetti e Risorse per aiutarti a diventare un migliore sviluppatore AI.

break-into-data
⭐ 2,189 TypeScript 👤 break-into-data Organization 🕐 Aggiornato 2025-09-15 📅 Creato 2025-02-24
36
msoedov/agentic_security

Scanner di Vulnerabilità Agentic LLM / Kit di Red Teaming AI 🧪

msoedov
⭐ 2,048 Python 👤 msoedov User 🕐 Aggiornato 2026-11-19 📅 Creato 2024-04-11
37
ai-that-works/ai-that-works

🦄 IA che funziona - ogni martedì 10:00 PST

ai-that-works
⭐ 2,016 TypeScript 👤 ai-that-works Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2025-04-02
39
centerforaisafety/hle

L'ultimo esame dell'umanità

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 Aggiornato 2026-09-23 📅 Creato 2025-01-23
41
lizhe2004/Awesome-LLM-RAG-Application

le risorse sull'applicazione basata su LLM con pattern RAG

lizhe2004
⭐ 1,662 👤 lizhe2004 User 🕐 Aggiornato 2026-10-12 📅 Creato 2023-12-27
42
huggingface/aisheets

Crea, arricchisci e trasforma set di dati utilizzando modelli AI senza codice

huggingface
⭐ 1,656 TypeScript 👤 huggingface Organization 🕐 Aggiornato 2026-09-23 📅 Creato 2025-01-16
43
cyberark/FuzzyAI

Uno strumento potente per il fuzzing automatizzato di LLM. È progettato per aiutare sviluppatori e ricercatori di sicurezza a identificare e mitigare potenziali jailbreak nelle API LLM.

cyberark
⭐ 1,611 Jupyter Notebook 👤 cyberark Organization 🕐 Aggiornato 2026-02-06 📅 Creato 2024-12-03
44
sierra-research/tau-bench

Codice e dati per Tau-Bench

sierra-research
⭐ 1,514 Python 👤 sierra-research Organization 🕐 Aggiornato 2026-03-18 📅 Creato 2024-06-06
45
safety-research/bloom

bloom - valuta qualsiasi comportamento immediatamente 🌸🌱

safety-research
⭐ 1,429 Python 👤 safety-research Organization 🕐 Aggiornato 2026-05-07 📅 Creato 2025-06-24
47
meridianlabs-ai/inspect_petri

Un agente di audit di allineamento in grado di esplorare rapidamente ipotesi di allineamento

meridianlabs-ai
⭐ 1,421 Python 👤 meridianlabs-ai Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2025-08-19
48
TIGER-AI-Lab/ClawBench

Benchmark open-source per agenti AI del browser su attività quotidiane.

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 Aggiornato 2026-11-05 📅 Creato 2026-04-10
49
microsoft/prompty

Prompty semplifica la creazione, la gestione, il debug e la valutazione dei prompt LLM per le tue applicazioni AI. Prompty è una classe di asset e un formato per i prompt LLM progettato per migliorare l'osservabilità, la comprensibilità e la portabilità per gli sviluppatori.

microsoft
⭐ 1,288 Rust 👤 microsoft Organization 🕐 Aggiornato 2026-11-09 📅 Creato 2024-04-22
50
langchain-ai/openevals

Valutatori pronti all'uso per le tue app LLM

langchain-ai
⭐ 1,259 Python 👤 langchain-ai Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2025-02-08

Domande frequenti

1

Qual è il repository #llm-evaluation più popolare su GitHub?

Il progetto open source #llm-evaluation più alto in classifica su GitHub è ifixai-ai/iFixAi, con 46,592 stelle. Audit indipendente degli agenti IA. Eseguito da umani o dall'agente stesso, per rispondere alla domanda più cruciale nell'economia degli agenti IA: l'agente sta facendo ciò che dovrebbe fare? Con iFixAi puoi avere questa risposta in meno di 120 secondi.

2

Quali linguaggi di programmazione sono più utilizzati nei repository #llm-evaluation?

Tra i progetti #llm-evaluation più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Jupyter Notebook, TypeScript, Java.

3

Come viene calcolata la classifica dei repository #llm-evaluation?

Monitoriamo 108 repository open source attivi contrassegnati con #llm-evaluation (500+ stelle), per un totale di 444,825 stelle e una media di 4,118 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.