#mlops Repository
227 repository in totale
Riassunti e risorse per il libro "Designing Machine Learning Systems" (Chip Huyen, O'Reilly 2022)
La guida pratica ai LLM: Dalle basi all'implementazione di app LLM e RAG avanzate su AWS utilizzando le best practice di LLMOps
PyTorch Lightning + Hydra. Un modello molto user-friendly per la sperimentazione di ML. โก๐ฅโก
Superduper: Framework end-to-end per la creazione di applicazioni e agenti AI personalizzati.
Argilla รจ uno strumento di collaborazione per ingegneri AI ed esperti di dominio per costruire set di dati di alta qualitร
cube studio Piattaforma AI Open-Source Cloud-Native One-Stop per Machine Learning/Deep Learning/Grandi Modelli, MLOps Flusso completo del link algoritmico, Piattaforma di noleggio di capacitร computazionale, Sviluppo online Notebook, Orchestrazione di pipeline di flusso di task drag-and-drop, Addestramento distribuito multi-macchina multi-GPU, Ricerca di iperparametri, Virtualizzazione VGPU del servizio di inferenza, Edge Computing, Annotazione automatizzata della piattaforma di annotazione, Fine-tuning SFT di grandi modelli/Modello di ricompensa/Addestramento di apprendimento per rinforzo di Deepseek, Inferenza multi-macchina di grandi modelli come vLLM/Ollama/MindSpore, Knowledge Base privata, Mercato di modelli AI, Supporto per CPU/GPU/NPU domestici ecosistema Ascend, Supporto per RDMA, Supporto per framework distribuiti come PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano
Elenco curato dei migliori progetti, modelli, strumenti e infrastrutture di IA veramente open-source. Aggiornato quotidianamente.
Un framework MLOps per impacchettare, distribuire, monitorare e gestire migliaia di modelli di machine learning in produzione
๐ค ๐๐ฒ๐ฎ๐ฟ๐ป gratuitamente come costruire un sistema ๐๐๐ & ๐ฅ๐๐ end-to-end pronto per la produzione utilizzando le best practice di ๐๐๐ ๐ข๐ฝ๐: ~ ๐ด๐ฐ๐ถ๐ณ๐ค๐ฆ ๐ค๐ฐ๐ฅ๐ฆ + 12 ๐ญ๐ฆ๐ป๐ช๐ฐ๐ฏ๐ช pratiche
โก๏ธSwanLab - uno strumento open-source di tracciamento e visualizzazione dell'addestramento AI dal design moderno. Supporta l'uso Cloud / Self-hosted. Integrato con PyTorch / Transformers / verl / LLaMA Factory / ms-swift / Ultralytics / MMEngine / Keras ecc.
Framework RAG (Retrieval Augmented Generation) per la creazione di applicazioni open source modulari per la produzione di TrueFoundry
FEDML โ La libreria ML unificata e scalabile per l'addestramento distribuito su larga scala, il model serving e l'apprendimento federato. FEDML Launch, uno scheduler cross-cloud, consente inoltre di eseguire qualsiasi lavoro di intelligenza artificiale su qualsiasi cloud GPU o cluster on-premise. Basata su questa libreria, TensorOpera AI (https://TensorOpera.ai) รจ la tua piattaforma di intelligenza artificiale generativa su larga scala.
Deepchecks: Test per la validazione continua di modelli e dati ML. Deepchecks รจ una soluzione olistica open-source per tutte le tue esigenze di validazione AI e ML, che consente di testare a fondo i tuoi dati e modelli dalla ricerca alla produzione.
Synapsa Commons: corsi di IA gratuiti e pratici, eseguibili ovunque (Colab, Kaggle, Binder, Codespaces, Jupyter). Evidenze di conformitร allโAI Act dellโUE, validazione dei modelli, manutenzione predittiva, estrazione di documenti, recupero e RAG, agenti IA e MCP, oltre a un umanoide simulato. Ogni lezione viene valutata automaticamente. Dal team che sta costruendo Synapsa.
Una raccolta di metodi scientifici, processi, algoritmi e sistemi per costruire storie e modelli.
Server di inferenza open source e cluster di produzione per tutti i modelli di cui il tuo agente ha bisogno.
AI e Machine Learning con Kubeflow, Amazon EKS e SageMaker
Inspect: Un framework per la valutazione di modelli linguistici di grandi dimensioni
Scopri come progettare, sviluppare, distribuire e iterare applicazioni ML pronte per la produzione.
Determined รจ una piattaforma open-source di machine learning che semplifica l'addestramento distribuito, l'ottimizzazione degli iperparametri, il monitoraggio degli esperimenti e la gestione delle risorse. Funziona con PyTorch e TensorFlow.
Impara a costruire il tuo assistente AI Second Brain con LLM, agenti, RAG, fine-tuning, LLMOps e tecniche per sistemi AI.
Il livello di contesto per dati non strutturati: dataset tipizzati e versionati su S3, GCS, Azure
Una libreria open-source per la registrazione dei dati per modelli di machine learning e pipeline di dati. ๐ Fornisce visibilitร sulla qualitร dei dati e sulle prestazioni del modello nel tempo. ๐ก๏ธ Supporta la raccolta dati che preserva la privacy, garantendo sicurezza e robustezza. ๐
Il sistema di riferimento di vLLM per il deployment su scala cluster nativo K8S con ottimizzazione delle prestazioni guidata dalla community
Apache Hamilton aiuta data scientist e ingegneri a definire dataflow testabili, modulari e auto-documentanti, che codificano lineage/tracing e metadati. Funziona e scala ovunque lo faccia python.
CubeStudio รจ una piattaforma open source cloud-native all-in-one per machine learning/deep learning/grandi modelli AI/MaaS/MLOps/piattaforma di intelligenza artificiale/piattaforma di training e inferenza, che copre l'intero pipeline dell'algoritmo, multi-tenancy, piattaforma di noleggio di potenza di calcolo, relay di token, orchestrazione di pipeline di flussi di lavoro tramite trascinamento, training distribuito multi-macchina multi-scheda, ricerca di iperparametri, servizi di inferenza, virtualizzazione VGPU, collaborazione cloud-edge-dispositivo, edge computing, piattaforma di annotazione automatizzata, fine-tuning SFT/modello di ricompensa/training di apprendimento per rinforzo per grandi modelli come DeepSeek, inferenza multi-macchina per grandi modelli con vLLM/Ollama/MindIE, agenti intelligenti LLMOps con knowledge base privata, mercato di modelli AI, supporto per la pianificazione di potenza di calcolo eterogenea nazionale (Ascend, Cambricon, Hygon, Moore Threads, Muxi, ecc.), supporto per IB/RoCE/RDMA e supporto Xinchuang.
Crea applicazioni che prendono decisioni (chatbot, agenti, simulazioni, ecc.). Monitora, traccia, persiste ed esegui sulla tua infrastruttura.
Un elenco curato di fantastici progetti e risorse relativi ad Argo (un progetto laureato della CNCF)
LUPINE รจ un ponte GPU over IP che consente di collegare GPU di macchine remote a macchine solo CPU.
Esecuzione di recuperi semplici da modelli LLM con varie lunghezze di contesto per misurare l'accuratezza