#inference Repository
144 repository in totale
๐ Introduzione alla Statistica Moderna - Un libro di testo open source a livello universitario con un approccio moderno che evidenzia le relazioni multivariabili e l'inferenza basata sulla simulazione.
Un CLI per stimare i requisiti di memoria di inferenza per i modelli Hugging Face, scritto in Python.
Non imparare a memoria il machine learning. Comprendilo partendo dai principi fondamentali, inclusi lโinferenza, CUDA, il deep learning, la data science e il reinforcement learning.
Il modello Bark di Suno AI in C/C++ per una rapida generazione di testo-sintesi vocale
PyTriton รจ un'interfaccia simile a Flask/FastAPI che semplifica il deployment di Triton in ambienti Python.
Remory: apprendere una memoria residua per compattare il contesto
โก Server di inferenza LLM MLX Swift nativo per Apple Silicon. API compatibile con OpenAI, streaming SSD per modelli MoE 100B+, compressione TurboQuant KV cache, app MACOS + iOS iPhone.
Un framework open-source di computer vision per creare e distribuire app in pochi minuti
Motore di inferenza Machine Learning per Microcontrollori e Dispositivi Embedded
Strumento di Produttivitร AI โ Gratuito e open source, migliora la produttivitร dell'utente e protegge la privacy e la sicurezza dei dati. Include, ma non solo: ChatGPT locale esclusivo integrato, DeepSeek, Phi, Qwen e altri modelli, elaborazione intelligente batch con un clic di immagini, video, audio, ecc.
Piccolo pacchetto Python senza dipendenze, veloce per inferire i tipi di file binari controllando la firma dei numeri magici
Quaderni di esempio per lavorare con SageMaker Studio Lab. Iscriviti per un account al link qui sotto!
Motore di inferenza LLM puro Rust + CUDA โ nessun PyTorch, compatibile con OpenAI, serve da Qwen3 a Kimi-K2
Un framework/compilatore open-source efficiente per il deep learning, scritto in python.
yolort รจ uno stack di runtime per yolov5 su acceleratori specializzati come tensorrt, libtorch, onnxruntime, tvm e ncnn.
Intelยฎ AI Reference Models: contiene ottimizzazioni Intel per l'esecuzione di carichi di lavoro di deep learning su processori Intelยฎ Xeonยฎ Scalable e GPU Intelยฎ Data Center
Privacy Meter: Una libreria open-source per controllare la privacy dei dati negli algoritmi statistici e di machine learning.
Graph Data Science: uno strato di astrazione in Python per la creazione di knowledge graph, integrato con librerie di grafi popolari โ basato su Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow, ecc.
Ollama per modelli ML classici. Compilatore AOT che converte modelli XGBoost, LightGBM, scikit-learn, CatBoost e ONNX in codice di inferenza nativo C99. Un comando per caricare, un comando per servire. 336x piรน veloce dell'inferenza Python.
Un motore nativo di inferenza per modelli linguistici di grandi dimensioni (LLM) .NET e un runtime per agenti per modelli GGUF. TensorSharp offre unโapplicazione da console, unโinterfaccia chatbot basata sul Web, unโapp per iPhone e API HTTP compatibili con Ollama/OpenAI per lโaccesso programmatico. Supporta Windows, macOS, iOS e Linux con pieno supporto GPU.
Inferenza LLM peer-to-peer nel browser: unisci i tuoi dispositivi per eseguire grandi modelli aperti per agenti di chat e programmazione.
Un motore di inferenza ONNX leggero, portatile, in puro C99 per dispositivi embedded con supporto all'accelerazione hardware.
Deep Learning Streamer (DL Streamer) Pipeline Framework รจ un framework open-source per l'analisi di streaming multimediale, basato sul framework multimediale GStreamer*, per la creazione di pipeline complesse di analisi multimediale per il Cloud o per l'Edge.
Orchestrazione ad alte prestazioni di attivitร GPU serverless โ il livello di pianificazione alla base di wavespeed.ai
Realizza il passaggio di inferenza di llama3 passo dopo passo, afferra i concetti fondamentali, padroneggia la derivazione del processo, implementa il codice.
Questo repository contiene i codici per LipGAN. LipGAN รจ stato pubblicato come parte dell'articolo intitolato "Towards Automatic Face-to-Face Translation".
Converti il modello MMDetection in TensorRT, supporta fp16, int8, input batch, forma dinamica ecc.
Harness per agenti nativo dellโinferenza per la massimizzazione dei token nellโingegneria dei loop
sparkrun: avvia, gestisci e arresta i carichi di lavoro di inferenza LLM sui sistemi NVIDIA DGX Spark. Supporto in tempo reale: https://discord.com/invite/GH5kRgv6ZD
Libreria Python per il rilevamento di piccoli oggetti YOLO e la segmentazione delle istanze
Inferenza locale per modelli linguistici a diffusione (LLaDA, Dream), scritta in Mojo
Esegui i tuoi carichi di lavoro di deep learning su Kubernetes in modo piรน semplice ed efficiente.
Triton Model Analyzer รจ uno strumento CLI per aiutare a comprendere meglio i requisiti di calcolo e memoria dei modelli di Triton Inference Server.
Stima della posa di oggetti 3D mediante deep learning, accelerata da NVIDIA
Un sistema di inferenza ad alte prestazioni per modelli linguistici di grandi dimensioni, progettato per ambienti di produzione.