Git Stars Git Stars

#inference Repository

144
Totale Repository
870,238
Totale stelle
6,043
Media Stelle/Repo
101
OpenIntroStat/ims

๐Ÿ“š Introduzione alla Statistica Moderna - Un libro di testo open source a livello universitario con un approccio moderno che evidenzia le relazioni multivariabili e l'inferenza basata sulla simulazione.

OpenIntroStat
โญ 957 JavaScript ๐Ÿ‘ค OpenIntroStat Organization ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2015-07-13
102
alvarobartt/hf-mem

Un CLI per stimare i requisiti di memoria di inferenza per i modelli Hugging Face, scritto in Python.

alvarobartt
โญ 956 Python ๐Ÿ‘ค alvarobartt User ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2025-12-22
103
uber/neuropod

Un'interfaccia uniforme per eseguire modelli di deep learning da piรน framework

uber
โญ 941 C++ ๐Ÿ‘ค uber Organization ๐Ÿ• Aggiornato 2024-01-03 ๐Ÿ“… Creato 2019-01-23
104
TrenTorch/TrenTorch

Non imparare a memoria il machine learning. Comprendilo partendo dai principi fondamentali, inclusi lโ€™inferenza, CUDA, il deep learning, la data science e il reinforcement learning.

TrenTorch
โญ 867 Python ๐Ÿ‘ค TrenTorch Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-08-21
105
PABannier/bark.cpp

Il modello Bark di Suno AI in C/C++ per una rapida generazione di testo-sintesi vocale

PABannier
โญ 850 C++ ๐Ÿ‘ค PABannier User ๐Ÿ• Aggiornato 2024-11-16 ๐Ÿ“… Creato 2023-07-01
106
triton-inference-server/pytriton

PyTriton รจ un'interfaccia simile a Flask/FastAPI che semplifica il deployment di Triton in ambienti Python.

triton-inference-server
โญ 847 Python ๐Ÿ‘ค triton-inference-server Organization ๐Ÿ• Aggiornato 2025-08-13 ๐Ÿ“… Creato 2022-11-08
107
cyrusbehr/tensorrt-cpp-api

Tutorial API C++ di TensorRT

cyrusbehr
โญ 813 C++ ๐Ÿ‘ค cyrusbehr User ๐Ÿ• Aggiornato 2026-05-30 ๐Ÿ“… Creato 2021-10-25
108
fudan-generative-vision/Remory

Remory: apprendere una memoria residua per compattare il contesto

fudan-generative-vision
โญ 809 Python ๐Ÿ‘ค fudan-generative-vision Organization ๐Ÿ• Aggiornato 2026-11-09 ๐Ÿ“… Creato 2026-10-07
109
serizba/cppflow

Esegui modelli TensorFlow in C++ senza installazione e senza Bazel

serizba
โญ 809 C++ ๐Ÿ‘ค serizba User ๐Ÿ• Aggiornato 2024-08-16 ๐Ÿ“… Creato 2019-05-16
110
SharpAI/SwiftLM

โšก Server di inferenza LLM MLX Swift nativo per Apple Silicon. API compatibile con OpenAI, streaming SSD per modelli MoE 100B+, compressione TurboQuant KV cache, app MACOS + iOS iPhone.

SharpAI
โญ 802 Swift ๐Ÿ‘ค SharpAI Organization ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2026-03-21
111
pipeless-ai/pipeless

Un framework open-source di computer vision per creare e distribuire app in pochi minuti

pipeless-ai
โญ 794 Rust ๐Ÿ‘ค pipeless-ai Organization ๐Ÿ• Aggiornato 2024-05-08 ๐Ÿ“… Creato 2023-07-21
112
emlearn/emlearn

Motore di inferenza Machine Learning per Microcontrollori e Dispositivi Embedded

emlearn
โญ 776 Python ๐Ÿ‘ค emlearn Organization ๐Ÿ• Aggiornato 2026-11-10 ๐Ÿ“… Creato 2018-03-16
113
rnchg/APT

Strumento di Produttivitร  AI โ€“ Gratuito e open source, migliora la produttivitร  dell'utente e protegge la privacy e la sicurezza dei dati. Include, ma non solo: ChatGPT locale esclusivo integrato, DeepSeek, Phi, Qwen e altri modelli, elaborazione intelligente batch con un clic di immagini, video, audio, ecc.

rnchg
โญ 768 C# ๐Ÿ‘ค rnchg User ๐Ÿ• Aggiornato 2025-12-13 ๐Ÿ“… Creato 2024-06-19
114
h2non/filetype.py

Piccolo pacchetto Python senza dipendenze, veloce per inferire i tipi di file binari controllando la firma dei numeri magici

h2non
โญ 766 Python ๐Ÿ‘ค h2non User ๐Ÿ• Aggiornato 2025-05-02 ๐Ÿ“… Creato 2016-06-18
115
stamparm/identYwaf

Strumento di identificazione WAF cieco

stamparm
โญ 758 Python ๐Ÿ‘ค stamparm User ๐Ÿ• Aggiornato 2026-09-10 ๐Ÿ“… Creato 2019-01-10
116
aws/studio-lab-examples

Quaderni di esempio per lavorare con SageMaker Studio Lab. Iscriviti per un account al link qui sotto!

aws
โญ 753 Jupyter Notebook ๐Ÿ‘ค aws Organization ๐Ÿ• Aggiornato 2024-08-24 ๐Ÿ“… Creato 2021-11-23
117
pegainfer-project/pegainfer

Motore di inferenza LLM puro Rust + CUDA โ€” nessun PyTorch, compatibile con OpenAI, serve da Qwen3 a Kimi-K2

pegainfer-project
โญ 748 Rust ๐Ÿ‘ค pegainfer-project Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-02-17
118
MegEngine/InferLLM

un framework di inferenza per modelli LLM leggero

MegEngine
โญ 746 C++ ๐Ÿ‘ค MegEngine Organization ๐Ÿ• Aggiornato 2024-04-07 ๐Ÿ“… Creato 2023-05-04
119
hidet-org/hidet

Un framework/compilatore open-source efficiente per il deep learning, scritto in python.

hidet-org
โญ 742 Python ๐Ÿ‘ค hidet-org Organization ๐Ÿ• Aggiornato 2025-09-04 ๐Ÿ“… Creato 2022-01-04
120
microsoft/vidur

Simulatore preciso, su larga scala ed estensibile per sistemi di inferenza LLM

microsoft
โญ 733 Python ๐Ÿ‘ค microsoft Organization ๐Ÿ• Aggiornato 2026-08-24 ๐Ÿ“… Creato 2023-11-02
121
zhiqwang/yolort

yolort รจ uno stack di runtime per yolov5 su acceleratori specializzati come tensorrt, libtorch, onnxruntime, tvm e ncnn.

zhiqwang
โญ 730 Python ๐Ÿ‘ค zhiqwang User ๐Ÿ• Aggiornato 2026-04-10 ๐Ÿ“… Creato 2020-08-14
122
intel/ai-reference-models

Intelยฎ AI Reference Models: contiene ottimizzazioni Intel per l'esecuzione di carichi di lavoro di deep learning su processori Intelยฎ Xeonยฎ Scalable e GPU Intelยฎ Data Center

intel
โญ 728 Python ๐Ÿ‘ค intel Organization ๐Ÿ• Aggiornato 2026-02-11 ๐Ÿ“… Creato 2018-10-23
123
privacytrustlab/ml_privacy_meter

Privacy Meter: Una libreria open-source per controllare la privacy dei dati negli algoritmi statistici e di machine learning.

privacytrustlab
โญ 715 Jupyter Notebook ๐Ÿ‘ค privacytrustlab Organization ๐Ÿ• Aggiornato 2025-04-26 ๐Ÿ“… Creato 2020-04-08
124
DerwenAI/kglab

Graph Data Science: uno strato di astrazione in Python per la creazione di knowledge graph, integrato con librerie di grafi popolari โ€“ basato su Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow, ecc.

DerwenAI
โญ 696 Jupyter Notebook ๐Ÿ‘ค DerwenAI Organization ๐Ÿ• Aggiornato 2026-01-25 ๐Ÿ“… Creato 2020-10-25
125
kossisoroyce/timber

Ollama per modelli ML classici. Compilatore AOT che converte modelli XGBoost, LightGBM, scikit-learn, CatBoost e ONNX in codice di inferenza nativo C99. Un comando per caricare, un comando per servire. 336x piรน veloce dell'inferenza Python.

kossisoroyce
โญ 692 Python ๐Ÿ‘ค kossisoroyce User ๐Ÿ• Aggiornato 2026-04-16 ๐Ÿ“… Creato 2026-02-27
126
zhongkaifu/TensorSharp

Un motore nativo di inferenza per modelli linguistici di grandi dimensioni (LLM) .NET e un runtime per agenti per modelli GGUF. TensorSharp offre unโ€™applicazione da console, unโ€™interfaccia chatbot basata sul Web, unโ€™app per iPhone e API HTTP compatibili con Ollama/OpenAI per lโ€™accesso programmatico. Supporta Windows, macOS, iOS e Linux con pieno supporto GPU.

zhongkaifu
โญ 681 C# ๐Ÿ‘ค zhongkaifu User ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2026-04-03
127
AntonMu/TrainYourOwnYOLO

Addestra un rilevatore di oggetti yolov3 all'avanguardia da zero!

AntonMu
โญ 673 Jupyter Notebook ๐Ÿ‘ค AntonMu User ๐Ÿ• Aggiornato 2024-08-02 ๐Ÿ“… Creato 2019-07-17
128
Nehanth/pooled

Inferenza LLM peer-to-peer nel browser: unisci i tuoi dispositivi per eseguire grandi modelli aperti per agenti di chat e programmazione.

Nehanth
โญ 658 JavaScript ๐Ÿ‘ค Nehanth User ๐Ÿ• Aggiornato 2026-11-03 ๐Ÿ“… Creato 2026-09-01
129
xboot/libonnx

Un motore di inferenza ONNX leggero, portatile, in puro C99 per dispositivi embedded con supporto all'accelerazione hardware.

xboot
โญ 657 C ๐Ÿ‘ค xboot Organization ๐Ÿ• Aggiornato 2026-07-07 ๐Ÿ“… Creato 2020-10-14
130
open-edge-platform/dlstreamer

Deep Learning Streamer (DL Streamer) Pipeline Framework รจ un framework open-source per l'analisi di streaming multimediale, basato sul framework multimediale GStreamer*, per la creazione di pipeline complesse di analisi multimediale per il Cloud o per l'Edge.

open-edge-platform
โญ 648 C++ ๐Ÿ‘ค open-edge-platform Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2019-03-13
131
WaveSpeedAI/waverless

Orchestrazione ad alte prestazioni di attivitร  GPU serverless โ€” il livello di pianificazione alla base di wavespeed.ai

WaveSpeedAI
โญ 635 Go ๐Ÿ‘ค WaveSpeedAI Organization ๐Ÿ• Aggiornato 2026-08-21 ๐Ÿ“… Creato 2025-10-16
132
therealoliver/Deepdive-llama3-from-scratch

Realizza il passaggio di inferenza di llama3 passo dopo passo, afferra i concetti fondamentali, padroneggia la derivazione del processo, implementa il codice.

therealoliver
โญ 629 Jupyter Notebook ๐Ÿ‘ค therealoliver User ๐Ÿ• Aggiornato 2025-02-24 ๐Ÿ“… Creato 2025-02-19
133
Rudrabha/LipGAN

Questo repository contiene i codici per LipGAN. LipGAN รจ stato pubblicato come parte dell'articolo intitolato "Towards Automatic Face-to-Face Translation".

Rudrabha
โญ 617 Python ๐Ÿ‘ค Rudrabha User ๐Ÿ• Aggiornato 2025-06-22 ๐Ÿ“… Creato 2020-01-02
134
grimoire/mmdetection-to-tensorrt

Converti il modello MMDetection in TensorRT, supporta fp16, int8, input batch, forma dinamica ecc.

grimoire
โญ 598 Python ๐Ÿ‘ค grimoire User ๐Ÿ• Aggiornato 2024-02-18 ๐Ÿ“… Creato 2020-07-12
135
agentic-in/inferoa

Harness per agenti nativo dellโ€™inferenza per la massimizzazione dei token nellโ€™ingegneria dei loop

agentic-in
โญ 570 TypeScript ๐Ÿ‘ค agentic-in Organization ๐Ÿ• Aggiornato 2026-06-18 ๐Ÿ“… Creato 2026-06-08
136
spark-arena/sparkrun

sparkrun: avvia, gestisci e arresta i carichi di lavoro di inferenza LLM sui sistemi NVIDIA DGX Spark. Supporto in tempo reale: https://discord.com/invite/GH5kRgv6ZD

spark-arena
โญ 567 Python ๐Ÿ‘ค spark-arena Organization ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2026-02-16
137
Koldim2001/YOLO-Patch-Based-Inference

Libreria Python per il rilevamento di piccoli oggetti YOLO e la segmentazione delle istanze

Koldim2001
โญ 562 Python ๐Ÿ‘ค Koldim2001 User ๐Ÿ• Aggiornato 2026-04-22 ๐Ÿ“… Creato 2024-03-04
138
dllm-labs/mojo-dllm

Inferenza locale per modelli linguistici a diffusione (LLaDA, Dream), scritta in Mojo

dllm-labs
โญ 546 Python ๐Ÿ‘ค dllm-labs Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2026-10-04
139
kaito-project/aikit

๐Ÿ—๏ธ Affina, crea e distribuisci facilmente LLM open-source!

kaito-project
โญ 545 Go ๐Ÿ‘ค kaito-project Organization ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2023-09-20
140
kubedl-io/kubedl

Esegui i tuoi carichi di lavoro di deep learning su Kubernetes in modo piรน semplice ed efficiente.

kubedl-io
โญ 533 Go ๐Ÿ‘ค kubedl-io Organization ๐Ÿ• Aggiornato 2024-03-04 ๐Ÿ“… Creato 2019-12-10
141
triton-inference-server/model_analyzer

Triton Model Analyzer รจ uno strumento CLI per aiutare a comprendere meglio i requisiti di calcolo e memoria dei modelli di Triton Inference Server.

triton-inference-server
โญ 531 Python ๐Ÿ‘ค triton-inference-server Organization ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2020-09-01
142
NVIDIA-ISAAC-ROS/isaac_ros_pose_estimation

Stima della posa di oggetti 3D mediante deep learning, accelerata da NVIDIA

NVIDIA-ISAAC-ROS
โญ 520 C++ ๐Ÿ‘ค NVIDIA-ISAAC-ROS Organization ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2021-11-04
143
mithril-security/blindai

Distribuzione AI riservata con enclave sicure :lock:

mithril-security
โญ 512 Rust ๐Ÿ‘ค mithril-security Organization ๐Ÿ• Aggiornato 2024-03-19 ๐Ÿ“… Creato 2022-02-06
144
vectorch-ai/ScaleLLM

Un sistema di inferenza ad alte prestazioni per modelli linguistici di grandi dimensioni, progettato per ambienti di produzione.

vectorch-ai
โญ 502 C++ ๐Ÿ‘ค vectorch-ai Organization ๐Ÿ• Aggiornato 2025-12-19 ๐Ÿ“… Creato 2023-07-24