#inference Repository
Scopri 144 repository GitHub open source attivi contrassegnati con #inference, che raccolgono un totale di 870,238 stelle (con una media di 6,043 stelle per progetto). Il progetto leader di questo argomento è vllm-project/vllm, con 97,302 stelle.
144 repository in totale
Un motore di inferenza e serving per LLM ad alta produttività ed efficiente in termini di memoria
Ultralytics YOLOv5 in PyTorch per rilevamento oggetti, segmentazione di istanze, classificazione, addestramento ed esportazione.
DeepSpeed è una libreria di ottimizzazione per il deep learning che rende il training distribuito e l'inferenza facili, efficienti ed efficaci.
SGLang è un framework di serving ad alte prestazioni per modelli linguistici di grandi dimensioni e modelli multimodali.
Soluzioni ML multipiattaforma e personalizzabili per media live e in streaming.
ncnn è un framework di inferenza per reti neurali ad alte prestazioni ottimizzato per piattaforme mobili
FreeToken porta il servizio di modelli su scala data center sul tuo desktop. Esegui modelli enormi localmente, in modo rapido ed efficiente.
🎨 La libreria esaustiva di Pattern Matching per TypeScript, con inferenza di tipo intelligente.
NVIDIA® TensorRT™ è un SDK per l'inferenza di deep learning ad alte prestazioni su GPU NVIDIA. Questo repository contiene i componenti open source di TensorRT.
OpenVINO™ è un toolkit open source per l'ottimizzazione e il deployment dell'inferenza AI.
Il server di inferenza Triton fornisce una soluzione di inferenza ottimizzata per cloud e edge.
Notebook Jupyter 📓 di esempio che dimostrano come costruire, addestrare e distribuire modelli di machine learning utilizzando 🧠 Amazon SageMaker.
Inferenza sulla generazione di testo di modelli linguistici di grandi dimensioni
Implementazione PyTorch di YOLOv3, YOLOv3-SPP e YOLOv3-tiny per il rilevamento di oggetti in tempo reale con addestramento, validazione, inferenza ed esportazione in più formati.
Piattaforma open source per l’inferenza di modelli linguistici, visivi, di embedding, reranking, immagini, audio e video. Distribuisci più motori su hardware eterogeneo, da un laptop a un cluster distribuito. Fornisci modelli tramite API compatibili con OpenAI.
Metti facilmente a punto (SFT/RL), valuta e distribuisci Qwen, Gemma o qualsiasi LLM/VLM agentico open source!
Guida Hello AI World per il deployment di reti di inferenza deep-learning e primitive di visione profonda con TensorRT e NVIDIA Jetson.
Un framework per l'inferenza efficiente del modello con modelli omni-modalità
Runtime MLX nativo per i modelli decisionali tipizzati di Laya: decisioni brevi in 7–14 ms su un M3 Max. Nessuna generazione di testo, né PyTorch o API cloud.
Mooncake è la piattaforma di serving per Kimi, un servizio LLM leader fornito da Moonshot AI.
Un livello decisionale aperto e programmabile per modelli e calcolo.
Strumento di Robustezza Avversariale (ART) - Libreria Python per la Sicurezza del Machine Learning - Evasione, Avvelenamento, Estrazione, Inferenza - Team Rosso e Blu
Un gestore di cluster GPU per il serving di modelli AI ad alte prestazioni (vLLM, SGLang) e istanze GPU on-demand accessibili via SSH.
Superduper: Framework end-to-end per la creazione di applicazioni e agenti AI personalizzati.
cube studio Piattaforma AI Open-Source Cloud-Native One-Stop per Machine Learning/Deep Learning/Grandi Modelli, MLOps Flusso completo del link algoritmico, Piattaforma di noleggio di capacità computazionale, Sviluppo online Notebook, Orchestrazione di pipeline di flusso di task drag-and-drop, Addestramento distribuito multi-macchina multi-GPU, Ricerca di iperparametri, Virtualizzazione VGPU del servizio di inferenza, Edge Computing, Annotazione automatizzata della piattaforma di annotazione, Fine-tuning SFT di grandi modelli/Modello di ricompensa/Addestramento di apprendimento per rinforzo di Deepseek, Inferenza multi-macchina di grandi modelli come vLLM/Ollama/MindSpore, Knowledge Base privata, Mercato di modelli AI, Supporto per CPU/GPU/NPU domestici ecosistema Ascend, Supporto per RDMA, Supporto per framework distribuiti come PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano
Un framework unificato di inferenza e post-allenamento per la generazione accelerata di video.
TNN: sviluppato da Tencent Youtu Lab e Guangying Lab, un framework di inferenza deep learning uniforme per dispositivi mobili, desktop e server. TNN si distingue per diverse caratteristiche eccezionali, tra cui la capacità multipiattaforma, le elevate prestazioni, la compressione dei modelli e la potatura del codice. Basato su ncnn e Rapidnet, TNN rafforza ulteriormente il supporto e l'ottimizzazione delle prestazioni per i dispositivi mobili, attingendo anche ai vantaggi di buona estensibilità e alte prestazioni dagli sforzi open source esistenti.
Modelli di Deep Learning pre-addestrati e demo (alta qualità ed estremamente veloci)
Qualsiasi modello. Qualsiasi hardware. Zero compromessi. Costruito con @ziglang / @openxla / MLIR / @bazelbuild
Libreria open source di operazioni ottimizzate di deep learning (moltiplicazione di matrici, convoluzione e attenzione) per CPU (x64, AArch64, RISC-V) e GPU Intel. Utilizzata da PyTorch, TensorFlow, OpenVINO e ONNX Runtime.
CSGHub è una piattaforma open-source nuovissima per la gestione di LLM, sviluppata dal team OpenCSG. Offre soluzioni sia open-source che on-premise/SaaS, con funzionalità paragonabili a Hugging Face. Ottieni il pieno controllo sul ciclo di vita di LLM, dataset e agenti, con compatibilità dell'SDK Python con Hugging Face. Unisciti a noi! ⭐️
Crea video sul computer che già possiedi. FreeVideo esegue MiniMax H3 con appena 8 GB di VRAM e 16 GB di RAM e adatta il percorso di accelerazione al tuo hardware.
Toolkit ad alte prestazioni per inferenza e deployment di LLM e VLM basato su PaddlePaddle
Server di inferenza open source e cluster di produzione per tutti i modelli di cui il tuo agente ha bisogno.
Accelera l'inferenza e l'addestramento di 🤗 Transformers, Diffusers, TIMM e Sentence Transformers con strumenti di ottimizzazione hardware facili da usare
Ottimo progetto per neolaureati, autunnali, primaverili e stage! Ti guideremo passo dopo passo nell'implementazione di una libreria di inferenza deep learning ad alte prestazioni, supportando l'inferenza di modelli di grandi dimensioni come llama2, Unet, YoloV5, Resnet, ecc. Implementa passo dopo passo una libreria di inferenza deep learning ad alte prestazioni.
Domande frequenti
Qual è il repository #inference più popolare su GitHub?
Il progetto open source #inference più alto in classifica su GitHub è vllm-project/vllm, con 97,302 stelle. Un motore di inferenza e serving per LLM ad alta produttività ed efficiente in termini di memoria
Quali linguaggi di programmazione sono più utilizzati nei repository #inference?
Tra i progetti #inference più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, C++, TypeScript, Jupyter Notebook.
Come viene calcolata la classifica dei repository #inference?
Monitoriamo 144 repository open source attivi contrassegnati con #inference (500+ stelle), per un totale di 870,238 stelle e una media di 6,043 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.