#vlm Repository
89 repository in totale
๐ Libreria di addestramento nativo distribuito Pytorch per LLM/VLM con supporto immediato per Hugging Face
Modelli aperti di decisione multimodale, da 0,8B a 27B, per testo, immagini e video. Decidi assegnando probabilitร ai tuoi candidati e individua gli elementi con riquadri di delimitazione, invece di generare testo. API gratuita, ONNX, GGUF, vLLM e SGLang; codice per il fine-tuning incluso.
MindSpore + ๐คHuggingface: Esegui qualsiasi modello Transformers/Diffusers su MindSpore con compatibilitร e accelerazione senza interruzioni.
ใNuova modalitร agente intelligenteใAssistente GPT per Android in tutti gli scenari, attivabile con tasti volume per interazione vocale, supporta rete, scatti foto, template, analisi PDF e documenti Office, e modalitร agente.
UniWorld: Encoder semantici ad alta risoluzione per la comprensione e la generazione visiva unificata
Un framework ad alte prestazioni per lโaddestramento di LLM, VLM, modelli di diffusione e modelli embodied su GPU NVIDIA e XPU Kunlun. Supporta Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 e altri.
[EMNLP 2026] MobileGym: Una piattaforma di simulazione verificabile e altamente parallela per la ricerca sugli agenti GUI per dispositivi mobili ยท Simulatore Android basato su browser ยท Valutazione verificabile ยท Addestramento RL online scalabile
Una serie di modelli da 11B a pesi aperti per la comprensione di video di lunga durata e in tempo reale
Un elenco curato di articoli sulla visione 3D relativi al dominio della robotica nell'era dei grandi modelli, ovvero LLM/VLM, ispirato da awesome-computer-vision, inclusi articoli, codici e siti Web correlati
[CVPR 2026๐ฅ] ๐งโ๐จ OmniLottie, un generatore di animazioni vettoriali multimodali openโsource che produce file JSON Lottie.
๐๐๐Una raccolta di alcuni fantastici progetti pubblici su Large Language Model (LLM), Vision Language Model (VLM), Vision Language Action (VLA), AI Generated Content (AIGC), i relativi Dataset e Applicazioni.
Una piattaforma di ingegneria VLA all-in-one per l'IA incarnata: dai dati alla distribuzione su robot reali.
Dingo: Uno strumento completo per la valutazione della qualitร di dati, modelli e applicazioni di IA
[ECCV 2026] SparkVSR: Super-risoluzione video interattiva tramite propagazione di fotogrammi chiave sparsi
Questo repository contiene il codice per "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026] e "MMEB-V3" [COLM 2026]
Vai avanti con la tua intelligenza: scrivi applicazioni Go che integrano direttamente llama.cpp per eseguire inferenza locale con accelerazione hardware su Linux, macOS, Windows e WebAssembly.
[CVPR 2024 ๐ฅ] GeoChat, il primo modello linguistico visivo di grandi dimensioni per il telerilevamento
Pacchetto di competenze per agenti IA per video narrati: taglia automaticamente le scene, analizza le immagini per scrivere il testo della narrazione, aggiunge la voce fuori campo e mixa lโaudio per creare il video finale; consente di esportare bozze per Jianying/CapCut, senza GPU | Competenze per agenti dedicate ai riepiloghi video narrati e alle bozze CapCut
๐ค Optimum Intel: Accelera l'inferenza con gli strumenti di ottimizzazione Intel
RAI รจ un framework agentico indipendente dal fornitore per la robotica Physical AI, che utilizza strumenti ROS 2 per eseguire azioni complesse, scenari definiti, esecuzione di interfaccia libera, riassunti dei log, interazione vocale e altro ancora.
Strumento Node Creative Coding / 3D / Elaborazione Immagini ispirato a Quartz Composer
Scalabilitร nei giochi: preaddestramento continuo di agenti incarnati in mondi virtuali diversificati. Pesi su Hugging Face.
Nodi ComfyUI per modelli vision-language: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Include inoltre rilevamento a vocabolario aperto, segmentazione SAM2/SAM3, ragionamento temporale video, GGUF tramite llama.cpp e API LLM/VLM ospitate.
Usa il reMarkable2 come interfaccia per vision-LLMs (ChatGPT, Claude, Gemini). Fantasma nella macchina!
Flame รจ un sistema AI multimodale open-source progettato per tradurre mockup di UI design in codice React di alta qualitร . Sfrutta la modellazione vision-lingua, la sintesi automatizzata dei dati e i flussi di lavoro di addestramento strutturati per colmare il divario tra design e sviluppo front-end.
Fantastica modellazione multimodale [Copre MLLM, UMM e NMM]
ScreenAgent: Un agente di controllo del computer guidato da un modello linguistico visivo di grandi dimensioni (IJCAI-24)
๐ Modelli di visione, linguaggio e azione per la guida autonoma: passato, presente e futuro
[Awesome-Spatial-VLMs] Questo repository รจ la risorsa ufficiale, gestita dalla community, per l'articolo di rassegna: Spatial Intelligence in Vision-Language Models: A Comprehensive Survey;
Un elenco curato di eccellenti articoli su Embodied AI e risorse correlate di ricerca/industria.
๐๐๐ Questo repository elenca alcuni fantastici progetti pubblici su CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX e High Performance Computing (HPC).