#multimodal-ai Repositories
Insgesamt 191 Repositories
VeOmni: Skalierung des Trainings beliebiger Modalitätsmodelle mit einem modellzentrierten verteilten Rezept-Zoo
Awesome-LLM-3D: eine kuratierte Liste von Multi-modalen Large Language Models in der 3D-Welt Ressourcen
Offizielles Repository von 'Visual-RFT: Visual Reinforcement Fine-Tuning' & 'Visual-ARFT: Visual Agentic Reinforcement Fine-Tuning’
Large Language-and-Vision Assistant für Biomedizin, entwickelt für multimodale Fähigkeiten auf GPT-4-Niveau.
【LLMs Neun-Schichten-Dämonenturm】Teilen von Praxiserfahrungen und Kenntnissen zu LLMs in Bereichen wie natürliche Sprachverarbeitung (ChatGLM, Chinese-LLaMA-Alpaca, Xiaoyangtuo Vicuna, LLaMA, GPT4ALL usw.), Informationsabruf (langchain), Sprachsynthese, Spracherkennung, Multimodalität (Stable Diffusion, MiniGPT-4, VisualGLM-6B, Ziya-Visual usw.).
Extrahieren Sie strukturierte Daten und Erkenntnisse aus Dokumenten mithilfe großer Sprachmodelle und Entscheidungsmodelle
Das offizielle Repository des von Alibaba Cloud vorgeschlagenen Qwen2-Audio-Chat- und vortrainierten großen Audio-Sprachmodells.
Rezepte zum Verkleinern, Optimieren und Anpassen von hochmodernen Bildmodellen. 💜
Die NVIDIA AI Blueprint für Videosuche und -zusammenfassung (VSS) ist eine GPU-beschleunigte Referenzarchitektur zum Erstellen von Videoanalyse-Agenten mit Echtzeit-verifizierten Warnmeldungen, visuellen Frage-Antwort-Funktionen und automatisierten Berichten. Die VSS Blueprint verwendet visuelle Sprachmodelle (VLM) wie NVIDIA Cosmos, LLMs wie NVIDIA Nemotron, RAG und NVIDIA NIM.
Semantische Suche. Durchsuchen Sie lokale Fotos und Videos mithilfe natürlicher Sprache. KI-semantische Suche nach lokalen Inhalten. Bildersuche, Lokale Inhalte finden, Szenen anhand von Textbeschreibungen abgleichen, Videosuchfunktion für Frames, Suche nach Videos anhand von Szenenbeschreibungen.
Chatbot Ollama ist eine Open-Source-Chat-Benutzeroberfläche für Ollama.
EVA OS — Ein multimodales Echtzeit-AIOS für Hardware der nächsten Generation, das Ihre Geräte „lebendig“ und so intelligent wie ein echtes Gehirn macht.
OpenGUI ist ein Android-GUI-Agenten-Framework für KI auf Mobiltelefonen, das echte mobile Apps über die grafische Benutzeroberfläche sehen, planen und bedienen kann.
TorchMultimodal ist eine PyTorch-Bibliothek zum Trainieren von hochmodernen multimodalen Multi-Task-Modellen in großem Maßstab.
Hochleistungs-LLM-Inferenzserver, kompatibel mit OpenAI und Anthropic, für Apple Silicon. Natives MLX, kontinuierliches Batching, multimodale Modelle, MCP-Toolaufrufe und Claude-Code-Unterstützung.
Ragflow-Plus ist eine weiterentwickelte Version von Ragflow, die sie prägnanter und praktischer macht
Sammle einige Arbeiten über Transformer für Detektion und Segmentierung. Awesome Detection Transformer für Computer Vision (CV)
Kuratierter visueller Katalog mit über 200 Architekturen von Vision-Language-Modellen (VLM/MLLM): Fachartikel, Diagramme, Trainingsrezepte, Datensätze und ein Veröffentlichungszeitplan für multimodale KI-Agenten.
📰 Lesenswertes: Publikationen und Blogs zu Speculative Decoding ⚡️
Ihr offener autonomer Android-Agent — ein produktionsreifer, selbstplanender KI-Assistent, angetrieben von lokalen/entfernten LLMs und barrierefreiheitsgesteuerter Bildschirmautomatisierung.
OpenTSLM: Zeitreihen-Sprachmodelle für die Schlussfolgerung über multivariate medizinische Text- und Zeitreihendaten
Das offizielle GitHub-Repository für den Übersichtsartikel „A Survey on Diffusion Language Models“.