#llama Repositórios
225 repositórios no total
Ainda Outro Modelo de Linguagem: inferência LLM em C++/CUDA, sem bibliotecas exceto para E/S
[ECCV2024] Modelo de Linguagem Grande Multimodal Fundamentado com Tokenização Visual Localizada
Intervenção no Tempo de Inferência: Extraindo Respostas Verídicas de um Modelo de Linguagem
Este é um repositório de PNL (Processamento de Linguagem Natural) de Deep Learning que organiza as tarefas downstream dos modelos mais recentes, como Topic Models, BERT, GPT e LLM, abrangendo desde o pré-processamento de texto, utilizando o TensorFlow.
Treine e Inferira Embeddings de Sentenças Poderosos com AnglE | 🔥 SOTA nos Rankings (Leaderboard) STS e MTEB
[ICLR 2026] Um framework para treinamento por reforço e inferência multiagente baseados em LLM
LLaVA-Mini é um modelo multimodal grande unificado (LMM) que pode suportar a compreensão de imagens, imagens de alta resolução e vídeos de forma eficiente.
Projetos industriais completos de IA generativa em modelos LLM com Deployment_Awesome LLM Projects
Use o Code Llama com o Visual Studio Code e a extensão Continue. Uma alternativa local de LLM ao GitHub Copilot.
Open Model Engine (OME) — operador Kubernetes para serving de LLMs, agendamento de GPUs e gerenciamento do ciclo de vida dos modelos. Compatível com SGLang, vLLM, TensorRT-LLM e Triton
Assistente com IA para ajudar você com suas tarefas diárias, impulsionado por Llama 3, DeepSeek R1 e muitos outros modelos no HuggingFace.
Um CLI reativo que gera mensagens de commit para Git e Jujutsu com Ollama, ChatGPT, Gemini, Claude, Mistral e outras IAs
RESTai é uma plataforma open-source AIaaS (IA como Serviço). Suporta muitos LLM públicos e locais suportados por Ollama/vLLM/etc. Uso preciso de embeddings, ajuste, análises etc. Geração integrada de imagem/áudio com carregamento dinâmico de geradores. Implantação de chat ao vivo. Linguagem gráfica baseada em blocos integrada. Versionamento de prompts e muito mais...
[ICML 2024] LESS: Selecionando Dados Influentes para Ajuste Fino de Instrução Direcionado
Servidor de inferência de linguagem altamente otimizado de código aberto, local e auto-hospedado que suporta ASR/STT, TTS e LLM através de WebRTC, REST e WS
Um sistema de inferência de alto desempenho para modelos de linguagem grandes, projetado para ambientes de produção.
🚀🚀🚀 Este repositório lista alguns projetos públicos incríveis de CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX e Computação de Alto Desempenho (HPC).