#local-llm Repositórios
122 repositórios no total
Faça fine-tuning de LLMs no seu Mac com Apple Silicon. SFT, DPO, GRPO, Visão, TTS, STT, Embedding e fine-tuning de OCR — nativamente no MLX. API compatível com Unsloth.
🌌 Dê uma alma aos seus personagens favoritos. Soul of Waifu é um aplicativo de desktop para RPG e companhia com IA, apresentando avatares Live2D/VRM, chat de voz e LLM local. Evoluam juntos através de chats imersivos, aventuras de RPG e na sua área de trabalho.
Análise da Voz do Cliente de código aberto, com a privacidade em primeiro lugar. Uma alternativa auto-hospedada ao Enterpret e ao Unwrap que remove dados pessoais dos comentários antes que qualquer LLM os processe.
Inferência local com comportamento semelhante ao de uma API de ponta: Qwen3.8-Flash-Next no AMD Strix Halo, além de pequenos modelos NPU, pelas APIs da OpenAI e da Anthropic em uma única porta.
Inferência em CPU sem GPU para modelos MoE de 30B–284B (Qwen3.8 176.5B certificado com cache fria no Cgroup v2 com 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Uma demonstração simples e experimental de um assistente de voz local com Whisper e um modelo de linguagem grande.
Execute grandes modelos de IA no seu próprio PC: Qwen3.8-Flash-Next no mecanismo da Strata e GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder e MiniCPM-V em um segundo mecanismo desenvolvido para a PolyStrata. Instalação com um clique para Windows e Linux, com API OpenAI/Anthropic no localhost.
Testes de penetração autônomos com IA e código aberto. 50 agentes especializados em web, APIs, nuvem, Active Directory, Kubernetes, CI/CD e IA/LLM (OWASP LLM Top 10), com um grafo de caminhos de ataque verificado por evidências. Executa em um LLM local protegido por um Privacy Gateway. Integra-se ao GitHub, GitLab, Jenkins, VS Code, JetBrains, n8n, Grafana e Splunk.
Execute modelos maiores do que a capacidade da sua RAM ou VRAM transmitindo especialistas MoE a partir de um SSD. Baseado no llama.cpp.
Uma Interface Web para conversar com seus LLMs locais através da API ollama
Companheiros de IA de código aberto, pets de desktop, memória de longo prazo e chat proativo. Diretório completo de projetos de código aberto de relacionamentos humano-IA. Permita que sua IA local exista independentemente das plataformas oficiais, equipada com memória e proatividade.
Lista de plataformas, ferramentas e recursos incríveis para executar LLMs localmente
Seu iPhone ajuda o Mac a executar um modelo de 27 bilhões de parâmetros: leitura mais rápida dos prompts e mais contexto por meio de um cabo USB-C
Fornece assistência automatizada de engenharia reversa através do uso de modelos de linguagem grandes (LLMs) locais em hardware de consumo.
PokeClaw (PocketClaw) — primeira IA on-device que controla seu telefone Android. Gemma 4, sem nuvem, sem chave de API. Poke é abreviação de Pocket.
Maximizar a capacidade de executar diferentes LLMs nos dispositivos mais pequenos possíveis
Construa agentes de IA a partir do zero usando um LLM local - sem frameworks, sem APIs na nuvem, sem raciocínio oculto.
Um servidor MCP de pesquisa web simples, hospedado localmente, para uso com LLMs locais
Controle o fluxo: uma plataforma de IA de código aberto para seus conhecimentos, modelos e canais — web, WhatsApp, e-mail, Outlook, Nextcloud e ownCloud. Modelos locais e na nuvem lado a lado, com o custo de cada resposta.
Capri — um agente de IA para desktop inspirado em Edgerunners. Compatível com Claude 3.7, Claude Code, OpenAI e Ollama/LLaMA local. Companheira waifu de IA personalizável com chat por voz.
A suíte de IA do lado do cliente mais avançada e totalmente offline disponível hoje no Android.
Monitor de sistema Apple Silicon sem sudo (GUI nativa em SwiftUI) com rastreamento de ANE / Media Engine / largura de banda da memória
Execute o Kimi K3 localmente na CPU com cerca de 55 GB de RAM de tempo de execução medida. Um servidor de inferência Linux de arquivo único alimentado pelo cPilot Runtime.
Reescreve rascunhos de IA para que pareçam escritos por uma pessoa — funciona localmente e preserva os fatos
Um agente de programação minimalista e nativo do terminal, escrito em C.
Ponte entre servidores Ollama e MCP, permitindo que LLMs locais usem ferramentas do Protocolo de Contexto do Modelo
jevos: uma alternativa de código aberto ao Jev e ao Microsoft-Decision-1. Decisões de sim ou não, escolhas e pontuações com probabilidades, na CPU do seu laptop.
Instalador com um único comando para uma stack de IA auto-hospedada no seu próprio servidor: n8n, Ollama, Open WebUI, OpenClaw, Dify, Flowise, Supabase, ComfyUI, Qdrant e mais de 30 ferramentas. Docker Compose, HTTPS automático via Caddy e monitoramento integrado. Alternativa gratuita ao Zapier/Make.
Nornicdb é um banco de dados distribuído de baixa latência, Graph+Vector e MVCC temporal, com busca HNSW, travessia de grafos e escritas em menos de um milissegundo. Ao usar Neo4j Bolt/Cypher e gRPC do qdrant, você pode migrar sem alterações enquanto adiciona recursos inteligentes como esquemas, embeddings gerenciados, reranking+LLM, aceleração de GPU, Auto-TLP, decaimento de memória baseado em políticas e servidor MCP.
Construa um pipeline RAG (Retrieval Augmented Generation) do zero e faça com que tudo seja executado localmente.
Entrada de voz para macOS com modelos locais: transcreva, traduza e reescreva em qualquer app. O sucessor do Voxt.
Aplicativo de desktop de código aberto para desenvolvimento de jogos nativo de IA. Crie com Unreal Engine, Unity, Godot, Roblox ou Three.js usando qualquer IA, incluindo modelos locais.
Proxy que permite usar o ollama como um copilot, semelhante ao Github Copilot
Protótipo de LLM local para Android 17 com Jetpack Compose e ONNX Runtime para experimentos de inferência de IA offline.
Execute o Kimi K3 completo em um único dispositivo. E um servidor de API compatível com OpenAI para agentes de chat e codificação locais.
Wiki LLM de Karpathy, 100% local com Ollama. Solte notas em Markdown → IA extrai conceitos → sua wiki Obsidian faz links automáticos e cresce. Zero compartilhamento. Suas notas permanecem suas.
Motor de inferência ultrarrápido para Apple Silicon, otimizado para Qwen e Nemotron. Compatível com as APIs da OpenAI e da Anthropic. Desenvolvido pela equipe da nace.ai
Aproveite o poder dos LLMs locais com este Cliente TUI MCP para Ollama. Apresentando todos os primitivos MCP principais (ferramentas, prompts, recursos), modo agente, multi-servidor, troca de modelos, respostas em streaming, humano no loop, modo de pensamento, configuração de parâmetros do modelo, prompts de sistema e preferências salvas.
SDK de IA local de código aberto — execute IA no dispositivo sem nuvem nem chaves de API. Compatível com GGUF, RAG, geração de imagens, música e vídeo, conversão de fala em texto, inferência P2P e muito mais. Multiplataforma: Linux, macOS, Windows, Android e iOS.
Microsoft GraphRAG + AutoGen + Ollama + Chainlit = Superbot RAG Multiagente Totalmente Local e Gratuito
AlwaysReddy é um assistente de voz LLM que está sempre a apenas uma tecla de atalho de distância.
Decodificação de LLM até 4× mais rápida no Apple Silicon, sem perdas. Port nativo para MLX da decodificação especulativa DSpark da DeepSeek e DFlash da z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 e Bonsai-27B ternário.
Aplicativo para a barra de menus do macOS para usar o DeepSeek V4.1 localmente e com rapidez, com contexto de 1 milhão de tokens.
37 tok/s com Qwen3-Next-80B (48 GB) num portátil com 32 GB; 24 sem rascunhos, contra 2,8 com llama.cpp; leitura a 62 contra 16 tok/s. Mais rápido que llama.cpp em todos os 13 modelos comparados em Q4_K_M. LLMs maiores do que a sua RAM, em C puro, para CPU ou GPU.