#local-inference Репозитории
Откройте для себя 19 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #local-inference, с общим числом 116,603 звёзд (в среднем 6,137 на проект). Лидером этой темы является oobabooga/textgen, набравший 47,736 звёзд.
Всего репозиториев: 19
Настольное приложение с открытым исходным кодом для локальных LLM. Поддержка текста, зрения, вызова инструментов, API, совместимого с OpenAI/Anthropic. 100% конфиденциально.
Высокопроизводительное обслуживание больших языковых моделей для локального развертывания
Mano-P: Агент GUI-VLA с открытым исходным кодом для периферийных устройств. №1 в OSWorld (специализированный, 58,2%). Запускается локально на Apple M4 Mac mini/MacBook — данные не покидают ваше устройство. Mano-P — это проект GUI-VLA с открытым исходным кодом, поддерживающий локальный запуск на Mac mini/MacBook или через вычислительную плату, реализующий операции автоматизации GUI кросс-платформенного уровня, управляемые исключительно зрением. Данные обрабатываются полностью локально, поддерживается планирование и выполнение сложных задач с множеством шагов.
CORTEX RAG — это корпоративный помощник по поиску и знаниям, который помогает командам находить точные ответы на основе данных компании с цитированием, поиском с учетом разрешений и быстрым развертыванием.
API-сервер, совместимый с Jev, для открытых моделей принятия решений. Ollama для моделей принятия решений: загружайте и запускайте локально 29 семейств моделей (Laya, pplx-decider, Clef, Winnow, coba...) или размещайте их самостоятельно за /v1/systemone. SDK TypeSafe работает без изменений: укажите базовый URL и выберите открытую модель. CLI, настольное приложение, Docker, MCP-сервер и общедоступный бенчмарк.
Локальные модели поддерживают Microsoft Graphrag с использованием ollama (llama3, mistral, gemma2 phi3) – Извлечение LLM и Embedding
Используйте собственный интеллект! Применяйте Go для локального вывода с аппаратным ускорением на базе llama.cpp, whisper.cpp и stable-diffusion.cpp, напрямую интегрированных в ваши приложения на Go. Kronk предоставляет высокоуровневый API и готовый к работе в продакшене сервер моделей.
Пятнистый тюлень — Phocinae-Largha-150M-v1: двуязычная модель для принятия решений на 144,3 млн параметров. Маленькая модель. Большие решения. Маленький тюлень — большие решения.
Инструменты, рабочие процессы ComfyUI и конфигурации бенчмарков для локальной системы инференса с 4 видеокартами RTX 3090
Часто задаваемые вопросы
Какой репозиторий по теме #local-inference наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #local-inference на GitHub — oobabooga/textgen, набравший 47,736 звёзд. Настольное приложение с открытым исходным кодом для локальных LLM. Поддержка текста, зрения, вызова инструментов, API, совместимого с OpenAI/Anthropic. 100% конфиденциально.
Какие языки программирования чаще всего используются в репозиториях по теме #local-inference?
Среди наиболее высоко оценённых проектов по теме #local-inference на GitHub чаще всего используются языки программирования Python, C++, TypeScript, Swift.
Как рассчитывается рейтинг репозиториев по теме #local-inference?
Мы отслеживаем 19 активных репозиториев с открытым исходным кодом, отмеченных тегом #local-inference (500 и более звёзд), с общим числом 116,603 звёзд и в среднем 6,137 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.