#inference Репозитории
Всего репозиториев: 144
📚 Введение в современную статистику - Открытый учебник университетского уровня с современным подходом, подчеркивающим многомерные взаимосвязи и вывод на основе симуляций.
CLI-инструмент для оценки требований к памяти инференса для моделей Hugging Face, написанный на Python.
Не заучивайте машинное обучение. Разберитесь в нём с первых принципов, включая инференс, CUDA, глубокое обучение, науку о данных и обучение с подкреплением.
PyTriton — это интерфейс, похожий на Flask/FastAPI, который упрощает развертывание Triton в средах Python.
⚡ Нативный сервер вывода MLX Swift LLM для Apple Silicon. API, совместимый с OpenAI, потоковая передача с SSD для моделей MoE 100B+, сжатие TurboQuant KV-кеша, приложение для MACOS + iOS iPhone.
Фреймворк компьютерного зрения с открытым исходным кодом для создания и развертывания приложений за считанные минуты
Инструмент для повышения производительности с помощью ИИ – Бесплатный и с открытым исходным кодом, повышает производительность пользователей, а также защищает конфиденциальность и безопасность данных. Включает, но не ограничивается: встроенные локальные эксклюзивные модели ChatGPT, DeepSeek, Phi, Qwen и другие, интеллектуальную пакетную обработку изображений, видео, аудио и т. д. одним щелчком мыши.
Маленький, без зависимостей, быстрый пакет Python для определения типов бинарных файлов путём проверки сигнатуры магических чисел
Примерные ноутбуки для работы с SageMaker Studio Lab. Зарегистрируйтесь для получения учетной записи по ссылке ниже!
Чистый движок вывода LLM на Rust + CUDA — без PyTorch, совместим с OpenAI, обслуживает от Qwen3 до Kimi-K2
Оптимизированный фреймворк/компилятор для глубокого обучения с открытым исходным кодом, написанный на Python.
yolort - это стек времени выполнения для yolov5 на специализированных ускорителях, таких как tensorrt, libtorch, onnxruntime, tvm и ncnn.
Intel® AI Reference Models: содержит оптимизации Intel для запуска рабочих нагрузок глубокого обучения на процессорах Intel® Xeon® Scalable и Intel® Data Center GPUs
Privacy Meter: Библиотека с открытым исходным кодом для аудита конфиденциальности данных в статистических алгоритмах и алгоритмах машинного обучения.
Graph Data Science: уровень абстракции на Python для создания графов знаний, интегрированный с популярными библиотеками графов – поверх Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow и др.
Ollama для классических моделей ML. Компилятор AOT, который преобразует модели XGBoost, LightGBM, scikit-learn, CatBoost и ONNX в нативный код вывода C99. Одна команда для загрузки, одна команда для обслуживания. В 336 раз быстрее, чем вывод на Python.
Нативный .NET-движок инференса больших языковых моделей (LLM) и среда выполнения агентов для моделей GGUF. TensorSharp предоставляет консольное приложение, веб-интерфейс чат-бота, приложение для iPhone, а также совместимые с Ollama/OpenAI HTTP API для программного доступа. Поддерживаются Windows, macOS, iOS и Linux с полноценной поддержкой GPU.
P2P-инференс LLM в браузере: объединяйте свои устройства, чтобы запускать большие открытые модели для чат- и кодинговых агентов.
Легкий, портативный движок вывода ONNX на чистом C99 для встраиваемых устройств с поддержкой аппаратного ускорения.
Deep Learning Streamer (DL Streamer) Pipeline Framework — это фреймворк с открытым исходным кодом для аналитики потокового мультимедиа, основанный на мультимедийном фреймворке GStreamer*, предназначенный для создания сложных конвейеров медиааналитики для облака или периферийных вычислений (Edge).
Высокопроизводительная бессерверная оркестрация задач GPU — уровень планирования, лежащий в основе wavespeed.ai
Достигните пошагового вывода llama3, усвойте основные концепции, освойте вывод процесса, реализуйте код.
Этот репозиторий содержит коды для LipGAN. LipGAN был опубликован как часть статьи под названием "Towards Automatic Face-to-Face Translation".
Преобразовать модель MMDetection в TensorRT, поддержка fp16, int8, пакетного ввода, динамической формы и т. д.
Нативный для инференса агентский каркас для максимизации токенов в инженерии циклов
sparkrun — запускайте, управляйте и останавливайте рабочие нагрузки вывода LLM на системах NVIDIA DGX Spark. Поддержка в реальном времени: https://discord.com/invite/GH5kRgv6ZD
Библиотека Python для обнаружения мелких объектов YOLO и сегментации экземпляров
Локальный инференс для диффузионных языковых моделей (LLaDA, Dream), написанный на Mojo
🏗️ Легко настраивайте, создавайте и развертывайте LLM с открытым исходным кодом!
Triton Model Analyzer — это инструмент командной строки (CLI), помогающий лучше понять требования к вычислительным ресурсам и памяти для моделей Triton Inference Server.
Оценка позы 3D-объектов на основе глубокого обучения с ускорением NVIDIA
Высокопроизводительная система вывода для больших языковых моделей, предназначенная для производственных сред.