#inference 저장소
저장소 총 144개
PyTriton은 Python 환경에서 Triton의 배포를 단순화하는 Flask/FastAPI와 유사한 인터페이스입니다.
⚡ Apple Silicon용 네이티브 MLX Swift LLM 추론 서버. OpenAI 호환 API, 100B+ MoE 모델용 SSD 스트리밍, TurboQuant KV 캐시 압축, MACOS + iOS iPhone 앱.
AI 생산성 도구 – 무료이며 오픈 소스이며 사용자 생산성을 향상시키고 개인 정보 보호 및 데이터 보안을 보호합니다. 여기에는 다음이 포함되지만 이에 국한되지 않습니다. 내장된 로컬 전용 ChatGPT, DeepSeek, Phi, Qwen 및 기타 모델, 이미지, 비디오, 오디오 등의 원클릭 일괄 지능형 처리.
순수 Rust + CUDA LLM 추론 엔진 — PyTorch 불필요, OpenAI 호환, Qwen3에서 Kimi-K2까지 지원
yolort는 tensorrt, libtorch, onnxruntime, tvm 및 ncnn과 같은 특수 가속기에서 yolov5를 위한 런타임 스택입니다.
Intel® AI Reference Models: Intel® Xeon® Scalable 프로세서와 Intel® Data Center GPU에서 딥러닝 워크로드를 실행하는 데 대한 Intel 최적화가 포함되어 있습니다
Graph Data Science: Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow 등과 통합된 인기 있는 그래프 라이브러리를 기반으로 하는 지식 그래프 구축을 위한 Python 추상화 계층입니다.
Ollama: 고전 ML 모델용. XGBoost, LightGBM, scikit-learn, CatBoost 및 ONNX 모델을 네이티브 C99 추론 코드로 변환하는 AOT 컴파일러. 로드 한 명령어, 서빙 한 명령어. Python 추론보다 336배 빠름.
GGUF 모델을 위한 네이티브 .NET LLM 추론 엔진이자 에이전트 런타임입니다. TensorSharp는 콘솔 애플리케이션, 웹 기반 챗봇 인터페이스, iPhone 앱, 그리고 프로그래밍 방식으로 사용할 수 있는 Ollama/OpenAI 호환 HTTP API를 제공합니다. Windows, macOS, iOS 및 Linux를 지원하며 GPU 기능을 완벽하게 활용할 수 있습니다.
Deep Learning Streamer(DL Streamer) 파이프라인 프레임워크는 GStreamer* 멀티미디어 프레임워크를 기반으로 하는 오픈 소스 스트리밍 미디어 분석 프레임워크로, 클라우드 또는 엣지에서 복잡한 미디어 분석 파이프라인을 생성하는 데 사용됩니다.
llama3 추론 단계를 단계별로 달성하고 핵심 개념을 파악하며 프로세스 유도를 마스터하고 코드를 구현합니다.
이 저장소에는 LipGAN의 코드가 포함되어 있습니다. LipGAN은 "Towards Automatic Face-to-Face Translation"이라는 제목의 논문의 일부로 발표되었습니다.
MMDetection 모델을 TensorRT로 변환, fp16, int8, 배치 입력, 동적 모양 등을 지원합니다.
sparkrun - NVIDIA DGX Spark 시스템에서 LLM 추론 워크로드를 시작, 관리 및 중지합니다. 실시간 지원: https://discord.com/invite/GH5kRgv6ZD
Triton Model Analyzer는 Triton Inference Server 모델의 컴퓨팅 및 메모리 요구 사항을 더 잘 이해하는 데 도움이 되는 CLI 도구입니다.