#inference 저장소
#inference 태그가 지정된 GitHub의 활성 오픈 소스 저장소 144개를 확인해 보세요. 총 870,238개의 스타를 획득했으며 프로젝트당 평균 6,043개입니다. 이 주제를 이끄는 저장소는 97,302개의 스타를 받은 vllm-project/vllm입니다.
저장소 총 144개
NVIDIA® TensorRT™는 NVIDIA GPU에서 고성능 딥러닝 추론을 위한 SDK입니다. 이 저장소에는 TensorRT의 오픈 소스 구성 요소가 포함되어 있습니다.
🧠 Amazon SageMaker를 사용하여 머신 러닝 모델을 구축, 훈련 및 배포하는 방법을 보여주는 예제 📓 Jupyter 노트북.
실시간 객체 탐지를 위한 YOLOv3, YOLOv3-SPP 및 YOLOv3-tiny의 PyTorch 구현으로, 학습, 검증, 추론 및 다중 형식 내보내기를 지원합니다.
언어, 비전, 임베딩, 재순위화, 이미지, 오디오 및 비디오 모델을 위한 오픈 소스 추론 플랫폼입니다. 여러 엔진을 사용해 노트북부터 분산 클러스터까지 다양한 하드웨어 환경에 배포할 수 있습니다. OpenAI 호환 API를 통해 모델을 제공합니다.
TensorRT와 NVIDIA Jetson을 사용한 딥러닝 추론 네트워크 및 딥 비전 기본 요소 배포 가이드: Hello AI World
Laya 타입 결정 모델을 위한 네이티브 MLX 런타임 — M3 Max에서 짧은 결정을 7~14ms에 처리합니다. 텍스트 생성, PyTorch 또는 클라우드 API를 사용하지 않습니다.
적대적 견고성 도구 상자 (ART) - 머신러닝 보안을 위한 Python 라이브러리 - 회피, 중독, 추출, 추론 - 레드팀과 블루팀
cube studio 오픈소스 클라우드 네이티브 올인원 머신러닝/딥러닝/대규모 모델 AI 플랫폼, MLOps 알고리즘 링크 전체 프로세스, 컴퓨팅 파워 대여 플랫폼, 노트북 온라인 개발, 드래그 앤 드롭 작업 흐름 파이프라인 오케스트레이션, 다중 머신 다중 GPU 분산 학습, 하이퍼파라미터 검색, 추론 서비스 VGPU 가상화, 엣지 컴퓨팅, 주석 플랫폼 자동화 주석, Deepseek 등 대규모 모델 SFT 미세 조정/보상 모델/강화 학습 훈련, vLLM/Ollama/MindSpore 등 대규모 모델 다중 머신 추론, 비공개 지식 베이스, AI 모델 마켓, 국산 CPU/GPU/NPU Ascend 생태계 지원, RDMA 지원, PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano 등 분산 지원
TNN: Tencent Youtu Lab 및 Guangying Lab에서 개발한 모바일, 데스크톱 및 서버용 통합 딥러닝 추론 프레임워크입니다. TNN은 크로스 플랫폼 기능, 높은 성능, 모델 압축 및 코드 가지치기를 포함한 몇 가지 뛰어난 기능으로 구별됩니다. ncnn 및 Rapidnet을 기반으로 TNN은 모바일 장치에 대한 지원 및 성능 최적화를 더욱 강화하며, 기존 오픈 소스 노력의 우수한 확장성 및 고성능 이점도 활용합니다.
CPU(x64, AArch64, RISC-V) 및 Intel GPU를 위한 최적화된 딥 러닝 연산(행렬 곱셈, 컨볼루션, 어텐션) 오픈 소스 라이브러리입니다. PyTorch, TensorFlow, OpenVINO, ONNX Runtime에서 사용됩니다.
CSGHub는 OpenCSG 팀이 개발한 LLM 관리를 위한 새로운 오픈 소스 플랫폼입니다. Hugging Face와 유사한 기능을 제공하는 오픈 소스 및 온프레미스/SaaS 솔루션을 모두 제공합니다. Hugging Face와의 Python SDK 호환성을 통해 LLM, 데이터셋 및 에이전트의 전체 수명 주기를 완벽하게 제어하세요. 지금 참여하세요! ⭐️
이미 보유한 컴퓨터로 동영상을 만들어 보세요. FreeVideo는 VRAM 8GB와 RAM 16GB만으로도 MiniMax H3를 실행하며, 하드웨어에 맞춰 가속 경로를 조정합니다.
사용하기 쉬운 하드웨어 최적화 도구로 🤗 Transformers, Diffusers, TIMM 및 Sentence Transformers의 추론 및 학습을 가속화하세요
채용, 가을 채용, 봄 채용, 인턴십 좋은 프로젝트! Llama2, Unet, YoloV5, Resnet 등 대형 모델의 추론을 지원하는 고성능 딥러닝 추론 라이브러리를 처음부터 단계별로 구현하도록 안내합니다. 고성능 딥러닝 추론 라이브러리를 단계별로 구현하세요.
자주 묻는 질문
GitHub에서 가장 인기 있는 #inference 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #inference 프로젝트는 97,302개의 스타를 받은 vllm-project/vllm입니다. LLM을 위한 고성능, 메모리 효율적인 추론 및 서빙 엔진
#inference 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #inference 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, C++, TypeScript, Jupyter Notebook입니다.
#inference 저장소 순위는 어떻게 계산되나요?
#inference 태그가 지정된 활성 오픈 소스 저장소(144개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 870,238개이며 저장소당 평균 6,043개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.