Git Stars Git Stars

#inference 저장소

144
총 리포지토리
870,238
총 별점
6,043
리포지토리당 평균 스타 수

저장소 총 144개

101
OpenIntroStat/ims

📚 현대 통계학 개론 - 다변수 관계와 시뮬레이션 기반 추론을 강조하는 현대적 접근 방식을 특징으로 하는 대학 수준의 오픈 소스 교과서.

OpenIntroStat
⭐ 957 JavaScript 👤 OpenIntroStat Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2015-07-13
102
alvarobartt/hf-mem

Python으로 작성된, Hugging Face 모델의 추론 메모리 요구량을 추정하는 CLI입니다.

alvarobartt
⭐ 956 Python 👤 alvarobartt User 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-12-22
103
uber/neuropod

여러 프레임워크의 딥러닝 모델을 실행하기 위한 통일된 인터페이스

uber
⭐ 941 C++ 👤 uber Organization 🕐 업데이트됨 2024-01-03 📅 생성됨 2019-01-23
104
TrenTorch/TrenTorch

머신러닝을 암기하지 마세요. 추론, CUDA, 딥러닝, 데이터 과학, 강화 학습을 포함해 근본 원리부터 이해하세요.

TrenTorch
⭐ 867 Python 👤 TrenTorch Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-08-21
105
PABannier/bark.cpp

빠른 텍스트 음성 변환 생성을 위한 C/C++의 Suno AI Bark 모델

PABannier
⭐ 850 C++ 👤 PABannier User 🕐 업데이트됨 2024-11-16 📅 생성됨 2023-07-01
106
triton-inference-server/pytriton

PyTriton은 Python 환경에서 Triton의 배포를 단순화하는 Flask/FastAPI와 유사한 인터페이스입니다.

triton-inference-server
⭐ 847 Python 👤 triton-inference-server Organization 🕐 업데이트됨 2025-08-13 📅 생성됨 2022-11-08
107
cyrusbehr/tensorrt-cpp-api

TensorRT C++ API 튜토리얼

cyrusbehr
⭐ 813 C++ 👤 cyrusbehr User 🕐 업데이트됨 2026-05-30 📅 생성됨 2021-10-25
108
fudan-generative-vision/Remory

Remory: 컨텍스트 압축을 위한 잔차 메모리 학습

fudan-generative-vision
⭐ 809 Python 👤 fudan-generative-vision Organization 🕐 업데이트됨 2026-11-09 📅 생성됨 2026-10-07
109
serizba/cppflow

C++에서 설치 없이 Bazel 없이 TensorFlow 모델 실행

serizba
⭐ 809 C++ 👤 serizba User 🕐 업데이트됨 2024-08-16 📅 생성됨 2019-05-16
110
SharpAI/SwiftLM

⚡ Apple Silicon용 네이티브 MLX Swift LLM 추론 서버. OpenAI 호환 API, 100B+ MoE 모델용 SSD 스트리밍, TurboQuant KV 캐시 압축, MACOS + iOS iPhone 앱.

SharpAI
⭐ 802 Swift 👤 SharpAI Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2026-03-21
111
pipeless-ai/pipeless

몇 분 안에 앱을 구축하고 배포할 수 있는 오픈 소스 컴퓨터 비전 프레임워크

pipeless-ai
⭐ 794 Rust 👤 pipeless-ai Organization 🕐 업데이트됨 2024-05-08 📅 생성됨 2023-07-21
112
emlearn/emlearn

마이크로컨트롤러 및 임베디드 디바이스용 머신러닝 추론 엔진

emlearn
⭐ 776 Python 👤 emlearn Organization 🕐 업데이트됨 2026-11-10 📅 생성됨 2018-03-16
113
rnchg/APT

AI 생산성 도구 – 무료이며 오픈 소스이며 사용자 생산성을 향상시키고 개인 정보 보호 및 데이터 보안을 보호합니다. 여기에는 다음이 포함되지만 이에 국한되지 않습니다. 내장된 로컬 전용 ChatGPT, DeepSeek, Phi, Qwen 및 기타 모델, 이미지, 비디오, 오디오 등의 원클릭 일괄 지능형 처리.

rnchg
⭐ 768 C# 👤 rnchg User 🕐 업데이트됨 2025-12-13 📅 생성됨 2024-06-19
114
h2non/filetype.py

작고, 의존성 없는, 빠른 Python 패키지로 마법 숫자 시그니처를 확인하여 바이너리 파일 유형을 추론합니다.

h2non
⭐ 766 Python 👤 h2non User 🕐 업데이트됨 2025-05-02 📅 생성됨 2016-06-18
115
stamparm/identYwaf

블라인드 WAF 식별 도구

stamparm
⭐ 758 Python 👤 stamparm User 🕐 업데이트됨 2026-09-10 📅 생성됨 2019-01-10
116
aws/studio-lab-examples

SageMaker Studio Lab 작업을 위한 예제 노트북입니다. 아래 링크에서 계정을 신청하세요!

aws
⭐ 753 Jupyter Notebook 👤 aws Organization 🕐 업데이트됨 2024-08-24 📅 생성됨 2021-11-23
117
pegainfer-project/pegainfer

순수 Rust + CUDA LLM 추론 엔진 — PyTorch 불필요, OpenAI 호환, Qwen3에서 Kimi-K2까지 지원

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-02-17
118
MegEngine/InferLLM

경량 LLM 모델 추론 프레임워크

MegEngine
⭐ 746 C++ 👤 MegEngine Organization 🕐 업데이트됨 2024-04-07 📅 생성됨 2023-05-04
119
hidet-org/hidet

Python으로 작성된 오픈 소스 효율적인 딥러닝 프레임워크/컴파일러.

hidet-org
⭐ 742 Python 👤 hidet-org Organization 🕐 업데이트됨 2025-09-04 📅 생성됨 2022-01-04
120
microsoft/vidur

정확하고 대규모이며 확장 가능한 LLM 추론 시스템 시뮬레이터

microsoft
⭐ 733 Python 👤 microsoft Organization 🕐 업데이트됨 2026-08-24 📅 생성됨 2023-11-02
121
zhiqwang/yolort

yolort는 tensorrt, libtorch, onnxruntime, tvm 및 ncnn과 같은 특수 가속기에서 yolov5를 위한 런타임 스택입니다.

zhiqwang
⭐ 730 Python 👤 zhiqwang User 🕐 업데이트됨 2026-04-10 📅 생성됨 2020-08-14
122
intel/ai-reference-models

Intel® AI Reference Models: Intel® Xeon® Scalable 프로세서와 Intel® Data Center GPU에서 딥러닝 워크로드를 실행하는 데 대한 Intel 최적화가 포함되어 있습니다

intel
⭐ 728 Python 👤 intel Organization 🕐 업데이트됨 2026-02-11 📅 생성됨 2018-10-23
123
privacytrustlab/ml_privacy_meter

Privacy Meter: 통계 및 머신러닝 알고리즘의 데이터 개인 정보 보호를 감사하는 오픈 소스 라이브러리.

privacytrustlab
⭐ 715 Jupyter Notebook 👤 privacytrustlab Organization 🕐 업데이트됨 2025-04-26 📅 생성됨 2020-04-08
124
DerwenAI/kglab

Graph Data Science: Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow 등과 통합된 인기 있는 그래프 라이브러리를 기반으로 하는 지식 그래프 구축을 위한 Python 추상화 계층입니다.

DerwenAI
⭐ 696 Jupyter Notebook 👤 DerwenAI Organization 🕐 업데이트됨 2026-01-25 📅 생성됨 2020-10-25
125
kossisoroyce/timber

Ollama: 고전 ML 모델용. XGBoost, LightGBM, scikit-learn, CatBoost 및 ONNX 모델을 네이티브 C99 추론 코드로 변환하는 AOT 컴파일러. 로드 한 명령어, 서빙 한 명령어. Python 추론보다 336배 빠름.

kossisoroyce
⭐ 692 Python 👤 kossisoroyce User 🕐 업데이트됨 2026-04-16 📅 생성됨 2026-02-27
126
zhongkaifu/TensorSharp

GGUF 모델을 위한 네이티브 .NET LLM 추론 엔진이자 에이전트 런타임입니다. TensorSharp는 콘솔 애플리케이션, 웹 기반 챗봇 인터페이스, iPhone 앱, 그리고 프로그래밍 방식으로 사용할 수 있는 Ollama/OpenAI 호환 HTTP API를 제공합니다. Windows, macOS, iOS 및 Linux를 지원하며 GPU 기능을 완벽하게 활용할 수 있습니다.

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-04-03
127
AntonMu/TrainYourOwnYOLO

최첨단 yolov3 객체 탐지기를 처음부터 훈련하세요!

AntonMu
⭐ 673 Jupyter Notebook 👤 AntonMu User 🕐 업데이트됨 2024-08-02 📅 생성됨 2019-07-17
128
Nehanth/pooled

브라우저에서의 P2P LLM 추론: 기기를 함께 묶어 대규모 오픈 모델을 실행하고, 채팅 및 코딩 에이전트에 활용하세요.

Nehanth
⭐ 658 JavaScript 👤 Nehanth User 🕐 업데이트됨 2026-11-03 📅 생성됨 2026-09-01
129
xboot/libonnx

하드웨어 가속 지원이 포함된 임베디드 장치를 위한 경량, 휴대용 순수 C99 ONNX 추론 엔진.

xboot
⭐ 657 C 👤 xboot Organization 🕐 업데이트됨 2026-07-07 📅 생성됨 2020-10-14
130
open-edge-platform/dlstreamer

Deep Learning Streamer(DL Streamer) 파이프라인 프레임워크는 GStreamer* 멀티미디어 프레임워크를 기반으로 하는 오픈 소스 스트리밍 미디어 분석 프레임워크로, 클라우드 또는 엣지에서 복잡한 미디어 분석 파이프라인을 생성하는 데 사용됩니다.

open-edge-platform
⭐ 648 C++ 👤 open-edge-platform Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2019-03-13
131
WaveSpeedAI/waverless

고성능 서버리스 GPU 작업 오케스트레이션 — wavespeed.ai를 뒷받침하는 스케줄링 계층

WaveSpeedAI
⭐ 635 Go 👤 WaveSpeedAI Organization 🕐 업데이트됨 2026-08-21 📅 생성됨 2025-10-16
132
therealoliver/Deepdive-llama3-from-scratch

llama3 추론 단계를 단계별로 달성하고 핵심 개념을 파악하며 프로세스 유도를 마스터하고 코드를 구현합니다.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 업데이트됨 2025-02-24 📅 생성됨 2025-02-19
133
Rudrabha/LipGAN

이 저장소에는 LipGAN의 코드가 포함되어 있습니다. LipGAN은 "Towards Automatic Face-to-Face Translation"이라는 제목의 논문의 일부로 발표되었습니다.

Rudrabha
⭐ 617 Python 👤 Rudrabha User 🕐 업데이트됨 2025-06-22 📅 생성됨 2020-01-02
134
grimoire/mmdetection-to-tensorrt

MMDetection 모델을 TensorRT로 변환, fp16, int8, 배치 입력, 동적 모양 등을 지원합니다.

grimoire
⭐ 598 Python 👤 grimoire User 🕐 업데이트됨 2024-02-18 📅 생성됨 2020-07-12
135
agentic-in/inferoa

루프 엔지니어링을 위한 추론 네이티브 토큰 극대화 에이전트 하네스

agentic-in
⭐ 570 TypeScript 👤 agentic-in Organization 🕐 업데이트됨 2026-06-18 📅 생성됨 2026-06-08
136
spark-arena/sparkrun

sparkrun - NVIDIA DGX Spark 시스템에서 LLM 추론 워크로드를 시작, 관리 및 중지합니다. 실시간 지원: https://discord.com/invite/GH5kRgv6ZD

spark-arena
⭐ 567 Python 👤 spark-arena Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2026-02-16
137
Koldim2001/YOLO-Patch-Based-Inference

YOLO 소형 객체 감지 및 인스턴스 분할을 위한 Python 라이브러리

Koldim2001
⭐ 562 Python 👤 Koldim2001 User 🕐 업데이트됨 2026-04-22 📅 생성됨 2024-03-04
138
dllm-labs/mojo-dllm

Mojo로 작성된 확산 언어 모델(LLaDA, Dream)의 로컬 추론

dllm-labs
⭐ 546 Python 👤 dllm-labs Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-10-04
139
kaito-project/aikit

🏗️ 오픈 소스 LLM을 쉽게 미세 조정, 빌드 및 배포하세요!

kaito-project
⭐ 545 Go 👤 kaito-project Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2023-09-20
140
kubedl-io/kubedl

Kubernetes에서 딥러닝 워크로드를 더 쉽게 그리고 효율적으로 실행하세요.

kubedl-io
⭐ 533 Go 👤 kubedl-io Organization 🕐 업데이트됨 2024-03-04 📅 생성됨 2019-12-10
141
triton-inference-server/model_analyzer

Triton Model Analyzer는 Triton Inference Server 모델의 컴퓨팅 및 메모리 요구 사항을 더 잘 이해하는 데 도움이 되는 CLI 도구입니다.

triton-inference-server
⭐ 531 Python 👤 triton-inference-server Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2020-09-01
142
NVIDIA-ISAAC-ROS/isaac_ros_pose_estimation

딥러닝 기반 NVIDIA 가속 3D 객체 자세 추정

NVIDIA-ISAAC-ROS
⭐ 520 C++ 👤 NVIDIA-ISAAC-ROS Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2021-11-04
143
mithril-security/blindai

보안 격리 영역을 통한 기밀 AI 배포 :lock:

mithril-security
⭐ 512 Rust 👤 mithril-security Organization 🕐 업데이트됨 2024-03-19 📅 생성됨 2022-02-06
144
vectorch-ai/ScaleLLM

대규모 언어 모델을 위한 고성능 추론 시스템으로, 프로덕션 환경에 최적화하여 설계되었습니다.

vectorch-ai
⭐ 502 C++ 👤 vectorch-ai Organization 🕐 업데이트됨 2025-12-19 📅 생성됨 2023-07-24