#llm-inference Repositorios
202 repositorios en total
Una API unificada, ligera y de baja dependencia para usar todos los modelos comunes de reordenación y cross-encoder.
Un motor de inferencia de alto rendimiento para modelos LLM, VLM y DiT, optimizado para diversos aceleradores de IA. Está alojado en la Fundación OpenAtom.
Configuraciones de ordenadores de IA de código abierto, desde equipos de sobremesa con 2 GPU hasta servidores con 8 GPU: CAD, lista de materiales, BIOS y guías de montaje. Consigue el kit de caja con risers PCIe o pídenos una comprobación gratuita de compatibilidad.
[ICML 2023] SmoothQuant: Cuantización post-entrenamiento precisa y eficiente para modelos de lenguaje grandes
Inicio de "How To Scale Your Model", un breve libro de texto estilo blog sobre la escalabilidad de LLM en TPU
Lista de software que permite buscar en la web con la ayuda de la IA: https://hf.co/spaces/felladrin/awesome-ai-web-search
Ejecute LLM locales como llama, deepseek-distill, kokoro y más dentro de su navegador
Una colección curada de herramientas de prueba de penetración de primer nivel y utilidades de productividad en múltiples dominios. ¡Únete a nosotros para explorar, contribuir y mejorar tu kit de herramientas de hacking!
📰 Artículos y blogs de lectura obligatoria sobre Decodificación Especulativa ⚡️
Ejecuta modelos que superan la capacidad de tu RAM o VRAM transmitiendo expertos MoE desde un SSD. Basado en llama.cpp.
Una hoja de ruta de 10 semanas, dedicando 30 minutos al día, para el servicio y la optimización de inferencia de LLM. vLLM, SGLang, cuantización, decodificación especulativa y evaluación comparativa.
Construye tu propio motor de inferencia LLM de alto rendimiento en C++ y CUDA - una versión más pequeña de vLLM
Tu iPhone ayuda a tu Mac a ejecutar un modelo de 27B: lectura más rápida de las indicaciones y más contexto mediante un cable USB-C
Agiliza y simplifica el diseño de prompts tanto para desarrolladores como para usuarios no técnicos con un enfoque de bajo código.
Flash Attention en ~100 líneas de CUDA (solo paso hacia adelante)
Checkpoint-engine es un middleware simple para actualizar los pesos del modelo en los motores de inferencia de LLM
OpenAlpha_Evolve es un framework Python de código abierto inspirado en la innovadora investigación sobre agentes de codificación autónomos como AlphaEvolve de DeepMind.
‘AI-Compass’ guiará a la comunidad en la navegación del océano tecnológico de la IA. Sea que seas principiante o un desarrollador avanzado, encontrarás aquí un camino hacia todas las direcciones principales de la IA. Su objetivo es ayudar a los desarrolladores a comprender de manera sistemática los conceptos fundamentales de la IA, las tecnologías dominantes, las tendencias de vanguardia y, mediante la práctica, dominar todo el proceso desde la teoría hasta la implementación.
jevos: una alternativa de código abierto a Jev y Microsoft-Decision-1. Decisiones de sí o no, opciones y puntuaciones con probabilidades, en la CPU de tu portátil.
Implementación pura en C++ de varios modelos para chatear en tiempo real en tu computadora (CPU y GPU)
LeaderWorkerSet y DisaggregatedSet: API de Kubernetes para la inferencia de IA distribuida y desagregada
Un motor de aceleración de inferencia LLM altamente optimizado para Llama y sus variantes.
Notas de LLM, incluida la inferencia del modelo, la estructura del modelo Transformer y notas de análisis de código del framework LLM.
LLM.swift es una biblioteca sencilla y legible que le permite interactuar fácilmente con modelos de lenguaje grandes de forma local para macOS, iOS, watchOS, tvOS y visionOS.