#mlops Repositorios
227 repositorios en total
Resúmenes y recursos para el libro "Designing Machine Learning Systems" (Chip Huyen, O'Reilly 2022)
La guía práctica de LLM: Desde los fundamentos hasta la implementación de aplicaciones avanzadas de LLM y RAG en AWS utilizando las mejores prácticas de LLMOps
PyTorch Lightning + Hydra. Una plantilla muy fácil de usar para la experimentación de ML. ⚡🔥⚡
Superduper: Framework de extremo a extremo para la creación de aplicaciones y agentes de IA personalizados.
Argilla es una herramienta de colaboración para que los ingenieros de IA y los expertos del dominio creen conjuntos de datos de alta calidad
cube studio Plataforma de IA todo en uno nativa de la nube, de código abierto, para aprendizaje automático/aprendizaje profundo/modelos grandes, flujo completo de enlaces de algoritmos MLOps, plataforma de alquiler de potencia de cómputo, desarrollo en línea de Notebook, orquestación de pipeline de flujo de tareas de arrastrar y soltar, entrenamiento distribuido multi-máquina multi-GPU, búsqueda de hiperparámetros, virtualización VGPU de servicio de inferencia, computación en el borde, anotación automatizada de la plataforma de anotación, ajuste fino SFT de modelos grandes/Modelo de recompensa/Entrenamiento de aprendizaje por refuerzo de Deepseek, inferencia multi-máquina de modelos grandes como vLLM/Ollama/MindSpore, base de conocimientos privada, mercado de modelos de IA, soporte para el ecosistema Ascend de CPU/GPU/NPU domésticos, soporte RDMA, soporte para frameworks distribuidos como PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano
Lista seleccionada de los mejores proyectos, modelos, herramientas e infraestructura de IA verdaderamente de código abierto. Actualizada diariamente.
Un marco de trabajo MLOps para empaquetar, implementar, monitorear y gestionar miles de modelos de aprendizaje automático en producción
🤖 𝗔𝗽𝗽𝗿𝗲𝗻𝗲𝘇 gratuitamen te cómo construir un sistema 𝗟𝗟𝗠 y 𝗥𝗔𝗚 de extremo a extremo listo para producción utilizando las mejores prácticas de 𝗟𝗟𝗠𝗢𝗽𝘀: ~ 𝘤𝘰𝘥𝘪𝘨𝘰 𝘴𝘰𝘶𝘳𝘤𝘦 + 12 𝘭𝘦çᴏ𝘯𝘴 prácticas
⚡️SwanLab - una herramienta de visualización y seguimiento de entrenamiento de IA de código abierto y diseño moderno. Compatible con uso en la nube / autoalojado. Integrado con PyTorch / Transformers / verl / LLaMA Factory / ms-swift / Ultralytics / MMEngine / Keras, etc.
Framework RAG (Retrieval Augmented Generation) para construir aplicaciones modulares de código abierto para producción por TrueFoundry
FEDML: la biblioteca de ML unificada y escalable para entrenamiento distribuido a gran escala, servicio de modelos y aprendizaje federado. FEDML Launch, un planificador multicloud, permite además ejecutar cualquier trabajo de IA en cualquier nube de GPU o clúster local. Basado en esta biblioteca, TensorOpera AI (https://TensorOpera.ai) es su plataforma de IA generativa a escala.
Deepchecks: Pruebas para la Validación Continua de Modelos y Datos de ML. Deepchecks es una solución holística de código abierto para todas sus necesidades de validación de IA y ML, que le permite probar exhaustivamente sus datos y modelos desde la investigación hasta la producción.
Synapsa Commons: cursos gratuitos y prácticos de IA que funcionan en cualquier entorno (Colab, Kaggle, Binder, Codespaces, Jupyter). Evidencias de conformidad con la Ley de IA de la UE, validación de modelos, mantenimiento predictivo, extracción de documentos, recuperación y RAG, agentes de IA y MCP, y un humanoide simulado. Cada lección se califica automáticamente. Del equipo que está construyendo Synapsa.
Una colección de métodos científicos, procesos, algoritmos y sistemas para construir historias y modelos.
Servidor de inferencia de código abierto y clúster de producción para todos los modelos que necesita su agente.
IA y aprendizaje automático con Kubeflow, Amazon EKS y SageMaker
Inspect: Un framework para la evaluación de modelos de lenguaje grandes
Aprenda a diseñar, desarrollar, implementar e iterar en aplicaciones de ML listas para producción.
Determined es una plataforma de aprendizaje automático de código abierto que simplifica el entrenamiento distribuido, la optimización de hiperparámetros, el seguimiento de experimentos y la gestión de recursos. Funciona con PyTorch y TensorFlow.
Aprende a construir tu asistente de IA Second Brain con LLMs, agentes, RAG, fine-tuning, LLMOps y técnicas de sistemas de IA.
Plugin de hardware para vLLM en Huawei Ascend mantenido por la comunidad
La capa de contexto para datos no estructurados: conjuntos de datos tipados y versionados sobre S3, GCS, Azure
Una biblioteca de registro de datos de código abierto para modelos de aprendizaje automático y canalizaciones de datos. 📚 Proporciona visibilidad sobre la calidad de los datos y el rendimiento del modelo a lo largo del tiempo. 🛡️ Admite la recopilación de datos que preservan la privacidad, garantizando seguridad y robustez. 📈
El sistema de referencia de vLLM para el despliegue nativo de K8S en todo el clúster con optimización de rendimiento impulsada por la comunidad
Apache Hamilton ayuda a los científicos e ingenieros de datos a definir flujos de datos probables, modulares y autodocumentados, que codifican el linaje/seguimiento y los metadatos. Se ejecuta y escala en cualquier lugar donde lo haga python.
CubeStudio es una plataforma de código abierto nativa de la nube integral de aprendizaje automático/aprendizaje profundo/modelos grandes de IA/MaaS/MLOps/plataforma de inteligencia artificial/plataforma de entrenamiento e inferencia, que cubre el flujo completo del algoritmo, multiinquilino, plataforma de alquiler de potencia informática, retransmisión de tokens, orquestación de pipelines de flujo de trabajo mediante arrastrar y soltar, entrenamiento distribuido multi-máquina multi-tarjeta, búsqueda de hiperparámetros, servicios de inferencia, virtualización VGPU, colaboración nube-borde-dispositivo, computación en el borde, plataforma de anotación automatizada, ajuste fino SFT/modelo de recompensa/entrenamiento de aprendizaje por refuerzo para modelos grandes como DeepSeek, inferencia multi-máquina para modelos grandes con vLLM/Ollama/MindIE, agentes inteligentes LLMOps con base de conocimiento privada, mercado de modelos de IA, soporte para programación de potencia informática heterogénea nacional (Ascend, Cambricon, Hygon, Moore Threads, Muxi, etc.), soporte para IB/RoCE/RDMA y soporte para Xinchuang.
Cree aplicaciones que toman decisiones (chatbots, agentes, simulaciones, etc.). Supervise, rastree, persista y ejecute en su propia infraestructura.
Una lista curada de proyectos y recursos impresionantes relacionados con Argo (un proyecto graduado de la CNCF)
LUPINE es un puente GPU sobre IP que permite conectar GPUs de máquinas remotas a máquinas solo con CPU.
Realizar recuperaciones sencillas de modelos LLM en varias longitudes de contexto para medir la precisión