#mlops Repositórios
227 repositórios no total
Resumos e recursos para o livro Designing Machine Learning Systems (Chip Huyen, O'Reilly 2022)
O guia prático de LLMs: Dos fundamentos à implementação de aplicativos LLM avançados e RAG na AWS usando as melhores práticas de LLMOps
PyTorch Lightning + Hydra. Um template muito amigável para experimentação de ML. ⚡🔥⚡
Superduper: Framework de ponta a ponta para a criação de aplicações e agentes de IA personalizados.
Argilla é uma ferramenta de colaboração para engenheiros de IA e especialistas de domínio construírem conjuntos de dados de alta qualidade
Componentes de infraestrutura plugáveis e eficientes em termos de custo para inferência de GenAI
Plataforma de IA unificada, open source, de machine learning/deep learning/grandes modelos nativa da nuvem cube studio, fluxo de trabalho completo de MLOps para algoritmos, plataforma de aluguel de poder computacional, desenvolvimento online em notebook, orquestração de pipeline de fluxo de tarefas arrastar e soltar, treinamento distribuído multi-máquina/multi-GPU, busca de hiperparâmetros, virtualização VGPU para serviço de inferência, computação de borda, anotação automatizada pela plataforma de anotação, ajuste fino SFT de grandes modelos como deepseek/modelo de recompensa/treinamento de aprendizado por reforço, inferência multi-máquina de grandes modelos como vllm/ollama/mindie, base de conhecimento privada, mercado de modelos de IA, suporte ao ecossistema chinês de CPUs/GPUs/NPUs Ascend, suporte a RDMA, suporte a frameworks distribuídos como pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano
Lista selecionada dos melhores projetos, modelos, ferramentas e infraestrutura de IA verdadeiramente de código aberto. Atualizada diariamente.
Um framework MLOps para empacotar, implantar, monitorar e gerenciar milhares de modelos de machine learning em produção
🤖 Aprenda 𝗴𝗿𝗮𝘁𝘂𝗶𝘁𝗮𝗺𝗲𝗻𝘁𝗲 como 𝗰𝗼𝗻𝘀𝘁𝗿𝘂𝗶𝗿 um sistema LLM & RAG de ponta a ponta e 𝗽𝗿𝗼𝗻𝘁𝗼 𝗽𝗮𝗿𝗮 𝗽𝗿𝗼𝗱𝘂çã𝗼, usando as melhores práticas de LLMOps: ~ 𝘤ó𝘥𝘪𝘨𝘰-𝘧𝘰𝘯𝘵𝘦 + 12 𝗹𝗶çõ𝗲𝘀 𝗽𝗿á𝘁𝗶𝗰𝗮𝘀
⚡️SwanLab - uma ferramenta de visualização e rastreamento de treinamento de IA de código aberto e design moderno. Suporta uso em nuvem / auto-hospedado. Integrado com PyTorch / Transformers / verl / LLaMA Factory / ms-swift / Ultralytics / MMEngine / Keras, etc.
Estrutura RAG (Retrieval Augmented Generation) para construir aplicações modulares e de código aberto para produção pela TrueFoundry
FEDML - A biblioteca de ML unificada e escalável para treinamento distribuído em larga escala, serviço de modelo e aprendizado federado. O FEDML Launch, um agendador multi-cloud, permite ainda a execução de quaisquer tarefas de IA em qualquer cloud de GPU ou cluster local. Construída sobre esta biblioteca, a TensorOpera AI (https://TensorOpera.ai) é a sua plataforma de IA generativa em escala.
Deepchecks: Testes para Validação Contínua de Modelos e Dados de ML. Deepchecks é uma solução holística de código aberto para todas as suas necessidades de validação de IA e ML, permitindo testar completamente seus dados e modelos da pesquisa à produção.
Synapsa Commons: cursos gratuitos e práticos de IA que funcionam em qualquer lugar (Colab, Kaggle, Binder, Codespaces, Jupyter). Evidências de conformidade com o Regulamento de IA da UE, validação de modelos, manutenção preditiva, extração de documentos, recuperação e RAG, agentes de IA e MCP, além de um humanoide simulado. Cada lição é avaliada automaticamente. Da equipe que está construindo a Synapsa.
Uma coleção de métodos científicos, processos, algoritmos e sistemas para construir histórias e modelos.
Servidor de inferência de código aberto e cluster de produção para todos os modelos que seu agente precisa.
IA e Machine Learning com Kubeflow, Amazon EKS e SageMaker
Inspect: Uma estrutura para avaliações de grandes modelos de linguagem
Aprenda a projetar, desenvolver, implantar e iterar em aplicações de ML de nível de produção.
Determined é uma plataforma de aprendizado de máquina de código aberto que simplifica o treinamento distribuído, o ajuste de hiperparâmetros, o rastreamento de experimentos e o gerenciamento de recursos. Funciona com PyTorch e TensorFlow.
Aprenda a construir seu assistente de IA de Segundo Cérebro com LLMs, agentes, RAG, fine-tuning, LLMOps e técnicas de sistemas de IA.
A camada de contexto para dados não estruturados: conjuntos de dados tipados e versionados sobre S3, GCS, Azure
Uma biblioteca de registro de dados de código aberto para modelos de aprendizado de máquina e pipelines de dados. 📚 Oferece visibilidade da qualidade dos dados e do desempenho do modelo ao longo do tempo. 🛡️ Suporta coleta de dados que preserva a privacidade, garantindo segurança e robustez. 📈
Sistema de referência do vLLM para implantação em todo o cluster nativa de K8S com otimização de desempenho impulsionada pela comunidade
O Apache Hamilton ajuda cientistas e engenheiros de dados a definir fluxos de dados testáveis, modulares e autodocumentáveis, que codificam linhagem/rastreamento e metadados. Ele executa e escala em qualquer lugar onde o Python também funcione.
CubeStudio é uma plataforma open source nativa em nuvem tudo-em-um de aprendizado de máquina/aprendizado profundo/grandes modelos de IA/MaaS/MLOps/plataforma de inteligência artificial/plataforma de treinamento e inferência, cobrindo todo o pipeline de algoritmos, multilocação, plataforma de aluguel de poder computacional, retransmissão de tokens, orquestração de pipeline de fluxo de trabalho por arrastar e soltar, treinamento distribuído multi-máquina multi-placa, busca de hiperparâmetros, serviços de inferência, virtualização VGPU, colaboração nuvem-borda-dispositivo, computação de borda, plataforma de anotação automatizada, ajuste fino SFT/modelo de recompensa/treinamento de aprendizado por reforço para grandes modelos como DeepSeek, inferência multi-máquina para grandes modelos com vLLM/Ollama/MindIE, agentes inteligentes LLMOps com base de conhecimento privada, mercado de modelos de IA, suporte para escalonamento de poder computacional heterogêneo nacional (Ascend, Cambricon, Hygon, Moore Threads, Muxi, etc.), suporte para IB/RoCE/RDMA e suporte Xinchuang.
Crie aplicações que tomam decisões (chatbots, agentes, simulações, etc...). Monitore, rastreie, persista e execute na sua própria infraestrutura.
Uma lista com curadoria de projetos e recursos fantásticos relacionados ao Argo (um projeto graduado da CNCF)
LUPINE é uma ponte GPU sobre IP que permite conectar GPUs de máquinas remotas a máquinas apenas com CPU.
Realizando recuperação simples de modelos LLM em vários comprimentos de contexto para medir a precisão