#mlops Repositories
Insgesamt 227 Repositories
Zusammenfassungen und Ressourcen für das Buch "Designing Machine Learning Systems" (Chip Huyen, O'Reilly 2022)
Der praktische Leitfaden für LLMs: Von den Grundlagen bis zur Bereitstellung fortschrittlicher LLM- und RAG-Apps auf AWS unter Anwendung von LLMOps-Best Practices
PyTorch Lightning + Hydra. Eine sehr benutzerfreundliche Vorlage für ML-Experimente. ⚡🔥⚡
Superduper: End-to-End-Framework zum Erstellen benutzerdefinierter KI-Anwendungen und -Agenten.
Argilla ist ein Kollaborationstool für KI-Ingenieure und Domänenexperten zum Erstellen hochwertiger Datensätze
cube studio Open-Source Cloud-Native One-Stop Machine Learning/Deep Learning/Large Model AI Platform, MLOps Algorithmus-Link Ganzprozess, Rechenleistung-Leihplattform, Notebook Online-Entwicklung, Drag-and-Drop-Aufgabenfluss-Pipeline-Orchestrierung, Multi-Machine-Multi-GPU-verteiltes Training, Hyperparameter-Suche, Inferenzdienst VGPU-Virtualisierung, Edge Computing, Annotationsplattform-Automatisierte-Annotation, Large Model SFT Fine-Tuning/Reward Model/Reinforcement Learning Training von Deepseek usw., Multi-Machine-Inferenz von Large Models wie vLLM/Ollama/MindSpore, Private Knowledge Base, AI Model Marketplace, Unterstützung für heimische CPU/GPU/NPU Ascend-Ökosystem, Unterstützung für RDMA, Unterstützung für verteilte Frameworks wie PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano
Kuratierte Liste der besten wirklich quelloffenen KI-Projekte, Modelle, Werkzeuge und Infrastruktur. Täglich aktualisiert.
Ein MLOps-Framework zum Verpacken, Bereitstellen, Überwachen und Verwalten von Tausenden von Produktions-Machine-Learning-Modellen
🤖 𝗟𝗲𝗮𝗿𝗻 Sie kostenlos, wie Sie mit den Best Practices von 𝗟𝗟𝗠𝗢𝗽𝘀 ein End-to-End-System für 𝗟𝗟𝗠 & 𝗥𝗔𝗚 in Produktionsqualität erstellen: ~ 𝘴𝘰𝘶𝘳𝘤𝘦 𝘤𝘰𝘥𝘦 + 12 praktisc h e L e k t i o n e n
⚡️SwanLab - ein Open-Source-Tool zur KI-Trainingsverfolgung und -visualisierung mit modernem Design. Unterstützt Cloud- / selbst gehostete Nutzung. Integriert mit PyTorch / Transformers / verl / LLaMA Factory / ms-swift / Ultralytics / MMEngine / Keras usw.
RAG (Retrieval Augmented Generation) Framework zum Erstellen modularer Open-Source-Anwendungen für die Produktion von TrueFoundry
FEDML – Die einheitliche und skalierbare ML-Bibliothek für groß angelegtes verteiltes Training, Model Serving und Federated Learning. FEDML Launch, ein Cross-Cloud-Scheduler, ermöglicht ferner die Ausführung beliebiger KI-Jobs in jeder GPU-Cloud oder jedem On-Premise-Cluster. Auf dieser Bibliothek aufbauend, ist TensorOpera AI (https://TensorOpera.ai) Ihre generative KI-Plattform im großen Maßstab.
Deepchecks: Tests für die kontinuierliche Validierung von ML-Modellen & Daten. Deepchecks ist eine ganzheitliche Open-Source-Lösung für all Ihre Anforderungen an die KI- & ML-Validierung, mit der Sie Ihre Daten und Modelle von der Forschung bis zur Produktion gründlich testen können.
Synapsa Commons: kostenlose, praxisorientierte KI-Kurse, die überall ausgeführt werden können (Colab, Kaggle, Binder, Codespaces, Jupyter). Konformitätsnachweise gemäß dem EU-KI-Gesetz, Modellvalidierung, vorausschauende Wartung, Dokumentenextraktion, Retrieval und RAG, KI-Agenten und MCP sowie ein simuliertes humanoides Wesen. Jede Lektion wird automatisch bewertet. Vom Team hinter Synapsa.
Eine Sammlung wissenschaftlicher Methoden, Prozesse, Algorithmen und Systeme zum Erstellen von Geschichten und Modellen.
Open-Source-Inferenzserver und Produktionscluster für alle Modelle, die Ihr Agent benötigt.
KI und maschinelles Lernen mit Kubeflow, Amazon EKS und SageMaker
Erfahren Sie, wie Sie produktionsreife ML-Anwendungen entwerfen, entwickeln, bereitstellen und iterieren.
Determined ist eine Open-Source-Plattform für maschinelles Lernen, die verteiltes Training, Hyperparameter-Tuning, Experimentverfolgung und Ressourcenmanagement vereinfacht. Funktioniert mit PyTorch und TensorFlow.
Lernen Sie, Ihren Second Brain KI-Assistenten mit LLMs, Agenten, RAG, Fine-Tuning, LLMOps und KI-Systemtechniken zu erstellen.
Die Kontextschicht für unstrukturierte Daten: typisierte, versionierte Datensätze über S3, GCS, Azure
Eine Open-Source-Datenprotokollierungsbibliothek für maschinelle Lernmodelle und Datenpipelines. 📚 Bietet Einblicke in Datenqualität und Modellleistung im Laufe der Zeit. 🛡️ Unterstützt datenschutzfreundliche Datenerfassung, um Sicherheit und Robustheit zu gewährleisten. 📈
vLLMs Referenzsystem für K8S-native Cluster-weite Bereitstellung mit Community-gesteuerter Leistungsoptimierung
Apache Hamilton hilft Datenwissenschaftlern und Ingenieuren, testbare, modulare, selbstdokumentierende Datenflüsse zu definieren, die Abstammung/Rückverfolgung und Metadaten kodieren. Läuft und skaliert überall dort, wo Python läuft.
CubeStudio ist eine Open-Source-Cloud-native All-in-One-Plattform für maschinelles Lernen/Deep Learning/Großmodell-KI/MaaS/MLOps/KI-Plattform/Trainings- und Inferenzplattform, die den gesamten Algorithmus-Pipeline, Multi-Tenancy, Rechenleistungsvermietungsplattform, Token-Relay, Drag-and-Drop-Aufgabenfluss-Pipeline-Orchestrierung, Multi-Maschine-Multi-Karte verteiltes Training, Hyperparametersuche, Inferenzdienste, VGPU-Virtualisierung, Cloud-Edge-Gerät-Kooperation, Edge Computing, automatisierte Annotationsplattform, SFT-Feintuning/Belohnungsmodell/Verstärkungslernen-Training für große Modelle wie DeepSeek, Multi-Maschine-Inferenz für große Modelle mit vLLM/Ollama/MindIE, private Wissensdatenbank-LLMOps-Agenten, KI-Modellmarkt, Unterstützung für nationale heterogene Rechenleistungsplanung (Ascend, Cambricon, Hygon, Moore Threads, Muxi usw.), Unterstützung für IB/RoCE/RDMA und Xinchuang-Unterstützung umfasst.
Erstellen Sie Anwendungen, die Entscheidungen treffen (Chatbots, Agenten, Simulationen usw.). Überwachen, verfolgen, speichern und ausführen auf Ihrer eigenen Infrastruktur.
Eine kuratierte Liste von großartigen Projekten und Ressourcen im Zusammenhang mit Argo (einem von der CNCF verabschiedeten Projekt)
LUPINE ist eine GPU-over-IP-Brücke, die es ermöglicht, GPUs von entfernten Maschinen an CPU-only-Maschinen anzuschließen.
Durchführen einfacher Abrufe von LLM-Modellen mit verschiedenen Kontextlängen zur Messung der Genauigkeit