#llmops Repositories
Insgesamt 111 Repositories
Eine quelloffene visuelle Programmierumgebung zum Testen von Prompts für LLMs.
Apache Hamilton hilft Datenwissenschaftlern und Ingenieuren, testbare, modulare, selbstdokumentierende Datenflüsse zu definieren, die Abstammung/Rückverfolgung und Metadaten kodieren. Läuft und skaliert überall dort, wo Python läuft.
CubeStudio ist eine Open-Source-Cloud-native All-in-One-Plattform für maschinelles Lernen/Deep Learning/Großmodell-KI/MaaS/MLOps/KI-Plattform/Trainings- und Inferenzplattform, die den gesamten Algorithmus-Pipeline, Multi-Tenancy, Rechenleistungsvermietungsplattform, Token-Relay, Drag-and-Drop-Aufgabenfluss-Pipeline-Orchestrierung, Multi-Maschine-Multi-Karte verteiltes Training, Hyperparametersuche, Inferenzdienste, VGPU-Virtualisierung, Cloud-Edge-Gerät-Kooperation, Edge Computing, automatisierte Annotationsplattform, SFT-Feintuning/Belohnungsmodell/Verstärkungslernen-Training für große Modelle wie DeepSeek, Multi-Maschine-Inferenz für große Modelle mit vLLM/Ollama/MindIE, private Wissensdatenbank-LLMOps-Agenten, KI-Modellmarkt, Unterstützung für nationale heterogene Rechenleistungsplanung (Ascend, Cambricon, Hygon, Moore Threads, Muxi usw.), Unterstützung für IB/RoCE/RDMA und Xinchuang-Unterstützung umfasst.
Erstellen Sie Anwendungen, die Entscheidungen treffen (Chatbots, Agenten, Simulationen usw.). Überwachen, verfolgen, speichern und ausführen auf Ihrer eigenen Infrastruktur.
Bionic ist souveräne agentische KI für Unternehmen – sie läuft lokal und kann sicher mit Ihren sensiblen Daten und Systemen arbeiten.
UpTrain ist eine Open-Source-Plattform, die darauf abzielt, generative KI-Anwendungen zu bewerten und zu verbessern. Wir bieten Noten für über 20 vorkonfigurierte Prüfungen (die Sprach-, Code- und Embedding-Anwendungsfälle abdecken), führen Ursachenanalysen bei Fehlerfällen durch und geben Einblicke, wie diese behoben werden können.
Open-Source-End-to-End-Plattform zur Bewertung, Beobachtung und Verbesserung von LLM- und KI-Agent-Anwendungen. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Selbst-hostbar. Apache 2.0.
No-Code Multi-Agent-Framework zum Erstellen von LLM-Agenten, Workflows und Anwendungen mit Ihren Daten
Waku Agent ist ein Open-Source-Framework für KI-Agenten, das du selbst besitzt und kontrollierst: Schleife, Speicher, Evaluierungen und eine dauerhaft aktive Ebene (Ereignis-Posteingang, Timer, Genehmigungen und Postausgang) – in Code, der lesbar bleibt.
Skalierbare, schnelle und speicherschonende Vektorsuche in Postgres, der Nachfolger von pgvecto.rs.
Open-Source-Lastverteiler und Serving-Plattform für LLM/VLM zur Selbsthosting von LLMs (und VLMs) im großen Maßstab 🏓🦙 Alternative zu Projekten wie llm-d, Docker Model Runner usw., aber mit weniger beweglichen Teilen und einfachen Bereitstellungen um das ggml-Ökosystem herum. Läuft auf CPU und GPU.
[GenAI-Anwendungsentwicklungsframework] 🚀 Erstellen Sie GenAI-Anwendungen schnell und einfach 💬 Einfache Interaktion mit GenAI-Agenten im Code mithilfe von strukturierten Daten und verketteten Aufruf-Syntax 🧩 Verwenden Sie ereignisgesteuerte Abläufe *TriggerFlow*, um komplexe GenAI-Arbeitslogik zu verwalten 🔀 Wechseln Sie zu jedem Modell, ohne den Anwendungscode neu zu schreiben
Deklarativer Intent-gesteuerter Plattform-Orchestrator für interne Entwicklerplattformen (IDP).
Die SmythOS Runtime Environment (SRE) ist eine Open-Source, Cloud-native Laufzeitumgebung für agentische KI. Sicher, modular und produktionsbereit ermöglicht sie es Entwicklern, intelligente Agenten lokal, in der Cloud und in Edge-Umgebungen zu erstellen, auszuführen und zu verwalten.
Ein Framework für die umfassende Diagnose und Optimierung von Agenten mittels simulierter, realistischer synthetischer Interaktionen
Eine Datenbank mit SDKs, Frameworks, Bibliotheken und Tools zur Erstellung, Überwachung, Fehlersuche und Bereitstellung autonomer KI-Agenten
Langtrace 🔍 ist ein Open-Source-Tool für End-to-End-Observability auf Basis von Open Telemetry für LLM-Anwendungen, das Echtzeit-Tracing, Bewertungen und Metriken für gängige LLMs, LLM-Frameworks, Vektordatenbanken und mehr bietet. Integration über Typescript, Python. 🚀💻📊
AuditPilot: prüfbare Unternehmens-KI-Agenten für evidenzbasierte Arbeitsabläufe, gesteuerte Tools, Evaluierungsrahmen, menschliche Überprüfung und Bereitstellung von Korrekturmaßnahmen.
Trace-natives CI/CD für KI-Agenten – Produktionsfehler werden zu Regressionstests, die den PR blockieren. Automatisch erkennen, clustern, in hermetische Testfälle einfrieren und in der CI für 0 $ wiedergeben.
DataDreamer: Anweisung. Synthetische Daten generieren. Modelle trainieren und ausrichten. 🤖💤
Dynamiq ist ein Orchestrierungs-Framework für agentenbasierte KI und LLM-Anwendungen
Open-Source-LLM-Gateway in Rust. Ein einziger Endpunkt für OpenAI, Anthropic, Gemini und alle anderen Anbieter. Jedes SDK, jedes Modell, jedes Tool.
Open-Source-KI-Gateway zum Selbstbetrieb. Ein Endpunkt für über 40 Anbieter – mit virtuellen Schlüsseln, Budgets und Nutzungsverfolgung.
⛓️ Automatische Bereitstellung von LangChain LLM-Apps und Agenten mit FastApi. LLMops
Anleitungen & Beispielskripte für große Sprachmodelle (LLMs), mit Langchain, OpenAI, LlamaIndex, GPT, ChromaDB & Pinecone
🧠 Motorhead ist ein Server zum Abrufen von Erinnerungen und Informationen für LLMs.
Starten Sie Ihre LLMOps-Initiative mit einem flexiblen, robusten und produktiven Python-Paket.
Interaktiver Lebenslauf mit KI-Chat-Integration. Erstellt mit React 19, TypeScript, Claude API. Chatten Sie mit meinem KI-Avatar über meine Erfahrungen.
Neum AI ist ein erstklassiges Framework, um die Erstellung und Synchronisierung von Vektor-Embeddings in großem Maßstab zu verwalten.
Trace-natives CI/CD für KI-Agenten: Produktions-Traces bewerten, Fehler gruppieren, sie in wiederholbare Regressionstests überführen und PRs blockieren, die Regressionen verursachen. Selbst hostbar.
Schnelle, gestreamte Indizierung, Abfragen und agentenbasierte LLM-Anwendungen in Rust
Self-hosted KI-Agentenplattform für KI-native Unternehmen. Claude Code-, Codex-, Gemini- und OpenCode-Agenten. Apache 2.0.
Dieses Beispiel beinhaltet den vollständigen End-to-End-Prozess der Erstellung einer RAG-Anwendung mit Prompty und Azure AI Foundry. Es umfasst GPT-4 LLM-Anwendungscode, Bewertungen, Bereitstellungsautomatisierung mit AZD CLI, GitHub-Aktionen für Bewertung und Bereitstellung sowie Intent-Mapping für die Zuordnung mehrerer LLM-Aufgaben.
Sehen Sie, was Ihre Codierungsagenten getan haben und was es gekostet hat. Zerlegt jede Aufgabe in Arbeitsschritte — verwendete Werkzeuge, geänderte Dateien, ausgeführte Tests, aufgewendete Zeit und Tokens. Lokales Dashboard für Claude Code, Codex, OpenCode und mehr. Kein Login, keine Telemetrie.
Praxisnahe, frameworkfreie Colab-Notebooks für das Skillset des AI Engineers / Forward Deployed Engineers (FDE) — Modell-APIs, strukturierte Ausgaben, Tool Calling, RAG, Evaluierungen als Kernrückgrat, Agenten (Schleifen von Grund auf, Tool-Design, Guardrails, MCP, Skills), Fine-Tuning vs. LoRA, Prompt-Injection/Sicherheit, LLMOps und kundenorientiertes Handwerk. Läuft über die kostenlose Groq-API.
Was wäre, wenn OpenAI Deep Research und Dify eine Plattform wären? OpenAgent — Architektur zur schnellen Erstellung vertikaler KI-Agenten mit tiefen Denkschleifen, visuellen Workflows, RAG und A2A-Delegation.