„Human in the Loop“: Der Faktor Mensch beim Einsatz von KI

Weshalb Künstliche Intelligenz in ERP-Systemen vonMenschen gesteuert und überprüft werden muss

Künstliche Intelligenz im ERP-System wird mit historischen Unternehmensdaten trainiert. Sie erkennt schneller als jeder menschliche Mitarbeiter Muster in großen Datensätzen und auffällige Abweichungen davon. Sie kennt aber nicht die Kausalität hinter jeder Abweichung, nicht den Kontext jedes Prozesses und auch nicht die persönlichen Beziehungen zwischen Unternehmen und Kunden. Eine KI ist auch nicht haftbar für eine mögliche Verletzung von Compliance-Regeln, sondern das Unternehmen, das sie einsetzt. Es braucht also kompetente Menschen, die das Training und die Ergebnisse Künstlicher Intelligenz steuern und prüfen.

In Fachbeiträgen zum Thema Agentic ERP finden sich Visionen, nach denen zukünftige ERP-Systeme so intelligent sind, dass sie das Unternehmen im Autopilot-Modus steuern, während die Geschäftsführung Golf spielen geht. Tatsächlich sind diese Bilder ironisch gemeint und werden so nicht wahr werden. In ERP-Systemen steckt enormes Wissen über Prozesse und Regeln, doch nicht jede neue Herausforderung lässt sich durch die Interpolation und Fortschreibung vergangener Ereignisse angehen. Das gilt gerade auch in einer zunehmend volatilen Welt, in der Ereignisse wie die Blockade der Straße von Hormus oder große Naturkatastrophen Lieferketten und Märkte auf die Probe stellen. Nicht zuletzt wissen gerade Geschäftsführer und Kundenbetreuer in mittelständischen Unternehmen oft Dinge über den Kunden, die die KI unter Umständen nicht weiß, etwa, dass ein Kundenlager durch Hochwasser überschwemmt worden ist und deshalb der normale Bestellstrom unterbrochen ist. Und gelegentlich entscheidet ein Großhändler auch heute noch spontan, dass der altbekannte Handwerker auf Kredit einkaufen darf.

Human in the Loop ist kein Freigabe-Button

Human in the Loop (HITL) bezeichnet ein Betriebsmodell, in dem der Mensch in den Entscheidungs- und Lernprozess eines KI-Systems eingebunden bleibt: Die KI schlägt vor, der Mensch prüft, korrigiert oder bestätigt, und aus diesem Feedback lernt das System weiter. Missverstanden wird das Prinzip dort, wo Human in the Loop zur Klickstrecke verkommt: Wer den ganzen Tag „OK“ bestätigt, ist nicht im Loop, sondern nur noch Alibi.

Im ERP-System lassen sich drei KI-Betriebsarten unterscheiden:

• Im Beratungsmodus rechnet die KI und legt Optionen vor, der Mensch entscheidet.
• Im Aufsichtsmodus führt die KI den Prozess aus, etwa den Rechnungsabgleich, während der Mensch die Ausnahmen prüft.
• Im Eingriffsmodus arbeitet das System autonom bis zu einer roten Linie: Springt zum Beispiel ein Einkaufspreis um 20 Prozent nach oben, hält der Agent an und eskaliert. Entscheidend ist die Zuordnung: Niemand muss die 50-Euro-Bestellung freigeben, aber die 50.000-Euro-Entscheidung sollte kein Agent allein treffen dürfen.

Was Marktforscher zum Human in the Loop sagen

Die Analystenhäuser sind sich in einem Punkt einig: Der Engpass agentischer ERP-Projekte ist nicht die Modellqualität, sondern die Governance. Gartner rechnet deshalb damit, dass bis Ende 2027 mehr als 40 Prozent aller Agentic-AI-Projekte abgebrochen werden, wegen steigender Kosten, unklaren Nutzens und unzureichender Risikokontrollen. Gleichzeitig sollen bis Ende 2026 rund 40 Prozent der Unternehmensanwendungen aufgabenspezifische KI-Agenten enthalten, nach weniger als fünf Prozent 2025.

McKinsey hat für die AI Trust Maturity Survey 2026 rund 500 Organisationen befragt und beschreibt in der Studie die Verschiebung des Risikoprofils: In der agentischen Ära genügt es nicht mehr, dass KI-Systeme nichts Falsches sagen, sie dürfen auch nichts Falsches tun.

PWC überträgt das auf die Architektur: ERP ist die deterministische Maschine mit Regeln, Freigabegrenzen und Audit-Trail, KI die nichtdeterministische Intelligenzschicht darüber. Ohne definierte Prozesse könne eine KI eine Optimierung nicht von einem Regelverstoß unterscheiden. Das Risiko liege daher nicht in einer zu geringen Performance, sondern darin, dass ein System falsche Dinge im großen Maßstab tue.

Die Ratingagentur Moody's hat 600 Risiko- und Compliance-Fachleute befragt: 53 Prozent nutzen oder testen KI aktiv, nach 30 Prozent im Jahr 2023. Menschliche Aufsicht gilt der Mehrheit dennoch als Pflicht, nicht als Option: Nur rund fünf Prozent wären mit voll autonomen Systemen einverstanden. Das Argument ist juristisch, nicht technisch: Verantwortung lässt sich nicht auslagern. Auch die Studie „The Future of ERP“ von Deloitte und der TU München hält Human in the Loop bis 2030 für notwendig. Prof. Dr. Gunther Friedl, Dekan der TUM School of Management, wird in der Studie zitiert. Nach seiner Einschätzung sollte es beim KI-Einsatz immer eine menschliche Instanz geben, um mögliche Verzerrungen zu verringern.

‍

Wo reine Automatisierung im ERP scheitert

Die Bruchstellen sind aus dem Alltag bekannt. Die KI sieht, dass ein Kunde nicht mehr bestellt, nicht warum. Wird eine Rücklieferung nicht gescannt, verkauft ein autonomes System Geisterbestände weiter. Und im integrierten ERP bricht eine falsche Beschaffungsentscheidung bis mittags die Finanzprognose. KI macht Fehler in Lichtgeschwindigkeit.

Unverzichtbar bleibt der Mensch deshalb an den entscheidenden Punkten: Bei Liquiditäts- und Strategieentscheidungen, in der Bedarfsplanung, wenn Streiks oder Zölle noch in keiner Datenbank stehen, bei Auftragsausnahmen, in denen eine Kreditlimit-Sperre eine zehnjährige Kundenbeziehung kostet und in Compliance-Fragen, wo nur ein Mensch Tippfehler von Betrugsabsicht unterscheiden kann. Ein Algorithmus geht nicht in die Betriebsprüfung.

‍

Vom Human in the Loop zum Human on the Loop?

Die Ratingagentur Moody's sieht beim KI-Einsatz eine Evolution zu immer höherer Autonomie der Künstlichen Intelligenz und beschreibt eine dreistufige Skala: Human in the Loop: Die KI bereitet vor, der Mensch gibt frei. Human on the Loop: Die KI entscheidet, der Mensch überwacht. Human out of the Loop: Die KI entscheidet allein, effizient, aber riskant. Agenten sollen dabei wie neue Mitarbeiter eingearbeitet werden, die eigenständige Befugnisse erst nach ihrer Bewährung erhalten. Voraussetzung sind dabei Nachvollziehbarkeit, ein menschlicher Verantwortungsträger für jeden automatisiertem Prozess und die Lernfähigkeit der Organisation: Jede Korrektur wird mit Begründung erfasst und macht das ERP-System klüger.

‍

Human in the Loop als Prämisse derAgentic-ERP-Entwicklung

Die enventa Group entwickelt ihre ERP-Lösungen und den Business Hub konsequent in Richtung agentischer Funktionen, aber nicht in Richtung Autopilot. Human in the Loop ist für uns eine Prämisse der Agentic-ERP-Entwicklung: Jede KI-Funktion wird so gebaut, dass ihre Vorschläge erklärbar, ihre Grenzen definiert, ihre Eingriffe protokolliert und ihre Ergebnisse durch Menschen steuerbar sind. Denn ein Wettbewerbsvorteil entsteht nicht dort, wo am meisten automatisiert wird, sondern dort, wo Unternehmen wissen, wann sie die KI laufen lassen, und wann ein Mensch das Steuer übernimmt.

‍

‍