KI-Experten auswählen: Nutzen, Umsetzung und Qualität prüfen

Du suchst einen KI-Experten für dein Unternehmen. Die entscheidende Frage ist nicht, wer die meisten Werkzeuge aufzählen kann. Entscheidend ist, wer einen konkreten Arbeitsablauf versteht, eine überprüfbare Verbesserung entwirft und die Lösung so übergibt, dass dein Team damit arbeiten kann. Dieser Leitfaden bietet dafür ein eigenes Bewertungsraster, ein Rechenbeispiel und Fragen für das erste Projektgespräch.

1. Beschreibe das Problem, bevor du nach einer KI-Lösung suchst

„Wir möchten KI einsetzen“ ist noch kein Projektauftrag. Formuliere stattdessen einen beobachtbaren Engpass: Anfragen werden doppelt erfasst, Angebote bleiben ohne Rückmeldung, Dokumente müssen wiederholt geprüft werden oder Informationen liegen in mehreren Systemen. Beschreibe Anfang, Ende, Verantwortliche und die häufigsten Ausnahmen dieses Ablaufs.

Ein brauchbarer Ausgangspunkt lautet beispielsweise: „Eine eingehende Anfrage soll vollständig im CRM landen, der richtigen Person zugewiesen werden und eine nachvollziehbare Bearbeitungsfrist erhalten.“ Ob dafür ein Sprachmodell nötig ist, bleibt zunächst offen. Eine klar definierte Schnittstelle oder Regel kann für Teile der Aufgabe die passendere Lösung sein.

2. Unterscheide feste Regeln und Aufgaben für ein Sprachmodell

Nummern abgleichen, Pflichtfelder prüfen und Fristen berechnen lassen sich als feste Regeln beschreiben. Eine unstrukturierte Nachricht zusammenzufassen oder einen Entwurf in verständlicher Sprache vorzubereiten ist eine andere Aufgabenart. In einem sorgfältig geplanten Ablauf können beide Ansätze kombiniert werden. Welche Variante wirklich geeignet ist, muss ein Test mit deinen Daten und Anforderungen zeigen.

Lege außerdem fest, welche Aktionen das System selbst ausführen darf. Einen Antwortentwurf vorzubereiten ist etwas anderes, als ihn ohne Freigabe zu versenden. Eine interne Kategorisierung ist etwas anderes, als einen Betrag zu buchen oder eine verbindliche Zusage abzugeben. Je folgenreicher die Aktion, desto wichtiger sind klare Grenzen, Prüfung und ein Rückweg.

3. Prüfe sechs Bereiche statt einer eindrucksvollen Demo

Dieses Raster ist eine praktische Arbeitshilfe, kein wissenschaftlich validierter Qualitätsscore. Bewerte eine Antwort intern als „belegt“, „noch offen“ oder „nicht passend“. Eine offene kritische Frage zu Datenzugriffen oder Verantwortlichkeit sollte nicht durch gute Werte in anderen Bereichen überdeckt werden.

4. Rechne mit nutzbarer Kapazität, nicht mit versprochenem Gewinn

Fiktives Rechenbeispiel, kein Kundenresultat: Angenommen, dein Team bearbeitet monatlich 200 Vorgänge mit jeweils zwölf Minuten Aufwand. Das entspricht 40 Stunden. Ein getesteter neuer Ablauf benötigt einschließlich menschlicher Prüfung im Mittel fünf Minuten pro Vorgang. Das sind rund 16,7 Stunden. Weitere zwei Stunden fallen für Kontrolle und Pflege des Systems an. Im Modell werden somit rund 21,3 Stunden Kapazität frei.

Die Rechnung lautet: 200 × (12 − 5) ÷ 60 − 2 = 21,33 Stunden. Diese Kapazität ist noch keine Auszahlung und kein zusätzlicher Umsatz. Ob daraus ein wirtschaftlicher Vorteil entsteht, hängt unter anderem davon ab, ob Überstunden entfallen, Aufträge zusätzlich bearbeitet oder Qualitätsprobleme vermieden werden. Einmalige Umsetzung, laufende Softwarekosten, Schulung und Ausfallrisiken sind zusätzlich zu bewerten.

Miss vor dem Projekt nicht nur durchschnittliche Bearbeitungszeit, sondern auch Rückfragen, Nacharbeit und unbearbeitete Vorgänge. Andernfalls kann eine schnelle erste Verarbeitung lediglich zusätzlichen Aufwand in den nächsten Arbeitsschritt verschieben.

5. Vereinbare einen abgegrenzten Pilotversuch

Starte mit einem Ablauf und einem definierten Datensatz, nicht mit der vollständigen Umstellung des Unternehmens. Stelle gewöhnliche Fälle, unvollständige Eingaben und schwierige Ausnahmen zusammen. Lege die erwartete Behandlung jedes Falles fest, bevor du das Ergebnis der neuen Lösung kennst. Reserviere einen separaten Teil der Fälle für die spätere Abnahme.

Prüfe auch den Fehlerfall: Was geschieht bei einer unterbrochenen Schnittstelle, mehrfach zugestellten Anfrage oder fehlenden Pflichtangabe? Kann ein Mensch übernehmen? Werden vertrauliche Inhalte unnötig gespeichert? Lässt sich nachvollziehen, welche Version des Ablaufs ein Ergebnis erzeugt hat? Verwende nur Daten, zu deren Verarbeitung du berechtigt bist; rechtliche Fragen müssen passend zum konkreten Einsatz geklärt werden.

Als übergeordnete Orientierung für die Beschäftigung mit KI-Risiken bietet NIST ein freiwilliges AI RMF Playbook. Es ersetzt weder deine konkrete Prüfung noch einen Nachweis, dass ein einzelnes System geeignet ist.

6. Kläre Übergabe, Kosten und Grenzen schriftlich

Halte fest, welche Funktionen enthalten sind, was ausdrücklich nicht enthalten ist und was als erfolgreiche Abnahme gilt. Kläre den Zugang zu den notwendigen Konten, die Dokumentation, die Datenexportmöglichkeiten und den Umgang mit Änderungen. Wiederkehrende Lizenz- und Betreuungskosten sollten neben dem einmaligen Projektpreis stehen, nicht erst nach der Beauftragung auftauchen.

Frage nach relevanten, freigegebenen Arbeitsproben und nach der konkreten Rolle des Anbieters im jeweiligen Projekt. Eine Zertifizierung kann Teil des Nachweises sein, ersetzt aber nicht den Bezug zur Aufgabe. Umgekehrt sollte vertrauliches Kundenmaterial nicht ohne Erlaubnis als Verkaufsargument weitergegeben werden.

Checkliste für dein erstes Gespräch

• Welchen einen Prozess möchten wir verbessern und wer ist dafür verantwortlich?
• Welche Ausgangswerte und Fehlerfälle können wir belegen?
• Welche Daten, Schnittstellen und Freigaben braucht der Pilot?
• Welche Qualitätsgrenze darf nicht unterschritten werden?
• Wie stoppen oder übergeben wir den Ablauf bei einem Fehler?
• Welche Kosten, Wartungsaufgaben und Abhängigkeiten bleiben nach der Einführung?

Vom Verständnis zur Umsetzung

Das Buch KI-Experte: KI und Automatisierung für Umsatzoptimierung ist ein Einstieg in die Verbindung zwischen Technologie und unternehmerischen Abläufen. Dieser Artikel ergänzt die Buchvorstellung um eine eigenständige Entscheidungshilfe; er ist kein wiedergegebenes Buchkapitel.

Für ein konkretes Vorhaben findest du auf der Seite KI-Beratung und IT-Consulting für Unternehmen den passenden Leistungsrahmen. Vergleiche ihn mit deinen Anforderungen und sieh dir die vorgestellten Softwareprojekte an. Ein sinnvoller nächster Schritt ist eine klare Prozessbeschreibung – nicht die Vorabentscheidung für ein bestimmtes Werkzeug.