KI-Anbieter-Auswahl prüfen: 7 Kriterien für Unternehmen

Ein überzeugender KI-Demonstrator ist noch kein belastbares Unternehmenssystem. Wer die KI-Anbieter-Auswahl prüfen will, sollte deshalb nicht bei Modellqualität, Chat-Oberfläche oder einem schnellen Proof of Concept stehen bleiben. Entscheidend ist, ob ein Anbieter die Lösung sicher in bestehende Prozesse, Datenlandschaften und Verantwortlichkeiten überführt - und ob sie dort dauerhaft wirtschaftlich betrieben werden kann.

Für Geschäftsführung, IT und Fachbereiche geht es bei der Auswahl nicht allein um Technologie. Es geht um die Frage, ob aus einer konkreten Aufgabe messbarer Nutzen entsteht: kürzere Bearbeitungszeiten, bessere Servicequalität, weniger manuelle Routinen oder schnellere Entscheidungen. Die passende Lösung ist daher selten die mit den meisten Funktionen, sondern die, die einen klar abgegrenzten Prozess verlässlich verbessert.

KI-Anbieter-Auswahl prüfen: Mit dem Anwendungsfall beginnen

Viele Auswahlprozesse starten mit einer Anbieterliste. Sinnvoller ist es, zuerst den Einsatzfall zu präzisieren. Soll ein KI-Assistent Wissen aus internen Dokumenten zugänglich machen? Sollen eingehende Anfragen klassifiziert, Angebote vorbereitet oder Daten aus Belegen extrahiert werden? Oder geht es um einen KI-Agenten, der Aufgaben über mehrere Systeme hinweg ausführt?

Je konkreter der Prozess beschrieben ist, desto besser lassen sich Anbieter vergleichen. Dazu gehören die beteiligten Nutzergruppen, die Eingangsdaten, die gewünschte Ausgabe, notwendige Freigaben und die Systeme, in denen Ergebnisse weiterverarbeitet werden. Ein Assistent für den Kundenservice stellt andere Anforderungen als eine KI für die Vertragsprüfung oder Produktionsplanung.

Auch der erwartete Nutzen sollte vorab greifbar sein. Nicht jeder Effekt muss sofort auf den Euro genau berechnet werden. Unternehmen sollten aber festlegen, welche Kennzahlen eine Einführung rechtfertigen: etwa Bearbeitungsdauer pro Vorgang, Fehlerquote, First-Contact-Resolution, Durchlaufzeit oder Anzahl automatisierter Fälle. Ohne diese Basis wird aus einem Pilotprojekt schnell eine interessante, aber nicht steuerbare Technologieinitiative.

1. Datenschutz und Datenhoheit konkret bewerten

Bei KI-Systemen entscheidet nicht nur, ob ein Anbieter DSGVO-Konformität zusichert. Relevant ist, welche Daten tatsächlich verarbeitet werden, wo diese liegen und welche Kontrollmöglichkeiten das Unternehmen hat. Gerade bei personenbezogenen Daten, vertraulichen Dokumenten, Geschäftsgeheimnissen oder SAP-Daten reichen allgemeine Aussagen nicht aus.

Zu klären ist unter anderem, ob Daten das gewählte Hosting-Gebiet verlassen, ob sie zum Training allgemeiner Modelle verwendet werden und wie lange Eingaben, Protokolle oder Vektordatenbanken gespeichert bleiben. Ebenso wichtig sind ein Auftragsverarbeitungsvertrag, klare technische und organisatorische Maßnahmen sowie ein belastbares Rollen- und Berechtigungskonzept.

Es gibt keine pauschal richtige Betriebsform. Für wenig sensible Inhalte kann ein externer KI-Dienst wirtschaftlich sinnvoll sein. Bei hohen Schutzanforderungen kann ein europäisches Hosting, eine dedizierte Umgebung oder ein Betrieb in der eigenen Cloud die bessere Wahl sein. Der Anbieter sollte diese Varianten nicht ideologisch bewerten, sondern die Auswirkungen auf Sicherheit, Kosten, Geschwindigkeit und Wartung offenlegen.

2. Integrationsfähigkeit vor Funktionslisten stellen

KI erzeugt dann Wert, wenn sie dort arbeitet, wo die Arbeit stattfindet. Eine isolierte Chat-Oberfläche kann ein sinnvoller Einstieg sein. Für produktive Prozesse braucht es jedoch meist Schnittstellen zu CRM, ERP, DMS, Ticketing, E-Mail, Datenbanken oder branchenspezifischen Anwendungen.

Prüfen Sie daher, wie der Anbieter Integrationen technisch umsetzt. Gibt es dokumentierte APIs, Ereignisverarbeitung und sichere Zugriffe auf Bestandssysteme? Kann die Lösung Daten nicht nur lesen, sondern nach kontrollierter Freigabe auch Aktionen auslösen? Werden Fehlerfälle, Zeitüberschreitungen und unvollständige Daten berücksichtigt?

Besonders kritisch wird es bei Systemen mit hoher fachlicher Bedeutung. Ein KI-Agent, der beispielsweise Stammdaten ändert, Bestellungen vorbereitet oder Servicefälle priorisiert, benötigt eindeutige Regeln für Freigaben und Rückgaben an Mitarbeitende. Gute Anbieter sprechen früh über diese Prozessgrenzen. Sie versprechen nicht, jede Entscheidung vollständig zu automatisieren.

Architektur muss mitwachsen können

Ein Pilot mit einigen Nutzern verhält sich anders als ein System mit mehreren Fachbereichen, hohen Anfragevolumen und parallelen Integrationen. Fragen Sie nach Mandantenfähigkeit, Lastverhalten, Monitoring, Protokollierung und Erweiterbarkeit. Relevant ist auch, ob Komponenten austauschbar bleiben, etwa wenn sich ein Sprachmodell, ein Cloud-Dienst oder eine Datenquelle ändert.

Eine modulare Architektur schützt vor unnötiger Abhängigkeit. Das bedeutet nicht, jede Lösung von Grund auf neu zu entwickeln. Standardkomponenten können sinnvoll sein, wenn die Schnittstellen, Datenflüsse und Betriebsverantwortlichkeiten sauber definiert sind.

3. Qualität messbar machen statt Antworten nur zu bewundern

Generative KI kann sprachlich überzeugend wirken und trotzdem fachlich unzuverlässige Ergebnisse liefern. Deshalb braucht jede produktive Lösung einen Testansatz, der zum Einsatzfall passt. Bei Dokumentenfragen zählen beispielsweise korrekte Quellenbezüge und nachvollziehbare Antworten. Bei Klassifikationen sind Trefferquote, Fehlzuordnungen und die Behandlung unsicherer Fälle entscheidend.

Ein Anbieter sollte erklären können, wie er Qualität vor dem Go-live prüft und nach der Einführung überwacht. Dazu gehören repräsentative Testdaten, fachliche Abnahmekriterien und regelmäßige Evaluierungen. Bei sich verändernden Datenbeständen genügt ein einmaliger Test nicht. Auch die Qualität einer Retrieval-Lösung hängt davon ab, ob Dokumente vollständig, aktuell und sinnvoll strukturiert vorliegen.

Transparenz ist hier ein Produktmerkmal. Fachbereiche müssen erkennen können, auf welcher Grundlage eine Antwort entstanden ist, wann eine KI unsicher ist und wie sie Feedback geben können. Das erhöht nicht nur Akzeptanz, sondern reduziert operative Risiken.

4. Sicherheit umfasst auch Berechtigungen und Missbrauchsschutz

Neben Datenschutz gehören technische Sicherheitsmaßnahmen in die Prüfung. Dazu zählen Verschlüsselung, sichere Authentifizierung, zentrale Benutzerverwaltung, Mandantentrennung und nachvollziehbare Audit-Logs. Bei KI-Anwendungen kommen weitere Risiken hinzu: manipulierte Eingaben, ungewollte Datenabflüsse über Prompts oder falsche Tool-Aufrufe durch Agenten.

Der Anbieter sollte Schutzmechanismen nicht als nachträgliche Ergänzung behandeln. Wichtig sind klare Zugriffsrechte auf Datenquellen, Filter für sensible Inhalte, abgesicherte Aktionen und verbindliche Freigabeschritte. Gerade bei KI-Agenten gilt: Je größer der Handlungsspielraum, desto strenger müssen Rechte, Prüfungen und Protokollierung sein.

Fragen Sie zudem nach dem Vorgehen bei Sicherheitsvorfällen. Wer wird informiert, wie schnell kann ein System eingeschränkt werden und wie werden Ursachen nachvollzogen? Eine belastbare Antwort zeigt mehr Reife als ein allgemeines Sicherheitsversprechen.

5. Betrieb, Support und Weiterentwicklung vertraglich klären

Eine KI-Anwendung endet nicht mit dem Deployment. Modelle ändern sich, Schnittstellen werden weiterentwickelt, Dokumente wachsen und Prozesse passen sich an. Unternehmen brauchen daher einen Partner, der Betrieb und Weiterentwicklung als Teil der Lösung versteht.

Klären Sie Verantwortlichkeiten für Monitoring, Updates, Incident-Management, Backup und Wiederherstellung. Auch Servicezeiten, Reaktionszeiten und Ansprechpartner gehören in eine realistische Betriebsvereinbarung. Für geschäftskritische Anwendungen sollte nachvollziehbar sein, welche Verfügbarkeit vorgesehen ist und wie bei Ausfällen weitergearbeitet wird.

Ebenso relevant ist die Frage nach dem Wissenstransfer. Erhält das interne Team Architektur- und Betriebsdokumentation? Können Fachbereiche Inhalte und Regeln innerhalb definierter Grenzen selbst pflegen? Ein guter Technologiepartner schafft keine Black Box, sondern macht das Unternehmen handlungsfähig.

6. Kosten über den gesamten Lebenszyklus vergleichen

Niedrige Einstiegskosten können bei KI täuschen. Neben Lizenz- oder Nutzungsgebühren entstehen Aufwände für Integration, Datenaufbereitung, Cloud-Infrastruktur, Qualitätssicherung, Sicherheit und laufende Optimierung. Bei tokenbasierten Modellen beeinflussen Anfragevolumen, Kontextlänge und Antwortumfang die variablen Kosten erheblich.

Fordern Sie deshalb ein transparentes Kostenmodell an, das einmalige und laufende Positionen unterscheidet. Ein seriöser Anbieter benennt Annahmen und zeigt, wie sich Kosten bei wachsender Nutzung entwickeln. Dabei geht es nicht darum, jede Unsicherheit auszuschließen. Es geht darum, wirtschaftliche Entscheidungen auf belastbaren Szenarien statt auf einem einzelnen Pilotbudget zu treffen.

7. Die Zusammenarbeit im Pilotprojekt testen

Referenzen und Präsentationen sind hilfreich, ersetzen aber keine praktische Zusammenarbeit. Ein klar abgegrenzter Pilot kann zeigen, ob Anbieter, Fachbereich und IT dieselbe Sprache sprechen. Wichtig ist, dass der Pilot bereits produktionsnahe Fragen beantwortet: Datenzugriff, Sicherheitsanforderungen, Qualitätsmessung, Nutzerfeedback und ein realistischer Betriebspfad.

Ein guter Pilot hat ein überprüfbares Ziel und ein definiertes Ende. Er zeigt entweder, dass die Lösung den Nutzen erreicht, oder er macht transparent, welche Voraussetzungen noch fehlen. entrecode begleitet solche Vorhaben typischerweise von der Prozessklärung über Architektur und Entwicklung bis zum abgesicherten Betrieb, damit aus einem Test eine tragfähige Anwendung werden kann.

Die beste Entscheidung entsteht selten durch die längste Funktionsliste. Sie entsteht, wenn ein Anbieter den konkreten Prozess versteht, technische Grenzen offen anspricht und einen nachvollziehbaren Weg in den produktiven Betrieb aufzeigt. Wer diese Kriterien früh prüft, schafft die Grundlage für KI, die nicht nur beeindruckt, sondern im Arbeitsalltag zuverlässig Wirkung erzielt.