Reviewkriterien

Mit botreview haben wir uns zweierlei zum Ziel gesetzt: Zum einen wollen wir Endanwendern einen Überblick über deutsche Chatbots und Alexa Skills geben und zum anderen wollen wir Entscheidern in Unternehmen ein Gefühl dafür geben, was diese neuen Kanäle für ihr eigenes Unternehmen leisten können. Daher untersuchen wir nicht nur den Leistungsumfang, den Kundennutzen und die Usability der Bots, sondern auch den Businessnutzen.

Da wir immer wieder feststellen, dass im allgemeinen Hype oft Chatbots mit Künstlicher Intelligenz (KI) gleichgesetzt werden, wollen wir unseren Lesern eine Orientierung geben, wie viel KI nun wirklich im jeweiligen Bot enthalten ist. Außerdem geben wir unsere Einschätzung ab, wie hoch der Aufwand für das Erstellen des Bots war.

Hier unser Bewertungsschema für die einzelnen Kriterien, wobei wir nicht für uns in Anspruch nehmen, dass es alle Aspekte eines Bots vollständig abdeckt. Wir freuen uns daher über Kommentare, die uns helfen, es weiter zu verbessern:

Hier beschreiben wir zum einen die Kernaufgabe des Bots und zum anderen, welche Fragen bzw. Themen er sonst noch im Kontext der Marke beherrscht. Außerdem prüfen wir, wie er auf allgemeinen Smalltalk reagiert und wie auf Fragen nach ihm selbst und seiner Herkunft. Schließlich testen wir seine Reaktionen auf einfache Aussagen („Mir ist langweilig.“, „Ich bin genervt.“) sowie auf Beleidigungen und Komplimente.
Unter diesem Punkt bewerten wir, wie nützlich der Bot für den Endanwender ist. Natürlich ist uns bewusst, dass es nicht nur nützliche Bots gibt, wie z.B. im Kundenservice oder im E-Commerce, sondern auch Kampagnen-Bots gibt, deren Hauptaufgabe es ist, Spaß zu machen bzw. zu unterhalten und dabei eine Marketingkampagne zu unterstützen. Wenn diese Bots so viel Spaß machen, dass man sie öfter besucht, dann vergeben wir hier auch in diesem Fall eine hohe Punktzahl, obwohl der Bot nicht im eigentlichen Sinne nützlich ist.
Hierbei geht es darum, ob der Bot leicht zu bedienen ist, der User also gut durch die Kernanwendung des Bots geführt wird. Auch prüfen wir, ob der Bot sich durch Fragen außerhalb dieser Kernanwendung auch nicht ablenken lässt, sondern wieder zum Kernprozess zurückführt.

Ein weiterer Aspekt ist, wie gut es dem Bot gelingt, eine flüssige Konversation herzustellen, soweit das aktuell mit einem Bot möglich ist. Dabei spielen z.B. die Länge der Antworten eine Rolle und ob der Bot Tippfehler verzeiht.

Schließlich prüfen wir noch, ob die nächsten Schritte auch funktionieren, die der Bot nach dem Durchlaufen der Kernanwendung vorschlägt. Nichts ist schließlich ärgerlicher für den Kunden, als wenn nach einer längeren Frage-Antwort-Sequenz die ganze Mühe vergebens war, weil der weiterführende Link ins Leere zeigt.

Unter dieser Überschrift untersuchen wir, welchen Nutzen der Bot für den Anbieter hat. Natürlich kann man von außen nicht immer erkennen, was genau die Motivation für die Erstellung eines Bots war. Daher müssen wir hier häufig auf Basis unserer Marketingerfahrung spekulieren.

Zunächst prüfen wir, ob der Bot in Tonalität und Gestaltung zur Marke passt. Dann analysieren wir, welchen Effekt der Bot auf die Markenwahrnehmung hat und welche sonstigen Ergebnisse der Bot dem Anbieter liefert (z.B. Kundendaten wie E-Mail-Adresse oder persönliche Präferenzen).

Dabei geben wir auch Beispiele dafür, welche Chancen der Bot ungenutzt lässt, auch wenn der Anbieter dafür gute Gründe (z.B. verfügbares Budget) gehabt haben mag.

Hier geben wir dem Leser ein Gefühl dafür, wieviel KI in dem Bot bzw. Alexa Skill steckt und zwar nach folgender Skala:

  • Keine Lampe: Der Bot enthält keinerlei KI. (Kann bei Alexa Skills nicht auftreten, da dort immer KI für die Spracherkennung genutzt wird.)
  • Eine Lampe: KI wird nur genutzt, um die Kernfunktionalität des Bots bzw. Skills über eine Spracherkennung zu steuern.
  • Zwei Lampen: KI wird außerdem genutzt, um Fragen zu verstehen, die über die Kernfunktionalität des Bots / Skills hinausgehen. Die Beantwortung der Fragen ist jedoch konventionell programmiert und nutzt keine KI.
  • Drei Lampen: KI wird auch genutzt, um Antworten auf Fragen zu formulieren.

(Ehrlicherweise erwarten wir nicht, in den nächsten Monaten auf einen Bot oder Skill mit drei Lampen zu stoßen, denn an der zugrundeliegenden Technologie wird in den großen Unternehmen noch massiv geforscht.)

In der letzten Rubrik geht es darum, wie aufwändig es unserer Einschätzung nach war, diesern Bot zu bauen:

  • Ein Eurosymbol: Der Bot ist „nur“ ein neues Frontend für einen bestehenden Dienst und war daher wahrscheinlich nicht sehr aufwändig in der Umsetzung.
  • Zwei Eurosymbole: Der Bot ist im Wesentlichen ein neues Frontend für einen bestehenden Dienst, wurde jedoch um Bot-Spezifika erweitert (Umgang mit natürlicher Sprache, Smalltalk, …).
  • Drei Eurosymbole: Der Bot ist praktisch eine neue Applikation, die botspezifisch (Umgang mit natürlicher Sprache, Smalltalk, …) neu geschaffene Dienste anbietet.


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Zum Seitenanfang ↑
  • Letzte Posts

  • Kategorien

  • Archiv