Qualitätssicherung
Die Evaluierung einer Sprachapplikation ist ein wichtiger Bestandteil des Entwicklungsprozesses. Im Zuge der Auswertung werden das Dialogdesign sowie die Umsetzung verfeinert und in Absprache mit unseren Kunden optimiert.
Dabei haben sich folgende Testkriterien als effizient bewährt:
Strukturtest
Überprüft wird die Dialogsyntax als formale Verifikation sowie im darauffolgenden Schritt die Menüstruktur und der Dialogfluss. Für diesen Zweck wurden bei atip Emulatoren entwickelt, die es ermöglichen, den gesamten Dialog mit allen laut Definition möglichen Events und Erkennungen zu konfrontieren. Somit können alle einzunehmenden Dialogzustände und alle denkbaren Wege durch den Sprachdialog unter realen Bedingungen simuliert und überprüft werden.
Lasttest
Im Rahmen von Lasttests wird sichergestellt, dass sich der Sprachdialog ebenso wie angebundene Backendsysteme und Datenbanken auch unter Spitzenlast wie vorgesehen verhalten. Durch Softwaresysteme wird eine große Anzahl paralleler Anrufe simuliert, wie sie unter realen Bedingungen kaum zu erwarten ist. Vor allem die Funktionalität kritischer Komponenten wie z.B. Backendsysteme wird so unter Last gewährleistet.
Offline Erkennertest
Die Leistung des Spracherkenners spielt bei Dialogsystemen eine herausragende Rolle. Durch Offline Erkennertests kann bereits vor den Friendly User Tests das korrekte Zusammenspiel zwischen Spracherkenner und den entwickelten Grammatiken sichergestellt werden. Die zuverlässige Erkennung von Sprache mit dialektalen Färbungen ist beispielsweise von großer Bedeutung.
Friendly User Test
Neben Erkennertests zur isolierten Überprüfung der Erkennerleistung werden unter Laborbedingungen Bedienbarkeit und Akzeptanz mit Hilfe ausgewählter Benutzer ausgewertet. Da benutzerfreundliche Dialogführung und ein effizienter Dialogablauf wesentliche Designkriterien sind, wird besonderer Wert auf die Durchführung der Friendly User Tests gelegt.
Pilotstudie / Post Tuning
Den Abschluss der Evaluation bildet eine Pilotstudie, in der eine repräsentative Anzahl von Nutzern die Sprachapplikation unter realen Umgebungsbedingungen testet. Diese Studie findet im Livebetrieb kurz nach Launch der Applikation statt. Für die Usability wichtige Kriterien, wie die tatsächliche Nutzungssituation und Motivation der Anrufer können nur auf Basis von Livedaten und nicht unter Laborbedingungen zuverlässig erhoben werden. | 