Whitepaper "Messung von Sprachbenutzerschnittstellen"

Zusammenfassung

Die Güte eines Sprachdialogs macht sich daran messbar, ob die treffenden Begriffe korrekt erkannt werden.
Um die Qualität einer Sprachapplikation bewerten zu können, müssen neben Gutfällen auch Schlechtfälle geprüft werden.
Zu den Schlechtfällen gehören unzulässige Äußerungen, die korrekterweise abgewiesen werden.
Die Erkennung zulässiger Sätze als fehlerhaft und unzulässiger Sätze als korrekt sind weitere Fehlerquellen.

Im Laufe eines Testzyklus sind sowohl Gut- als auch Schlechtfälle zu quantifizieren.
Werden identische Testäußerungen über unterschiedliche Testphasen hinweg verglichen, lässt sich die Veränderung der Erkennungsqualität darstellen.
So können Veränderungen der Erkennungsleistung auf Änderungen des Entwicklungsstandes zurückführen.
Die Einbeziehung unzulässiger Daten in das Testfeld wird auf Dahms, „Testmanagement von Sprachbenutzerschnittstellen (VUI)“. vorgestellt.

Durch den Test der Sprachbenutzerschnittstelle in allen Schattierungen können dem Team in der Entwicklung Möglichkeiten zur Optimierung der Applikation gegeben werden.
Dazu werden in diesem Artikel die Methodik und die Kennzahlen von binären Klassifikatoren beschrieben.
Der Beitrag beinhaltet Checklisten und Ansatzpunkte für die Verbesserung von Spracherkennungsleistungen.

Automatisierte Tests zur Freigabe eines Entwicklungsstandes unterstützen das Entwicklungsteam.
Ausgehend von den gefundenen Abweichungen können vertiefende Tests als zur weiteren Analyse erforderlich werden.
Die Anpassungen zur Behebung der gefundene Abweichungen sind zu dokumentieren, damit Veränderungen in der Erkennungsleistung auf bestimmte Konfigurationsänderungen zurückzuführen sind, falls diese Vorgehen nicht bereits das Standardverfahren ist.

Inhaltsverzeichnis Whitepaper

Im Whitepaper Spracherkennungsleistung in Sprach¬Benutzer¬Schnitt-Stellen durch binäre Klassifikatoren messen wird gezeigt, welche Messmethoden beim Test von Sprachbenutzerschnittstellen anzusetzen und welche Kennzahlen zu beobachten sind.

• 1 INHALTSVERZEICHNIS
• 2 ABSTRACT
• 3 EINLEITUNG
• 4 TESTERGEBNISSE DER SPRACHERKENNUNG KLASSIFIZIEREN
• 5 ÜBERSICHT ZU BINÄREN KLASSIFIKATOREN
• 6 MAßNAHMEN ZUR BEHEBUNG DER ABWEICHUNGEN
  • 6.1 Checkliste für richtig negative Erkennungsergebnisse
  • 6.2 Checkliste für falsch negative Erkennungsergebnisse
  • 6.3 Checkliste für falsch positive Erkennungsergebnisse
  • 6.4 Checkliste für richtig positive Erkennungsergebnisse
• 7 KENNZAHLEN ZUR BEWERTUNG BINÄRER KLASSIFIKATOREN
  • 7.1 Messung der Spezifität (Richtig-Negativ-Rate)
  • 7.2 Ermittlung der Falsch-Negativ-Rate
  • 7.3 Ermittlung der Falsch-Positiv-Rate
  • 7.4 Überblick von Messwerten für binäre Klassifikatoren
• 8 ZUSAMMENFASSUNG
• 9 ANHANG
  • 9.1 Sprachdialog Immobiliensuche
  • 9.2 Grammatik Immobilientypen
  • 9.3 Benutzereingaben Immobilientypen
  • 9.4 Übersicht der Änderungen
• 10 VERZEICHNISSE
  • 10.1 Abbildungen
  • 10.2 Tabellen
  • 10.3 Quellen

Download Whitepaper