Evaluation von Nutzersimulationen anhand eines Ähnlichkeitsmaßes für Dialogkorpora

Authors: Stefan Hillmann

Abstract:

Mittels einer Leave-One-Out-Kreuzvalidierung werden Klassifikatoren auf ihre Leistungsfähgigkeit bei der Klassifizierung von Dialogen getestet. Die Klassifikation erfolgt mittels Distanzmaßen, welche auf Dialogakt-basierte N-Gramm-Modelle von Dialogen und Dialogkorpora angewendet werden. Die Kreuzvalidierung dient dazu den optimalen Klassifikator für vorhandene Daten zu bestimmen. Die Konfiguration des Klassifikators wird dann dafür genutzt, die Unterschiede zwischen Dialogkorpora zu bestimmen. Die Methode kann u. a. dazu verwendet werden, die Simulation von Dialogverläufen zu bewerten.