Vergleichende Evaluation von zwei Ansätzen für ein Question-Answering System

Abstract:

Dieser Beitrag beschreibt einen technischen und empirischen Vergleich zwischen zwei Sprach-Interaktionssystemen. Bei einem System (SCIOSystem) handelt es sich um ein regelbasiertes System und bei dem anderen System (BERT-System) um ein sprachmodellbasiertes System. Eine technische Evaluation betrachtet die quantitative korrekte Beantwortung von Fragen der Nutzenden. Dabei scheidet das BERT-System in Summe besser ab als das SCIO-System. In einer empirischen Evaluation haben die Nutzer:innen die Zugänglichkeit und Nützlichkeit der Antworten bewertet. Bei dieser Evaluation schnitt das SCIO-System besser ab. Beide Systeme zeigten in unterschiedlichen Bereichen ihre Stärken und Schwächen, weshalb für eine optimale Nutzung die einzelnen Systeme zum jetzigen Zeitpunkt nicht geeignet sind. Jedoch zeigen beide Systeme Potenzial, um mit weiteren Verbesserung und weiterer Forschung die bisherigen Ergebnisse Qualität der Antworten zu verbessern.


Year: 2022
In session: Poster
Pages: 154 to 162