@InProceedings{Schreiber2022_1154,
author = {Katja Schreiber and Stefan Hillman},
booktitle = {Studientexte zur Sprachkommunikation: Elektronische Sprachsignalverarbeitung 2022},
title = {Vergleichende Evaluation von zwei Ansätzen für ein Question-Answering System},
year = {2022},
editor = {Oliver Niebuhr and Malin Svensson Lundmark and Heather Weston},
month = mar,
pages = {154--162},
publisher = {TUDpress, Dresden},
abstract = {Dieser Beitrag beschreibt einen technischen und empirischen
Vergleich zwischen zwei Sprach-Interaktionssystemen. Bei einem System (SCIOSystem)
handelt es sich um ein regelbasiertes System und bei dem anderen System
(BERT-System) um ein sprachmodellbasiertes System. Eine technische Evaluation
betrachtet die quantitative korrekte Beantwortung von Fragen der Nutzenden. Dabei
scheidet das BERT-System in Summe besser ab als das SCIO-System. In einer
empirischen Evaluation haben die Nutzer:innen die Zugänglichkeit und Nützlichkeit
der Antworten bewertet. Bei dieser Evaluation schnitt das SCIO-System besser ab.
Beide Systeme zeigten in unterschiedlichen Bereichen ihre Stärken und Schwächen,
weshalb für eine optimale Nutzung die einzelnen Systeme zum jetzigen Zeitpunkt
nicht geeignet sind. Jedoch zeigen beide Systeme Potenzial, um mit weiteren Verbesserung
und weiterer Forschung die bisherigen Ergebnisse Qualität der Antworten
zu verbessern.},
isbn = {978-3-95908-548-9},
issn = {0940-6832},
keywords = {Poster},
url = {https://www.essv.de/pdf/2022_154_162.pdf},
}