Im Raum der Täuschung - Raumhall als Schwachstelle automatischer Deepfake-Erkennung

Authors: Sophie Hoppe, Anabell Hacker, Markus Brückl

Abstract:

In dieser Studie wird die Robustheit eines frei zugänglichen Detektionssystems zur Erkennung von Audio-Deepfakes (DEEPFAKE TOTAL) getestet. Die verwendeten Äußerungen stammen aus der BRANDDB, in der sieben Schauspieler die fünf Markenpersönlichkeitsdimensionen ausschließlich durch Stimme und Sprechweise darstellen. Durch die Verwendung eines Voice-Cloning-Tools, sowie eines Voice-Conversion-Tools von ELEVENLABS, werden Audio-Deepfakes erzeugt, welche die Stimme und Sprechweise der Originaläußerungen synthetisieren. Sowohl die Originale als auch die Audio-Deepfakes werden zusätzlich in einem Büroraum erneut aufgenommen, um natürlichen Raumhall zu erzeugen. Die Ergebnisse zeigen, dass durch Raumhall maskierte Audio-Deepfakes von DFT nicht mehr signifikant von Originalaudios unterschieden und teilweise sogar als natürlicher bewertet werden. Darüber hinaus weisen die Befunde auf genderspe- zifische Verzerrungen und den Einfluss der unterschiedlichen Sprechweise der Markenpersönlichkeitsdimensionen auf die Klassifikationsleistung hin. Alle Audiodateien und Ergebnisse sind unter https://www.tu.berlin/kw/forschung/projekte abzurufen.