Juuti und seine Kollegen haben nun ein System präsentiert, dessen Fake-Reviews Menschen sehr zuverlässig täuschen.
Das Team, dem auch Wissenschaftler der Waseda University angehören, hat einen Ansatz von Informatikern der University of Chicago weiterentwickelt. Dabei lernt ein neuronales Netzwerk aus Millionen Vorlagen, wie Yelp-Reviews aussehen.
Das Chicagoer System hat sich aber oft durch Themenverfehlungen verraten – etwa, wenn bei der Bewertung eines japanisches Restaurants in einer Stadt ein Italiener in einer anderen erwähnt wird. Die Finnen haben daher auf Methoden der neuronalen maschinellen Übersetzung gesetzt, damit ihr Review-Generator auch beim Thema bleibt. Dazu achtet dieser auch auf Bewertung, Restaurantname, Ort und Tags für bestimmtes Essen.
Nur Menschen leicht zu täuschen
„In einer Nutzerstudie haben wir Teilnehmern echten Bewertungen von Menschen und falsche maschinell generierte Reviews gezeigt und sie gebeten, die Fälschungen zu identifizieren“, sagt Juuti. Insgesamt seien bis zu 60 Prozent der Fakes für echt gehalten worden. Die beste Variante ihres Review-Generators ist beinahe perfekt unerkennbar, so das Team in einem auf „arXiv“ veröffentlichten Paper.
Für eine Maschine allerdings sind auch die hochkarätigen Fake-Reviews leicht als solche zu erkennen. Die Forscher haben nämlich auch gleich eine KI entwickelt, mit sich die Fälschungen erkennen lassen. Diese hat sich in Tests als sehr zuverlässig erwiesen – und das insbesondere bei jenen Bewertungen, bei denen Menschen besonders viel Mühe hatten, zu beurteilen, ob sie echt sind oder maschinell erstellt.
