Eine kleine Warnung vorab: In diesem Post geht es ausnahmsweise nicht ums Kochen, heute wird es wissenschaftlich 😮
Vielleicht ist Dir das ja auch schon mal passiert: Du bestellst ein Kochbuch bei Amazon, das auf den ersten Blick einen ziemlich guten Eindruck macht: das Cover ist ansprechend gestaltet, und viele Käufer haben das Buch bereits positiv bewertet. Wenn das Buch geliefert wird, folgt die Enttäuschung: im Buch ist kein einziges Foto enthalten, das Layout ist lieblos gestaltet, und die Rezepte sind doch nicht so raffiniert wie in den zahlreichen Buchrezensionen angepriesen.
Natürlich wissen wir alle, dass nicht alle Rezensionen auf Amazon echt sind. Ein Buchautor möchte schließlich möglichst viele Bücher verkaufen, und ein paar Freunde finden sich bestimmt, die das Buch positiv bewerten und damit den Verkauf ein wenig ankurbeln. Kein großes Problem – oder doch?
Ich wollte es mal genauer wissen und habe die Rezensionen von insgesamt 78 kürzlich erschienen Kochbüchern ausgewertet. Das Ergebnis hat meine (negativen) Erwartungen leider um ein Vielfaches übertroffen.
Die Auswertekriterien
Vor einigen Tagen bin ich auf das Online-Tool ReviewMeta aufmerksam geworden. ReviewMeta analysiert alle Rezensionen, die auf Amazon zu einem bestimmten Produkt vorhanden sind und hilft dabei, Fake-Rezensionen zu erkennen. Dafür werden eine ganze Reihe von Faktoren ausgewertet, zum Beispiel:
- wie viele Reviewer in der Vergangenheit mindestens eine ihrer Produktbewertungen wieder gelöscht haben
- mit wie vielen Sternen die Reviewer andere Produkte bewertet haben (durchweg sehr gute Rezensionen sind ein Indiz dafür, dass die Rezensionen nicht echt sind)
- wieviel Prozent der Reviewer eine substanziell überlappende Review-Historie haben, das heißt in der Vergangenheit die gleichen Produkte bewertet haben
- wie viele Reviewer auffällig viele Rezensionen geschrieben haben
- ob auffällig viele Rezensionen am selben Tag verfasst wurden
- ob es übereinstimmende Satzfragmente und Wortlaute in unterschiedlichen Rezensionen gibt
- wie viele Reviewer das bewertete Produkt nicht auf Amazon gekauft haben
- wie viele Rezensionen eines Produkts signifikant mehr Worte enthalten, als man es statistisch erwarten würde
Für sich alleine sind viele dieser Bewertungsfaktoren nicht aussagekräftig genug, aber in der Summe ergeben sie ein verlässliches Bild darüber, wie viele Rezensionen verdächtig und damit potenziell gefälscht sind. Das stärkste Indiz für gefälschte Produkt-Rezensionen ist meines Erachtens der dritte Faktor, also der Anteil an Reviewern mit überlappender Review-Historie. Wie wahrscheinlich ist es beispielsweise, dass von 24 Reviewern eines Dessertbuchs 92 % auch das Buch „Schnell und dauerhaft abnehmen ohne Diät“ bewerten, 83 % „Körpersprache lesen und anwenden“ und 79 % „Die carnivore Diät für Anfänger“ – und dass alle diese Rezensionen echt sind? Genau, diese Chance ist gleich Null.
Der Datensatz
Zur untersuchten Kochbuch-Stichprobe: Ich wollte gerne einen kompletten Datensatz auswerten, der aber nicht zu groß für eine manuelle Auswertung ist. Daher habe ich mich für Kochbücher der Kategorie „vegetarische & vegane Küche“ entschieden, die innerhalb der letzten 90 Tage (im Zeitraum von 19.03. bis 13.06.19) auf Amazon veröffentlicht wurden. Die Stichprobe umfasst nur Bücher in deutscher Sprache, die zum Zeitpunkt der Auswertung (18.-19.06.19) auf Amazon verfügbar waren und mindestens eine Rezension aufwiesen. Die vollständige Liste findest Du hier:
Von den 78 untersuchten Kochbüchern handelt es sich bei der Hälfte um Taschenbücher, die im Selbstverlag publiziert wurden (independently published), dazu kommen noch etwa 10 % reine Kindle-Ausgaben. Verlage und andere Veröffentlichungsplattformen machen etwa 40 % der Kochbücher aus.
Technische Anmerkung: Unterschiedliche Suchabfragen bei Amazon lieferten teilweise unterschiedliche Ergebnisse, daher habe ich mehrere Suchabfragen durchgeführt. Ich gehe davon aus, dass der Datensatz (insgesamt 78 Bücher) komplett ist, kann aber nicht mit 100 %iger Sicherheit ausschließen, dass mir bei der Suche ein Buch entgangen ist.
Sind viele Rezensionen verlässlicher als wenige?
Die folgende Graphik zeigt, wieviel Prozent der Rezensionen eines bestimmten Buchs potenziell gefälscht sind in Abhängigkeit von der Anzahl an Rezensionen (blaue Dreiecke). Die Auswertung beruht auf dem Algorithmus von ReviewMeta unter Berücksichtigung aller Bewertungsfaktoren. Die roten Punkte geben an, wieviel Prozent der Reviewer in der Vergangenheit die gleichen Produkte bewertet haben (ein besonders starkes Indiz für Fake-Bewertungen).
Einige der blauen Dreiecke liegen im negativen Bereich. Sie betreffen Bücher, bei denen ich bei genauem Hinschauen entgegen dem ReviewMeta-Algorithmus keine starken Indizien für gefälschte Rezensionen finden konnte oder um Bücher, die zu wenige Rezensionen für eine verlässliche Aussage aufwiesen. Da diese Bewertung eine subjektive Komponente besitzt, habe ich die Daten wie vom Algorithmus berechnet dargestellt, aber zur Unterscheidung mit einem Minuszeichen versehen.
Und was genau sieht man nun in der Graphik? Man sieht, dass neu publizierte Kochbücher mit sehr vielen (positiven) Rezensionen einen extrem hohen Anteil potenziell gefälschter Bewertungen aufweisen. Das widerspricht der Intuition, dass man sich auf die Bewertungen umso besser verlassen kann, je mehr davon vorhanden sind. Tatsächlich ist es zumindest bei Neuerscheinungen genau umgekehrt.
Weist ein frisch publiziertes Buch hingegen wenig Rezensionen auf, kann man daraus nicht umgekehrt auf deren Echtheit schließen. Unter den untersuchten Büchern mit wenig Rezensionen gab es sowohl solche mit hohem Anteil potenzieller Fake-Bewertungen als auch solche mit durchweg unauffälligen Bewertungen.
Oder einfacher gesagt: bei neu publizierten Kochbüchern erlaubt die Anzahl an (positiven) Reviews überhaupt keine Rückschlüsse auf die Qualität des Inhalts.
Auf Bücher, die sich schon länger auf dem Markt befinden, lassen sich diese Schlussfolgerungen allerdings nicht ohne weiteres übertragen. Vor allem, wenn ein Autor sehr bekannt ist, ist es durchaus plausibel, dass seine Bücher oft bewertet werden.
Wie viele Kochbücher sind von potenziellen Fake-Rezensionen betroffen?
Um es vorweg zu nehmen: eine ganze Menge und auf jeden Fall sehr viel mehr, als ich vorher erwartet hätte.
Die Abbildung unten zeigt die Anzahl an Büchern abhängig vom Anteil potenzieller Fake-Rezensionen. (Die roten Balken sind aussagekräftiger als die grauen, da letztere nur Bücher betreffen, bei denen ich entgegen dem ReviewMeta-Algorithmus keine starken Indizien für gefälschte Rezensionen finden konnte oder die zu wenige Rezensionen für eine verlässliche Aussage hatten.)
Ungefähr die Hälfte oder mehr der untersuchten Kochbücher ist von potenziellen Fake-Rezensionen betroffen. Bei der überwiegenden Mehrzahl der Bücher mit gefälschten Rezensionen sind sogar über 60 % der Rezensionen sehr wahrscheinlich nicht echt.
Betrachtet man nur das meines Erachtens aussagekräftigste Kriterium für Fake-Rezensionen (Anteil an Reviewern, die in der Vergangenheit substanziell die gleichen Produkte bewertet haben), wird das Bild noch drastischer: mehr als die Hälfte von neu publizierten Kochbüchern, die mindestens einmal bewertet wurden, weisen Fake-Rezensionen auf, und in der Mehrzahl dieser Fälle sind sogar 81-100 % der Reviewer nicht vertrauenswürdig.
Welche Kochbücher sind besonders häufig von Fake-Rezensionen betroffen?
Die Graphik unten zeigt denselben Datensatz wie die Abbildung oben, aber unterteilt in die verschiedenen Verlage der untersuchten Kochbücher.
Die Bücher renommierter Verlage sind kaum von potenziellen Fake-Rezensionen betroffen, das Problem betrifft hauptsächlich Bücher, die im Selbstverlag veröffentlicht wurden. In der untersuchten Stichprobe machen diese die Hälfte aller Kochbücher aus.
Wie erkennt man Fake-Rezensionen?
Die gefälschten Rezensionen sind meist so gut gemacht, dass man sie selbst oft gar nicht erkennen kann. Verdächtig ist in jedem Fall, wenn ein neu publiziertes Buch oder ein Buch mit unbekanntem Autor auffällig oft bewertet wurde. Auch Reviewer, die regelmäßig viele Produkte bewerten oder in deren Amazon-Profil die einzelnen Bewertungen nicht angezeigt werden, sind tendenziell nicht vertrauenswürdig. Weiterhin sind Fake-Rezensionen – soweit ich gesehen habe – oft relativ oberflächlich gehalten, im Sinne von „tolles Buch“, „tolle Rezepte“, „für jeden Geschmack etwas dabei“ oder „klare Kaufempfehlung“, aber das ist natürlich kein verlässliches Kriterium. Wurde das Buch in einem bekannten Verlag publiziert, ist die Gefahr von Fake-Rezensionen klein. Bei Büchern, die im Selbstverlag veröffentlicht wurden, hilft hingegen meist nur die Auswertung mit einem Online-Tool wie ReviewMeta.
Nachtrag (8. Juli 2019):
Bei der Frage, woher die vielen Falschrezensionen stammen, bin ich im Internet mit der Suchabfrage „Rezensionen kaufen“ fündig geworden. Der Verkäufer eines Produkts kann bei einem der zahlreichen Anbieter eine beliebige Anzahl von Rezensionen einkaufen – sowohl positive für das eigene Produkt als auch negative für „lästige“ Mitbewerberprodukte. Manche Anbieter für Rezensionen werben mit einer „100 % Zufriedenheitsgarantie“.
Vegantina 