Ein allgegenwärtiges Problem bei der Optimierung einer Suche ist die fehlende Transparenz darüber, wie die Suchergebnisse eigentlich zustande kommen. Unser Ziel und unsere Motivation ist es, diese Transparenz für unsere Kunden zu schaffen. Das betrifft die allgemeine Qualität der Suchergebnisse und deren Ranking-Faktoren.
Mangelnde Transparenz auf Seite des Shopbetreibers kann viele Gründe haben: Der Mitarbeiter, der die Suche betreute und vor Jahren das Ranking definiert hat, ist vielleicht nicht mehr im Unternehmen. Es mangelt generell an internen Ressourcen für das Thema Suche oder die Datengrundlage und Technologie haben sich so verändert, dass nicht mehr klar ist, wo die Suche steht. Das Tracking und die Analytics geben vielleicht nicht so viel zum Thema Suche her oder der Suchanbieter bietet nicht genug Einblick in das Zustandekommen der Suchergebnisse. Das alles kann zu Unsicherheit, Verwirrung, Missverständnissen und damit für Frustration sorgen.
Wir haben daher über die Jahre Mittel und Wege gefunden, für mehr Durchblick zum Thema Suche zu sorgen. Unsere aktuelle Lösung lässt sich mit Trackingdaten kombinieren und erlaubt dadurch auf einfache und schnelle Weise Einblicke in das Sucherverhalten auf Suchergebnisebene. Das Ganze ist so Low-Tech, dass es sich leicht auf verschiedene Projekte übertragen lässt und auch in kleineren Zeitbudgets Sinn macht. Die einzige Voraussetzung sind die Suchbegriffe aus dem Analyticstool oder den Suchlogs sowie Zugriff zum Live bzw. Testshop und eine weitere Datenquelle. Das können Klicks oder Businesswerte wie Bestellungen pro Produkt sein.
Um etwas besser verstehen zu können, hilft es ungemein, es bildlich zu betrachten. Daher fokussiert sich das Tool auf die Visualisierung von Suchergebnissen. Visuelle Informationen sind außerdem besser für jedermann zugänglich, das heißt unabhängig vom fachlichen Background lassen sich schnell Zusammenhänge erfassen und Schlüsse ziehen.
Wir wollen unsere Begeisterung für das Thema Suche mit allen Projektbeteiligten teilen, unabhängig von ihrem fachlichen Hintergrund. Und genau dabei hilft uns dieses Tool.
Herausforderungen
Um die Suchergebnisqualität zu beurteilen, genügt es nicht, sich Suchergebnisse im Shop anzuschauen. Das mag für offensichtlich falsche Treffer ausreichen, aber was wenn das Suchergebnis „Waschmaschine“ ausschließlich aus Waschmaschinen besteht? Dann ist es wichtig, dass die Topseller bzw. Neuheiten auf den vorderen Positionen gelistet werden. Um das zu beurteilen, muss man zusätzliche Daten hinzuziehen, die nicht im Shop sichtbar sind – wie das Nutzerverhalten oder den Verkaufsrang eines Produktes. Je nachdem, welche Informationen verfügbar sind, wird die Bewertung anders ausfallen. Hier ein Beispiel:
Betrachtet man nur den im Shop sichtbaren Teil, würde man das Suchergebnis als gut bewerten. Die Mitarbeiter, die die Kategorie verantworten, kämen vielleicht zu einem anderen Schluss, da sie die Topseller kennen. Aber auch sie wissen nicht, welche Artikel die Kunden in letzter Zeit im Shop geklickt haben. Daher ist es wichtig, all diese Informationen sichtbar zu machen, um zu einer Bewertung des Suchergebnisses zu kommen.
Das Tool
Das Tool besteht aus drei Komponenten: Zuerst fragen wir die Suchergebnisse einer beliebigen Anzahl von Suchbegriffen inklusive der Position der einzelnen Produkte vom Suchserver ab. Das speichern wir als simple Tabelle, die wir dann mit weiteren Daten aggregieren, um die Ergebnisse abschließend zu visualisieren.
Im Idealfall haben wir direkten Zugriff zum Suchserver und holen uns die Suchergebnisse als XML ab. Darin sind in der Regel schon viele nützliche Zusatzdaten enthalten. Ist ein direkter Zugriff aufgrund der Systemlandschaft, der Sicherheitsvorkehrungen etc. nicht möglich, setzen wir einen einfachen Crawler ein, der die Produkte und deren Position per URL-Aufruf aus dem Frontend beschafft. Im ungünstigsten Fall kann man die Suchergebnisse auch aus einer Preview der Suchlösung per Copy und Paste in das Tool übertragen. Damit ist man aber sehr eingeschränkt und kann die größte Stärke des Tools nicht nutzen: die Möglichkeit, eine große Menge an Suchergebnissen automatisiert abzurufen.
Im zweiten Schritt kann man die gewonnenen Daten jetzt anreichern, zum Beispiel um die Zielseiten der Suche aus Google Analytics. Das sind laut Google „die Seiten, die Besucher gesehen haben, nachdem sie eine Suche auf Ihrer Website ausgeführt haben“.
Wir können diese Information nutzen, um die Klicks innerhalb des Suchergebnisses abzubilden. Die Artikelnummer ist in der Regel Teil der URL und lässt sich einfach extrahieren. Sie schafft die Verbindung zu unseren Daten aus Schritt 1, als wir die Suchergebnisse abgeholt haben. So können wir unsere erste Visualisierung erstellen:
Jede Zeile besteht aus einem Suchbegriff und die Spalten entsprechen den Positionen im Suchergebnis. Rot ist in diesem Fall kein Klick und je intensiver das Grün, desto häufiger wurde der Artikel geklickt. Dies lässt sich dann gleich für eine Reihe von Suchbegriffen darstellen:
So kann man auch bei einer großen Menge von Suchbegriffen schnell erfassen, wo Probleme auftreten beziehungsweise wie gut das aktuelle Ranking der Nachfrage der Kunden entspricht. Darüber hinaus sieht es auch einfach cool aus. 🙂
Noch interessanter ist es, wenn man weitere Daten dazunimmt. Zum Beispiel Rankingfaktoren wie Relevanz-Scores aus der Suchlösung und Business-Scores der Produkte. Das unterscheidet sich je nach eingesetzter Suche und Setup. Angenommen, der Shop setzt Solr als Produktsuche ein und sortiert zuerst nach Solr Score und dann nach Businesswert. Dann könnte das zum Beispiel so aussehen:
Man erkennt durch die Visualisierung schnell, wo das Problem liegt. Im E-Commerce ist es tendenziell so, dass ein Produkt relevant ist oder nicht. Besonders bei generischen Sortimentsanfragen wie „Waschmaschine“. Aufgrund der Produktdaten ist aus Sicht der Suchlösung aber die eine Waschmaschine eventuell relevanter als die andere. Das kann viele Gründe haben: Der Begriff „Waschmaschine“ kommt bei einer Maschine öfter in den Daten vor als bei einer anderen, das Feld, das Waschmaschine enthält, hat einmal mehr und einmal weniger andere Begriffe oder Synonyme spielen mit in den Relevanz-Score. Das betrifft alle Suchlösungen, die irgendwie mit Feldgewichtungen arbeiten, wie Solr, Fredhopper oder FACT-Finder gleichermaßen.
Um ein Ranking zu beurteilen, schauen wir uns verschiedene Rankingfaktoren im Zusammenspiel an und ergänzen Dateninhalte, die wir hervorheben wollen, also zum Beispiel, ob es sich bei dem Produkt um einen Laptop oder Zubehör beziehungsweise eine Laptoptasche handelt:
Um möglichst viele Positionen zu erfassen, kann man auch eine andere Darstellung wählen, wie zum Beispiel blockweise von links nach rechts und oben nach unten. So kann man in folgender Abbildung 196 Artikel mit jeweils sechs Informationen pro Artikel auf einmal betrachten:
Alles bis hierher dient der Transparenz und der Bewertung des Status Quo. Wo wir aber auch großes Potential sehen, ist die Möglichkeit, relativ einfach und schnell verschiedene Konfigurationen miteinander zu vergleichen:
So kann man sich ein Test-Set zusammenstellen und dafür Kriterien zur Bewertung bestimmen. In unserem Beispiel wollen wir sehen, wie viele Artikel im Suchergebnis von „Waschmaschine“ tatsächlich in den Produktdaten als Waschmaschine verortet sind. Zur Beurteilung würde ein reiner Prozentwert ausreichen. Zum Erforschen, Vergleichen und Erklären ist eine Visualisierung aber besser geeignet.
Ausblick
Bis jetzt nutzen wir die Visualisierung hauptsächlich, um uns ein Bild über Ranking und Relevanzprobleme zu machen und die Erkenntnisse dann mit den Shopverantwortlichen zu besprechen. Wir wollen die Visualisierung aber auch stärker in den Betriebsprozess integrieren, beispielsweise beim Monitoring der Top-Suchen. Das wäre dann ein Thema für einen weiteren Beitrag.
Wir freuen uns über Anmerkungen und Kommentare und sind immer an Ideen und Vorschlägen interessiert, wie man die Transparenz beim Thema Onsite Search weiter erhöhen könnte.
