Elasticsearch als Suche im E-Commerce

Magento Commerce setzt seit Version 2.1 auf Elasticsearch als Produktsuche (zur Integration von Elasticsearch in Magento siehe devdocs.magento.com). Das haben wir zum Anlass genommen, unsere Such-Kompetenz im Bereich Open Source Suchlösungen mit einem Elasticsearch-Workshop zu vertiefen. Als externen Spezialisten holten wir uns Pere Urbon-Bayes ins Haus. Der Software Architect und Data Engineer war unter anderem zwei Jahre im Elastic Logstash-Team tätig.

Über Elasticsearch

Elasticsearch ist eine schnelle und gut skalierbare Suchlösung, die aufgrund des Open Source Ansatzes volle Flexibilität bietet und international erfolgreich eingesetzt wird. Bekannte Elasticsearch-Nutzer sind Zalando, Facebook, Wikipedia, Autoscout24 und Yatego. Die mehrsprachige Suche ist nicht auf die Anwendung im E-Commerce begrenzt, sondern eignet sich neben der Suche in Produktdaten beispielsweise auch für die Suche in Geo-Daten oder unstrukturierten Daten. Darüber hinaus bietet Elasticsearch umfangreiche Möglichkeiten zur Analyse jeder Form von Daten. Über Erweiterungen und Plugins sind auch Machine Learning (im kostenpflichtigen X-Pack) und Learning to Rank (siehe Github) möglich. Von Shay Banon entwickelt und 2010 zum ersten Mal veröffentlicht, kann Elasticsearch unter https://www.elastic.co/de/downloads/elasticsearch aktuell in der Version 6.2.3 heruntergeladen werden.

Hinter Elasticsearch steht das 2012 von Shay Banon in Amsterdam gegründete Unternehmen Elastic (vormals Elasticsearch; Elasticsearch-Produkte sind eingetragene Marken von Elasticsearch BV). Zum Produktportfolio für Suche, Logging, Sicherheit und Analytics gehören der Open Source Elastic Stack (Elasticsearch, Kibana, Beats, Logstash), das X-Pack (Bündelung der kommerziellen Features) und die Elastic Cloud. Die Cloud-Lösung ist für AWS, die Google Cloud Plattform und als Enterprise-Lösung auch zur Nutzung im eigenen Rechenzentrum verfügbar. Elastic ist ein weltweit operierendes Unternehmen mit Zentralen in Mountain View, Amsterdam und Hongkong. Die deutsche Niederlassung befindet sich in Berlin.

Elasticsearch-Logo

Der Elastic Stack

Die Suchmaschine "Elasticsearch", das Tool "Logstash" zur Verarbeitung und Normalisierung von Datenströmen, "Kibana" als Benutzeroberfläche (Developer-Tools und Management) sowie zur Analyse und Visualisierung und "Beats" als Daten-Shipper bilden den Elastic Stack.

Elasticsearch bekommt seine Daten von Logstash. Logstash zieht die Daten aus unterschiedlichen Quellen – beispielsweise Beats von Logs (Filebeats), Webanwendungen und Datenbanken. Definierte Datenfelder werden identifiziert, strukturiert, in ein gemeinsames Format umgewandelt und in einem Elasticsearch-Index abgelegt.

Das Visualisierungstool Kibana kann dann aus den in Elasticsearch enthaltenen Daten ansprechende Darstellungen in Form von Graphen oder Diagrammen etc. erzeugen. Ein Beispiel wäre, die Geo-Daten auf Landkarten zu visualisieren, um zu veranschaulichen, woher die Zugriffe auf den Shop stammen. Kibana lässt sich auch nutzen, um visuelle Dashboards für relevante Suche-KPIs zu generieren.

Grafik zum Zusammenspiel der Elastic Stack Produkte

Die Funktionsweise von Elasticsearch

Elasticsearch ist ein in Java geschriebenes Programm, das auf der Volltext-Suchmaschine "Apache Lucene" basiert. Elasticsearch kann Texte, die sogenannten Dokumente, automatisch indexieren. Suchbegriffe können selbst in unstrukturierten großen Datenmengen gefunden werden. Für die Anwendung im E-Commerce ist jedoch die Bereitstellung der Produktdaten als strukturierte Daten relevanter.

Die Datenstruktur von Elasticsearch besteht aus Indizes, Typen und Dokumenten. Elasticsearch speichert die Daten in Indizes und teilt diese in Typen und Dokumente auf:

  • Ein Elasticsearch-Index ist wie eine Datenbank, in der die Daten abgelegt sind und durchsucht werden können.
  • Der Index kann in mehrere Typen aufgeteilt werden.
  • Die Typen gruppieren die Dokumente, worin die eigentlichen Daten als "Attribute" für die Suche gespeichert sind.
Grafik zur Datenstruktur der Elasticsearch

Die Such-Daten können auf mehrere Server auf den sogenannten "Nodes", den Elasticsearch-Instanzen gespeichert werden. Diese schließen sich zu einem Cluster zusammen, synchronisieren untereinander und verteilen die eingehenden Suchanfragen selbstständig. So wird gewährleistet, dass bei einem Ausfall eines Servers ein anderer einspringen kann.

Die Daten eines Elasticsearch-Indizes werden in Bruchstücke zerlegt (sogenannte "Shards"), was Leistungsvorteile hat. Zur Absicherung kann man Replica Shards hinzufügen. Die Replica Shards sind intelligent auf verschiedene Nodes aufgeteilt und werden bei einem Ausfall in einen normalen Shard umgewandelt.

Grafik zur Elastisearch-Infrastruktur mit Nodes

Der Elasticsearch-Workshop

Am 21. Februar hießen unsere Webentwickler und Suchexperten den Elasticsearch-Experten Pere Urbon-Bayes bei Tudock willkommen. Nach einer kurzen Vorstellung der Teilnehmer startete auch schon die Weiterbildung:

Zu Beginn des Workshops ging Pere auf die grundsätzliche Funktionsweise von Elasticsearch und Kibana ein. Hiermit beschäftigten wir uns intensiv am Vormittag. Nach der Mittagspause installierten wir einige Elasticsearch-Instanzen und spielten Testdaten ein. Pere erklärte uns die Query DSL und wir analysierten Suchanfragen und deren Ergebnisse. Neben Tokenizern und Analyzern beschäftigten wir uns mit dem Thema Synonyme, insbesondere auch mit Mehrwort-Synonymen. Zum Abschluss diskutierten wir typische Probleme im Suchbetrieb und welche Lösungsansätze Elasticsearch dafür bietet.

Insgesamt war es sehr interessant, uns tiefer mit der Architektur und Funktionsweise von Elasticsearch und Kibana auseinanderzusetzen. Peres Workshop war gut strukturiert und sehr lehrreich. Vielen Dank dafür!

Bei Tudock beschäftigen wir uns seit 14 Jahren mit Suchlösungen im E-Commerce. Unsere praktische Erfahrung im Suchbetrieb und der Such-Optimierung umfasst proprietäre und Open Source Suchen. Für die Integration von Solr und SEMKNOX in Magento-Shops entwickelten wir zudem eigene Suchmodule. Wenn Sie die Suchqualität Ihrer E-Commerce-Plattform verbessern wollen, kontaktieren Sie uns!

Autor: Kategorie: E-Commerce
Schlagwörter: Produktsuche, Wissen, TUDOCKNEWS
YTo2OntzOjY6ImZldXNlciI7aTowO3M6MzoicGlkIjtpOjk2O3M6MzoiY2lkIjtpOjEwOTYxMjQzMzQ7czo0OiJjb25mIjthOjEwOntzOjEwOiJzdG9yYWdlUGlkIjtpOjEyNDtzOjE0OiJleHRlcm5hbFByZWZpeCI7czoxMToidHhfbmV3c19waTEiO3M6MTM6IlVzZXJJbWFnZVNpemUiO2k6MTg7czo5OiJhZHZhbmNlZC4iO2E6MTp7czoyMToic2hvd0NvdW50Q29tbWVudFZpZXdzIjtpOjA7fXM6ODoic2hhcmluZy4iO2E6MTp7czoxMjoidXNlU2hhcmVJY29uIjtOO31zOjg6InJhdGluZ3MuIjthOjM6e3M6MTY6InJhdGluZ0ltYWdlV2lkdGgiO2k6MTE7czoxNjoicmV2aWV3SW1hZ2VXaWR0aCI7aToxNjtzOjg6Im1vZGVwbHVzIjtzOjQ6ImF1dG8iO31zOjY6InRoZW1lLiI7YTo3OntzOjI2OiJib3htb2RlbFRleHRhcmVhTGluZUhlaWdodCI7aTozMDtzOjI0OiJib3htb2RlbFRleHRhcmVhTmJyTGluZXMiO2k6NDtzOjE1OiJib3htb2RlbFNwYWNpbmciO2k6MTA7czoxODoiYm94bW9kZWxMaW5lSGVpZ2h0IjtpOjIwO3M6MTg6ImJveG1vZGVsTGFiZWxXaWR0aCI7aToxMzQ7czoyNjoiYm94bW9kZWxMYWJlbElucHV0UHJlc2VydmUiO2k6MTtzOjIyOiJib3htb2RlbElucHV0RmllbGRTaXplIjtpOjM1O31zOjE3OiJwcmVmaXhUb1RhYmxlTWFwLiI7YToxMDp7czoxNDoidHhfYWxidW0zeF9waTEiO3M6MTc6InR4X2FsYnVtM3hfaW1hZ2VzIjtzOjE1OiJ0eF9jb21tZXJjZV9waTEiO3M6MjA6InR4X2NvbW1lcmNlX3Byb2R1Y3RzIjtzOjEyOiJ0eF9pcmZhcV9waTEiO3M6MTA6InR4X2lyZmFxX3EiO3M6MTU6InR4X21pbmluZXdzX3BpMSI7czoxNjoidHhfbWluaW5ld3NfbmV3cyI7czo5OiJ0eF90dG5ld3MiO3M6NzoidHRfbmV3cyI7czoxMToidHRfcHJvZHVjdHMiO3M6MTE6InR0X3Byb2R1Y3RzIjtzOjI0OiJ0eF93ZWNzdGFmZmRpcmVjdG9yeV9waTEiO3M6MjU6InR4X3dlY3N0YWZmZGlyZWN0b3J5X2luZm8iO3M6MTI6InR4X2NvbW11bml0eSI7czo4OiJmZV91c2VycyI7czoxOToidHhfY3d0Y29tbXVuaXR5X3BpMSI7czo4OiJmZV91c2VycyI7czoxMToidHhfbmV3c19waTEiO3M6MjU6InR4X25ld3NfZG9tYWluX21vZGVsX25ld3MiO31zOjExOiJzaG93VWlkTWFwLiI7YTo1OntzOjk6InR4X3R0bmV3cyI7czo3OiJ0dF9uZXdzIjtzOjExOiJ0dF9wcm9kdWN0cyI7czo3OiJwcm9kdWN0IjtzOjEyOiJ0eF9jb21tdW5pdHkiO3M6NDoidXNlciI7czoxOToidHhfY3d0Y29tbXVuaXR5X3BpMSI7czoyNToiYWN0aW9uPWdldHZpZXdwcm9maWxlJnVpZCI7czoxMToidHhfbmV3c19waTEiO3M6NDoibmV3cyI7fXM6MTI6IlJlcXVpcmVkTWFyayI7czoxOiIqIjt9czo0OiJsYW5nIjtzOjI6ImRlIjtzOjM6InJlZiI7czoyOToidHhfbmV3c19kb21haW5fbW9kZWxfbmV3c18zMzQiO30%3DYTo0OntzOjQ6ImNvbmYiO2E6MzU6e3M6MTc6InVzZVdlYnBhZ2VQcmV2aWV3IjtzOjE6IjEiO3M6MjI6InVzZVdlYnBhZ2VWaWRlb1ByZXZpZXciO3M6MToiMSI7czoyMDoid2VicGFnZVByZXZpZXdIZWlnaHQiO3M6MjoiNzAiO3M6MjA6Im1heENoYXJzUHJldmlld1RpdGxlIjtzOjI6IjcwIjtzOjMxOiJ3ZWJwYWdlUHJldmlld0Rlc2NyaXB0aW9uTGVuZ3RoIjtzOjM6IjE2MCI7czozODoid2VicGFnZVByZXZpZXdEZXNjcmlwdGlvbk1pbmltYWxMZW5ndGgiO3M6MjoiNjAiO3M6Mjc6IndlYnBhZ2VQcmV2aWV3Q2FjaGVUaW1lUGFnZSI7czozOiIxODAiO3M6MzM6IndlYnBhZ2VQcmV2aWV3Q2FjaGVUaW1lVGVtcEltYWdlcyI7czoyOiI2MCI7czozMDoid2VicGFnZVByZXZpZXdDYWNoZUNsZWFyTWFudWFsIjtzOjE6IjAiO3M6Mjg6IndlYnBhZ2VQcmV2aWV3TnVtYmVyT2ZJbWFnZXMiO3M6MjoiMTAiO3M6Mzg6IndlYnBhZ2VQcmV2aWV3U2Nhbk1pbmltYWxJbWFnZUZpbGVTaXplIjtzOjQ6IjE1MDAiO3M6MzA6IndlYnBhZ2VQcmV2aWV3U2Nhbk1pbkltYWdlU2l6ZSI7czoyOiI0MCI7czozMDoid2VicGFnZVByZXZpZXdTY2FuTWF4SW1hZ2VTaXplIjtzOjM6IjQ1MCI7czoyOToid2VicGFnZVByZXZpZXdTY2FuTWluTG9nb1NpemUiO3M6MjoiMzAiO3M6MzE6IndlYnBhZ2VQcmV2aWV3U2Nhbk1heEltYWdlU2NhbnMiO3M6MjoiNDAiO3M6Mzg6IndlYnBhZ2VQcmV2aWV3U2Nhbk1heEltYWdlU2NhbnNGb3JMb2dvIjtzOjI6IjU1IjtzOjQwOiJ3ZWJwYWdlUHJldmlld1NjYW5NYXhIb3J6aXpvbnRhbFJlbGF0aW9uIjtzOjI6IjU7IjtzOjM3OiJ3ZWJwYWdlUHJldmlld1NjYW5tYXh2ZXJ0aWNhbHJlbGF0aW9uIjtzOjE6IjMiO3M6MzA6IndlYnBhZ2VQcmV2aWV3U2NhbkxvZ29QYXR0ZXJucyI7czoxMDoibG9nbyxjcmdodCI7czozODoid2VicGFnZVByZXZpZXdTY2FuRXhjbHVkZUltYWdlUGF0dGVybnMiO3M6NTc6InBpeGVsdHJhbnMsc3BhY2VyLHlvdXR1YmUscmNsb2dvcyx3aGl0ZSx0cmFuc3BhLGJnX3RlYXNlciI7czozODoid2VicGFnZVByZXZpZXdEZXNjcmlwdGlvblBvcnRpb25MZW5ndGgiO3M6MjoiNDAiO3M6MjU6IndlYnBhZ2VQcmV2aWV3Q3VybFRpbWVvdXQiO3M6NDoiNzAwMCI7czoxMjoidXNlUGljVXBsb2FkIjtzOjE6IjAiO3M6MTI6InVzZVBkZlVwbG9hZCI7czoxOiIwIjtzOjEzOiJwaWNVcGxvYWREaW1zIjtzOjM6IjEwMCI7czoxNjoicGljVXBsb2FkTWF4RGltWCI7czozOiI4MDAiO3M6MTY6InBpY1VwbG9hZE1heERpbVkiO3M6MzoiOTAwIjtzOjIyOiJwaWNVcGxvYWRNYXhEaW1XZWJwYWdlIjtzOjM6IjQ3MCI7czoyMzoicGljVXBsb2FkTWF4RGltWVdlYnBhZ2UiO3M6MzoiMzAwIjtzOjIwOiJwaWNVcGxvYWRNYXhmaWxlc2l6ZSI7czo0OiIyNTAwIjtzOjIwOiJwZGZVcGxvYWRNYXhmaWxlc2l6ZSI7czo0OiIzMDAwIjtzOjE4OiJzb3VuZGNsb3VkQ2xpZW50SUQiO3M6MDoiIjtzOjIyOiJzb3VuZGNsb3VkQ2xpZW50U2VjcmV0IjtzOjA6IiI7czoyMDoidXNlVG9wV2VicGFnZVByZXZpZXciO3M6MDoiIjtzOjI0OiJ0b3BXZWJwYWdlUHJldmlld1BpY3R1cmUiO2k6MDt9czoxMToiYXdhaXRnb29nbGUiO3M6Mjg6IldhcnRlIGF1ZiBBbnR3b3J0IHZvbiBHb29nbGUiO3M6ODoidHh0aW1hZ2UiO3M6MTM6IkJpbGQgZ2VmdW5kZW4iO3M6OToidHh0aW1hZ2VzIjtzOjE1OiJCaWxkZXIgZ2VmdW5kZW4iO30%3DYTowOnt9YTowOnt9YTo3OntzOjE2OiJjb21tZW50TGlzdEluZGV4IjthOjE6e3M6MzI6ImNpZHR4X25ld3NfZG9tYWluX21vZGVsX25ld3NfMzM0IjthOjE6e3M6MTA6InN0YXJ0SW5kZXgiO2k6MTU7fX1zOjE0OiJjb21tZW50c1BhZ2VJZCI7aTo5NjtzOjE2OiJjb21tZW50TGlzdENvdW50IjtpOjEwOTYxMjQzMzQ7czoxMjoiYWN0aXZlbGFuZ2lkIjtpOjA7czoxNzoiY29tbWVudExpc3RSZWNvcmQiO3M6Mjk6InR4X25ld3NfZG9tYWluX21vZGVsX25ld3NfMzM0IjtzOjEyOiJmaW5kYW5jaG9yb2siO3M6MToiMCI7czoxMjoibmV3Y29tbWVudGlkIjtOO30%3D YTo1OntzOjExOiJleHRlcm5hbFVpZCI7aTozMzQ7czoxMjoic2hvd1VpZFBhcmFtIjtzOjQ6Im5ld3MiO3M6MTY6ImZvcmVpZ25UYWJsZU5hbWUiO3M6MjU6InR4X25ld3NfZG9tYWluX21vZGVsX25ld3MiO3M6NToid2hlcmUiO3M6MTcwOiJhcHByb3ZlZD0xIEFORCBleHRlcm5hbF9yZWY9J3R4X25ld3NfZG9tYWluX21vZGVsX25ld3NfMzM0JyBBTkQgcGlkPTEyNCBBTkQgdHhfdG9jdG9jX2NvbW1lbnRzX2NvbW1lbnRzLmRlbGV0ZWQ9MCBBTkQgdHhfdG9jdG9jX2NvbW1lbnRzX2NvbW1lbnRzLmhpZGRlbj0wIEFORCBwYXJlbnR1aWQ9MCI7czoxMDoid2hlcmVfZHBjayI7czoxMzk6ImV4dGVybmFsX3JlZj0ndHhfbmV3c19kb21haW5fbW9kZWxfbmV3c18zMzQnIEFORCBwaWQ9MTI0IEFORCB0eF90b2N0b2NfY29tbWVudHNfY29tbWVudHMuZGVsZXRlZD0wIEFORCB0eF90b2N0b2NfY29tbWVudHNfY29tbWVudHMuaGlkZGVuPTAiO30%3D YToyOntpOjA7czoxNDk6IjxpbWcgc3JjPSIvdHlwbzNjb25mL2V4dC90b2N0b2NfY29tbWVudHMvcmVzL2Nzcy90aGVtZXMvdHVkb2NrL2ltZy9wcm9maWxlLnBuZyIgY2xhc3M9InR4LXRjLXVzZXJwaWMgdHgtdGMtdWltZ3NpemUiIHRpdGxlPSIiICBpZD0idHgtdGMtY3RzLWltZy0iIC8%2BIjtpOjk5OTk5O3M6MTUxOiI8aW1nIHNyYz0iL3R5cG8zY29uZi9leHQvdG9jdG9jX2NvbW1lbnRzL3Jlcy9jc3MvdGhlbWVzL3R1ZG9jay9pbWcvcHJvZmlsZWYucG5nIiBjbGFzcz0idHgtdGMtdXNlcnBpY2YgdHgtdGMtdWltZ3NpemUiIHRpdGxlPSIiICBpZD0idHgtdGMtY3RzLWltZy0iIC8%2BIjt9
Bitte bestätigen Sie
Nein
Ja
Information
Ok
Vorschau wird geladen ...
* Pflichtfeld
Ihr Kommentar ist eine Antwort auf den folgenden Kommentar

Wir behalten uns vor, Kommentare zu löschen, beispielsweise wenn sich diese nicht auf den Beitrag beziehen, zur Eigenwerbung missbraucht werden, persönliche Daten anderer enthalten, diskriminieren, beleidigen oder Rechte verletzen.

Datenschutzhinweis: Wenn Sie einen Kommentar oder sonstigen Beitrag in unserem Blog hinterlassen, speichern wir neben Ihren Angaben Ihre IP-Adresse. Darüber hinaus können Sie die Beiträge und Kommentare unseres Blogs abonnieren. Das Kommentarabonnement können Sie jederzeit abbestellen. Weitere Informationen finden Sie in unserer Datenschutzerklärung.

E-Commerce & Webentwicklung: Wir realisieren und optimieren Internetprojekte. Unser Fachgebiet sind Onlineshops, Rich Internet Applications und anspruchsvolle Onlineauftritte. Über unsere Arbeit schreiben wir. Hier im Blog von TUDOCK.