ELK – Wie verarbeitet man Daten in Echtzeit?

ELK-Umgebung: Datenverarbeitung in Echtzeit

Nach unserem ersten Beitrag, in dem wir unser Projekt zur Datenanalyse in Echtzeit vorgestellt haben, gehen wir nun zur Beschreibung der erforderlichen Werkzeuge und Ressourcen über.

Offensichtlich sind die Daten das Wichtigste in diesem Projekt. Daher haben wir uns entschieden, dass diese real sein müssen, damit wir sie vergleichen und verstehen können. So haben wir uns für die Überwachung der Daten von zwei fahrenden Automobilen entschieden. Glücklicherweise ist die Datenerfassung bei Pkw unter Verwendung des OBDII-Protokolls sehr einfach.

Protokoll zur Datenextraktion: OBDII

OBDII ist ein On-Board-Diagnosesystem für Fahrzeuge. Dieses System ist in einer breiten Palette von Fahrzeugen seit etwa dem Jahr 1996 in den USA verfügbar. In Europa wurde dieses System im Jahr 2000 für Benzinfahrzeuge, 2003 für Dieselfahrzeuge und 2005 für Lkw eingeführt. Dank dieses Geräts können wir heute auf die Sensoren und Daten jedes Fahrzeugs zugreifen, dessen Herstellungsdatum nach den oben genannten Zeitpunkten liegt. Dieses System ist sehr nützlich für IoT.

Datenanalyse in Echtzeit: ELK

Der andere wichtigste Teil dieses Projekts besteht darin, in der Lage zu sein, die Daten zu erfassen, zu analysieren und schließlich anzuzeigen. Hierfür verwenden wir die im vorherigen Beitrag vorgestellte ELK-Umgebung: Elasticsearch+Logstash+Kibana.

Gemäß dem obigen Schema folgt nach der Erstellung des Logs (Protokoll) die Phase der Datenerfassung (Sammlung, Verarbeitung und Speicherung). Hierfür verwenden wir Logstash, ein Werkzeug, das in der Lage ist, Logs zu sammeln, sie gemäß unseren Anforderungen zu modifizieren und anschließend an die Datenbank zu senden. Dank dieses Tools können wir die vom Auto erstellten Logs in dem Format an eine Datenbank senden, das für uns am interessantesten ist.

In einem zweiten Schritt verwenden wir Elasticsearch. Dieses kombiniert eine Suchmaschine und eine Datenbank, die wir zur Speicherung der von Logstash verarbeiteten Daten nutzen. Die zwei Unterscheidungsmerkmale dieser Datenbank sind ihre Verteilbarkeit und die hohe Geschwindigkeit der Suchverarbeitung, die sie erreichen kann. Diese Kombination macht sie ideal für die Durchführung von Analyseprojekten in Echtzeit.

Als letzten Schritt zur Anzeige der Daten haben wir uns für Kibana entschieden. Kibana ist ein Plugin für Elasticsearch, das die grafische Visualisierung der im Elasticsearch-Cluster gespeicherten Daten ermöglicht. Auf diese Weise können einzelne Grafiken oder vollständige Dashboards erstellt werden. Zudem können dank der Refresh-Funktion die Daten im Sekundentakt aktualisiert eingesehen werden. Es handelt sich um eine grafische und intuitive Benutzeroberfläche, sodass jede Person aus der Geschäftswelt die volle Autonomie besitzt, ihre eigenen grafischen Darstellungen je nach Bedarf zu erstellen, ohne auf die IT-Abteilung angewiesen zu sein.

So entsteht die ELK-Umgebung (auch bekannt als Elastic Stack), die es uns ermöglicht, grafische Darstellungen von in Echtzeit gewonnenen Daten zu erhalten.

Business Intelligence und die Kunst der Darstellung

Im nächsten Beitrag wird detailliert beschrieben, wie man mit Kibana Grafiken erstellt und ein eigenes Dashboard aufbaut.

Wir erwarten Sie im nächsten Beitrag. Werden Sie ihn sich entgehen lassen?