KNIME: Data Science ohne Programmierung

Wir haben Ihnen bereits bei anderer Gelegenheit von KNIME berichtet, einem Tool, das uns hilft, Data-Science-Plattformen einfach und intuitiv zu erstellen, indem wir mit ETL-Datenflüssen (Extract, Transform and Load) arbeiten, die in Tabellen (Zeilen und Spalten) strukturiert sind. Es ist in der Lage, aus einer komplexen Technologie wie Big Data etwas Verständliches und Handhabbares für jedes Unternehmensprofil zu machen.

Die Adjektive „einfach“ und „intuitiv“, die wir in den ersten Zeilen dieses Beitrags angekündigt haben, haben wir nicht zufällig gewählt, denn die Einsatzmöglichkeiten dieses Tools gehen über reine Datenmanagement-Prozesse hinaus, die wir weiter unten sehen werden. Da KNIME auf einer GUI (Graphical User Interface bzw. grafischen Benutzeroberfläche) basiert, bietet es eine natürliche grafische Oberfläche, die das Arbeiten in Data-Mining-Umgebungen ohne Programmierkenntnisse ermöglicht.

In diesem Sinne sind die Stars von KNIME die Knoten, die visuell durch „Kästchen“ dargestellt werden, durch die die Daten laufen, um die gewünschten Aktionen anzuwenden. Jeder Knoten führt eine Operation auf unseren Daten aus, wodurch ein vollständiger Flow mit miteinander verbundenen Knoten entsteht (Abbildungen 1, 2 und 3). Einer der großen Vorteile dieser Arbeitsweise gegenüber Codezeilen ist, dass wir die Zwischenschritte jeder Transformation auf einen Blick sehen können.

Außerdem stellt KNIME den Nutzern eine Menge detaillierter Dokumentation zu jedem einzelnen Knoten zur Verfügung und integriert Flow-Beispiele, um diese Informationen zu veranschaulichen.

Vollständiges ETL mit KNIME

Zurück zu seinen Möglichkeiten im Datenmanagement: Das Tool, das wir analysieren, ermöglicht, wie bereits erwähnt, die Erstellung eines vollständigen ETL-Flows. Sehen wir uns die Optionen an, die es bietet:

• Anbindung an Datenquellen aller Art: Datenbanken wie Oracle, Microsoft SQL oder sogar Azure, Textdateien wie Excel, CSV, JSON usw.

• Verarbeitung der extrahierten Daten: KNIME ermöglicht alle Arten von Änderungen an unseren Daten – vom Filtern von Zeilen und Spalten über das Zusammenführen von Informationen aus verschiedenen Tabellen bis hin zu Operationen zwischen Spalten oder sogar dem Gruppieren von Zeilen. Auf diese Weise können wir die Daten bereinigen und für das Laden in dieselbe oder eine andere Zielquelle vorbereiten.

• Neben der Verarbeitung und Transformation der Daten ermöglicht KNIME auch die Anwendung von Advanced-Analytics-Techniken darauf, um verschiedenste Statistiken aus diesen Daten zu gewinnen.

• Darüber hinaus können wir noch einen Schritt weiter gehen und Machine- und Deep-Learning-Modelle wie Entscheidungsbäume oder sogar neuronale Netze auf Basis eines Trainingsdatensatzes erstellen und Vorhersagen für einen Testdatensatz durchführen.

• Die Genauigkeit der erstellten Modelle kann mithilfe von Scoring-Techniken bewertet werden.

• Es können Diagramme erstellt werden, die die erzielten Ergebnisse darstellen.

• Die finalen Daten können wieder in eine Datenbank geladen oder in Textdateien vom Typ CSV geschrieben werden.

• Die mit KNIME erstellten Entwicklungen können geteilt werden, sodass sie von einem anderen Nutzer wiederverwendet werden können.

• Sie können auch in Produktion gebracht werden, d. h. der Flow kann exportiert und automatisch in regelmäßigen Abständen ausgeführt werden, sodass wir eine Datenbank mit periodischen Ergebnissen speisen können.

Wie wir sehen, ist KNIME ein intuitives und einfaches Tool mit enormem Potenzial – dank seiner einfachen Integration und Skalierbarkeit; dank seiner Einfachheit beim Aufbau komplexer Datenflüsse, aus denen wertvolle Erkenntnisse gewonnen werden können; dank seiner Fähigkeit, Machine-Learning-Modelle mit nur ein paar Klicks zu erstellen; dank des umfangreichen Support-Netzwerks durch die Software selbst und die Community, die sich darum gebildet hat; dank seiner schnellen Lernkurve … kurz gesagt: dank seiner Fähigkeit, Schwieriges einfach zu machen.

Fazit

Als Fazit können wir sagen, dass KNIME Analytics Platform ein Open-Source- und benutzerfreundliches Tool ist, das die Entwicklung von Daten-Transformationsflows (ETL) auf einfache Weise ermöglicht, ohne programmieren zu müssen. In diesem Sinne besteht eine seiner wichtigsten Stärken darin, dass es eine große Vielfalt an Knoten bietet, mit denen sich von der Datenladung und -transformation bis hin zur Entwicklung von Machine-Learning-Modellen und deren anschließendem Laden in ein Repository alles umsetzen lässt. Zudem ermöglicht es gegenüber Codezeilen, den Zwischenzustand der Daten während der Transformationen zu prüfen, ohne dass diese Änderungen in der Datenbank wirksam werden, bis sie in diese geschrieben werden.