Was ist eine Flow Operation?

Als Flow Operation (oder einfach Operation) wird in Chioro ein Element eines Flows bezeichnet. Eine Operation empfängt Datensätze von ihrer oder ihren Vorgängeroperation(en), verarbeitet diese und schickt die verarbeiteten Daten an ihre Nachfolgeroperation(en). Vorgänger bzw. Nachfolger ergeben sich aus den Verbindungen (Pfeile) im grafischen Flow Editor. Lediglich Datenquellen bzw. Datenziele haben naturgemäß keine Vorgänger bzw. Nachfolger.

Es gibt Operationen um Daten zu importieren oder exportieren (Datenquelle und Datenziel), um Datensätze zu verändern (Transformation), Datensätze aus anderen zusammenzusetzen (Join) externe Services aufzurufen (Call) und einiges mehr.

Eine Operation anlegen

Eine neue Operation wird angelegt, indem sie im grafischen Flow Editor von der Toolbox auf der linken Seite in den Flow gezogen wird.

Um tatsächlich im Flow verwendet zu werden, muss sie dann noch über entsprechende Pfeile mit ihren Vorgängern und Nachfolgern verbunden werden:

Eine Operation löschen

Eine Operation kann auf zwei verschiedene Arten aus dem System entfernt werden. Achtung! Eine gelöschte Operation kann nicht wiederhergestellt werden! Aus diesem Grund erfolgt vor dem Löschen eine Sicherheitsabfrage.

Hinweis: Durch das Löschen einer Operation bleiben die Vorgänger- und Nachfolgeroperationen zunächst verwaist und müssen neu verbunden werden.

Löschen im grafischen Flow Editor

Im grafischen Flow Editor zunächst die Operation auswählen (markieren) und dan durch Klick auf das Papierkorbsymbol löschen.

Alternativ kann eine Operation auch in der tabellarischen Flow Übersicht durch das Papierkorb Symbol gelöscht werden:

Eine Operation konfigurieren

Konfiguriert wird eine Flow-Operation im Operation Editor, welcher sich direkt unter dem grafischen Flow Editor befindet.

Bei vielen Arten von Operationen umfasst dieser Bereich mehrere Ebenen, welche über Reiter am oberen Rand ausgewählt werden können. Der Inhalt der Ebenen hängt stark von der Art der Operation ab. Die erste Ebene ist aber bei allen mehr oder weniger gleich:

• Links befinden sich einige grundlegende Einstellung der Operation.
• In der Mitte ist der Button zum Ausführen der Operation und darunter die Historie.
• Rechts finden sich einige informative Metriken über die von der Operation erzeugten Daten

Der Inhalt der weiteren - per Reiter auswählbaren - Ebenen hängt wie gesagt von der Art der Operation ab. Meist findet sich hier aber die detailierte Konfiguration der Operartion, also z.B. die Definition der Transformationsregeln.

Allen Operationen ist jedoch gemeinsam, dass sie einen Namen besitzen. Dieser sollte aussagekräftig und hinreichend eindeutig sein (beides ist aber nicht zwingend).

Eine Operation ausführen

Eine Besonderheit von Chioro ist, dass jede Operation für sich alleine ausgeführt werden kann. Dies hat den großen Vorteil, dass - in Verbindung mit Chioros Vorschau Feature - iterativ an einer Operation gearbeitet werden kann, ohne jedesmal alle davor liegenden Operationen durchführen zu müssen.

Vorausetzung, dass eine Operation ausgeführt werden kann ist natürlich, dass die Daten der Vorgängeroperationen vorliegen. Hierzu müssen die Vorgängeroperationen alle wenigstens einmal ausgeführt worden sein.

Gestartet wird eine einzelne Operation im ersten Tab des Operation Editors. Dort finden sich nach der Ausführung auch grundlegende Informationen zur jeweiligen Operation, wie Historie und Ergebnis-Metriken (s.u.)

War eine Ausführung fehlerhaft, wird diese in der Historie entsprechend markiert. Die detaillierten Problembeschreibungen finden sich ggf. im Journal, welches im Data Exploration befindet (Beschreibung dort).

Fehlerhafte Flow Operationen

Falls eine Operation nach dem Ausführen einen fehlerhaften Status hat, wird dies im Flow Editor an den einzelnen Operationen rechts oben in der Ecke angezeigt.

• Die Aktion war fehlerhaft

• Die Aktion war teilweise fehlerhaft

• Die Aktion wurde abgebrochen

Metriken

Die meisten Operationen erstellen bei der Ausführung einige Metriken über das Ergbnis. Diese werden ganz rechts im Operations Editor angezeigt. Hier beispielsweise für eine Datenquelle:

• Gesamtanzahl der Datensätze
• Gesamtanzahl der Attribute
• Durchschnittliche Datensätze pro Attribute
• Eigenschaften des Kategoriebaums: Wenn importierte Daten einen Kategoriebaum enthalten, werden die “Anzahl der Kategorien” und die “maximale Tiefe” des Baums aufgelistet.
• Der Zeichensatz, mit dem die Datei eingelesen wurde. Hilfreich als Feedback, wenn die automatische Zeichensatzerkennung beim Importieren einer Datenquelle ausgewählt wurde.
• Vorhandenes ID-Attribut zur Identifizierung der Datensätze

Historie

Jede Operation führt eine Historie ihrer letzten Ausführungen:

• Die Aktion war erfolgreich

• Die Aktion läuft im Moment

• Die Aktion wurde abgebrochen

Über das Symbol kann die Historie geleert werden.

Data Exploration

Wie bereits erwähnt, kann jede Operation in Chioro einzeln ausgeführt werden. Dies wird dadurch ermöglicht, dass die Produktdaten auf Ihrem Weg durch die Operationen (standardmäßig) jeweils nach jeder Operation zwischengespeichert werden. Diese zwischengespeicherten Daten sind durchsuchbar und können darüber hinaus visualisiert und analysiert werden.

Hierfür gibt es den Data Explorer welcher sich direkt unter dem Operation Editor befindet.

Im Data Explorer können über Schalter unterschiedliche Datentabellen eingeblendet werden. Welche das sind, hängt ein wenig von der gerade ausgewählten Flow-Operation ab, aber meist handelt es sich um …

• die Quelldaten der Operation, oder anders gesagt, das Ergebnis oder die Ergebnisse der Vorgängeroperation(en) (folglich nicht bei Datenquellen, welche ja keinen Vorgänger haben)
• das Ergebnis oder die Ergebnisse der Operation, oder anders gesagt, die Eingabedaten der folgenden Operation(en) (folglich nicht bei Datenzielen, welche ja keinen Vorgänger haben)
• die Ergebnisvorschau der Operation (ebenso nicht bei Datenzielen)
• weitere, beliebig auswählbere Ergebnisdaten anderer Operationen oder die Daten von Datentabellen. Diese können durch das “+” hinzugefügt werden.

Da die Möglichkeiten des Data Explorer recht umfangreich sind, ist diesem ein eigener Abschnitt der Dokumentation gewidmet.