Bevor wir uns mit dem Vergleich von Data-Lineage-Tools befassen, wollen wir zunächst verstehen, was ein Data-Lineage-Tool ist.
Die Datenanalyse ist von entscheidender Bedeutung, und dafür eignen sich Data-Lineage-Tools am besten.
Umgekehrt sind Data-Lineage-Tools Softwaresysteme, die Unternehmen und Datenanalysten dabei unterstützen, die Herkunft ihrer Daten und deren Entwicklung nachzuvollziehen.

Vergleich der besten Tools zur Datenherkunftsverfolgung

Was ist ein Tool zur Datenherkunftsverfolgung?

Die Datenherkunft (Data Lineage) beleuchtet den Lebenszyklus von Daten. Ihr Ziel ist es daher, den gesamten Datenfluss von Anfang bis Ende darzustellen. Datenherkunft ist der Prozess des Verstehens, der Berichterstattung und der Visualisierung von Datenflüssen von den Datenquellen bis zur Nutzung. Dies umfasst alle Transformationen, denen die Daten auf diesem Weg unterzogen wurden.
Die Datenherkunft ermöglicht es Unternehmen:

• Fehler in Datenprozessen aufspüren
• Prozessänderungen mit geringerem Risiko umsetzen
• Systemmigrationen sicher durchführen
• Datenermittlung mit einem umfassenden Überblick über Metadaten kombinieren, um ein Datenmapping-Framework aufzubauen

Daher hilft es den Anwendern auch dabei, sicherzustellen, dass ihre Daten aus einer vertrauenswürdigen Quelle stammen, korrekt transformiert und am vorgesehenen Ort gespeichert werden. Somit spielt es eine entscheidende Rolle, wenn strategische Entscheidungen auf genauen Informationen beruhen. Ist die Nachverfolgung der Datenverarbeitung jedoch nicht gewährleistet, werden Daten nahezu unüberschaubar oder ihre Überprüfung wird sehr kostspielig und zeitaufwendig.
Daher konzentriert sich die Datenherkunft darauf, die Genauigkeit und Konsistenz der Daten zu validieren, indem sie es den Benutzern ermöglicht, den Datenfluss von der Quelle bis zum Ziel zu untersuchen, um Unregelmäßigkeiten zu identifizieren und zu korrigieren.

Verfahren zur Datenherkunftsverfolgung

Musterbasierte Abstammung

Es führt eine Herkunftsanalyse durch, ohne sich mit dem Code zu befassen, der zur Erstellung oder Änderung der Daten verwendet wurde. Daher erfordert es die Auswertung von Metadaten für Tabellen, Spalten und Geschäftsberichte. Anhand dieser Metadaten untersucht es die Herkunft, indem es nach Mustern sucht.
Der wesentliche Vorteil der musterbasierten Herkunftsverfolgung besteht daher darin, dass sie nur Daten beobachtet, nicht aber Datenverarbeitungsalgorithmen, und somit technologieunabhängig ist. Daher kann sie mit demselben Ansatz für jede Datenbanktechnologie genutzt werden, sei es Oracle, MySQL oder Spark.
Der Nachteil ist, dass diese Methode nicht immer korrekt ist. Manchmal kann sie Verbindungen zwischen Datensätzen übersehen, insbesondere wenn die Datenverarbeitungslogik im Programmcode verborgen ist und nicht in für Menschen lesbaren Metadaten dargestellt werden kann.

Abstammung durch Datenkennzeichnung

Diese Technik basiert auf der Annahme, dass eine Transformations-Engine Daten auf irgendeine Weise mit Tags versieht oder protokolliert. Um die Datenherkunft zu ermitteln, wird daher das Tag von Anfang bis Ende verfolgt. Daher ist diese Methode nur dann hilfreich, wenn man über ein zuverlässiges Transformations-Tool verfügt, das alle Datenbewegungen verwaltet und die vom Tool verwendete Tagging-Struktur kennt.
Zudem kann die Datenherkunftsverfolgung mittels Datenkennzeichnung nicht auf Daten angewendet werden, die ohne das Tool generiert oder transformiert wurden, sofern ein solches Tool überhaupt existiert. Daher eignet sie sich nur für die Datenherkunftsverfolgung in geschlossenen Datensystemen.

In sich geschlossene Abstammungslinie

Einige Organisationen verfügen über eine Datenumgebung, die Speicherplatz, Verarbeitungslogik und Stammdatenverwaltung bereitstellt, um Metadaten zu zentralisieren. Diese Umgebungen umfassen jedoch einen Data Lake, in dem alle Daten in allen Phasen ihres Lebenszyklus gespeichert werden.
Daher kann diese Art von in sich geschlossenem System im Wesentlichen eine Datenherkunftsverfolgung ermöglichen, ohne dass externe Tools erforderlich sind. Bei dem Ansatz der Datenkennzeichnung berücksichtigt die Datenherkunftsverfolgung jedoch nichts, was außerhalb dieser kontrollierten Umgebung liegt.

Abstammung durch Parsing

„Lineage by Parsing“ ist die fortschrittlichste Form der Datenherkunftsverfolgung, bei der die Logik automatisch ausgelesen und die Daten verarbeitet werden. Diese Technik bildet somit die Datentransformationslogik des Entwicklers ab, um eine umfassende End-to-End-Rückverfolgung durchzuführen.
Daher ist diese Lösung kompliziert zu implementieren, da sie ein Verständnis aller Programmiersprachen und Tools erfordert, die zur Transformation und zum Transport der Daten verwendet werden. Dazu gehören unter anderem ETL-Logik (Extract-Transform-Load), SQL-basierte Lösungen, JAVA-Lösungen, Legacy-Datenformate, XML-basierte Lösungen und so weiter.

Vergleich von Tools zur Datenherkunft

OvalEdge

OvalEdge ist eine Kombination aus einem Toolset für Daten-Governance und einem Datenkatalog. Es dient daher dazu, Daten zu erfassen, zu finden, zu verwalten und zu regulieren. Darüber hinaus hilft das Tool dabei, Erkenntnisse auf optimale Weise zu gewinnen.
Zu diesem Zweck durchsucht die Software die Systemdatenbank, um alle verfügbaren Daten zu erfassen und einen Katalog zu erstellen. So werden alle diese Daten indexiert und eine Datenherkunft erstellt, die den gesamten Datenzyklus abbildet.
Darüber hinaus sind die Daten übersichtlich strukturiert, sodass man leicht auf jeden einzelnen Datensatz zugreifen und eine Datenzusammenfassung zur besseren Verständlichkeit abrufen kann.
Außerdem nutzt es verschiedene Datenmanagement-Plattformen, Business-Intelligence- und Analyseplattformen.

Wichtigste Merkmale

• Es wird über das Internet genutzt, da es cloudbasiert ist, oder auf Windows- und Linux-Computern installiert.
• OvalEdge ermittelt Daten und liefert schnell aussagekräftige Erkenntnisse.
• Außerdem ermöglicht es den Benutzern, den Datenzugriff, die Datenkompetenz und die Datenqualität zu verbessern.

Preise

• Starterpaket – 100 $ pro Monat und Nutzer
• Andere Pakete – Preise nach Vereinbarung

CloverDX

CloverDX ist ein herkömmliches Data-Lineage-Tool, das zur Bewältigung von Datenherausforderungen entwickelt wurde. Das Tool eignet sich insbesondere hervorragend für das Datenmanagement in Unternehmen.
Darüber hinaus verfügt CloverDX über einen entwicklerfreundlichen visuellen Designer. Dies ist besonders für Datenneulinge hilfreich, da dadurch der gesamte Prozess der Datenmodellierung nicht mehr komplex erscheint. Daher ist das Tool ideal für die Datenmigration, da wiederkehrende Aufgaben automatisiert werden können.
Außerdem bereinigt es Daten und hilft bei der Behebung von Fehlern, sodass die Konsistenz nicht beeinträchtigt wird. Es ist daher in der Cloud, unter Windows und auf dem Mac verfügbar.

Wichtigste Merkmale

• Stellt Daten für Menschen, Anwendungen und Speichermedien auf einer einzigen einheitlichen Plattform bereit.
• Dank der entwicklerfreundlichen, offenen Architektur und der Flexibilität können Sie die Komplexität für nicht-technische Nutzer verpacken und verbergen.

Preise

• Startpreis: 5000,00 $ (einmalig)

Alation

Alation ist eine 2012 eingeführte Data-Intelligence-Software. Sie ist KI-gestützt und unterstützt die Datenermittlung, die Datenherkunft und -verwaltung sowie die Datentransformation. Die Software arbeitet daher mit einem nativen Cloud-Dienst, dem Alation Cloud Service, der eine schnellere Bereitstellung ermöglicht.
Darüber hinaus verfügt sie über eine fortschrittliche Engine zur Verhaltensanalyse, die die aussagekräftigsten Erkenntnisse identifiziert. Dank der geführten Navigation kann jeder diese Software nahtlos nutzen.
Zudem verfolgt sie einen „People-First“-Ansatz, und Katalogisierung, Datenklassifizierung sowie Datenverwaltung können vollständig automatisiert werden.
Darüber hinaus generiert die Software automatisch Qualitätshinweise, Warnungen usw., um dabei zu helfen, die besten Entscheidungen zu treffen.
Alation ist bei führenden Unternehmen wie PepsiCo, Motorola, ComED usw. beliebt.

Wichtigste Merkmale

• Es steigert die Produktivität der Analysten.
• Außerdem verbessert es die Genauigkeit der Analysen.
• Es ermöglicht fundiertere Geschäftsentscheidungen.

Preise

Nachdem Sie ein Konto erstellt und einen Termin für eine Demo vereinbart haben, können Sie mit dem Vertriebsteam einen passenden Preisplan besprechen. Bitte beachten Sie, dass Alation pro Funktion abrechnet.

Datameer

Datameer bietet Daten- und Analyselösungen für alle Branchen. Daher eignet sich das Tool zur Datenherkunftsverfolgung für zahlreiche Privatpersonen und Unternehmen, da es einfach zu bedienen ist und das Team einen hervorragenden Support bietet. Die Plattform umfasst zwei Hauptprodukte: Datameer Spotlight und Datameer Spectrum. Beide sind Lösungen für das Data Engineering.
Mit den Produkten von Datameer stehen einem Tools zur Erkennung, Abfrage, Modellierung und Bereitstellung von Daten zur Verfügung. Das Modellieren und Erstellen von Datenpipelines mit Datameer erfordert keine Programmierung. Es handelt sich also um einen vollständig visuellen Prozess, auf dessen Effizienz man sich verlassen kann.
Darüber hinaus ist es dank der Google-ähnlichen Suchmaschine ganz einfach, die benötigten Tools und Daten zu finden. Das Datameer-Tool kann in anderen Cloud-Lösungen wie Microsoft Azure, Amazon AWS und Google Cloud genutzt werden.

Wichtigste Merkmale

• Es handelt sich um eine SaaS-Lösung zur Datentransformation für Snowflake-Data-Warehouses.
• Sie verfügt über eine No-Code-Oberfläche.

Preise

• Personal Edition – 300 $ pro Jahr
• Workgroup Edition – 19.188 $ pro Jahr
• Enterprise Edition – Preise auf Anfrage

Atlan

Atlan dient als moderner Daten-Workspace für Datenherkunft, Katalogisierung, Qualitätssicherung und Datenexploration. Es richtet sich an nicht-technische Anwender, verfügt über eine offene API-Architektur und lässt sich schnell bereitstellen.
Mit Atlan lassen sich mithilfe solider Suchalgorithmen alle Datenbestände schnell aufspüren. Darüber hinaus ist die Benutzeroberfläche der Software intuitiv und vergleichsweise einfach zu bedienen. So lassen sich Datenbestände wie Intelligence-Berichte und Datentabellen sofort finden.
Der Atlan-Bot führt die Datenherkunft automatisch durch. Atlan lässt sich mit verschiedenen Plattformen von Drittanbietern kombinieren, darunter Snowflake, Amazon S3, Amazon Redshift, Azure, Google Cloud, MySQL, Tableau usw.

Wichtigste Merkmale

• Atlan erstellt automatisch Datenqualitätsprofile, wodurch sich unvollständige Daten kinderleicht erkennen lassen.

Preise

• Starter-Paket – Bis zu 500 Datenobjekte
• Premier-Paket – Bis zu 3000 Datenobjekte
• Enterprise-Paket – Unbegrenzte Anzahl an Datenobjekten

Truedat

Mit truedat lassen sich Daten in einen wertvollen Unternehmenswert verwandeln. Diese Software wurde von Bluetab Solutions entwickelt.
Sie eignet sich somit für die Cloud-Erfassung, Data-Lake-Governance, Datenqualität usw. Zu den führenden Unternehmen, die truedat einsetzen, gehören LaLiga, Telcel, BMN, Naturgy und Bankia.
Daher bietet es eine Lösung für eine durchgängige Daten-Governance, die sowohl die Datenherkunft als auch die Datenqualität umfasst. Außerdem kann man von einer technischen Ansicht zu einer einfachen Geschäftsansicht wechseln. Somit ist die Software ideal für Einsteiger und Experten.
Truedat lässt sich mit anderen Tools von Drittanbietern kombinieren, darunter MicroStrategy, Google BigQuery, Microsoft Azure, Oracle, Hive, Power BI, Amazon Redshift und weitere.

Wichtigste Merkmale

• Es hilft dabei, Geschäftsprozesse, Rollen und Zuständigkeiten zu definieren.
• Außerdem hilft es dabei, Prozesse in die Praxis umzusetzen.

Preise

• Kostenlos nutzbar

Kylo

Kylo wurde von Teradata auf den Markt gebracht und ist eine einzigartige Software zum Aufbau von Datenpipelines. Die Software verfügt über fünf Hauptfunktionen: Datenerfassung, -aufbereitung, -erkennung, -überwachung und -gestaltung. Daher eignet sie sich als Data-Lake-Plattform.
Zudem verfügt sie über Funktionen für Metadatenmanagement, Data Governance und Datensicherheit. Da es sich um eine Open-Source-Software handelt, bietet sie Programmierern einen besonderen Vorteil.
Darüber hinaus ist die Datenerfassung dank der einfachen, geführten Benutzeroberfläche (UI) nahtlos. Für die Datenaufbereitung steht eine Transformationsfunktion zur Verfügung, und Kylo nutzt zudem Apache Spark. Somit bietet Kylo moderne Methoden zur Überwachung von Feeds.

Wichtigste Merkmale

• Es verfügt über einen Pipeline-Vorlagenmechanismus, der es ermöglicht, es mit beliebigen Datenquellen und Formaten zu verbinden und Daten in beliebige Zielsysteme zu übertragen.
• Es überwacht den Zustand von Feeds und Diensten im Data Lake.
• Es verfolgt SLAs und behebt Leistungsprobleme.

Preise

• Kostenlos nutzbar

Schlussfolgerung

Die Datenherkunft ist unerlässlich, wenn man reproduzierbare und qualitativ hochwertige Arbeit leisten möchte. Es stehen viele Tools zur Erfassung der Datenherkunft zur Verfügung, doch muss man je nach Anforderungen das beste Tool mit den passenden Funktionen auswählen. Mit diesen Tools lassen sich Daten von ihrer Quelle bis zum aktuellen Endpunkt ordnungsgemäß nachverfolgen.