|
|
|
|
|
|
|
|
Big Data Integration - ist das überhaupt ein aktuelles Thema, wo doch Gartner den Begriff bereits 2015 aus dem Hypecycle gestrichen hat und er im Marketing längst durch "Künstliche Intelligenz" verdrängt wurde? Tatsächlich ist Big Data aus dem Hypecycle verschwunden, weil das Thema einfach zu viele Facetten hat, die jede für sich betrachtenswert sind. Datenintegration ist eine davon, und ohne Datenintegration sind die meisten KI-Anwendungen undenkbar.
Tatsächlich hat sich in den letzten Jahren in diesem Bereich sehr viel getan. Einerseits bieten die gängigen Systeme zur Datenintegration heute eine breite Unterstützung auch für Hadoop & Co. Andererseits ist gerade bei den Big-Data-Plattformen ein starker Trend Richtung Cloud-Computing zu beobachten. Die Datenvielfalt wächst trotzdem unaufhörlich, sodass Datenintegration trotz aller Systemunterstützung auch in Zukunft eine der größten Herausforderungen bei der Digitalisierung bleiben wird.
Die Beiträge in diesem Themenspecial setzen sich mit verschiedenen Aspekten der Datenintegration auseinander. Bei der Lektüre erhalten Sie einen Überblick über aktuelle Entwicklungen, Technologien und Methoden.
Natürlich sind wir auch bei diesem Themenspecial dankbar für Kommentare, Hinweise und Anregungen. Gern dürfen Sie Kontakt zu unseren Autoren und uns aufnehmen, damit wir gemeinsam mit Ihnen über Ihre individuellen Fragen und Anregungen diskutieren können. Senden Sie Ihr Feedback dafür bitte an info@tdwi.eu.
Wir wünschen Ihnen viel Freude beim Lesen.
Herzliche Grüße, Jens Albrecht
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Editorial: Big Data Integration
|
Auch wenn der Begriff „Big Data“ marketingtechnisch schon etwas abgegriffen ist: Ohne Daten geht heutzutage nichts mehr, sie sind der vierte Produktionsfaktor. Um die Nase vorn zu haben, müssen sich Unternehmen daher immer schneller neue Datenquellen erschließen. Insbesondere maschinelle Lernverfahren, die Basis für intelligente, autonome Systeme, sind sehr datenhungrig. Je umfangreicher die Informationen sind, desto genauer lassen sich datenbasierte Prognosen erstellen und Muster erkennen. Die angestrebte ganzheitliche Sicht auf einen Prozess wird jedoch meist erst durch die Verknüpfung verschiedener Daten, also deren Integration, ermöglicht.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Big Data in der Cloud versus On-Premises
|
| Dimitri Gross Advertorial
|
Fast zeitgleich wurden Cloud und Big Data in der IT-Welt als neue Technologiestränge aufgenommen. Mit der voranschreitenden Entwicklung dieser beiden Bereiche zeichnen sich aktuell viele Synergien ab. So sprechen wir nicht mehr von Cloud Storage oder SaaS, sondern von Big Data as a Service bzw. aktuell auch von Machine Learning as a Service. Diese Trends bringen viele Vorteile, sind aber auch mit einigen Bedenken bei den Anwendern verbunden. Welche Herausforderungen und Chancen bringt Big Data in der Cloud mit sich? Welche Vor- und Nachteile hat eine Big-Data-Cloud-Plattform? Und ab wann lohnt sich eine On-Premises-Lösung mehr?
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Methoden und Techniken für die agile Integration komplexer Daten
|
Die Bereitstellung einer integrierten Sicht auf Daten aus verschiedenen Quellen ist ein Prozess, der meist hohen manuellen Aufwand für die Sicherung der Datenqualität erfordert. Jede Quelle muss neu angebunden, jedes Feld mit dem bestehenden Datenbestand abgeglichen werden. Im Big-Data-Umfeld ist ein solcher Aufwand sowohl aus finanziellen als auch aus zeitlichen Gründen meist nicht leistbar. Dabei ist weniger das Datenvolumen das Problem, sondern vielmehr die Anzahl und Heterogenität der Datenquellen. Darüber hinaus müssen Daten für die Überprüfung von Hypothesen und die Erstellung von Modellen (Data Science / Machine Learning) nicht zwangsweise periodisch bereitgestellt werden. Stattdessen ist die Integrationsaufgabe häufig nur einmal dediziert für eine bestimmte Analyse durchzuführen. Der Aufwand in fachlicher und technischer Hinsicht sollte daher der Aufgabe angemessen sein. Es geht dabei vor allem um eine effektive Balance zwischen Automatisierung und Datenqualität.
Dieser Artikel gibt einen Überblick über die Herausforderungen und Lösungsansätze für die anwendungsbezogene Integration großer heterogener Datenbestände.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Wie die Stadt London und die Bundespolizei Mehrwerte aus ihren Daten schöpfen – Data Integration und Big Data in der Praxis
|
| Stefan Müller Advertorial
|
Unter dem Druck der Digitalisierung ist die Nachfrage nach Datenintegrations- und Big-Data-Lösungen rapide gestiegen. Unternehmen und Organisationen brauchen einen verlässlichen Datenbestand, der einerseits alle Informationen enthält und andererseits schnell und unkompliziert ausgewertet werden kann.
Die deutsche Bundespolizei und die Stadt London sind nur zwei Beispiele dafür, wie öffentliche Einrichtungen ihre Daten nutzen, um sich auf die Herausforderungen der digitalen Transformation vorzubereiten. Während die Polizeibehörde auf einem integrierten Datenbestand arbeitet, der sich aus mehreren Eigen- und Fremdquellen speist, optimiert die britische Hauptstadt ihren Verkehrsfluss durch Big-Data-Auswertungen.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Ad-hoc-Datenintegration mittels Entity-Augmentation-Systemen
|
Der Begriff Big Data wird meist mit den Herausforderungen und Möglichkeiten des heutigen Wachstums von Datenvolumen und -geschwindigkeit assoziiert, ist aber auch durch die zunehmende Vielfalt von Daten gekennzeichnet. Das Spektrum an Datenquellen reicht von Sensornetzwerken, Protokollinformationen aus Industriemaschinen bis hin zu Log- und Click-Streams von immer komplexeren Softwarearchitekturen und Anwendungen. Darüber hinaus gibt es einen stetigen Zuwachs kommerzieller bzw. öffentlich verfügbarer Daten wie zum Beispiel Daten aus sozialen Netzwerken wie Twitter oder Open Data. Immer mehr Unternehmen sind bestrebt, alle diese vorhandenen Arten von Daten in ihren Analyseprojekten zu nutzen, um zusätzliche Erkenntnisse zu gewinnen oder neue Funktionen in ihren Produkten zu ermöglichen.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Daten just in time: Die Vorteile der Datenvirtualisierung in der Fertigung
|
| Stephen Archut Whitepaper
|
Wer heute noch als Branchenführer gilt, ist nächstes Jahr womöglich nur noch einer von vielen Mitbewerbern im Markt. Umbruch ist heute an der Tagesordnung.
Stillstand erfolgt auf eigene Gefahr, denn kein Hersteller ist gefeit vor:
- innovativen neuen Produkten mit grundlegenden Veränderungen in der Nachfrage
- Preisstürzen mit schonungslosem Kostendruck
- dynamischen Geschäftsmodellen, die einstige Partner zu neuen Konkurrenten machen
Um solche Umbrüche zu Ihrem Vorteil zu nutzen, benötigen Sie eine konstante, datengestützte Kultur der Innovation und Optimierung.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Die Rolle des Chief Data Officers für die Digitalisierung
|
Daten sind das Fundament der digitalisierten Wirtschaft [OtÖ16]. Daten erlauben Innovationen – seien es neue Dienstleistungen, Vertriebs- und Preismodelle, Geschäftsmodelle oder ganze Ökosysteme. Mit der digitalen Transformation steigt die Menge an verfügbaren Daten aller Art ins fast Unermessliche (Stichwort „Big Data“). Um diese Daten als wichtige strategische Ressource im digitalen Wettbewerb nutzen zu können, müssen Unternehmen erst einmal die organisatorischen Voraussetzungen dafür schaffen. Unternehmen müssen Daten bewirtschaften wie jedes andere Wirtschaftsgut auch, nämlich nach Kosten, Zeit und Qualität.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Metadaten sind in einer Multi-Cloud-Welt das wertvollste Gut
|
Oliver Schröder Advertorial
|
Wir haben uns daran gewöhnt, dass Daten als das wertvollste Gut eines Unternehmens bezeichnet werden. Doch in der digitalen Welt von heute gibt es zwei Wahrheiten: Daten bestimmen den Erfolg des Unternehmens und es gibt jede Menge Daten, die verwaltet werden müssen. Und angesichts der letzten Herausforderung gilt ab jetzt ein neuer Grundsatz: Metadaten sind heutzutage das wertvollste Gut jedes Unternehmens.
Bildquelle: Shutterstock
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Informatica World Tour 2018 Germany
|
Erfahren Sie auf der Informatica World Tour 2018 Germany am 29. November in Frankfurt, wie Sie mit Daten die Weichen in Ihrem Unternehmen neu stellen können.
Zur Anmeldung
|
|
|
|
|
|
|
|
|
|
|
Aspekte der DWH-Modernisierung – Mit dem Data Lake zu neuen Erkenntnissen
|
| Alexander Thume und Jörg Stephan
|
Die Modernisierung vorhandener Data-Warehouse-(DWH-)Lösungen bietet diverse Ansatzpunkte, angefangen bei der Architektur über die verwendeten Technologien bis hin zu den zugrunde liegenden Prozessen. Eine Kernkomponente bildet dabei der unternehmensweite Data Lake. Er ermöglicht es, die ganz unterschiedlich strukturierten Big Data nutzbar zu machen und kombiniert auszuwerten. Wie aber lässt sich ein Data Lake homogen in das bestehende Umfeld integrieren? Und welche Rolle nimmt er gegenüber dem etablierten DWH ein? In diesem Artikel werden die Einsatzmöglichkeiten von Data-Lake-Konzepten ebenso beleuchtet wie die Implementierung der entsprechenden Technologien. Darüber hinaus wird auf die Verwendung von Sandbox-Modellen als Testumgebung für Big-Data-Szenarien sowie den Umgang mit Echtzeitdaten eingegangen.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Herausgeber: SIGS DATACOM GmbH, Lindlaustr. 2c, 53842 Troisdorf • Registergericht: Amtsgericht Siegburg, HRB 6552 • Leitende Redaktion: Jens Albrecht • Schlussredaktion: Kirsten Skacel • Grafik: Lisa Kaiser • Anzeigen und Sponsorships: Andreas Dietz, Martin Bena • Verlagsleitung: Günter Fuhrmeister, Emanuel Rosenauer
Wir sind für die eigenen Inhalte, die wir zur Nutzung bereithalten, nach den allgemeinen Gesetzen verantwortlich. Von diesen eigenen Inhalten sind Querverweise (externe Links) auf die von anderen Anbietern bereit gehaltenen Inhalte zu unterscheiden. Diese fremden Inhalte stammen nicht von uns und spiegeln auch nicht unsere Meinung wider, sondern dienen lediglich der Information. Wir machen uns diese Inhalte nicht zu eigen und übernehmen trotz sorgfältiger inhaltlicher Kontrolle keine Haftung für die Inhalte externer Links. Für den Inhalt der verlinkten Seite sind ausschließlich deren Betreiber verantwortlich.
Tel: +49 (0)2241 2341 100 • Fax: +49 (0)2241 2341 299
URL: www.sigs-datacom.de • E-Mail: info@sigs-datacom.de
|
|
|
|
|
|
|
|
|
|
