Webinar

Zu viele Datensilos, zeitaufwändige und fehleranfällige Integrationen von Big Data- und Analytics-Komponenten, verteiltes Wissen bei einzelnen Leuten statt übergreifende Teamarbeit - dies sind (immer noch) gängige erfolgsverhindernde Aspekte für eine unternehmensweite Datennutzung im Arbeitsalltag.

In diesem Talk betrachten wir rund um Snowflake's Cloud Data Platform verschiedene Szenarien. Zum einen, wie sich im Sinne der drei Big Data 'Vs' Volume Variety, Velocity (Sie erinnern sich noch?) zentrale Data Repositories aufbauen lassen, die bis in den Petabyte-Bereich skalieren können, Performance On-demand bieten, einfach zu bedienen und nur nach dem "Pay-as-you-use" Modell zu bezahlen sind. 

1) Fast Data im Data Warehouse: Serverless Data Ingestion mit Snowflake's Kafka Connector und Snowpipe - Beispiel-Architektur

2) Fenster zum Data Lake: Externe Parquet-Dateien in Snowflake direkt via SQL analysieren bzw. schnell für BI Anwender bereitstellen

Zum anderen hilft es bei Data Science-Projekten, wenn fachliches, technisches, methodisches, mathematisches und anderes Spezialwissen mittels einer integrierten Plattform kooperativ und „end-to-end“ zum Einsatz kommt und nicht in "Wissenssilos" schlummert. In diesem Kontext ist Dataiku DSS als gemeinsame Data Science Plattform für "Coder" und "Mausschieber" interessant. Sie ermöglicht allen Beteiligten die enge Kollaboration in einem Data Science Projekt und bietet umfangreiche Möglichkeiten für Data Engineering, Statistik und Machine Learning (inkl. Auto ML) sowie Reporting, Data Governance und Projektmanagement. Technisch gesehen ist Dataiku DSS eine technologie-agnostische Plattform, die es erlaubt, State-of-the-Art Technologien wie Kubernetes, Spark als auch aktuelle Machine Learning Frameworks einzusetzen. Snowflake bringt im Zusammenspiel mit Dataiku nicht nur den zentralen Datenpool mit, sondern auch die notwendige Rechenleistung, die es Dataiku erlaubt, mehrere Data Science-Teams mit zugesicherten Compute Ressourcen gleichzeitig agieren zu lassen. 

3) Snowflake für Data Science Workloads: Anhand eines Dataiku Beispielprojekts werden Integrationspunkte zu Snowflake gezeigt, die insbes. bei der Datenbeschaffung, -exploration, -transformation und Feature Engineering interessant sind, z.B. wenn bei der Analyse kleine Sample Datasets nicht ausreichen oder größere Datenmengen zu verarbeiten sind.