Smart Data Platform / Hoe het werkt / Datawarehouse
Eén centrale database, met al uw historie
Het hart van het platform is een datawarehouse op Azure SQL Database, in uw eigen Azure-omgeving. Hier komt de data uit alle bronnen samen, wordt gecontroleerd en blijft bewaard, ook als het bronsysteem het allang vergeten is.
Drie stappen in één database-omgeving
Wat op een plaatje "de centrale database" heet, bestaat uit drie delen met elk een eigen taak.
Staging
Hier komt de data binnen zoals die uit het bronsysteem komt. Elke nacht automatisch, via Azure Data Factory.
Datawarehouse
De data wordt gecontroleerd, gekoppeld en met alle historie opgeslagen, inclusief snapshots: elke dag wordt een stand bewaard.
Datamarts
Per onderwerp, zoals verkoop, inkoop of voorraad, staat de data klaar in stermodellen. Hier ligt de bedrijfslogica vast, zodat alles eenduidig berekend is.
Waarom historie zo belangrijk is
Veel bronsystemen kennen alleen de stand van nu. Welke voorraad lag er vorig jaar op deze dag? Welke orders stonden er open aan het eind van het kwartaal? Bij welke klantgroep hoorde een klant toen? Een datawarehouse bewaart die geschiedenis, zodat u eerlijk kunt vergelijken.
Historie is ook wat u nodig heeft om te voorspellen. Wie later iets met AI wil, heeft er nu al profijt van. Zie Klaar voor AI.
Gebouwd volgens Kimball
We werken volgens de methode van Ralph Kimball: datamarts met stermodellen, met feiten (zoals orderregels of boekingen) in het midden en dimensies (klant, product, datum) eromheen. Dat is een bewezen opbouw die rapporteren eenvoudig en snel maakt.
We beginnen klein: één bron, één datamart, één stermodel. Daarna komen er onderwerpen bij, steeds volgens dezelfde opbouw.
Hoe vaak wordt het bijgewerkt?
Standaard: elke nacht
Het datawarehouse wordt elke nacht ververst. U begint de dag met de cijfers van gisteren. Voor sturen per dag, week en maand is dat ruim voldoende, en al veel actueler dan de meeste organisaties gewend zijn.
Met Sigma: doorlopend
Met de live-module Sigma staan wijzigingen binnen seconden tot minuten in uw dashboard, afhankelijk van het bronsysteem. Met dezelfde rekenregels als het datawarehouse. Meer over Sigma
Meer achtergrond: Autorijden door uw achteruitkijkspiegelen Excel is een eindpunt, geen schakel.
Onder de motorkap
Hoe groot, hoe snel, en hoe we het bouwen
Een datawarehouse voor een handelsbedrijf is iets anders dan een voor een fabriek met sensoren. De opbouw is hetzelfde; de keuzes verschillen.
Van gigabytes tot een terabyte
Een organisatie met een paar grote administraties komt tot ongeveer 150 GB. Bij fabrieken die continu meetwaarden vastleggen, gaat het richting een terabyte.
Bewust kiezen wat u bewaart
Niet alle historie hoeft even gedetailleerd. Per onderwerp kiezen we hoe ver terug en hoe fijn, zodat het snel blijft en de kosten in de hand.
Snelheid
De uitdaging bij veel data is niet de opslag, maar de snelheid. Het model in Power BI houdt de data in het geheugen; voor live cijfers op grote tabellen is er Sigma.
Gebouwd uit één sjabloon
We bouwen het datawarehouse niet elke keer met de hand. Het wordt grotendeels automatisch opgebouwd uit een beschrijving van de bronnen en tabellen, de metadata. Elke klantomgeving komt uit hetzelfde centrale sjabloon.
- Een bron erbij is geen nieuw project. Een nieuwe tabel of bron beschrijven we, en de opbouw volgt.
- Een verbetering komt bij iedereen terecht. Wat we voor de ene klant verbeteren, zit in het sjabloon van alle klanten.
- Eerst testen. Nieuwe versies gaan via vaste stappen van ontwikkeling via test naar productie, met Azure DevOps.
Hoe dit in uw Azure-omgeving samenkomt: zie Architectuur.
Zien hoe het werkt?
In 30 minuten laten we het Smart Data Platform zien en beantwoorden we uw vragen. Geen verplichtingen, gewoon een goed gesprek over uw situatie.