Van data-legacy naar datamesh: “Dat lukt nooit.” Toch wel!
Naarmate organisaties groter worden en databehoeften steeds sneller veranderen, kan het door onvoldoende capaciteit en wildgroei van datastromen nodig zijn om verouderde datawarehouses uit te faseren en een nieuwe data-architectuur op te zetten. Een populaire manier waarop dit kan worden gedaan is het datameshprincipe. Kortgezegd is dit het opbouwen van een mini-datawarehouse (een “dataproduct”) per domein dat nauw verbonden is met de dataproducten van andere domeinen binnen een gedeelde architectuur. Een domein is bijvoorbeeld HR, Financiën of Marketing.
In het datameshprincipe staan autonomie, decentralisatie en samenwerking centraal. Het uitfaseren van legacy en het opbouwen van zo’n dergelijke datameshoplossing, is precies waar Mobilee management & advies DPG Media de afgelopen tijd bij heeft geholpen. We delen hier graag wat de succesfactoren van dit project zijn geweest.
Wat is een datamesh en wanneer gebruik je het
Een datamesh is een gedecentraliseerde data-architectuur die is ontworpen om als organisatie flexibeler te zijn en je makkelijker aan te kunnen passen aan veranderende gegevensbehoeften. Het stelt ieder organisatieonderdeel in staat om eigen gegevens te bezitten, te beheren en te gebruiken in plaats van te vertrouwen op een centraal IT-team dat wijzigingen aan kan brengen in een datawarehouse. Met deze gedecentraliseerde aanpak kan data veel sneller aangepast worden aan nieuwe behoeften, waardoor datagedreven besluitvorming binnen de organisatie mogelijk wordt. Het is hiermee een zichzelf versterkend proces: door nieuwe inzichten ontstaan nieuwe behoeften.
Afscheid nemen van de bestaande datawarehouse(s)
Voordat de volledige stap naar een datamesh kan worden gezet, moet er bijna altijd afscheid worden genomen van bestaande datasystemen: meestal één of meerdere datawarehouses. Het uitfaseren van een verouderd datasysteem kan vaak een onmogelijke taak lijken. Een systeem is vaak diepgeworteld in de organisatie met daarin veel afhankelijkheden en de beschikbare data is onbedoeld onderdeel geworden van ingewikkelde cruciale processen, die niet of onvolledig zijn gedocumenteerd.
Een uitfaseringstraject levert vaak op zichzelf geen extra businesswaarde op, maar er ontstaan juist risico’s: men wil er in ieder geval “niet op achteruit gaan” en tegelijk “klaar zijn voor de toekomst”. Belanghebbenden zien ook erg op tegen onbedoelde achteruitgang in beschikbare data en ook trendbreuken in rapportages. Om de risico’s zoveel mogelijk te beperken komt bij het uitfaseren van een bestaand systeem de focus standaard te liggen op het zoveel mogelijk beperken van het benodigde budget en doorlooptijd. Het verliest het daarnaast vaak in de prioritering van projecten waarvan de businesscases in ieder geval op korte termijn positiever zijn.
Dit alles maakt het lastig om afscheid te nemen van bestaande datawarehouses, omdat de noodzaak waarom het persé nu moet gebeuren moeilijk intern is te verkopen. Met de juiste focus en aanpak is het mogelijk om het legacysysteem succesvol uit te faseren en naar een modernere en flexibelere datameshoplossing om te zetten, die functioneel en technisch aanzienlijk beter is.
De noodzaak van het vervangen van Datawarehouses naar Datamesh
Net als we bij veel van onze andere opdrachtgevers zien, gaat het datalandschap van DPG Media al een lange tijd mee. Een groot deel van alle mediamerken in België en Nederland zijn de afgelopen jaren onderdeel geworden van DPG Media, waaronder tientallen landelijke en regionale kranten en magazines. Hierdoor is applicatie op applicatie gestapeld, in dit geval abonnementensystemen, en is er een soort spaghetti van datastromen ontstaan waardoor oude broncodes en definities niet altijd meer te achterhalen zijn. Het doorvoeren van benodigde wijzigingen is daardoor complex en tijdrovend wat vooral voor afdelingen die snel moeten inspelen op de behoeften van klanten, niet goed werkt. Daarom wordt er voor het creëren van nieuwe toepassingen vaak gekozen voor een “tijdelijke” bypass of voor een andere applicatie, wat de complexiteit weer in de hand werkt.
Om deze vicieuze cirkel van moeilijk te realiseren wensen met lange doorlooptijden voor marketing als belangrijkste afnemer van de data te doorbreken, werd de noodzaak voor het vervangen van het datawarehouselandschap wel gezien, maar door alle complexiteit en daarmee gepaard gaande risico’s ook zo lang mogelijk uitgesteld.
Tegelijkertijd was het de nadrukkelijke wens van DPG om de verschillende bronnen van dezelfde definities te voorzien in een datamesh.
Aanpak voor het ontmantelen van de oude data-infrastuctuur
Daniël en Hanneke zijn namens Mobilee betrokken geweest in verschillende fasen van dit project. Ze hebben de informatie uit het oude datawarehouse ontcijfert en op een nieuwe manier beschikbaar gemaakt in een datamesh. Hiervoor hebben ze een nieuwe werkwijze ontwikkelt en verzorgden ze de begeleiding van het ontwikkelteam. Ze zijn begonnen met een proof-of-concept die in staat is om de oude dataoplossing volledig te vervangen en qua datastructuur en -inhoud uiteindelijk zelfs beter was. Na het project kon er vervolgens naadloos worden doorgegaan met de verdere doorontwikkeling van de datamesh.
Wat waren de kernpunten van hun aanpak? Een multidisciplinair ontwikkelteam
Met dit multidisiciplinair ontwikkelteam is dit project opgepakt. Hierin zaten zowel ontwikkelaars als eindgebruikers die dagelijks met elkaar samenwerkten. Daniël heeft hierbij continu gestuurd op de nauwe samenwerking tussen de business en techniek, terwijl Hanneke als data-analist met haar drive en nieuwsgierigheid de samenwerking tussen de teamleden heeft laten slagen. Essentieel hierin waren de gezamenlijke beoordeling van het werk, de analysefase en de verschillende validaties totdat de klus met elkaar geklaard was.
Op zoek naar inspiratie rondom datagedreven werken?
Schrijf je in voor de nieuwsbrief
Opsplitsing functie productowner
Door de rol productowner op te splitsen naar dataproductowner en de rol interne projectmanager, werden taken meer behapbaar en duidelijker belegd. Vanuit Mobilee nam Daniël de rol dataproductowner op zich en Karen Goossens van DPG kreeg de rol interne projectmanager waarbij focus lag op het strategische werk en het managen van de verwachtingen en prioriteiten bij de stakeholders. Op deze manier kon het ontwikkelteam zich volledig focussen op de kerntaak.
Positieve energie door zichtbare vooruitgang
Bij een complex traject als bij het ontwikkelen van datamesh, ervaar je soms ook tegenslag. Zoals issues met de datakwaliteit. Door het opgebouwde vertrouwen kon het team de tegenslagen echter steeds makkelijker aan. Door regelmatig samen de prioriteiten bij te stellen en het werk in kleine onderdelen te verdelen, boekte het team vooruitgang. Het team begreep het oude systeem steeds beter en kreeg een helder beeld van de vereisten voor de nieuwe dataoplossing. Hierdoor vielen er steeds meer puzzelstukjes op zijn plaats en ging het stapje voor stapje makkelijker en sneller.
Ook het sentiment werd steeds positiever doordat er elke sprint weer een aantal attributen volledig end-to-end gerealiseerd en getest werd door de eindgebruikers. Hierdoor waren deze direct in productie beschikbaar om daadwerkelijk gebruikt te kunnen worden!
Karen Goossens, de Projectmanager van DPG Media, zegt hierover het volgende:
“We made the impossible, possible. Waar iedereen bij aanvang dacht dat we voor een quasi onmogelijke opdracht stonden, bleek na een halfjaar zwoegen dat we zelfs eerder klaar gingen zijn dan de opgelegde deadline”.
Succesfactoren bij het realiseren van de verandering
De belangrijkste sleutel tot succes bij DPG Media was een “we gaan het gewoon doen”-mentaliteit binnen het agile team, met een hoge focus op prioriteiten. Dit betekent dat al het werk continu met elkaar getoetst werd of de voorgestelde werkzaamheden daadwerkelijk bijdroegen aan het vervangen van de legacy. Door zich te concentreren op de meest kritieke taken, kon het team in een korte tijd toch veel vooruitgang boeken en deze verandering zichtbaar maken aan de gebruikersorganisatie. Door positieve feedback na iedere sprint ontstond er steeds meer positieve energie in het team.
De tweede succesfactor was het omarmen van openstaande risico’s en onduidelijkheden. In plaats van deze op voorhand vast te leggen, te bespreken en te analyseren voordat we tot realisatie overgingen, namen we aan dat deze er sowieso waren. Hierdoor ontstond er actie, voortgang en resultaat, wat weer zorgde voor vertrouwen en succesgevoel binnen het team en de stakeholders.
Egbert Schroeder: Business stakeholder & Lead Business Insights verantwoordelijke bij DPG Media, zegt hierover het volgende:
“Met nieuwe focus en een duidelijk doel hebben we samen onze verouderde dataproducten kunnen vernieuwen en verbeteren. Hierdoor is de businesswaarde gestegen en tegelijkertijd de opzet en het gebruik van het dataproduct versimpeld”.
Data-legacy wendbaar uitfaseren is mogelijk
Het uitfaseren van een verouderd datasysteem kan een overweldigende taak lijken, maar het is niet onmogelijk. Het agile team van DPG media heeft het voor elkaar gekregen om een oud datasysteem ruimschoots binnen een jaar te ontmantelen en te evolueren naar een moderner en flexibelere datamesh oplossing door een samenspel van meerdere succesfactoren. Essentieel is dat de organisatie wendbaar en veerkrachtig inspeelt op veranderingen. Dat is alleen mogelijk als er een juiste focus is op prioriteiten, door effectieve communicatie en samenwerking én betrokkenheid van alle belanghebbenden.
Dennis Groenendijk, Head of IT Marketing Products & Touchpoints bij DPG Media, zegt het volgende:
“Dit project laat zien wat je met een multidisciplinair Agile team (Business, Data en IT) in korte tijd voor elkaar kunt krijgen. Die nauwe samenwerking in combinatie met het stellen van de juiste prioriteiten is key voor een dergelijk succes”.
Mobilee helpt bij de realisatie van datatrajecten
Mobilee helpt organisaties om grip te krijgen op compliceerde datamesh-projecten zoals die van DPG media. Op zoek naar kennis en kunde over dit onderwerp?
