Risicomatrix met betrekking tot automatisering van data-oplossingen

Een belangrijke drijfveer achter de ontwikkeling van QUIPU4 is het streven om organisaties te helpen bij het terugdringen van het ondernemersrisico waar het ontwikkeling van data-oplossingen betreft. Toegang tot goed gestructureerde data wordt met de dag belangrijker. Met als gevolg, dat onderliggende data-oplossingen meer en meer tot de kritische toepassingen behoren. Data-oplossingen waar men op kan vertrouwen. Die men eenvoudig kan aanpassen en uitbreiden. Oplossingen die ook goed overdraagbaar zijn en bovendien goed te monitoren en te auditen zijn.

Helaas worden nog steeds te veel oplossingen voornamelijk handmatig ontwikkeld door mensen in wisselende projectteams. Mensen met ieder zo hun overtuigingen over wat de beste architectuur of technologie is, wat dan zichtbaar wordt als een lappendeken in de gerealiseerde oplossing. Daarnaast is de documentatie veelal onvoldoende of deze ontbreekt volledig. Dit heeft als gevolg, dat ontwikkelde oplossingen maar een geringe levensverwachting hebben. Omdat de business-case om in het verleden gerealiseerde, suboptimale oplossingen te vervangen vaak moeilijk te maken is blijven veel legacy systemen vaak (te) lang voortbestaan. Op termijn in leven gehouden op de intensive care van de IT afdeling, kostbare resources verbruikend. Terugkijkend zien we dan ook een kerkhof vol goede bedoelingen. De kosten van doorontwikkeling staan niet langer in verhouding tot de onderkende business cases.

Model-naar-model conversie

QUIPU 4 is een platform dat model-naar-model-conversie ondersteunt. Dit is waar het product zich onderscheidt van gangbare ETL-tools en andere datawarehouse automatiseringstools. Deze tools werken doorgaans goed bij het transformeren en manipuleren van data op entiteit- of attribuutniveau, maar missen de ondersteuning voor het definiëren en ontwikkelen van transformaties op modelniveau. Het is op dit hogere niveau dat patronen kunnen worden gevonden en toegepast en dus kunnen worden gegenereerd. Waarbij nog steeds de uitzonderingen op deze patronen op entiteit- of attribuut niveau kunnen worden gespecificeerd. Dit levert volgens QOSQO een veel efficiëntere manier op om snel nieuwe data solutions te ontwikkelen.

Risicomatrix
Het team achter QUIPU4 heeft een visie. Een stip aan de horizon. Die hebben we geprobeerd te vangen in de door ons bedachte onderstaande matrix. Met de bedoeling dat deze een leidraad kan zijn voor de verdere doorontwikkeling van het product.

Figuur 1. Risico matrix met betrekking tot automatisering van data-oplossingen.

Op de verticale as zijn de diverse aspecten te vinden, die zo kenmerkend zijn voor de ontwikkeling van data-oplossingen. Zaken als datamodellen, laadroutines, transformaties (rekenregels), proces controle (laadproces), gebruik van meta-data en tot slot de wijze van uitrol van nieuwe ontwikkelingen.

Horizontaal is sprake van een zekere toename van rijpheid (maturity). Van een hoog-risico-benadering vanwege zaken als handmatig ontwerp van data modellen en dito codering van de oplossing, geen slim gebruik maken van metadata, toolafhankelijkheid tot de afwezigheid van risico, doordat zowel datamodellen als laadcode worden gegenereerd. Tot aan de andere kant van het spectrum: volledig metadata gedreven ontwikkeling, gebaseerd op één centrale repository. Waarbij productiepromotie (deployment)volledig autonoom plaatsvindt. Een oplossing die zélf wijzigingen in de omgeving detecteert en deze automatisch kan toepassen en uitrollen (adaptive).
QUIPU4 ondersteunt momenteel grotendeels de derde kolom: metadata-driven ontwikkeling. Maar de eerste stappen zijn al gezet om change handling te ondersteunen.

Als voorbeeld is er in QUIPU4 reeds een module voorhanden, waarmee we modelwijzigingen kunnen detecteren en rapporteren. Een volgende logische stap is het geautomatiseerd doorvoeren van sommige van deze wijzigingen in de gegenereerde data-oplossingen, als eerste stap in de richting van adaptive oplossingen. Hierbij zullen Artificial Intelligence- en Machine Learning-technieken onontbeerlijk zijn om de impact van wijzigingen in de omgeving te vertalen naar zinvolle aanpassingen in de data keten.

QUIPU4
Voor meer informatie, een whitepaper en een uitgebreide handleiding bezoek www.quipu.nl. Heeft u interesse in QUIPU4? U kunt een gratis licentie voor één maand aanvragen via onze website. Indien gewenst verzorgen wij voor u een demo.