Microsoft Fabric: Voor iedereen dé place-to-be

In mijn vorige blog Microsoft Fabric: Waarom Less juist More is heb ik gekeken naar de valkuilen binnen het datalandschap en beschreven hoe Microsoft Fabric tracht de oplossing te zijn. Door één SaaS-platform te bieden waar alle tools en oplossingen binnen het datalandschap samenkomen, heeft Microsoft Fabric een interessante stap gezet binnen de wereld van data. Er is echter nog een aspect wat Microsoft Fabric uniek maakt: Niet alleen de tools zijn op één plek te vinden, ook de mensen worden op één plek samengebracht. Hoe Microsoft Fabric dit doet, wil ik in dit artikel graag verder toelichten.

Rollen, rollen en nog meer rollen

Voor diegene die al langer in het datalandschap werken en die de verschillende evoluties door de tijd meegemaakt hebben, zal het niet verbazen dat er tegenwoordig tientallen verschillende rollen in de wereld van data bestaan. Een korte Google Search levert mij al meer dan 20 resultaten op.

We hebben onze data  engineers, data scientists, data analisten, data architecten, business intelligence engineers en zo kan ik nog wel even doorgaan. Ik vraag me persoonlijk altijd af of het met zoveel rollen eigenlijk nog wel duidelijk is wie verantwoordelijk is voor wat? Uiteraard heeft niet ieder bedrijf meer dan 20 data-gerelateerde rollen, maar dat het overzicht vaak ver te zoeken is, lijkt duidelijk. En niet te vergeten, binnen deze rollen zelf hebben we ook vaak nog te maken met verschillende specialisaties, denk bijvoorbeeld aan Python, SQL of KQL.

In zo’n groot scala aan rollen verbaast het niemand dat het overzicht soms geheel verloren gaat. Waar liggen de grenzen van iedere rol en waar kan juist de overlap heel veel opleveren? Binnen een architectuur met verschillende tools en oplossingen zal dit lastig zijn, dus laten we voor nu kijken hoe Microsoft Fabric dit heeft aangepakt.

Iedere rol heeft een place-to-be

In mijn eerdere artikel  heb ik al een overzicht gegeven van de zeven verschillende componenten die binnen Microsoft Fabric terug te vinden zijn. Toen heb ik de componenten belicht aan de hand van de technische mogelijkheden die iedere component biedt. In dit artikel  wil ik deze componenten nog een keer de revue laten passeren, maar dan vanuit het perspectief van een aantal verschillende data rollen.

1. Data beheerder
   • De data beheerders zijn verantwoordelijk voor de toegang en beveiliging van de data. Vaak is de data beheerder ook verantwoordelijk voor bijvoorbeeld de opslag en back-up van de data
   • Place-to-be: Synapse Data Engineering, Synapse Data Warehouse en Data Factory
2. Data engineer
   • Data engineers zijn verantwoordelijk voor het opzetten en onderhouden van de data infrastructuur. Zij ontwikkelen de ETL (Extract, Transform en Load) processen en zetten de data klaar voor verdere analyse.
   • Place-to-be: Synapse Data Engineering, Synapse Data Warehouse, Data Factory en wellicht ook Real-Time Intelligence
3. Data analist:
   • Voor data analisten is het belangrijk altijd in overleg te zijn met de Business om te achterhalen wat de rapportagebehoefte zijn. Data analisten analyseren niet alleen de data maar zijn ook betrokken bij het creëren van de visualisaties van de data voor de Business.
   • Place-to-be: Synapse Data Engineering, Synapse Data Warehouse, Data Factory, Data Activator en Power BI
4. Data scientist
   • Binnen de rol van de data scientist is veel overlap met data analisten. Ook de data scientist analyseren de data, maar voegen hier vaak een extra laag bovenop. Denk hierbij bijvoorbeeld aan Machine Learning.
   • Place-to-be: Synapse Data Science
5. Power BI developer / Data visualisatie expert
   • Voor de Power BI developer is het belangrijk nauw samen te werken met de data analist en data scientist. In dit voorbeeld is de Power BI developer verantwoordelijk voor het creëren van de visualisaties die door de data analist zijn beschreven.
   • Place-to-be: Power BI

Voor iedereen dezelfde waarheid

Naast de bovengenoemde componenten wil ik ook nog een korte uitstap maken naar de laag waar deze componenten op gebouwd zijn. Microsoft Fabric zou namelijk geen Microsoft Fabric zijn zonder OneLake. Er is binnen data-analyse niets belangrijker dan één uniforme waarheid. Het is binnen alle dataprojecten altijd de eerste vraag die gesteld wordt:

What is our source of truth?

Binnen Microsoft Fabric heeft deze vraag altijd hetzelfde antwoord: OneLake. Doordat Microsoft Fabric gebouwd is op één kopie van de data (het OneLake) waar alle rollen binnen het datalandschap naar kijken, gaat het risico van eigen kopieën, aparte opslag en onbetrouwbare data geheel verloren.

Hier wordt ook het probleem van de aparte specificaties binnen de rollen opgelost. OneLake maakt het mogelijk om via de marktstandaarden van T-SQL, Spark, KQL en Analysis Services iedere rol toegang te geven tot de data, waardoor iedereen in staat is zijn eigen expertise en kennis los te laten op OneLake!

De kracht van samenwerken

Uit het bovengenoemde overzicht wordt duidelijk dat sommige componenten interessant zijn voor verschillende rollen en dat maakt de oplossing van Microsoft Fabric juist zo krachtig. Data analisten zullen in de componenten van Synapse Data Engineering en Synapse Data Warehouse wellicht zelf niets bouwen, maar hebben daar wel altijd overzicht welke data er beschikbaar is voor hun analyses en weten wel altijd hoe de data engineers deze data verwerken . Dit alles maakt de communicatie tussen deze twee rollen een stuk efficiënter.

Voor de data beheerders is er een veel beter overzicht van het datalandschap waar zij voor verantwoordelijk zijn. Ondanks dat de beveiliging en governance van de data niet specifiek in bovengenoemd overzicht staat, is ook dit een belangrijk voordeel van Microsoft Fabric voor de data beheerders. De data beheerders hebben één kopie van de data waar ze mee werken en één platform waar de data beschikbaar is. Dit maakt het beheren van de toegang tot de data ook veiliger. De mogelijkheden zijn hierin eindeloos. Om maar een voorbeeld te noemen, ook Purview is naadloos met Microsoft Fabric te gebruiken.

Tot slot

Het datalandschap is altijd aan het veranderen. Nieuwe rollen ontstaan en oude rollen vallen wellicht weg. Hierdoor worden ook de verantwoordelijkheden van deze rollen steeds lastiger te definiëren. In Microsoft Fabric zijn de componenten echter zo opgezet zodat iedere rol een place-to-be heeft. Wil je graag meer weten over de componenten van Microsoft Fabric of heb je interesse in wat dit platform voor jouw rol kan betekenen? Kom dan naar ons event Fabric Insights & Innovations event op 19 juni!