Cartographiez Microsoft Fabric | Fabric Atlas - Gouvernance - Rayfin

Phare Data

0:00Centraliser ces données dans Microsoft Fabric, c'est une chose. Savoir où elles sont, d'où elles viennent, qui y accède et ce qu'elles impactent, c'est encore mieux. Ouais, bonjour et bienvenue sur Fardata, la chaîne qui éclaire vos données. Aujourd'hui, on découvre Fabric Atlas, un projet open source que propose une véritable cartographie de vos workspace, Microsoft Fabric et bien d'autres. Line, métadonnées, accès, sensibilité des données, historique d'exécution. Bref, Fabric Atlas rassemble toutes ces informations dans une seule expérience. L'objectif, c'est simple, mieux comprendre ce qui existe dans votre environnement Fabric, comment les différents objets sont connectés et comment l'ensemble est gouverné. Alors, est-ce que Fabric Atlas peut vraiment nous aider à y voir plus clair ? Plutôt qu'un long discours, ouvrons-le et voyons ensemble ce qu'il a sous le capot. Sur Phara, notre objectif est simple, vous aider à y voir plus clair dans l'univers de la data, de l'analyti et de l'intelligence artificielle. Chaque épisode est préparé par des passionnés avec l'envie de partager, d'apprendre et de rendre un sujet utile au plus grand nombre. Fardata est une chaîne ouverte. Alors n'hésitez pas à nous suggérer des sujets ou à même venir partager votre expertise lors d'un futur épisode. Et si le contenu vous plaît, pensez à vous abonner pour ne manquer aucune de nos prochaines publications. Capture l'épisode du jour. Et pour parler de Fabric Atlas, je ne suis pas seul. Aujourd'hui, j'ai le plaisir d'accueillir Salomé qui rencontre déjà ce type de besoin chez plusieurs de ses clients et Frédéric qui est tout simplement le créateur de Fabric Atlas. Bonjour à tous les deux, merci d'être avec nous sur Phare Data. Avant de rentrer dans le vif du sujet, je vous laisse vous présenter rapidement. Bonjour à toutes et à tous. Je suis Salomé David. Je suis Solution engineer pour la partie data chez Microsoft et c'est vrai qu'aujourd'hui c'est un besoin qu'on compte de plus en plus chez nos clients, c'est-à-dire avoir une cartographie très claire des espaces qu'ils ont sur Fabric, qui a accès à quoi, d'où vient la donnée, quelle est sa sensibilité et avoir tout ça au même endroit. Merci Salomé. Et du coup, ben Frisbert, moi je suis un partner solution architect chez Microsoft sur toute la spécialisé sur tout ce qui est data et oui en effet je suis le créateur de de Fabric Atlas.

Fabric Atlas

2:22Globalement Fabric Atlas juste une petite introduction rapide, ça va être une un accélérateur qui a été mis à disposition sur les repository et Fabric Toolbox et et refine donc on va parler un petit peu après de ce qui est refine et l'idée de Fabric Atlas, c'est d'aller collecter l'ensemble des informations que vous allez avoir sur un ou plusieurs workspace, aussi bien sur les assets, les items, tout ce qui est label, description et autres. et on va voir un peu plus dans la dans la démonstration en un seul endroit pour avoir une sorte de cockpit de gouvernance centralisée au niveau de vos de vos de vos workspace. L'idée derrière euh Fabric Atlas, c'est euh au-delà de vous proposer euh un outil de gouvernance parmi d'autres outil de gouvernance, c'est plutôt une approche dans le sens où euh si une fonctionnalité n'existe pas dans le produit aujourd'hui, euh n'attendez pas que Microsoft ou un tiers H vous la mette à disposition. Vous avez euh tout ce qu'il faut maintenant euh dans la plateforme Fabric pour accélérer euh vos développements et vous créer vos propres fonctionnalités, vos propres solutions qui vont vous permettre d'aller plus loin justement avec la plateforme Fabric. Donc là, un petit teasing sur euh sur sur la solution. Vous allez voir que c'est quelque chose qui est vraiment tout en un avec un ensemble de menus. On va vous faire une démonstration de de bout en bout et qui au sein d'un même euh d'une même application va aller chercher pas mal d'information qui sont réparties un petit peu partout sur votre plateforme Fabric pour vous proposer quelque chose de centralisé à mettre à disposition de de personnes qui vont être en charge de la gouvernance de la donnée au sein de au sein de l'entreprise. Super, merci Fred. Et avant de regarder Fabric Atlas plus en détail, il faut rapidement peut-être parler de ReFIN puisque c'est une partie importante de la solution. Alors je crois qu'on l'a

Rayfin

4:16déjà présenté dans une vidéo, vous pouvez aller la regarder mais rapidement Fabric appréfin on ne parle plus simplement de construire un rapport ou un dashboard. On peut créer des véritables applications web connecté à Microsoft Fabric avec une expérience beaucoup plus personnalisée. Donc on parle souvent de backend as service. Mais Salomé, est-ce que tu peux nous en dire un peu plus ? Oui, tout à fait. Donc Greffine effectivement c'est un backend à service. Euh donc maintenant lorsqu'on va construire en application on va avoir l'ensemble du backend qui va être disponible dans Fabric. Donc si on revient un peu sur les différences qu'on a aujourd'hui, donc on connaît évidemment le Power BI qu'on a, qu'on va construire notamment dans PowerBI desktop qui va être publié après sur Fabric qui va permettre d'être consulté, exploré, analysé. On va avoir une nouvelle expérience aussi qui a été euh introduite euh très récemment à la

Modern Report

5:10FAPCON, c'est le modern report. On va avoir une petite un petit visuel après, mais très concrètement aujourd'hui, lorsque on va vouloir ouvrir PowerB desc, on va avoir un nouvel aperçu qui est Modern Report qui est tout à gauche du blank report qu'on connaissait. Lorsqu'on clique dessus, on va choisir notre modèle sémantique et après on va pouvoir décrire euh ce qu'on veut sur notre apport lié le génère et eniter. C'est ce qu'on va appeler du promase BI. Donc avoir un rapport avec des données interactives et générer en quelques secondes. Et donc Fabric app, Fabric enfin Rifine, c'est une approche un peu plus prodev. On va être avec le CLI RINE et après dans votre endroit pour développer préféré donc Gitup Copilot, Visual Studio. Pareil, vous allez pouvoir venir décrire vos besoins en visuel en données et LIA va le générer pour vous et vous allez pouvoir le publier dans Fabric. L'idée c'est qu'on va avoir l'ensemble du backend qui va être géré dans Fabric. Donc que ça soit vos connexions aux bases de données, que ça soit le stockage de vos fichiers, vos connecteurs, vos autorisations aussi parce que on va se connecter avec l'entra sur Fabric. Donc on va avoir toute la sécurité de Fabric qui va être mise à disposition pour vos Fabric app. Si après on rentre un peu plus dans le détail pour les modern report de la façon dont s'est créé, donc un prom base BI, on voit à gauche de l'accueil du Power BI desktop le nouvel le nouvel aperçu modern report. Lorsqu'on clique dessus, on va pouvoir euh ne plus partir seulement d'un Canva vide, mais générer de visuel via LIA. Donc, on choisit une source de données, on crée une description et très rapidement LIA va générer une application de données interactives. Ici, on va avoir toutes les capacités PowerBI. Donc, on peut créer du slicing, du cross highlight, du cross filter et cetera pour vraiment revenir à ce qu'on connaissait de Power BI et avoir l'ensemble des visuels que vous avez l'habitude d'avoir. On peut éérer évidemment en langage naturel, que ça soit pour créer une nouvelle page, euh créer des nouveaux visuels, créer des nouveaux des nouveaux highlight, modifier la couleur et cetera. et puis on va vouloir euh venir la publier et le partager directement sur Fabric. On prolonge euh le développement de l'app du code et àia dans euh votre ID, donc gitubilot ou votre outil de choix côte à côte avec l'IA. Donc on voit bien là sur l'image euh on a euh gitubilot et le et votre I de choix, votre modèle de choix et à droite on va avoir la partie euh vraiment visuelle que vous allez partager après avec vos utilisateurs pour pouvoir générer en même temps que vous allez parler en langage naturel à votre IR. Ce qui est intéressant également, c'est que une fois publié, si vous pouvez aussi modifier la donnée, interagir avec la donnée et provisionner automatiquement votre base de données Fabric. Donc très concrètement pour résumer, vous avez un baquet intégré, les données, les fonctions, l'hébergement, une sécurité aussi par défaut via l'identité entra et aussi une observabilité comme Fabric donc suivi de l'usage, des performances de l'AP, dès le lancement. Ouais, c'est top. On voit qu'il y a de plus en plus de moyens maintenant de consommer la donnée. Attention, ici c'est pas la mort non plus des rapports pour BI j'entends dire ça pour moi. Il y a on a même oublié ici de citer les pages inti report qui je pense ont encore du sens pour du reporting classique de l'analyse interactive et des scénarios où les fonctionnalités natives de Power BI suffisent. Pourquoi s'en passer ? Power BI reste un choix parfaitement pertinent et probablement aussi préférable. En revanche, à fur et à mesure que les fabric et les capacités AI vont mûir, et ben davantage de scénarios de visualisation et d'expérience data interactif pourront basculer peut-être de plus en plus vers ce modèle. Et donc très concrètement Frédéric pour mon besoin du client d'avoir une gouvernance très centralisée, comment tu as pu le mettre en place ? Alors ouais, en effet, ben d'abord merci Salomé pour la présentation et tu as tout à fait raison hein. Si si aujourd'hui on a besoin d'un nouveau type de graphique, un autre titre

Fabric Atlas Demo

9:42d'application et autres avec la Gil nos promptes et tous les modèles associés, on va pouvoir aller super bien. Et du coup voilà, moi j'ai voulu appliquer ça sur quelque chose qui est qui est peut-être un peu complexe à mettre en avant d'une façon assez sympathique, c'est tout ce qui est gouvernance donnée. On a énormément de de fonctionnalités d'en Fabric de base qui nous permettent d'avoir cette gouvernance avec le one catalogue, la zone de gouvernance, la sécurité, on a les ce qu'on appelle les sensitivity label d'un côté, on a les domaines, on a on a plein de choses mais c'est un peu éparpillé sur sur plein de services, sur plein d'API, sur plein d'écrans. Donc moi, j'ai voulu concentrer ça sur une seule et même expérience en allant chercher l'information là où elle était et en agrégeant aussi des fonctionnalités qui me sont demandées par mes clients, mes partenaires et certainement aussi par ton client. Donc on on se retrouve vers une là ce que ce que vous voyez là c'est le le fameux fabric atlas. Donc ça va être une solution de gouvernance très centralisé en monorkspace ou multiworkspace. On va mettre à disposition tout ce qui est catalogue de données aussi bien les items, euh les assets, même les objets. On va vraiment descendre à à l'objet euh sous-jacent de chacun des des items. Vous allez avoir accès au lineage. Vous allez avoir accès à des euh des petites fonctionnalités qui nous ont été demandées comme le sémantique X-ray, on va voir ce que c'est. Les relations entre les différents objets, le watif. Si on on diminue par exemple les droits d'une personne, est-ce qu'il a toujours accès ou pas à ses à ses à ses items et à ses objets, vous allez avoir accès aussi à ce qu'on appelle un départure pack. C'est si vous avez une personne qui quitte l'entreprise ou qui est mutée bah savoir à quoi elle avait accès pour pouvoir anticiper ce départ et autrefois plein de petites fonctionnalités qui vont bien s'agréger dans ce dans ce centre de de gouvernance. Donc si on revient un petit peu sur RFIN et comment tout ceci a été architecturé, on voit sur la gauche qu'on va avoir les les consommateurs. Donc c'est des en général des personnes en charge de la gouvernance qui vont aller ouvrir ce ce cette application. On va avoir notre Fabric apps. Donc il y a vraiment une différence entre la Fabric apps qui est l'item et refine qui est le backend as the service. Donc là où on va publier le la Fabric apps. Et derrière on va avoir deux choses. J'ai été obligé de faire de créer deux chemins. Le premier chemin c'est et ça a été annoncé à la FAPCON et c'est aujourd'hui un public preview. C'est tout ce qui est fonction refin. Donc les fonctions refine, c'est des fonctions euh Python euh qui vont venir euh s'associer à la base de données et à la Fabric apps. Et donc du coup, on va pouvoir aller coder des fonctions et les appeler directement depuis le backend. La vertu de connaissez avec les UDF, c'est ce qu'on c'est le portage des UDF directement dans Nord et FIN. Ce qui est super intéressant avec cette approche, c'est que on est déjà authentifié. Vu qu'on est dans le backend, on a déjà la possibilité de choper des tokens et donc du coup d'accéder à tous les services de Fabric d'une façon très transparente. Mais vous voyez qu'il y a deux chemins dans mon dans mon petit schéma. Euh la première donc c'est le les fonctions refing qui vont directement appeler les API Fabric en mode natif. Mais j'ai aussi un autre chemin qui est ce que j'ai appelé le Python compatibility ici où je repose encore sur une UDF. 80 % des fonctionnalités que j'ai réussi à mettre dans les fonctions refines, mais il y a 20 % que j'ai dû mettre à côté parce que bah on est encore en preview, il y a des petites choses qui sont en train d'avancer. par exemple pour accéder à des objets sur une base de données euh qu'QL euh aujourd'hui avec une fonction refine, on n'est pas capable d'aller choper un token pour euh pour se connecter. Donc il y a ça euh pour tout ce qui est pour BI report euh les fonctions FIN nous permettent d'accéder à des euh des euh des rapports pour ABA qui sont publiés en mode projet mais pas en mode des encore. Donc voilà, donc il y a des petites choses comme ça qui font que j'ai encore une dépendance à cette UDF mais qui très certainement va se le gap va se va se combler et et ça m'a aussi permis de faire des retours à l'engineering. Et donc c'est c'est ça qui est sympa c'est un accélérateur pour la communauté mais c'est en même temps aussi un accélérateur en interne parce qu'on fait beaucoup de remonté de feedback et et tu connais ça Romain sur tes accélérateurs que tu crées aussi et ça c'est très intéressant pour la l'engineering team. Et vous voyez au milieu, il y a ce refine data API où euh on accède à une base de données qui est embarqué dans l'application la Fabric apps et qui est une base de qui ne Fabric database ni plus ni moins et qui va nous permettre de stocker toutes les informations qui vont aller être collectées par l'outil de gouvernance. Et là, quand j'ai euh quand j'ai pensé de Fabric Atlas, c'est marrant parce qu'on se retrouve très proche de ce qu'on fait aujourd'hui et pourtant, je suis parti d'une feuille complètement blanche qu'on va aller se connecter, on va aller découvrir les différentes assettes que l'on a euh et puis tout d'un coup, on va se retrouver devant quelque chose. Bah, qu'est-ce qu'il faut faire ? Il faut faire un scan. Donc on va aller scanner des objets et euh et après on va avoir des phases de validation et on va publier des résultats dans la base dans la base de données. Mais du coup, on se retrouve sur des choses que l'on a pu connaître aussi sur le le Pureview dans Pureview avec la zone de map ou anciennement sur Azure Pureview, pareil avec la la zone de map où on exécutait de scan et je me suis retrouvé avec toutes les bah toutes les contraintes potentiellement qu'il y a eu sur le scan, le nombre de SR que l'on ouvre en parallèle, euh les contraintes aussi de refin pour aller écrire dans la base de données, euh la taille des objets et autres. Donc on a on a pas mal de petites contraintes là-dessus. Donc le challenge est moins la la fonctionnalité aussi qu'on a envie d'amener sur cet outil de gouvernance, mais comment on le met en place et comment on va chercher la bonne information avec les bons objets. Et donc derrière, on a été il a fallu euh réfine repose sur un modèle d'entité euh au final. Donc on on va créer ce qu'on appelle une data app pour associer à la Fabric apps une base de données. La data app va créer le une base de données et on doit lui décrire des entités. Donc on a un modèle d'entité qui a été créé et vous voyez qu'au centre le fabric item. Autour je vais avoir des objets de type line edge, les différents workspace, les principles pour tout ce qui est objet de sécurité et cetera. Donc moi, j'ai donné ça à Refin en terme de de de modèle d'entité à à déployer. Et ça c'est pareil, c'est c'est un apprentissage aussi que vous allez avoir plus vous allez créer des applications mais aussi des rapports. C'est que c'est pas magique. que à un moment donné euh pour avoir un bon tradeoffre entre je vais développer quelque chose et je reste quand même sur une consommation de token qui est qui est normale, on va dire, qui est pas une surconsommation de token pour ne pas avoir sur les modèles de l'overthinking ou de l'overcooking, c'est-à-dire on part dans tous les sens et on réfléchit plus sur l'épaisseur du trait que sur l'application au sens large. vous devez forcément savoir où vous voulez aller et ça c'est super important et c'est un retour sur cet accélérateur qui est super important. Vous devez définir des modèles d'entité, des modèles de données que vous voulez adresser, que vous voulez modéliser pour savoir en sortie ce que vous voulez faire. Et ça c'est super important. On laisse pas la créativité totale sur l'application qu'on a envie de faire. Et donc ça c'est vraiment ce ce cheminement. Et au final, je me retrouve avec ce ce MPD à la mode un petit peu base de données old school, mais ça permet aussi de de poser les choses et de voir l'ensemble des tables qui vont être à disposition dans ma Fabric database pour aller y stocker des informations. Et ça c'est super important parce que en effet Fabricat va arriver avec son modèle de données. Donc vous allez avoir tout stocké à l'intérieur. Mais dites-vous qu'on est dans Microsoft Fabric. Donc ça veut dire que si à un moment donné vous voulez aller créer un LCOS, faire un shortcut sur cette table des fabo database et par-dessus faire un modern report comme tu le soulignais Salomé pour peut-être des choses un petit peu plus graphiques au sens restitution des informations, vous avez toute la possibilité de le faire avec la plateforme. Donc c'est la complétude de ces services qui est qui est super important et c'est aussi un des apprentissages. J'étais parti un peu dans dans plein de graphiques dans dans Fabric Atlas au début et cetera, mais en fait on en a pas besoin. On en a pas besoin parce que c'est de l'overthinking de mon application. C'est-à-dire que je fais l'essentiel dans mon application et derrière si j'ai envie d'avoir des graphiques par-dessus, j'ai tout ce qu'il faut dans Fabric pour le faire mais à côté. Et en fait là, j'ai pas créé une application, j'ai créé une application qui est publiée dans une plateforme qui me permet de faire plein de choses après autour de cette application. Et ça, c'est super important à comprendre. On essaie plus de tout mettre dans une appellation mais on raisonne en terme de plateforme et après interaction des services des services en euh donc voilà ça c'est ce que je disais un petit peu aujourd'hui à date vous dites pas aussi qu'on peut tout mettre dans les fonctions refin c'est pareil il faut regarder ce qui ce qui peut être fait et ce qui ne peut pas être fait. Euh moi, j'ai à peu près 20 % du code qui tourne encore dans une UDF euh qui est une très bonne solution, les UDF euh voilà pour euh faire pas mal de choses dans le dans la plateforme. Et une autre fonctionnalité qui est très certainement dans la road map mais qui va beaucoup nous aider, c'est qu'aujourd'hui sur le backend refin avec les fonctions, on n pas encore cette notion de trigger ou cette notion de schedule de par exemple se dire que ce scan des assetts, je le veux tous les soirs à telle date ou une fois par semaine. Donc c'est des choses que de mon côté sont dans la road map mais ça va être associé très certainement à quelque chose qui va arriver aussi sur les sur les fonctions rapides. Trop bien, merci beaucoup Frédéric. Est-ce que tu peux nous montrer ça ? J'ai hâte de voir à quoi ça ressemble. Alors en effet, rien de tel qu'une bonne démonstration. Donc voilà. Donc là, je suis dans mon je suis dans mon workspace Microsoft fabric. Je me suis créé une petite une petite tâche avec tous mes objets de de liés à mon fabric Atlas. Donc vous voyez, j'ai ici une UDF. Donc ça comme c'est les 20 % des fonctionnalités qui ne sont pas comprises dans la fonction refine que vous trouvez. Ici vous avez la base de données qui est qui est associée. Vous voyez, ça fait une sorte de bloc avec le endpoint analytics, la Fabric database et les fonctions donc quand on ouvre le fabric atlas, on tombe tout de suite sur une une posture, on va dire un ensemble d'indicateurs ici, une sorte de radar que l'on va pouvoir configurer avec différentes dimensions. documentation, le line edge, les les accès, les honnership et autres. Et ça c'est euh c'est un ensemble de de de KII que l'on va pouvoir aller définir un petit peu un petit peu plus tard. Donc c'est une un peu un overview avec bah là je vois j'ai presque 3000 objets tout type confondu, des tables, des colonnes, des mesures, des items et autres. Je sais que c'est pas mal du j'ai 90 items dans mon euh dans mon workspace Fabric et j'ai un ensemble de de petites informations. Donc si on passe un On arrivé là Fred euh tu as je suppose que dans ton gitup tu as donné euh l'installation le guide euh c'est compliqué ça ça prend combien de temps ? Et alors c'est très simple, on peut aller chercher les informations sur le gitub, on l'a aussi sous la forme d'un template dans le githubon refine et donc ça c'est très intéressant parce que c'est mis à disposition sous forme de template. Donc vous pouvez le déployer directement sur les workspace, le même template sur chacun des workspace ou chaque chaque tenent. Et

21:38honnêtement pour le déployer, c'est deux lignes à peu près deux lignes d'exécution plus la publication de la de l'UDF. parce qu'on a encore cette publication à faire et la création d'un service principal pour aller faire les pour aller faire les scans. Voilà, donc c'est trois petites euh trois petites mais tout est décrit dans le dans le guide pour le pour le pour le dé commentaire de la vidéo. Super. OK, donc si je reviens, je vais parcourir un petit peu rapidement les euh les fonctionnalités. Euh vous allez avoir une notion de map and lineage. Donc là, c'est assez sympa et c'est assez demandé par les clients. C'est tout ce qui est lineage edge sur notre workspace. Mais vous allez voir, vous allez avoir un lineage en terme d'item et un edage en terme de d'objet. Donc vous avez deux écrans ici. Le premier c'est tout ce que vous avez à l'intérieur de votre de votre workspace avec unge assez sympa. Vous cliquez sur l'objet, vous avez les dépendances à mon et et aval. Vous avez par exemple ici le modèle sémantique et ce qui est pas mal si vous pouvez avoir ce qu'on appelle un impact analysis qui va justement vous filtrer toute la chaîne de de line edge suivant les les différents objets. Vous allez avoir deux types de relation ou c'est du contrôle c'est du contrôle mais dans ce cas-là c'est juste la chaîne des endp et donc vous allez pouvoir l'effacer sur lineage ou avoir les datafow lineage donc savoir comment circule la donnée au sein de votre lineage. Donc ça c'est plutôt ça c'est le lineage que tu récupères via les rest API. Alors ça c'est le line edge que moi je fais d'accord via les rest API en effet. Par contre il y a une nouvelle API qui est apparu il y a quelques semaines qui est en preview. Et donc si je resette euh ma vue ici et je clique sur mon lineage qui est en preview, là il y a un peu plus euh d'informations. Et si je prends par exemple un objet, je vais prendre je vais prendre cet objet, je vais cliquer sur mon impact analysis ici. Donc là vous voyez, j'ai j'ai tout mon impact analysis par exemple ici, mais vous voyez que les les relations sur les objets sont un petit peu sont un petit peu différentes. C'est-à-dire que là, je vais avoir sur chaque objet le type de relation que j'ai avec mon objet tiers. Et donc ça c'est directement fourni par l'API que met à disposition Microsoft. Et ce qui est super intéressant dans ce nouveau lineage, c'est qu'on va avoir du multiworkspace. Voyez ici sur ce LCOS, donc j'ai une entrée sur mon LOS qui est euh qui vient de mon propre ma propre zone bronze sur mon mon LOS, mais j'ai un shortcut qui est fait, vous voyez, sur un workspace qui est sur un LCOS par contre qui est dans un autre workspace. Donc nativement via ces nouvelles API, on va pouvoir avoir un linège via les shortcuts sur d'autres workspace. Donc ça c'était super demandé aussi par la par la communauté et ça ça devient natif avec la la nouvelle API euh avec la nouvelle API. Vous voyez, il y a énormément aussi entendu parler de lineedge au niveau euh colonne maintenant. Exactement. Exactement. On a linage niveau colonne qui euh qui est qui est là dans la dans la dans la pr Ouais ouais tout à fait. Donc ça c'est plutôt c'est plutôt intéressant. Une fois que vous avez cliqué sur un de vos items, vous avez un pan sur le côté qui vous donne euh toute le tout le résumé, tous les donstam, tous les upstream, le nombre de aussi pour aller euh d'un objet à l'autre. Vous allez à pouvoir avoir un impact analysis. Donc ça c'est plutôt pas mal. C'est le nombre de relations downstream, upstream, tous les objets qui sont impactés par ce costos. Donc ça c'est pas mal. tous les notebooks qui en dépendent et tout euh ce qui euh ce qui suivent, vous allez pouvoir euh l'exporter. Vous allez avoir accès aussi à tous les schémas directement euh sur cette sur cette vue qui a accès à ce à cet item. D'accord ? Et si jamais c'est des notebooks et je peux je peux par exemple trouver trouver un notebook euh peut être ici celui-là. Si vous avez un notebook, vous avez accès directement à l'ensemble des euh des runs des différents des différents notebooks. Donc ça c'est super intéressant. Suivant aussi le type d'item. Et donc ici par exemple, j'ai euh mon modèle sémantique. J'ai mon modèle sémantique. Euh je vais pouvoir aller voir le schéma. Je vais voir aussi les mesures qu'il y a à l'intérieur de ce modèle sémantique. J'ai vraiment tous les objets qui a à l'intérieur de ce modèle sémantique. Donc c'est plutôt c'est plutôt sympathique. Euh vous allez pouvoir switcher aussi sur un lineage mais de type objet. Donc là, on est sur l'item en tant que tel et si vous switchez sur l'objet, vous allez pouvoir avoir une dépendance entre la mesure et les colonnes qui participe à cette à cette à cette mesure ou le modèle sémantique et toutes les tables qui participent à ce à ce modèle sémantique. OK ? Donc, on va avoir aussi bien un linage en terme d'item qu'un linage en terme d'objet. Le linage en terme d'objet, c'est un moteur de de parcing qui est propre à Fabric Atlas. Ça vient pas des des API avotes. C'est pour ça que j'ai cette petite cette petite case. Après, vous avez d'autres fonctionnalités qui sont là. L'évidence, c'est à chaque fois que je fais euh un scan, ben je je peux prouver que ce scan a été fait à telle à telle date et que l'objet est apparu à telle date. Vous avez une notion aussi de de change qui m'a été demandée par euh par certains où on va pouvoir comparer deux deux snapshots, une baseline et un autre snapshot. Et euh une fois qu'il aura chargé le snapshot, vous allez pouvoir voir euh quel objet ont été ajoutés, quel objet ont changé ou autre. Si je descends, je prends, je sais pas par exemple cet objet, vous voyez ceux-là ont été ont été ajoutés et donc si je vais 3 jours avant, ils ont disparu. Voilà et donc les changes, voilà, on sait qu'on a ajouté des objets, on sait à quelle date ils ont été ajoutés et cetera et cetera. D'accord ? Donc ça c'est plutôt pas mal. Ça a été demandé. Euh et autre chose, le X-ray. Le X-ray, c'est un peu la la radiographie de notre modèle sémantique. On va aller choisir un un modèle sémantique et par rapport à ce modèle sémantique, bon, on va avoir toutes les informations, les euh les euh les mesures, les différentes colonnes. On va pouvoir faire le focus des mesures, par exemple, voir toutes les mesures d'un modèle sémantique et cetera et cetera. Donc c'est vraiment une radiographie de notre de notre modèle sémantique. Et là, ta recherche c'est au niveau du workspace. Là ici, voyez, je suis au niveau du workspace. J'ai mon workspace et on va voir plusieurs sémantiques modèles. Je pourrais regarder si il partage une même définition de mesure par exemple. Exactement. Exactement. Ça c'est tout à fait possible. Ouais. Ouais, c'est tout à fait possible. Donc voilà. Donc là, je suis au niveau de de mon On va voir après comment on switch de de workspace. Vous avez après le catalogue. Le catalogue assez simple. Vous avez tous les types d'items euh au sein de ce workspace et sur chaque item, ben vous allez avoir toutes les informations de l'item. Donc là, par exemple, je sais pas, je suis sur un un LCO, je clique sur mon L, je vais avoir toutes les propriétés de mon Lice, euh le coverage, je vais avoir le lineage, en fait, toute la définition de de ce C qui a accès, le oneelake et cetera et cetera. Donc vraiment toutes les informations liées à mon à mon à mon item. Donc ça c'est plutôt intéressant. Euh après vous avez cette assette de catalogue. Donc là c'est bien, on descend d'un niveau, on était niveau item et après on va au niveau de de la 7 en tant que tel. Et là vous avez accès à tous les objets. Donc par exemple si vous voulez faire un focus sur les mesures qu'il y a au sein de ce workspace, vous cliquez sur les mesures et là vous avez accès à toutes les mesures du du workspace. Et du coup, quand vous cliquez sur la mesure, bah vous avez la définition de de la mesure ici et toutes les propriétés de de la mesure qui accèdent à cette mesure. Et d'où viennent les droits. Est-ce que les droits sont spécifiques sur ce modèle sémantique ou est-ce qu'ils sont hérités du euh du workspace euh au-dessus ? Donc ça c'est plutôt intéressant. Et vous avez tous les objets, c'est-à-dire je crois qu' aussi on a l'ontologie. Vous avez l'ontologie, j'ai une ontologie. Vous voyez, vous avez vos ontologies, votre département et vous avez euh les sources, les attributs de votre ontologie et cetera. Donc ça c'est plutôt pas mal. C'est aussi une vue qui est assez qui est qui est assez demandée. Et du coup, j'ai mis aussi en place un search. Si on fait un un contrôle K, vous allez chercher votre votre item ou votre n'importe quoi. Par exemple, ici, je vais prendre cette table et du coup directement ça me filtre sur la 7 et j'ai accès à tout ce qui est en relation avec ce que j'ai ce que j'ai cherché. Donc ça c'est plutôt sympa et c'est plutôt rapide. Le point qui est quand même super intéressant, c'est ce fameux gouvernance center. Ce gouvernance center, ça fait partie aussi du scan et ça va nous permettre de définir des capis, voilà, des capill de documentation, d'onership, d'accès, de sensitiv label et cetera. Et après, ça va nous donner une sorte de petit radar pour nous dire bah est-ce que je suis en accord avec les capis suivant mes différents mes différents sc. D'accord. Et sur chaque KPI, vous allez pouvoir avoir des trends et autres. Et sur le gouvernance center, vous avez plusieurs onglets. Les findings, donc des erreurs qui remonent, les external access si vous en avez, les métadata gaps, les files d'opération, ce genre de choses. Donc par exemple sur ce sur c sur ce menu changes, vous allez voir tout ce qui a été ajouté entre deux snapshots. Donc de la même façon, vous l'avez sur le lien edge, vous allez pouvoir inspecter qu'est-ce qui a changé entre deux versions de cet objet et autres. Donc on est vraiment sur du tracking sur du tracking. Et là typiquement si j'ai un data agent, est-ce que je pourrais savoir enfin ce qu'il y a derrière ce data agent et comment c'est suivi ? Ouais bien sûr, bien sûr, bien sûr. Alors par exemple sur les dates agents, on va y aller directement, on a codé ce qu'on appelle les policies nai. Les policies nai c'est euh par exemple ici j'ai un data agent sur sur ce workspace. Et bien qu'est-ce qui participe à ce à ce data agent ? Euh je sais que j'ai trois modèles sémantiques qui sont en lien avec ce data agent. Donc je vais tout de suite pouvoir aller identifier si sur ces mand sémantique j'ai la bonne sécurité, est-ce que j'ai euh ici un sensitivity label ou pas et cetera. Donc je vais pouvoir vraiment aller descendre sur euh bah qui participe à l'élaboration de ma réponse pour ce datagent. Donc là j'ai un data agent. On pourrait dire, j'aurais pu aller cliquer sur le data agent et voir les les sources, mais imaginons que j'ai 10 data agents dans le workspace, il me faudrait un endroit centralisé pour voir ces ces datagent. Euh j'ai aussi des notions de coverage.

32:27Alors le coverage c'est euh c'est qu'est-ce que j'ai récupéré de façon partielle ou complète ? Est-ce que j'ai tout le catalogue de données ? Est-ce que j'ai réussi à récupérer tout le lineage ou pas ? Est-ce que j'ai réussi à récupérer tous les accès ou pas à à un item ? Vous avez les metadata quality, vous avez les sensitivity aussi, vous avez tous vos sensitivity label et votre classification qui va être fait ou pas. Et du coup, s'il vous en manque, vous allez avoir la liste de tout ce qui est candidat à sensitivité label mais qui a pas été qui a pas été posé. Donc vous voyez, c'est une sorte de vraiment cockpit de contrôle. Euh et rappelez-vous que c'est un accélérateur, vous pourriez aussi rajouter là-haut des des onglets et continuer à avoir vos propres indicateur. Un autre menu qui est super sympa, c'est l'access review. L'access, ça va vous donner euh sous plusieurs pivots. Ici, vous avez une matrice de de de revue avec plusieurs filtres. Vous allez avoir par exemple les euh les accès externes. Est-ce que c'est des droits qui sont hérités du workspace ou directement mis sur les items ou si est-ce que c'est un mixte des deux ? Et vous allez voir suivant les identités à quoi ils ont accès. D'accord ? Et vous pouvez pivoter cette vue sur les principles. Donc là, j'ai deux principles sur mon workspace et vous allez pouvoir déplier ce principle et savoir à quoi il a accès et et d'où viennent les accès. Est-ce qu'ils sont mix ? s'il soit en direct ou pas. Et le fameux départure pack ici où vous dites ben cette personne s'en va. Le départure pack mais ça me dit quoi ? Ça me dit qu'ils sont honneur, il est honneur sur deux modèles sémantiques. Donc je vais avoir des orphelins s'il s'en va. Il faut tout de suite que je réattribue tout ça ou je trouve une solution pour réattribuer mes mes objets. Je vais pouvoir exporter ça en CSV, MarkD et compagnie pour pouvoir les partager dans dans l'entrepose. Ça aussi. Ouais. Autre chose. Ouais. Autre chose sur lequel on a on a travaillé, c'est le watif. Le watif, je sais pas si je prends à un moment donné une personne qui a accès à je sais pas à à uncos ou autre chose et il a hérité des droits d'un workspace. Si je lui coupe ses droits, est-ce que ça va lui changer en fait mes droits sur les différents objets ou sur les droits effectifs qu'il a sur l'objet ? Donc ça c'est super intéressant pour essayer de diminuer un petit peu mon empreinte. euh au niveau de la sécurité, en ne overprovisionnant pas des droits à des personnes et en essayant de les restreindre au plus euh au plus fin au plus fin au plus fin possible. Intéressant pour éviter euh de surcharger les droits au niveau des workspace mais plutôt au niveau des items lorsque c'est plus pertinent. Ouais, c'est tout à fait ça. Exactement. Exactement. Et donc après, vous avez des petits des petits des petits menus avec les jobs et cetera. Donc ça ça fait potentiellement vous pourrez aller directement dans le workspace monitoring avec la vue monitoring mais ça vous donne aussi euh une petite vue centralisée qui est plutôt pas mal. Et on arrive à la partie workspace hub qui va vous permettre de contrôler qu'est-ce que vous allez scanner ou pas. Par exemple ici vous avez deux workspace qui sont euh éligibles. Vous pouvez aller rajouter des workspace. Donc là je peux aller lui dire d'aller scanner d'autres d'autres workspace. Et pour vous montrer comment se passe un scan, donc là j'ai FGI Oracle, je vais lui demander de le scanner. Donc là, j'ai différentes étapes où je vais aller commencer à lister les items, à aller après collecter les différents items, valider si le scan c'est passé correctement et je vais aller publier euh le résultat directement dans la dans la Fabric database. Donc là, ça prend quelques secondes et vous voyez sur la droite ici, j'ai un schedule. Donc là, c'est dans la roadmap, pour l'instant, c'est disable. Mais demain, la volonté, c'est de pouvoir aller lancer un scan toutes les semaines, toutes les nuits et autres. parce que là c'est assez rapide, vous allez voir parce qu'il y a pas beaucoup de de d'objets dans dans le scan dans le workspace Oracle, mais mon dernier FGM a pris quand même 17 minutes parce que j'ai quand même 2900 relations et autres àer à aller à aller chercher. Et donc là, c'est très bien. Je reviens dans le l'overview, je peux switcher sur mon FGI Oracle et tac, ça me donne toutes les informations avec mon linéage directement, mon catalogue, mes assets de catalogue directement depuis depuis mon FGIC, donc mon deuxème workspace. Donc on voit bien d'un point de vue centralisé, on peut switcher entre deux workspace et avoir une gouvernance sur en en multiworkspace. Dernière chose que je voulais dire, on a accès aussi à toute la configuration des différents workspace et il y a une sorte de petit de petit euh chat à l'intérieur de de l'application pour dire bah voilà, j'ai des remarques sur tel objet et donc on peut avoir justement un set comme ça de messages pour pour échanger avec les autres personnes qui ont accès à cette à cet environnement de gouvernance. Voilà, c'est donc aujourd'hui on est sur la V2 parce que on a fait cette cette synchronisation multiworkspace qui est super intéressante. C'est publié sur le repository Microsoft sous licence MIT open source Aweson Refin et la Toolbox Fabric. Donc, j'encourage la communauté à prendre ce code, le forc et faire plein de petites je sais pas de nouveaux indicateurs ou qui qui qui l'apprennent et qui l'adaptent dans leurs propres environnements. Voilà. Merci beaucoup Frédéric pour la présentation. C'était hyper clair et j'ai hâte de proposer ça à mes différents clients.

Conclusion

38:24Ouais, c'est top et ça montre bah l'étendue des possibilités. Encore une fois, c'est un code source que tu as partagé. Donc euh imaginez maintenant vous avez plus qu'à le reprendre et l'adapter par rapport à votre besoin et euh le produit groupe je crois il commence à déjà à te copier parce qu'il a déjà implémenté certaines choses euh ou imagine implémenter certaines choses que tu as déjà fait. Donc c'est top. Donc j'espère que cette démonstration vous aura donné envie ben d'explorer la solution et de voir ce qu'elle peut apporter dans votre environnement. Un grand merci à Salomé et à Fred d'avoir été avec nous aujourd'hui et partagé leur expérience. N'hésitez pas à tester le projet, à donner aussi à Fred des retours sur vos usages et bien sûr pensez à vous abonner à Fardata pour ne manquer aucun prochain épisode. À très bientôt. Salut. Salut. M.