Aller au contenu

Chiffrement des données dans Microsoft Fabric : PGP, BYOK, CMK

· 28:33 · 4,1 k vues · niveau avancé

Résumé

La vidéo détaille le chiffrement des données at rest dans Microsoft Fabric, en abordant les méthodes natives, PGP, BYOK et CMK. Elle explique les scénarios d'échange sécurisé de fichiers, la gestion des clés, l'orchestration via Data Pipelines et UDF, ainsi que les impacts sur la conformité et la séparation des responsabilités. Les contraintes techniques, la rotation des clés et la compatibilité avec différents artefacts Fabric sont également analysées.

À retenir

  • Toutes les données at rest dans Microsoft Fabric sont chiffrées par défaut et gérées par Microsoft. 1:52
  • PGP/OpenPGP permet un chiffrement hybride (symétrique et asymétrique) pour l'échange sécurisé de fichiers entre entités.4:00
  • Azure Key Vault ne supporte pas nativement PGP mais permet de stocker les clés en tant que secrets pour sécuriser leur accès.8:36
  • La démonstration montre l'utilisation de notebooks Python avec la librairie python-gnupg pour chiffrer et déchiffrer des fichiers dans Fabric.15:37
  • L'orchestration des processus de chiffrement/déchiffrement s'appuie sur Data Pipelines et peut intégrer des notebooks ou des UDF.21:17
  • CMK ajoute une couche de chiffrement gérée par l'organisation, activable uniquement si tous les objets du workspace sont compatibles.24:29
  • La rotation des clés est cruciale pour la sécurité ; une mauvaise gestion peut rendre les données inaccessibles.24:57

Description

🧭 Cap sur l’épisode du jour: Dans cet épisode, je suis accompagné par Manel Omani linkedin.com/in/mlomani et Frederic Gisbert linkedin.com/in/fredgis pour parler d’un sujet clé, le chiffrement des données “at rest” dans Microsoft Fabric. Nous ne parlerons pas du chiffrement en transit, mais du chiffrement lorsque les données sont persistées sur le stockage, et en particulier :

🔐 Le chiffrement natif dans Microsoft Fabric

🔑 PGP (Pretty Good Privacy)

🗝️ BYOK (Bring Your Own Key)

🏷️ CMK (Customer Managed Key)

⚖️ Les compromis techniques entre sécurité, simplicité et contrôle

📋 Les impacts sur la conformité, la séparation des responsabilités et l’architecture globale

📅 Les temps forts de cette vidéo :

00:00 : Phare Data

00:50 : Encrtyption des données dans Microsoft Fabric

02:40 : PGP

14:16 : Demo PGP

21:04 : Orchestration

23:35 : CMK, BYOK

28:03 : Conclusion

Quelques sources :

- learn.microsoft.com/en-us/fabric/enterprise/powerbi…

- learn.microsoft.com/en-us/fabric/security/workspace…

- pulsweb.fr/ssis-encryption-pgp

- gnupg.readthedocs.io

#MicrosoftFabric #DataSecurity #Encryption #PGP #BYOK #CMK #CloudData #DataGovernance #Azure #PhareData

Questions fréquentes

Comment fonctionne le chiffrement natif dans Microsoft Fabric ?

Le chiffrement natif dans Microsoft Fabric est appliqué par défaut à toutes les données at rest. Microsoft gère les clés et assure la sécurité sans intervention de l'utilisateur, garantissant une protection minimale pour tous les artefacts stockés.

Comment utiliser PGP pour chiffrer des fichiers dans Microsoft Fabric ?

PGP repose sur un système hybride : une clé de session symétrique chiffre les données, puis cette clé est chiffrée avec la clé publique du destinataire. La librairie python-gnupg permet de gérer ce processus dans des notebooks Fabric.

Azure Key Vault supporte-t-il PGP ?

Azure Key Vault ne supporte pas nativement PGP ni la norme OpenPGP, mais il permet de stocker les clés PGP en tant que secrets, assurant leur protection et leur gestion via des commandes PowerShell ou des notebooks Python.

Quels objets Fabric sont compatibles avec CMK ?

Les objets compatibles avec CMK dans Fabric sont les Lake House, Warehouse, Notebook, Spark Job. D'autres comme SQLDB sont en public preview, et Event House en private preview. L'activation CMK nécessite que tous les objets du workspace soient compatibles.

Comment orchestrer le chiffrement et le déchiffrement dans Fabric ?

L'orchestration s'effectue via Data Pipelines, qui peuvent déclencher des notebooks ou des UDF pour automatiser le chiffrement et le déchiffrement des fichiers, incluant des triggers sur la réception de fichiers ou des activités de copie depuis des zones de landing.

Pourquoi la rotation des clés est-elle importante dans Fabric ?

La rotation des clés est essentielle pour maintenir la sécurité. Une mauvaise synchronisation ou révocation prématurée peut rendre les données inaccessibles. Fabric vérifie quotidiennement les nouvelles clés dans Azure Key Vault, d'où l'importance d'une gestion rigoureuse.

Quelle différence entre BYOK et CMK dans Fabric ?

BYOK (Bring Your Own Key) permet d'utiliser ses propres clés pour chiffrer les modèles sémantiques Power BI, tandis que CMK (Customer Managed Key) ajoute une couche de chiffrement sur certains artefacts Fabric, activable au niveau du workspace si tous les objets sont compatibles.

Transcript complet

4 843 mots · cliquez sur un horodatage pour lancer la vidéo à cet instant.

Voir sur YouTube

Phare Data

0:03[musique] [musique] Ouais, bonjour et bienvenue sur Fardata, la chaîne qui éclaire vos données. Dans l'océan des données, voir clair change tout. Sur farata, on décrypte les services de données, l'analytics, les tout avec un ton accessible, des choix techniques assumé et une touche d'mar. Alors que vous soyez architecte, analyste, data, engénieur, product honur ou simplement curieux, Fardata vous accompagne pour comprendre les enjeux réels, éclairer les compromis et prendre de meilleures décisions et parfois avec le cri des mouettes en buie de fond. Si ce genre de contenu vous parle, n'hésitez pas à vous abonner. Cap sur l'épisode du jour où j'ai le plaisir

Encryption des données dans Microsoft Fabric

0:51d'être accompagné par Manel et Frédéric pour évoquer l'encryption des données dans Microsoft Fabrique. On ne va pas parler aujourd'hui d'encryption des données qui sont en transit mais plutôt ceux à trest lorsqu'elles sont persistées sur le stockage. Mais avant ça, on peut quand même rappeler que les données transitent sur internet public entre les services Microsoft, ils sont toujours encryptés au moins en TLS 1.2 et que Fabrique privilégie le TLS 1.3 trois deck possibles et que le trafic entre les services Microsoft transite toujours par le réseau mondial Microsoft, le Microsoft backbond. Et Manel, est-ce que tu peux nous parler maintenant du de l'encryption des données à tress ? Yes ! En fait, on va parler euh plus généralement de la sécurité euh des données euh dans Fabrique. Donc, vous allez voir déjà qu'on a pas mal de choses qui sont déjà mises en place et par périmètre, on peut penser par exemple à l'accès au niveau des espaces de travail, niveau des éléments, l'accès euh avec la RLS CLS à travers le one security, mais là, on va essayer de faire vraiment un focus sur l'encryption des données interest sur Microsoft Fabrique. Donc déjà ce qu'il faut savoir c'est que par défaut toutes les données qui sont dans Microsoft fabrique sont déjà encryptées à travers d'ailleurs et grâce à Microsoft. Mais on va voir sur cette présentation comment on peut rajouter des niveaux de sécurité supplémentaires que les organisations peuvent mettre en place et manager tel que par exemple le bringer on key pour l'encryption des modèles sémantique Power BI ou les CMK pour les espaces de travail Microsoft fabrique ou même comment on peut utiliser des normes telles que PGP pour sécuriser le transfert des fichiers lorsqueon a par exemple des use cases où on a besoin de transiter des rapports ou des fichiers entre deux entités distantes. Donc je pense que Frédéric va commencer par nous détailler la norme Open PGP.

PGP

2:41Et bien merci Manel. Oui, en effet là on va on va rentrer un petit peu plus dans le détail et on va voir comment cette cette norme justement Open PGP peut être utilisée à l'intérieur de de Microsoft Fabric. Donc, tu en as déjà un petit peu parlé, mais on peut imaginer euh qu'une qu'aujourd'hui un, je sais pas, un ISV ou une une société qui qui développe ses services sur le cloud Azure a besoin d'échanger des euh des fichiers ou des rapports ou toute information de façon chiffrée, par exemple, avec des services financiers, des banques et autres. et on a besoin de s'appuyer justement sur un protocole de de chiffrement assez assez fort et des normes assez fortes pour assurer la sécurité des données qui seront transité vers vers cetiers. Donc c'est là où euh on repose justement sur PGP qui est le Pretigood Prep Privacy si je me souviens bien qui repose justement sur la norme Open PGP. Et euh à la base PGP est pas open source mais on a une implémentation open source de PGP qui s'appelle Nu PGP qui va nous permettre de l'utiliser justement à l'intérieur de de Microsoft. Donc comment ça fonctionne ? De façon assez simple. On va pas rentrer en détail de comment on va chiffrer des données et autres, mais sachez que les bases de PGP, c'est un systè un système de chiffrement hybride avec une approche qui va être à la fois symétrique et asymétrique. Elle va être symétrique parce que on va utiliser, on va générer une clé de session qui va permettre d'aller chiffrer les données que l'on désire envoyer. et on va reposer sur un système asymétrique de clés publique privé pour pouvoir assurer cet échange entre les tiers de façon très sécurisée. Donc on va voir comment ça fonctionne mais globalement on va chiffrer les données avec la clé de session et on va chiffrer et encrypter cette clé de session avec la clé publique du tiers qui va recevoir l'information. À partir du moment où cette clé est chiffrée, on va pouvoir envoyer le document qui lui est chiffré et le document va être reçu par ce tiers et va le euh déchiffrer avec sa propre clé privée et va pouvoir même vérifier la signature avec la clé publique de la personne qui lui a envoyé l'information. Donc on va voir tout ça un petit peu en démonstration, mais c'est des choses qui vont pouvoir se faire à l'intérieur de de Microsoft Fabrique. On va plus que PGP, c'est pas récent hein puisque j'avais écrit un article sur PGP et SSIS il y a en 2013. Donc euh pour dire que c'est éprouvé, c'est utilisé même en dehors de fabrique. Pu oui, PGPS par je crois que c'était créé en en 91 euh si je me si je me rappelle bien. Et donc c'est pas récent mais euh justement du coup c'est ce qui a un peu créé la norme derrière et on repose sur des fondamentaux qui sont très très solides. On va particulièrement utiliser dans Microsoft Fabricer Python de New PG qui est la déclinaison open source justement de de PGP. Donc vous avez PGP, vous avez Open PGP qui est qui est la norme, vous avez GNU PG qui est la déclinaison de PGP en open source et vous avez la libraireur et Python qui est le wrappeur de GNU PG directement dans l'environnement àche. Donc la première chose que l'on va faire, on va et tout ça va être vu en démonstration juste après. On va tout d'abord générer nos clés. Ça c'est très important. Imaginez, je suis la banque euh et je vais générer mes mes clés. Donc je peux utiliser ici un GNU un GNU PG où je vais pouvoir euh générer une clé jusqu'à 4096 bits. Donc c'est assez fort en terme de en terme de chiffrement. Donc je vais pouvoir avoir à la fois ma clé privée qui est protégée par une pas fraise. Euh on peut on peut on peut voir ça comme un comme un mot de passe. Donc je protège ma clé privée et je génère aussi ma clé publique que je vais pouvoir après aller échanger avec des tiers. Et en tant que euh ISV, donc en tant que service qui doit envoyer des données à cette banque, bien moi aussi via GNUPG, je vais générer à la fois ma clé privée et ma clé publique que je vais pouvoir aller aller échanger. OK ? Donc sachez que chaque tiers que je sois mon service SAS centralisé, je vais avoir à la fois ma clé publique et ma clé privée. Et on va parler de banque ou de services financiers. Eux aussi vont avoir leur clé publique et leur clé privée. Donc c'est un petit outil qui en ligne de commande peut directement vous générer à la fois les clés privées et les clés publiques. Et c'est là où on va avoir on va commencer à avoir un échange de clés. C'est-à-dire que moi en tant que service SAS centralisé qui veut échanger de l'information avec les tiers, je vais envoyer ma clé publique à tous les tiers avec lesquels je veux échanger des données chiffrées et chaque tiers va m'envoyer leur sa clé publique que moi je vais stocker en centrale. Donc vous voyez, il y a un échange entre ces clés publiques suivant les tiers. Bien évidemment, la clé privée de chaque tir et la clé privée centralisée reste une propriété privée qui doit être stockée euh dans son volt euh indépendamment les uns les uns des autres. Et quand on parle de volt, et bien naturellement on arrive sur le service de de de coffre fort de Azur qui est Azur Kivolt. Alors aujourd'hui, Azur Kivolt supporte pas nativement le PGP et les clés sur la norme open PGP. Aujourd'hui, il supporte le RSA, les ce qu'on appelle lesqui, les clés symétriques, mais aussi les les certificats. Mais la souplesse de Azure Kivol va nous permettre de stocker ces clés en tant que secret et de les protéger avec toute la sécurité d'accès que l'on a que l'on va avoir directement sur notre sur notre kivolt. Donc en tant que service SAS qui a envie de dialoguer avec des services financiers, je vais avoir mon propre keyolt et je vais sauvegarder dans ce kivolt à la fois ma clé privée et potentiellement ma part phrase qui va me permettre de retrouver et de déchiffrer ma ma clé privée, mais aussi toutes les clés publiques que l'on va m'envoyer. Donc ça ça se fait très bien avec une petite commande Power Shell où je vais lui donner lui target le nom de mon de mon Kivolt, lui dire quel secret je veux importer. Donc je vais identifier chaque clé publique qui provient de mes services financiers par un nom de clé publique et je vais importer le fichier de clé publique directement dans mon Azure Kivolt. Et la résultante de ça, c'est que je vais avoir mon Kivolt centralisé avec mon de mon service SAS et un ensemble, vous voyez ici de clés publique et de clés privées. La clé privée, c'est la mienne. D'accord ? et je vais stocker toutes les clés publiques des tiers avec qui je veux échanger des informations chiffr donc ça se fait très simplement, très facilement. Donc je disais tout à l'heure, on a PGP, on a la norme open PGP et on a une implémentation GNUPG qui va nous permettre de générer de façon open source nos clés privées et nos clés plus briques. Et on a ce wrappeur qui s'appelle Python Gnupig. qui va nous permettre euh justement dans l'environnement et directement en Python va nous permettre de chiffrer, de déchiffrer, de signer des fichiers mais aussi de vérifier la signature de fichiers que l'on nous a que l'on nous a envoyé. Donc ça c'est ultra pratique et c'est complètement compatible avec Microsoft Fabrique parce qu'on est dans un environnement Spark donc on va pouvoir utiliser cette cette librairie. Donc on a euh là dans notre exemple, on a créé un template de notebook qui va être très générique qui va nous permettre deux choses. qui va nous permettre de chiffrer un de chiffrer un ensemble de données, de un fichier un répertoire ou n répertoire, de signer le le fichier, de le de le compresser et de le signer. OK ? Et ce même notebook va nous permettre de recevoir une information, de la déchiffrer et d'en vérifier la signature. Donc on a vraiment un template de notebook qui va pouvoir nous faire le chiffrement et le déchiffrement des informations qui vont qui vont transiter qui vont transiter. On va voir après avec Manette comment on peut ordonnanoncer tout ça mais là on est vraiment sur le le cœur du chiffrement et et des chiffrements. Donc le but et vous voyez au milieu sur les scénarios donc j'ai un service SAS qui va envoyer des informations à une banque et j'ai une banque qui va recevoir des informations d'un service SAS. OK ? Donc à partir du moment où j'ai mon service SAS AS qui envoie les informations à la banque et ce qui va se passer ? On servic va se générer une clé de session de façon symétrique va chiffrer les données envoyé avec sa clé de de de de session. Ensuite, on va chiffrer la clé de session avec la clé publique du tiers qui va recevoir les informations. Donc ici la banque A, d'accord ? et on va envoyer des informations. À partir du moment où la banque a reçoit les informations, elle va déchiffrer des informations avec sa clé privée qui est qui est sa clé privée qu'elle a qu'elle a chez elle. Et en plus, elle va vérifier la signature de ces informations en utilisant la clé publique de la personne qui a envoyé euh la avec qui elle elle dialogue et la personne qui a envoyé les informations. Ce qui permet de vérifier qu'on ait pas transformé la donnée avant qu'il la reçoive ou euh Exactement. Et sous quel format tu vas les envoyer ces fichiersl ? Et justement le format c'est un PGP, c'est un format PGP ou un format zip que je vais avoir que je vais avoir compressé. Après, c'est un peu c'est un peu comme on veut. euh on peut euh le compresser euh le avoir le CSV, le compresser et derrière on en fait un zip et on envoie l'information à à au tier. OK ? Donc ce que je te propose c'est qu'on regarde un petit peu tout ça en vidéo. Super. Donc avant de rentrer dans la dans la démonstration, euh juste un petit point sur euh sur le zoning, sur le oneel leg. roll zoning, c'est un bien gros mot. C'est je veux juste dire que là, je vais simuler une zone de réception d'information et une zone d'émission d'information. Donc on voit ici la zone la zone export à droite, c'est la zone où je vais compresser l'information, chiffrer l'information pour un envoi. Et la zone landing, c'est une information que la banque va m'envoyer et que je vais déchiffrer. C'est comme ça que ça va se passer.

Demo PGP

14:17Donc on est parti là. Je suis dans mon environnement fabrique. Donc j'ai mon j'ai ici créer mon mon workspace. Voyez dans mon dans mon workspace, il y a il y a pas grand-chose. Il y a juste ce notebook qui est central à toutes les interactions que je vais avoir avec ma donnée. Donc là on revoit mes deux scénarios. J'ai mon service SAS centralisé qui va renvoyer les informations à une banque et j'ai ma banque qui va recevoir les informations d'une de mon service centralisé. Ici, si je fais un gnu pig, donc je vois que je vais avoir l'ensemble de mes clés et vu que je simule sur ma sur ma machine, je vais avoir à la fois mes clés privées et publiques de mon service centralisé, mais aussi la clé publique de la banque qui va m'envoyer des informations. Et comme tout à l'heure, on l'a vu sur le Kivolt qui est lié à mon service SAS, je vais avoir un ensemble de secrets. Et dans ces secrets, je vais avoir ma propre clé privée, mais je vais avoir aussi la clé publique de la banque qui va recevoir les informations ou m'envoyer des des informations. Al bien évidemment, je retrouve tout ce qui a ces standards au keyot. Je vais pouvoir versionner mes mes secrets et vous voyez, je retrouve la clé publique de ma banque qui peut être qui peut être affiché. Donc là, je vais commencer à à exécuter un petit peu ce ce notebook. Donc je vais initialiser mon notebook. Je vais importer la librairie, voyez, le le pythonnu pg. Et après, je vais aller définir un certain nombre de fonctions. Donc là, je vais initialiser euh ma ma librairie en allant justement chercher les différents secrets avec la librairie Spark utile de Microsoft directement dans mon Azur Kivolt. Et donc ça c'est assez bien parce que je vais pouvoir lui donner accès à la manage identity directement de mon workspace. Et c'est cette manage qui pourra aller chercher les secrets directement dans le kivolt et pas d'autres et pas d'autres personnes. Je vais définir deux fonctions. Une fonction de chiffrement et une fonction de déchiffrement des informations qui vont m'être qui vont m'être envoyé. Donc là, on va commencer par le premier scénario où je vais vouloir chiffrer un fichier CSV qui est présent sur mon onelec dans mon workspace. OK ? Donc là, je me positionne comme mon service SAS centralisé qui envoie une information chiffrée à un service financier. Ici, la banque A. Donc là, j'ai mon euh petit fichier hotelreviews.csv. Donc je vais chiffrer cet hôtel reviews.csv en prenant euh en me créant justement une clé euh de de session. D'accord. Et après en incapsulant et en chiffrant cette clé session avec la clé publique de la banque A. Et là c'est ce qu'on voit. Reception key secret banque A PGP. et derrière, j'ai été euh compressé mon fichier. Donc ma résultante, c'est un fichier pointgpé et qui est chiffré pour un envoi à ma banque. Donc là, ça y est, j'ai déjà chiffré mon mon fichier. Donc là, je vais simuler ma banque maintenant. Donc moi pour recevoir l'information con banque, il va falloir que j'aille déchiffrer le le fichier qu'on vient de de m'envoyer. Donc je vais juste passer par je vais télécharger le fichier sur mon poste. Donc là je télécharge le fichier qui a été chiffré par mon service centralisé. Je vais aller le déchiffrer. Donc si je le déchiffre, ça veut dire que je me je pivote mon profil sur le profil de la banque et je vais aller déchiffrer avec ma clé privée de la banque. Donc vous voyez ici, j'ai le point PGP. Donc je vais lui dire je veux déchiffrer ce que l'on m'a ce que l'on m'a envoyé. Pour le déchiffrer, je dois avoir accès à ma clé privée. Donc je rentre mon mot de passe de la banque pour accéder à ma clé privée de la banque A. Et donc là, je déchiffre l'information. Et vous voyez, j'ai deux choses. Ça me dit bien que l'information a été déchiffrée, mais en plus ça a été vérifié la signature du fichier qui m'a été envoyé avec la clé publique du servic qui me l'a envoyé. Donc là, j'ai déchiffré le fichier hotelre reviews.pgp m'a été envoyé par la banque. Et donc maintenant, je vais pouvoir le je vais pouvoir le lire dans mon dans mon environnement. Le deuxième scénario que l'on va faire ici, c'est je vais recevoir une information de ma banque dans mon service centralisé sur Microsoft Fabrice. Donc là, le but déjà, c'est si je me positionne sur le profil de la banque, je dois chiffrer l'information. OK ? Donc là, ce que je suis en train de dire, je vais chiffrer le hotelreviews.ccsv d'un point de vue banque et je veux l'envoyer au service centralisé. D'accord ? Donc moi je suis la banque et je veux l'envoyer au service sas. Donc c'est ce que fait cette petite gnue gnueu péché. Admettons que tu as demandé ton fichier en local que tu as reçu et décrypté. Maintenant tu veux toi aussi le compléter et le réencrypter avant de l'envoyer à la banque qui te l'a envoyé info. OK. Potentiellement. Potentiellement. Et donc là je me mets dans un mode où j'ai reçu le fichier. Donc là bien évidemment je le simule. Donc, j'upload le fichier qui a été chiffré par la banque dans ma zone de landing, mais dites-vous que tout ça doit être forcément industrialisé et on va faire ça avec Manel un petit peu après. Mais j'ai ce fichier qui m'est arrivé sur mon sur mon Onelec. À partir du moment où il est sur mon onele, je vais pouvoir utiliser mon code Python en disant bah va me le déchiffrer ce ce fichier. Donc vu qu'il a été la clé a été chiffrée avec ma clé publique, moi je vais accéder à ma clé privée en tant que service centralisé. Je vais le déchiffrer avec ma clé privée et en plus je vais pouvoir vérifier la signature de qui me l'envoie parce que je sais que c'est la banque A. Je vais accéder à sa clé publique et je vais déchiffrer le le fichier. Et théoriquement, si j'ai bien déchiffré euh le fichier, ben je vais retrouver mon CSV complètement utilisable dans mon dans mon environnement Microsoft Fabrique. Donc là, en résumé, sur cette petite démonstration, on a vu les deux scénarios possibles. J'ai Microsoft fabrique en centrale avec un ISV qui envoie un fichier chiffré à une banque qui le déchiffre en local. et j'ai une banque qui envoie un fichier à mon euh ma plateforme Microsoft Fabrique et je la déchiffre en local et surtout je vérifie à chaque fois la signature du tiers pour voir que le fichier comme tu disais Romain n'a pas n'a pas été modifié.

Orchestration

21:06Super Demo, merci. Et maintenant, j'ai hâte de savoir comment on va pouvoir orchestrer tout ça. Manel, tu peux nous en parler ? Ben oui, déjà dès lors qu'on parle d'orchestration, le maître mot dans Microsoft fabrique, ce sont les dates à pipeline. C'est vraiment cet élément qui va nous permettre de faire différentes orchestrations, pas que euh lié au PGP, mais euh mais là, on va voir justement comment on peut utiliser les datas pipeline pour ça. Ben déjà euh ce qu'il faut savoir ici, c'est que pour le moment la partie encryption et décryption que Frédéric avait montré durant la démonstration se faisait via des notebooks. Donc sur la partie data pipeline, on a justement la possibilité de faire appel à des notebooks pour des activités notebook pour lancer l'appel de d'encryption et l'appel de description des différents fichiers. Euh autre chose aussi, c'est que on part sur un scénario où on fait un envoi de fichiers, donc un transfert de fichiers. Euh pour ça, en fait, on a pas mal d'autres d'activités qui nous permettent justement d'aller récupérer euh du SFTP ou d'aller faire des copie depuis une landing zone euh que la banque mis en place vers notre fabricant Lake ou autre. On peut même lancer des triggers dans le sens où on a une landing zone dès lors qu'on réceptionne un fichier, on a un trigger ou un événement de trigger qu'on peut qu'on peut enclencher pour faire pour faire tout le pipeline euh qui a été qui a été mis en place via les notebooks. Donc ça c'est hyper important. et on a évoqué les notebooks, mais pourquoi pas utiliser les UDF, une UDF qui serait au niveau de l'entreprise partageable et donc on aurait quelque chose d'assez euh normalisé dans toute l'entreprise pour échanger euh finalement aussi euh ben décompresser ces fichiers euh encryptés. C'est effectivement une très très bonne idée parce que là on a toute fait on a fait notre notre encryption des description via des notebook mais on peut facilement penser à créer une user data function dans Microsoft Fabric et qui a la possibilité d'aller se connecter à notre Azur Keyvolt, d'aller récupérer les différentes clés publiques et privées pour vérifier la signature pour crypter les différents fichiers et les décrypter. Et euh via un data pipeline, on a justement une activité qui peut faire appel à un UDF qui va faire tout le travail pour nous. Donc ça, on peut penser justement à un scénario où on crée une IDF euh propre à notre organisation où on va juste faire appel à elle avec euh avec euh différents paramètres.

CMK, BYOK

23:36On a vu l'encryption, le chiffrement via PGP. Maintenant, on va parler de l'encryption des données à 13 toujours donc au niveau du stockage et on va parler du CMK et du bringer key. Alors le Bringeron Key, on le connaissait déjà côté Power BI mais là le CMK pour certains artefacts fabriquent euh c'est plus récent. Manel, tu peux nous en parler ? Oui, en fait là, l'idée c'est vraiment de voir comment on peut rajouter une couche de sécurité pour enrypter euh avec nos propres clés les euh quelques items euh de Microsoft Fabrique. Ce qu'il faut savoir, c'est que par défaut euh toutes les données à restent dans Microsoft Fabrique sont déjà encryptées, donc euh par défaut et managé par Microsoft. Donc cette encryption là, elle est déjà managée par Microsoft. Là, l'idée du CMK, c'est de rajouter une coûte supplémentaire, donc c'est d'encapsuler justement le DEK qui est managé par Microsoft par une coûte supplémentaire que les organisations peuvent mettre en place pour encrypter certains éléments de fabrique. Merci Manel. et tu as raison de mettre le enfin l'enpha justement sur ces clés parce que ce qui est très important de comprendre c'est aussi la rotation des clés et on en parle souvent, c'est des sujets qui sont un peu compliqués des fois à adresser avec avec nos clients, c'est qu'ussi bien au niveau du CMK, du Broron Key ou du PG ou du PGP, on a besoin pour être très sécurisé d'appliquer une rotation des clés sur toute sur toutes les couches et cette rotation doit être contrôlé. Donc c'est un process qui doit vraiment exister chez nos clients et moi j'invite tout le monde justement à créer une équipe qui vont participer justement à cette cérémonie de de rotation des clés parce que typiquement si si on révoque une clé avant même d'avoir fait la rotation propre de nos clés mais en fait la la fonctionnalité de de fabrique est d'aller voir tous les jours une fois par jour s'il existe de nouvelles clés justement dans notre Azure Kivolt et Si cette cérémonie des clés n'est pas synchronisée, alors on peut perdre bah toutes les informations qu'il y a à l'intérieur de notre WordPen et ne plus pouvoir y accéder parce que justement elles sont elles sont chiffrées mais avec la mauvaise clé. Voilà. Donc ça attention, il faut bien mettre en place ces cérémonies de de rotation des clés chez chez les clients. Ouais. Parce que là la responsabilité, elle est partagée et c'est pas Microsoft que vous pourriez porter responsable de ne pas avoir sauvegardé votre clé qui vous permet plus du coup d'accéder à vos éléments. En fait, c'est tout l'intérêt, c'est c'est que les organisations aient accès à une clé qui est la leure et que Microsoft n'a pas accès pour ajouter une couche de sécurité. C'est exactement ça. Donc c'est important de bien de bien de bien s'assurer de ce point-là. Et ce qui est important à savoir avec la fonctionnalité de CMK, c'est que c'est une fonctionnalité plutôt récente. Euh on l'a mis en J depuis le 15 octobre 2025 euh et on supporte le HSM depuis août 2025 aussi. Et par rapport aux objets qui sont supportés, je crois que tous ne le sont pas encore. Non, il y a certains éléments fabriqu aujourd'hui sont supportés avec le CMK en J et comme tu peux le voir aussi, il y a d'autres qui sont en ce moment en public preview, en private preview. Ce qu'il faut savoir, c'est que aujourd'hui à date sur la partie J ce qui est supporté grosso modo, ce sont les Lake House, Warehouse, Notebook, Spark Job, ce que vous voyez ici sur sa slide euh c'est vraiment ça qui est supporté. On a d'autres qui sont plus ou moins en preview tels que le SQLDB et en private preview, on a aussi le event house et ça s'active au niveau d'un workspace. Donc on le voit comme ça dans dans ta slide oui contrairement au brillant on key qu'on va évoquer tout à l'heure qui s'appliqué au niveau de capacité là c'est bien au niveau d'un workspace et ce que disait en jaune ici c'est que tu ne pouvais pas le créer si tu as un objet au moins qui n'est pas supporté. Effectivement ça c'est hyper important. Si vous avez par exemple un objet qui n'est pas dans la liste qu'on avait qu'on a mis euh sur notre sur notre site tel que par exemple un modèle sémantique PowerB qui lui ne supporte pas le CMK, vous n'allez pas pouvoir activer le CMK au niveau de l'espace de travail. Donc c'est hyper important euh avant d'activer le CMK, de s'assurer que uniquement les éléments qui supportent le CMK sont disponibles dans le dans l'espace de travail. Euh ou peut-être penser à dissocier euh les éléments qui ne sont pas supportés dans et les mettre dans un espace de travail dédié en dehors de celui euh où on active le CMK.

Conclusion

28:04Super ! Merci beaucoup pour cet épisode. C'est vrai que ce thème sur le PGP, l'encryption, le CMK, le bring c'est pas toujours simple à vulgariser. D'ailleurs, si vous avez des sujets comme ça difficiles à vulgariser, n'hésitez pas à nous challenger. Voilà pour cet épisode de Phare Data. Si ce sujet vous a aidé, avoir plus clair sur vos choix data, alors le phare aura rempli sa mission. N'hésitez pas à vous abonner et surtout gardez le cap. À bientôt. Salut. Au revoir. Salut. Yeah.

À voir ensuite

Suivre Phare Data

Un nouvel épisode toutes les deux semaines

Phare Data est une chaîne communautaire : chaque épisode se construit avec des experts qui partagent leur expérience concrète du terrain.