Power BI : Arrêtez de tout rafraîchir ! | Smart Incremental Refresh
Chapitres
- 0:00Phare DataOuvrir « Phare Data » sur YouTube
- 1:38Actualisation incrémentielleOuvrir « Actualisation incrémentielle » sur YouTube
- 3:36Les limites de l'actualisation incrémentielle nativeOuvrir « Les limites de l'actualisation incrémentielle native » sur YouTube
- 7:44Smart Incremental Refresh : la solutionOuvrir « Smart Incremental Refresh : la solution » sur YouTube
- 13:10DémonstrationsOuvrir « Démonstrations » sur YouTube
- 36:52ConclusionOuvrir « Conclusion » sur YouTube
Description
🔥 Et si vos rafraîchissements Power BI consommaient beaucoup plus de ressources que nécessaire ?
Rafraîchir régulièrement ses modèles sémantiques Power BI, c'est indispensable pour disposer de données à jour. Mais faut-il vraiment retraiter des millions de lignes lorsque seules quelques données ont changé ?
À mesure que les modèles grandissent, avec plusieurs années d'historique et des volumes toujours plus importants, de nouvelles questions apparaissent :
⏱️ Comment réduire la durée des rafraîchissements ?
💰 Comment limiter la consommation de Capacity Units (CU) dans Microsoft Fabric ?
📊 Comment éviter de retraiter inutilement des données historiques ?
🔄 Comment prendre en compte les corrections sur des données anciennes ?
⚙️ Comment dépasser les limites de l'Incremental Refresh classique ?
🎯 Et surtout, comment rafraîchir uniquement ce qui a réellement changé ?
C'est précisément ce que nous allons explorer avec le Smart Incremental Refresh. Power BI propose déjà un mécanisme d'Incremental Refresh permettant de ne rafraîchir qu'une partie des données. Mais cette approche présente certaines limites, notamment lorsque des modifications interviennent en dehors de la période de rafraîchissement définie. Imaginez une correction comptable sur une transaction datant de plusieurs mois, alors que votre modèle ne rafraîchit que les dernières semaines. Comment garantir que cette modification sera bien prise en compte sans devoir retraiter l'ensemble de l'historique ?
L'idée du Smart Incremental Refresh est simple : identifier les données qui ont réellement changé avant de décider quelles partitions doivent être rafraîchies. Une approche qui permet de réduire les traitements inutiles, d'accélérer les rafraîchissements et de mieux maîtriser la consommation des ressources Microsoft Fabric, tout en préservant la fiabilité des données.
Dans cet épisode de Phare Data, nous accueillons Farah Hamdi ( linkedin.com/in/farah-hamdi ), Tech Lead, qui partage les défis rencontrés côté client, et Ghassen Khoudi ( linkedin.com/in/ghassen-khoudi-b05189a4 ), qui nous présente une approche technique pour y répondre, avec plusieurs démonstrations concrètes.
Au programme :
🔎 Comprendre pourquoi les rafraîchissements classiques peuvent devenir coûteux.
📊 Identifier les limites de l'Incremental Refresh natif de Power BI.
🧠 Découvrir les principes du Smart Incremental Refresh et de la détection des changements.
⚙️ Comprendre comment cibler les partitions à rafraîchir.
🛠️ Explorer une architecture d'automatisation avec Microsoft Fabric et des notebooks.
🚀 Découvrir des démonstrations concrètes et les gains possibles en performance et en consommation de CU.
L'objectif n'est pas de rafraîchir moins souvent, mais de rafraîchir uniquement ce qui est nécessaire.
Car finalement, la bonne question n'est peut-être plus : « À quelle fréquence devons-nous rafraîchir notre modèle ? »
Mais plutôt : « Qu'avons-nous réellement besoin de rafraîchir ? »
📅 Les temps forts de cette vidéo :
00:00 : Phare Data
01:38 : Actualisation incrémentielle
03:36 : Les limites de l'actualisation incrémentielle native
07:44 : Smart Incremental Refresh : la solution
13:10 : Démonstrations
36:52 : Conclusion
🛠️ Envie de tester le Smart Incremental Refresh ?
Retrouvez le code et les ressources présentés dans cet épisode sur notre GitHub Phare Data: github.com/Pulsweb/PhareData/tree/main/Smart_Increm…
📚 Pour aller plus loin : Semantic Model Refresh Templates in Power BI : community.fabric.microsoft.com/blog/fbc_pbiupdatesb…
Que vous soyez développeur Power BI, Data Engineer, architecte Data ou administrateur Microsoft Fabric, cet épisode vous donnera des pistes concrètes pour optimiser vos modèles sémantiques et mieux maîtriser les ressources de votre plateforme.
💬 Et vous, comment gérez-vous les rafraîchissements de vos modèles Power BI ? Utilisez-vous déjà des mécanismes pour détecter les changements dans vos données ? Avez-vous identifié des rafraîchissements particulièrement consommateurs de ressources ?
Partagez vos expériences, vos questions et vos bonnes pratiques dans les commentaires !
🌊 Phare Data, la chaîne qui éclaire vos données. On décrypte les services de Data, d'Analytics et d'IA avec un ton accessible, des démonstrations concrètes et toujours une touche d'air marin.
⚓ Moins de données retraitées, plus de ressources disponibles : gardons le cap sur des rafraîchissements plus intelligents !
🔔 Abonnez-vous à Phare Data pour ne manquer aucun épisode.
#PowerBI #MicrosoftFabric #SmartIncrementalRefresh #IncrementalRefresh #DataEngineering #FinOps #PhareData
Transcript complet
5 424 mots · cliquez sur un horodatage pour lancer la vidéo à cet instant.
Transcription automatique non relue : certains noms propres et termes techniques peuvent être mal orthographiés.
Lire la transcription complète
Phare Data
0:00Et si vos rafraîchissements Power BI consommaient beaucoup plus que nécessaire ? [musique] Oh ouais ! Bonjour et bienvenue sur Fardata, la chaîne qui éclaire vos données. La question aujourd'hui, nous allons nous intéresser à un sujet que connaissent bien les utilisateurs de Power BI et Microsoft Fabric, le rafraîchissement des modèles sémantiques. Lorsqu'un modèle contient des millions de lignes et plusieurs années d'historique, son rafraîchissement peut rapidement devenir coûteux en temps mais aussi en ressources. Et pourtant, entre deux rafraîchissements, seules quelques données ont parfois réellement changé. Alors, pourquoi tout recalculer quand seules quelques données ont été modifiées ? Comment réduire la consommation de capacité Fabric, accélérer les rafraîchissements et conserver des données fiables, y compris lorsque des corrections concernant l'historique. Et surtout, comment aller plus loin que les mécanismes classiques d'incrémental refresh. C'est précisément ce que nous allons découvrir dans cet épisode consacré au Smart Incrémental Refresh. Sur F data, notre objectif est simple, vous aider à y voir plus clair dans l'univers de la data, de l'analyti et de l'intelligence artificielle. Chaque épisode est préparé par des passionnés avec l'envie de partager, d'apprendre et de rendre un sujet utile au plus grand nombre. Fardata est une chaîne ouverte. Alors n'hésitez pas à nous suggérer des sujets ou même à venir partager votre expertise lors d'un futur épisode. Et si le contenu vous plaît, pensez à vous abonner pour ne manquer aucune de nos prochaines publications. Cap sur l'épisode du jour. Alors dans cet épisode, nous allons voir pourquoi les rafraîchissements classiques peuvent consommer inutilement des ressources sur une capacité Fabric et les limite de l'incrémental refresh
Actualisation incrémentielle
1:46natif et surtout des démonstrations concrètes pour comprendre son fonctionnement et les gains possibles. Pour nous accompagner aujourd'hui, j'ai le plaisir de recevoir Fara en tant que tech lead et client a des besoins d'optimisation et un spécialiste du sujet, Gassen, qui a préparé pour nous quelques super démos. Bonjour à tous les deux et merci d'être avec nous sur Fard Data. Je vous laisse vous présenter. Merci Romain. Euh alors Far consultante data chez Viso spécialisé sur Power BI et Microsoft Fabric. J'interviens sur des sujets d'optimisation de modèles sémantiques et de performance. Euh donc pour un peu de contexte, aujourd'hui, nous avons des modèles semantiques de plus en plus volumineux qui peuvent consommer beaucoup de capacité. Euh nous utilisons déjà le refresh incrémental de de Power BI, mais euh nous rencontrons une problématique sur l'historique qui peut bouger même après plusieurs mois. Donc la question que qu'on se pose aujourd'hui Ren, c'est comment on peut optimiser nos refresh tout en garantissant la fiabilité des données et euh et compris l'historique du coup. Merci euh merci Romain pour l'introduction. Je me présente, moi c'est Gasten Cudi, je suis architecte solution Fabric. Oui, Fala, on avait déjà échangé là-dessus. Euh je t'ai préparé quelque chose, on va le voir après en démo. On va voir plutôt deux choses. La façon que on va voir si en automatique à 100 % et euh une deuxième façon, c'est une interface graphique euh pour faire ça plus d'une façon beaucoup plus simple que ce qu'on faisait avant avec SSMS en mode XMLA. Super, j'ai hâte de voir ça.
Les limites de l'actualisation incrémentielle native
3:36Allons-y. Power BI propose déjà de l'incrémental refresh qui permet justement d'éviter de tout recharger systématiquement, mais cette approche ne répond pas toujours à tous les besoins. Fara, tu peux nous dire quel problème on peut rencontrer ? Euh oui, aujourd'hui euh nos données historiques euh une ligne de vente peut être modifiée même des fois des fois des mois après avoir être intégré. Euh donc dans ce cas-là, on est obligé de relancer un fou euh sur tout le modèle sémantique pour recharger toutes les partitions. Euh mais euh ça peut durer longtemps sur des modèles euh très volumineux et ça peut causer des piqus de CU. Donc notre question c'est comment éviter cela euh et comment essayer de cibler uniquement ce qui a été modifié dans les données sources. Je vois ta problématique FAL, c'est un cas classique sur Power BI. On peut activer un incrémental refresh. L'incrémental refresh, en fait, il a un scope euh de refresh 1 mois, 2 15 jours, ça dépend. Et euh la problématique, si on a des modifications hors ce scope, bah l'incrémental, ils peuvent pas les capter et on sera confronté soit à refresh le modèle à chaque fois, chose que Farah a déjà signalé et c'est pas la target. accepter que notre modèle il sera en décalage un certain temps avec la la source de vérité qui est notre data plateforme et ou euh le faire à la mano. Et euh ce qu'on va voir aujourd'hui, c'est comment euh éviter tout ça déjà ne pas consommer une capacité au-delà de ce qu'on a besoin comme il a déjà signalé Fala. Euh comment capter les changements dans le modèle ? parce que parfois on on refresh des choses que déjà on n pas besoin de les refresh et comment éviter ce travail là à la mano aussi parce que la communication parfois on sait très bien que les équipes data plateforme parfois ne sont pas les mêmes l'équipe Power BI et l'équipe analytics. Il faut avoir l'information qui est en ligne bougé dans telle partition. Avoir l'information, ça peut prendre du temps où la communication ne passe pas malgré une bonne communication entre les équipes. Et comment éviter tout ça ? Comment euh avoir un framework qui gère tout ça d'une façon plus ou moins automatique à 100 %, sans intervention humaine et euh sans plutôt une consommation excessive de nos capacités. surtout si on parle euh de large modèles. Quand on parle de large modèles, on parle de modèles qui on a des millions et des millions de lignes. On peut même arriver euh à plus que 1 milliard de lignes. On fait des partitions de 20 30 millions euh mensuels. On peut pas se permettre de refresh ce modèle chaque jour en full. Sur la capacité déjà, c'est lourd, c'est lissé sur 24 heures. Sur aussi euh la durée, c'est pas viable. Le faire aussi à la mano, c'est pas notre target. Donc pour récapituler le besoin, donc ce que ce qu'on s'attend de du de la solution, c'est de garantir l'exactitude des données. Donc on veut un modèle qui est à jour même avec les les données historiques qui bougent donc et les corrections qui passent sur des données qui qui sont modifiées euh tout en préservant la capacité. Donc on veut éviter les pics de consommation sur la CAPA inutilement. et aussi bien sûr de conserver l'automatisation native, c'est-à-dire le fonctionnement de du refresh incrémental natif, donc garder la création, la suppression des partitions comme se passe aujourd'hui. OK, donc si j'ai bien compris, l'objectif c'est bah de garder les avantages de l'incrémental refresh natif mais en y ajoutant une logique de détection des changements et de pilotage des rafraîchissements. C'est bien ça ? Exactement. Exactement. Ben, on va voir comment ça marche ça du dans la démo. Euh pour ça euh j'ai préparé un petit warehouse dans Fabric euh des notebooks euh qui détectent les
Smart Incremental Refresh : la solution
7:59changements et qui lancent les refresh. Euh j'ai utilisé la bibliothèque Sémantic Link. Aujourd'hui, avec Fabric, c'est encore plus facile parce que avant Fabric, j'ai essayé de créer et de mettre en place le même système avec un script en Python. C'était pas aussi facile que ça. Il fallait un script assez long. Il fallait parcourir les partitions, il fallait boucler, créer combien de partitions à refresh et même sur la partition dimension, c'était pas possible. Aujourd'hui, avec ses mantiic link, c'est encore plus facile. Et euh dans notre modèle, quand je dis dans notre modèle, dans nos tables, il faut euh avoir une information qui est cruciale, c'est euh la colonne euh de last modified date, c'est-à-dire la la ligne dans la table a été touchée quand parce que ça ça va être notre marqueur. Et après je vais montrer c'est quoi un autre marqueur et c'est quoi la borne que le le script va prendre pour la détection des changements dans notre modèle. Tu nous montres ça en démo ? Yes. On va partir à la démo. Alors euh comment ça fonctionne cette détection des changements ? Je disais tout à l'heure, il y a une information assez cruciale dans le modèle, que ce soit dans les tables de dimension ou la table de fact, c'est la last modified date. Ça c'est une information qu'on va conserver, qu'elle va être détectée par les notebooks et il y a une table où cette information va être conservée. Et ici, vous voyez, j'ai mis un exemple. Il y a ce qu'on appelle la borne ou la limitation dans le temps pour détecter ces changements. Un exemple, on a fait un refresh à 10h qui est le T0 ici qui c'est un marqueur comme un marqueur de page dans un dans un livre. Après euh le dernier passage qui était à 10h, on a eu deux modifs. Un exemple modif dans une table de fé euh n'importe laquelle n'importe quelle partition et une modif dans une table de dimension ou les deux dans la table de fait. Et ici à 11h, on a lancé un deuxième refresh. Ça c'est notre borne de temps. C'est le script va capter les changements entre le dernier refresh terminé. Bien évidemment, c'est avec succès pas en fail autre. et à quelle heure ce refresh a commencé. Il va prendre ces modifs là et il va les traiter que ce soit sur les tables de dimension ou la table de fact. Bien évidemment il y a pas de limitation sur le scope de l'incrémental. C'està dire ici a une on a une partition qui a été touchée. Or le scope que nous on a défini bah il la cherche et il la refresche. Le passage est terminé. Le passage celui-là le 1, c'est fini. ce qui va se passer le 11h va être notre T0 et ainsi de suite. Le prochain, par exemple à midi, on a euh une modification à 11h30. Le T0 ce n'est plus le 10h mais c'est devenu le 11h suite au passage réussi de 11h et on a lancé à midi. Ça c'est notre borne dans le temps. Il va récupérer les changements entre les deux bornes et il va lancer le refresh. Je sais pas si c'est clair pour vous. Est-ce que Fallard tu as des questions là-dessus ? Euh c'est clair pour moi mais j'ai une petite question. Euh dans ce cas-là euh on se base sur la last modified date euh modification date et en cas de suppression, est-ce que c'est géré aussi ou c'est uniquement une modification ? Si je comprends bien, tu as une table qui contient les métadonnées de ton processing. Tu sais que dans ta table de fait, peut-être une valeur a été modifiée entre telle et telle date. Donc tu obtiens euh de ce fait euh quelle partition dans Power BI tu devrais rafraîchir. Et si je me trompe pas hein, lorsqu'on rafraîchit une partition alors que la source de données a été modifiée, que ce soit du delay de l'update, et ben on reprocesse finalement cette information. Donc peut-être si c'est supprimé, on retrouvera pas la ligne dans ta partition côté sémantique modèle. C'est bien ça exactement parce que il y a une table où euh c'est marqué euh par euh par table et même euh la table de fait c'est quel euh c'est quand la le dernier process et là ou la partition et là on peut chercher euh ça a été quoi la modification et on peut process cette modification. OK. pression, c'est pris en compte. OK.
Démonstrations
13:10Alors euh on parlait de la table de white marker. Moi j'écris que pour les juste l'exemple trois tables euh plutôt quatre tables table de une table de fact classique plus trois tables de dimension. Et euh ça c'est l'objet euh l'objecte. Et euh ici euh la dernière modification et euh derrière on va prévoir euh les deux scripts plutôt les deux notebooks qui s'en chargent de charger cette table et lancer le refresh. Et ça c'est une deuxième table que je laisse aussi de côté. Et ça c'est euh c'est une sorte pour de si on peut dire ça monitoring. Qu'est-ce qui a qu'est-ce qui est passé ? Euh qu'est-ce qui est en en failed ? Euh c'est quoi les éléments euh touchés et ça a commencé à quelle heure et c'est fini à quelle heure ? OK. Et là, ta source de données, c'est un warehouse dans Fabric, mais on imagine que ça pourrait être aussi une base de données prime. Le but, c'est de sauvegarder ses métadonnées. Après, ton framework s'occupe de de rafraîchir les bonnes partitions. Exactement. C'est c'est si même si c'est une source externe de Fabric euh que ce soit en emprême ou en cloud, il faut juste avoir les crédules bien sûr bien évidemment pour se conn se connecter sur cette source et soit on veut le garder cette table white marker dans Fabric ou même dans l'autre source et juste avoir les informations qu'est-ce qui a changé et capter ça avec des notebooks. C'est tout. Très bien, c'est bon pour vous ? Moi, j'ai une question aussi par rapport à ça. Est-ce que euh [raclement de gorge] je pose ma question ou c'est on est en pos euh juste par rapport à cette table en fait, est-ce que cette table sert en cas de de d'échec partiel, c'est-à-dire si euh il y a des deux partitions sans passer sur trois, est-ce que c'est cette table là qui sert à se retrouver ou par rapport au dernier refresh pour savoir quoi relancer ? Je je sais pas si c'est claire la question, c'est-à-dire si on doit mettre à jour trois partitions, deux partitions sont passées et une esto. Euh bien sûr, ça dépend du type de refresh qu'on fait. Est-ce que c'est du transaction ou pas ? Mais mais est-ce que c'est cette table qui servira de de savoir disons où recommencer ou ou pas ? Euh le refresh actuellement, il est sur un processing transactionnel. OK. C'est-à-dire si une partie on a trois par exemple à réfr une est passée et ça arrive hein surtout quand on a énormément de partition parfois ça m'est arrivé et la deuxème ou la troisième pour une raison pour une autre est coupée. Bon il est failed et du moment où on est sur du transactionnel ben toute la transaction il y aura un rollback et le le refresh en question il n'est pas succès. C'est dire le refresh n'est pas passé et comme si il a rien été. Du coup ton T0 et le reste le même quoi. Et alors si tu souhaitais au contraire de faire du partiel batch, à quel endroit tu tu mettrais cette information ? Ici, déjà le mode de commit est euh transactionnel et euh si on souhaite changer ça en partial, ben on vient ici. Si aussi on supprime ce paramètre carrément de la requête, c'est automatiquement ça passera en transactionnel. C'estàdire toute la requête, elle est soit 0, soit 1, soit elle passe, soit elle passe pas. Et euh honnêtement, moi euh quand on est en mode automatique comme ça scripting, euh je suis plutôt partisan du transactionnel parce que le partial batch c'est un peu compliqué euh à gérer. Si n modifie la moitié et l'autre non, euh notre framework va devenir encore plus compliqué. Et euh je déconseille honnêtement sur la partie scripting euh quand on a quelque chose d'automatique, soit notre refresh passe, soit notre refresh ne passe pas. Et comme ça, on sait très bien, on est à quel moment, qu'est-ce qui a été refresh, qu'est-ce qui n'est pas refresh. OK. Si on est en mode manuel et on a un gros modèle, moi je l'ai fait aussi à ce moment-là, oui, parfois on veut refresh un gros modèle. Euh on met 10 partitions avec un parallélisme de 10. Euh ben on n pas envie si pour un seul problème sur une seule partition on revient à 200 ou 250 millions de lignes en arrière ou 150 millions, bah à ce moment-là on met du parti parti partial batch et euh on sait très bien qu'est-ce qui a été refresh et qu'est-ce qui n'a pas été refresh et on peut partir d'où il y a eu le chos quoi. Super. Ben on vous mettra dans les commentaires de la l'enregistrement la la documentation Microsoft sur le sujet. Oui, super. OK, super. Et maintenant, est-ce que on peut lancer du coup un refresh pour voir comment ça fonctionne ? Oui. Euh j'ai préparé euh quelques requêtes. Alors euh ce qu'on disait tout à l'heure par rapport euh au mode de commit, euh il y a une nouveauté qui est sortie il y a pas longtemps, je pense Romain, il y a peut-être 10 jours, quelque chose comme ça, même pas de semaines. C'est la nouvelle bibliothèque de Simpilab. Euh et euh c'est une interface graphique qui gère un peu notre modèle. Ce que on se faisait avant avec du refresh sur du SSMS. Aujourd'hui euh on le fait directement ici et euh on a les types de refresh, soit du automatique, du calculate, du data only. On peut même supprimer des valeurs dans une partie si on le souhaite. Euh on peut gérer le max parallélisme euh 3 2 1 comme on veut. Et là, on peut euh mettre le mode de commit qu'on souhaite. C'estàdire, on peut partir sur le trnel, on peut partir sur du partial sur comme on souhaite. Et il y a quelque chose. Et là par exemple, on a nos nos partitions et on peut même gérer, on peut même skidler ce que un un refresh directement d'ici. on trouve bon je voilà les les historiques de refresh avec leur durée et a quelque chose que moi vraiment j'ai j'ai apprécié sur cette interface graphique c'est que on peut visualiser notre refresh. Je vais lancer un refresh sur les deux tables là. Ah c'est top ça. Ça va te permettre aussi de voir là où il passe du temps à savoir soit pour récupérer les données, soit pour les insérer dans le moteur Vertique. Tout à fait. Avant euh pour faire ça, on était obligé de partir sur euh comment dirais-je sur SSMS sur Profil traces. Ouais. X lancer les traces. Hm. Il y avait euh un modèle que Philé et tu mets tu récupères tes traces. Le bleu c'était l'exécution du SQL et le jaune B ça c'est des petites voilà de processing process et le jaune bah c'est le process au niveau du modèle et comme ça tu peux dire déjà tu peux voir quand on lance plusieurs partitions le le parallélisme et tu peux voir réellement où ça prend plus de temps. Là on est sur des petites portions de données. Du coup, c'est pas vraiment significatif, j'ai envie de dire, mais quand on est sur des millions de lignes et là, on peut voir au moment où on a lancé le refresh et au moment où euh la source a envoyé la première ligne. Autre chose de plus, romain, là on est sur de l'API et on n'est pas sur du XMLA. OK, c'est très différent. avant avec XMLA parfois quand on a un une problématique quand on a un ch envie de dire que les messages d'erreur n'était pas assez explicite mais là vu qu'on a du euh de la PI euh derrière c'est beaucoup mieux et cela c'était du synchrone aussi. Alors euh là euh je vais lancer une modification euh sur la table de fé. Euh je vais euh lancer euh des insertions et après je vais lancer le refresh. On verra bien ce qui va se passer. Donc tu actualises ta base de données source et puis après tu vas lancer ton notebook qui va regarder ce qui s'est passé pour après dire quelle partition mettre à jour. C'est ça exactement. OK. C'est un code source que tu pourras nous partager. Oui, bien évidemment. C'est c'est c'est le c'est le but d'ailleurs de la session. C'est ça. C'est le bon le bon notebook. Oui, parce qu'il y en a deux. Il y en a un à ne pas toucher et celui-là qui lance le refresh. Donc là, en tant que utilisateur, ce que je modifie Ouais. dans ce notebook, c'est c'est uniquement les lignes de la ligne 11 jusqu'à ligne 14. C'est bien ça. Si je reprends ton J'ai commenté euh tout ce qui peut être modifié dans le notebook. D'accord. Vraiment, j'ai tout commenté comme ça chacun il peut adapter ça. Adapter à son besoin. Parfait. À son besoin. Oui. Là on est encore en exécution. Donc c'est ce script qui va vérifier s'il y a eu des updates dans ta source de données aussi. Oui, parce qu'il s'appuie sur un autre script que lui il détecte qu'est-ce qui a été changé. OK, ça tourne encore. C'est succès. C'est bon, c'est terminé. Et ce que j'ai modifié moi, voilà, les deux, c'est la la partition de mai 2025 et euh la partition de la dernière partition.
24:48Et là, on va le voir. Je vais ouvrir SSMS pour voir ce qui a été traité sur la table de fait. Voilà ce qu'on a ce qu'on a touché, c'est la partition de mai 2025 qui sort du scope de l'incrémental avec la date d'aujourd'hui, l'heure et la dernière partition qui est ici. OK. Comme ça Falach, je pense je réponds à tes attentes par rapport en capte ce qui a été euh changé euh dans l'historique. Et aussi euh il y a une particularité euh quand on lance, il y a deux passages du refresh, surtout si on parle de la dernière de la dernière partition. C'est c'est ce passage qui permet de conserver euh le fonctionnement habituel ou ou normal du modèle tabulaire. Je m'explique, c'est que on sait très bien à chaque fois avec l'incrémental refresh, c'est glissant, on va avancer, il y aura une nouvelle partition qui va être créée et une ancienne partition qui va être supprimée euh de l'historique et euh le script le conserve. C'est pas un lancement juste tu lances une requête en mode TMSL sans pour autant conserver le fonctionnement classique du modèle PowerBI tabular. Super. Donc suite à ça, cette exécution, la table qui historise les dates de dernière modification va être aussi updaté via le même script. Donc exactement, c'est c'est là où on parle du T0 et T1. Super, c'est notre T0 était plus ancien. Je sais plus quel à quel moment j'ai lancé un refresh sur la table, mais le T1 qui est la date du lancement à l'heure du lancement actuel, elle va prendre maintenant le T0 et ainsi de suite comme je l'ai expliqué tout à l'heure. Et comme ça, tu mets tes refresh, met tes modifications entre deux bornes. Avec le scalout, les opérations de refresh sont isolées sur les réplicas read tandis que les répliquas read only continuent de servir les utilisateurs. Ça pourrait être intéressant parce que combiné à ligne incrémental refresh, ben ça permet de limiter de volume de données à traiter sans perturber les consultations. C'est quelque chose qu'on pourrait rajouter on top de ta solution comme recommandation. Et moi ce que j'aimerais comprendre aussi c'est ton script, comment il a su détecter quelle partition rafraîchir. OK. Déjà euh nous euh on a lancé euh une modification et des euh et des insertions euh de lignes euh au niveau de deux partitions. Une qui fait partie du scope euh de l'incrémental qui est la partition de novembre 2026 et euh l'autre c'est mai 2025. Oui, mai 2025 pardon. Et là ça c'est la table fact. C'est une table simple, hein. Euh taur ouais voilà. Et il se base, c'est pour ça tout à l'heure j'ai insisté sur la colonne de last modified date. Et là, il se base sur cette colonne pour détecter les lignes modifiées euh font partie de quelle partition. Et comme ça, il lance les partitions qu'il fallait qu'il faut rafraîchir. Et là, vous voyez que la last modifieate, elle est là. euh avec la date d'aujourd'hui là. OK. Après, Romain, euh il remarque euh le framework bien évidemment, on peut l'améliorer, c'est-à-dire la last modified date, on peut la sortir note de la table de fact et vraiment avoir une table de métadata. Et sur cette table là, on se base carrément pour détecter euh les modifications sans pour autant rajouter cette colonne dans modifier ta source si c'est pas encore déjà disponible quoi. OK, exactement. OK. Et pour le notebook euh le marqueur ici, pour cette table là, il est ici. Et il va prendre les last modified date par ligne bien sûr par euh par partition qui sont compris entre les bornes qu'on a cité tout à l'heure, le le la T0 et la T1. Voz, vous voyez, j'ai pas touché mes tables depuis hier le 12. Ben ces tables là, ils n'ont pas bougé. Mais tout à l'heure, ça c'est le dernier marqueur que nous on l'a lancé. C'est le dernier ref que nous on l'a lancé tout à l'heure. Et la prochaine fois, il va il va prendre ça comme T0. Il va parcourir les lignes modifiées dans la table de fact. il va les détecter et suite à ça, il va lancer les partitions qu'il faut refresh et ça le notebook du coup qui fait qui fait cette partie. Oui, parce qu'il y a un notebook. Ça c'est le notebook que j'ai dit euh un qu'on va pas toucher. C'est le notebook qui va euh remplir à chaque fois cette table. À chaque fois, lui il va partir pour remplir cette date à chaque fois. Ici, il nous met les modifications et ça c'est le T1, c'est ça c'est le T0 et ça c'est le T1. Et à chaque fois lui, il va partir remplir ces ces deux informations là qui sont là et bien sûr les détecter. Et voilà, ça c'était le T0 de l' de tout à l'heure et ça c'était le dernier T1. Je vais le lancer quand même. Donc c'est ce notebook qui est appelé par le le l'autre notebook qu'on a déjà lancer tout à l'heure qui va euh dire quelles sont les partitions euh à mettre à jour. Exactement. Moi maintenant j'ai simulé euh un traitement, tu vois ? Hm, j'ai simulé comme s'il y avait euh un lancement, tu vois, parce que normalement c'est pas nous qui lance, c'est le notre book. Et voilà, ça c'était notre refresh de tout à l'heure qui va nous servir à détecter qu'est-ce qui a été qu'est-ce qui a été modifié après cette date et heure. Et ça c'est notre T1 comme s comme si euh moi maintenant moi j'ai vraiment le refresh a fonctionné et euh il y a un passage derrière parce que normalement on lance pas à la mano. Alors Farah, je pense avec ce système euh on consomme beaucoup moins de capacité, on consomme beaucoup moins de CU sur la capacité en en background. Tu auras beaucoup moins de pic vu que pas la majorité de de tes cu, tu vas les consommer en refresh. Euh le refresh, tu peux faire des refresh plus fréquemment et encore plus plus rapide. Après, tu peux skidler ça soit avec Airflow dans euh Fabric, soit aussi avec une pipeline. Et tu auras toujours un historique à jour, c'est-à-dire n'importe quelle partition qui bouge dans ton modèle, tu captes le changement dès que tu déclenches ton refresh. Comme ça, tu seras pas obligé de de refresh un f afin de détecter tous les changements, même si on avait pas. Merci beaucoup Rassen. Ce que je trouve très intéressant dans cette approche, c'est que on cherche pas uniquement à faire des refresh plus accélérer les refreshes, mais aussi à maîtriser la consommation en terme de capacité. Donc on a une capacité préservée euh moins de CU euh consommé moins de pic et euh du coup aussi on garde la fiabilité des données. Donc euh si on peut lancer des refresh euh plus fréquemment, donc le modèle est toujours euh à jour et bien sûr la gestion native qui est conservée. Donc ça c'est donc on a le même mécanisme avec le refresh incrémental qu'on a aujourd'hui la la crémental natif. Donc ça c'est top. Ça répond exactement au besons. Je rajoute un petit point sur l'incrémental natif que PowerB propose que parce que il y a euh des euh des organisations qui n'ont pas cette problématique qui modifient des euh des partitions euh euh hors l'incrémental par exemple un mois pour des règles métier ou par exemple 3 ou 4 ou 5 mois au maximum. des règles métier, il y a ce qu'on appelle l'incrémental avec le dette data change, c'est que un incrémental ciblé, c'est vrai que on met 6 mois par exemple ou 5 mois dans notre refresh incrémental, ça c'est native dans PowerB et en la deuxième colonne que moi j'ai utilisé, c'est la colonne de last modified date. Ça, elle va faire la même chose sur une table de fait. On coche un bouton sur la configuration, on donne cette colonne et porb il va faire quoi ? Quand il y a une ligne modifiée dans une partition, bah il va partir à la refresh de si de ces six partitions que tu as déjà configuré. S'il y a rien modifié, bah il va rien faire. C'estàd c'est il va passer. C'est pas à chaque fois il va refresh les 6 derniers mois mais plutôt s'il y a un mois il va le refresh. S'il y en a deux ils vont il va les refresh. Mais si il y en a trois oui. Mais s'il y a rien, il fait rien. Et ça aussi ça pourrait être une solution native qui répond à plusieurs organisations, plusieurs cas d'usage. Donc en effet, on a le dette data change natif dans Power BI et qui permet de ne rafraîchir que les partitions dont les données ont changé. Mais il y a plusieurs limites. Euh d'ailleurs, c'est pas du CDC, hein. La détection repose sur un maximum de time spaw avec les limites sur les suppression et les corrections historiques. Et donc pour des scénarios avancés, je comprends que ta solution peut être intéressante. D'autant plus, je crois que si on n pas idée qu'un métier changerait des anciennes partitions, on va pas le configurer et du coup on va on va mettre de les rafraîchir. C'est bien ça exactement. Ça c'est euh ça fonctionne sur dans des cas où vraiment on sait qu'on aura pas des données modifiées au-delà de scope qu'on a configuré et c'est un incrémental ciblé. Il est dans ce scope, il va juste refresh ce qui a déjà changé et on peut le voir, c'est un marqueur, il s'appelle polling expression qu'on peut le voir directement avec du tabular partition parition. Comme tu viens de dire Romain, il y a quelques limitations au niveau de la gestion de l'historique et euh et euh la création des partitions. Vous avez maintenant une vision plus concrète de la matière dont nous pouvons optimiser les rafraîchissements de nos modèles sémantiques d' Power BI Microsoft Fabric. Ce qu'il faut
Conclusion
37:00retenir, c'est que rafraîchir plus de données ne signifie pas forcément disposer de données plus fraîches ou plus fiables. En identifiant précisément ce qui a changé, nous pouvons limiter les traitements inutiles, préserver notre capacité Fabric et prendre en compte les corrections historique. Et tout cela sans renoncer à l'automatisation, on l'a vu, des partitions. Finalement, la bonne question n'est peut-être plus à quelle fréquence de nouveau rafraîchir notre modèle, mais plutôt qu'avons-nous réellement besoin de rafraîchir ? Merci Fara, merci Gassen pour vos explications et super démonstration. Et vous, comment gérez-vous aujourd'hui les rafraîchissements de vos modèles pour RBI ? Utilisez-vous déjà des mécanismes similaires ? N'hésitez pas à partager vos expériences et vos questions en commentaire. Et si cet épisode vous a été utile, pensez à vous abonner à la chaîne Fardata et à partager cette vidéo autour de vous. On vous dit à très bientôt pour un nouvel épisode et gardez le cap sur vos données. À bientôt. Bientôt. Merci. À bientôt. Merci.