Aller au contenu

Définition · Architecture Data

Delta Lake

Aussi appelé : Delta, Delta Parquet

Delta Lake est un format de table ouvert qui ajoute aux fichiers Parquet un journal de transactions. Il apporte au stockage objet les garanties ACID, les mises à jour et suppressions ligne à ligne, le voyage dans le temps et l'évolution de schéma. C'est le format natif de OneLake.

Le rôle du journal de transactions

Un dossier Delta contient des fichiers Parquet et un dossier _delta_log. C’est ce journal qui indique quels fichiers composent la version courante de la table. Une écriture n’écrase rien : elle ajoute des fichiers et une nouvelle entrée au journal. D’où les lectures cohérentes pendant les écritures, et la possibilité de relire une version antérieure.

Ce que cela change au quotidien

  • Voyage dans le temps : relire la table telle qu’elle était hier permet de diagnostiquer un écart de chiffres sans restauration de sauvegarde.
  • Écritures concurrentes : plusieurs traitements peuvent écrire sans corrompre la table.
  • Interopérabilité : Spark, T-SQL et Power BI lisent le même fichier, sans export.

L’entretien indispensable

Le format n’absout pas de l’exploitation. Sans compactage régulier (OPTIMIZE) et sans purge des anciennes versions (VACUUM), une table Delta accumule des milliers de petits fichiers. Les temps de lecture se dégradent, et le coût de stockage augmente silencieusement. C’est la cause la plus fréquente d’un Direct Lake devenu lent.

Référence officielle : https://learn.microsoft.com/fabric/onelake/onelake-open-access

Les vidéos où l'on en parle

Voir aussi

← Tout sur Architecture Data