Databricks : Unity Catalog - Découverte - Partie 5 - Delta Live Tables

Nous allons découvrir le framework Delta Live Tables avec la solution Unity Catalog à la place du Hive Metastore.

Nous allons nous concentrer sur les éléments propres à la solution Unity Catalog.

L’utilisation de la solution Unity Catalog avec le framework Delta Live Tables était en “Public Preview” lors de la rédaction de ce papier début Juin 2023.

Nous allons utiliser un Account Databricks sur AWS pour réaliser cette découverte.

Note : Nous allons garder des termes techniques en anglais pour faciliter la compréhension

Continer la lecture →

Databricks : Unity Catalog - Découverte - Partie 4 - Delta Sharing

Nous allons découvrir la fonctionnalité Delta Sharing proposée par Databricks dans la solution Unity Catalog.

Nous allons utiliser un Account Databricks sur AWS comme fournisseur (Provider) et un Account Databricks sur Azure comme destinataire (Recipient) du partage des objets avec la fonctionnalité Delta Sharing pour cette découverte.

Note : Nous allons garder des termes techniques en anglais pour faciliter la compréhension

Note : Les travaux se basent sur l’état de la solution Unity Catalog à la fin du 1er trimestre 2023 sur AWS et Azure.

Continer la lecture →

Databricks : Unity Catalog - Découverte - Partie 3 - Data Lineage

Nous allons découvrir la fonctionnalité Data Lineage proposée par la solution Unity Catalog.

Nous allons utiliser un Account Databricks sur AWS pour réaliser cette découverte.

Note : Nous allons garder des termes techniques en anglais pour faciliter la compréhension

Note : Les travaux se basent sur l’état de la solution Unity Catalog à la fin du 1er trimestre 2023 sur AWS et Azure.

Continer la lecture →

Databricks : Unity Catalog - Découverte - Partie 2 - Gestion des données

Nous allons découvrir la gestion des données par la solution Unity Catalog et plus précisément la gestion des droits (Groupes et Utilisateurs) et la gestion du stockage (Tables).

Nous allons utiliser un Account Databricks sur AWS pour réaliser cette démonstration.

Note : Nous allons garder des termes techniques en anglais pour faciliter la compréhension

Note : Les travaux se basent sur l’état de la solution Unity Catalog à la fin du 1er trimestre 2023 sur AWS et Azure.

Continer la lecture →

Databricks : Unity Catalog - Découverte - Partie 1 - Mise en place

Nous allons découvrir la solution Unity Catalog de Databricks et plus particulièrement comment la mettre en place sur un workspace existant.

Nous allons utiliser un Account Databricks sur AWS pour réaliser cette démonstration.

Note : Nous allons garder des termes techniques en anglais pour faciliter la compréhension

Note : Les travaux se basent sur l’état de la solution Unity Catalog à la fin du 1er trimestre 2023 sur AWS et Azure.

Continer la lecture →