Apprendre Databricks : lakehouse, SQL, notebooks Python et dashboards expliqués pas à pas

Apprendre Databricks, c’est apprendre à utiliser une plateforme unifiée qui réunit sur un même stockage l’analyse SQL, la préparation de données à grande échelle avec Apache Spark, les tableaux de bord et le machine learning. Databricks est devenu une référence du « lakehouse », l’architecture qui remplace la séparation classique entre data lake et data warehouse.

Ce guide s’adresse aux analystes, aux développeurs, aux futurs data engineers et aux étudiants qui découvrent la plateforme. Vous comprendrez l’architecture (lakehouse, Delta Lake, médaillon), vous saurez naviguer dans l’espace de travail, importer des données, écrire vos premières requêtes Databricks SQL, créer un dashboard, nettoyer des données en Python et entraîner un premier modèle.

Qu’est-ce que Databricks ?

Databricks est une plateforme cloud de données et d’intelligence artificielle, disponible sur AWS, Microsoft Azure et Google Cloud. Elle s’appuie sur Apache Spark pour le calcul distribué et sur Delta Lake pour le stockage, et réunit dans un même espace de travail l’ingénierie des données, l’analyse SQL, la visualisation et le machine learning.

Databricks a été fondé par les créateurs d’Apache Spark. Plusieurs de ses briques sont open source et largement utilisées au-delà de la plateforme :

• Apache Spark : le moteur de calcul distribué qui répartit le traitement des données sur plusieurs machines.
• Delta Lake : le format de tables qui apporte transactions ACID, historique des versions et gestion du schéma aux fichiers stockés dans le cloud.
• MLflow : l’outil de suivi des expériences et de gestion des modèles de machine learning.

À ces briques s’ajoutent des services propres à la plateforme : Unity Catalog pour la gouvernance des données, Databricks SQL pour l’analyse, les dashboards, l’assistant IA intégré, et les outils d’orchestration de tâches et de pipelines.

Pourquoi apprendre Databricks : le lakehouse expliqué

Pendant longtemps, les entreprises ont maintenu deux systèmes : un data lake pour stocker à bas coût tous les fichiers (logs, CSV, JSON, images) et un data warehouse pour le reporting SQL. Résultat : des copies de données, des pipelines en double et des chiffres qui divergent.

Le lakehouse supprime cette séparation. Les données restent dans un stockage cloud ouvert, mais au format Delta, qui leur ajoute :

• des transactions fiables : une écriture est complète ou n’a pas lieu, même si plusieurs traitements tournent en même temps ;
• un historique des versions (time travel) : on peut interroger une table telle qu’elle était hier ou avant une erreur de chargement ;
• une gestion du schéma : les colonnes et leurs types sont contrôlés à l’écriture ;
• des performances SQL comparables à celles d’un entrepôt pour l’analyse.

Pour un profil data, apprendre Databricks ouvre donc plusieurs métiers à la fois : data analyst (SQL et dashboards), data engineer (pipelines et Spark) et data scientist (machine learning).

L’architecture médaillon : Bronze, Silver, Gold

Databricks recommande d’organiser les données en trois couches successives :

Couche	Contenu	Exemple
Bronze	Données brutes, telles qu’elles arrivent des sources	Export CSV des ventes chargé tel quel
Silver	Données nettoyées, typées, dédoublonnées, jointes	Ventes avec montants numériques, dates valides, doublons supprimés
Gold	Données agrégées, prêtes pour l’analyse métier	Chiffre d’affaires par mois, par région et par produit

Cette organisation facilite le débogage (on peut toujours revenir à la donnée brute) et la réutilisation (plusieurs tables Gold peuvent partir de la même table Silver).

Comment débuter sur Databricks : les étapes

Prenons un exemple concret : un fichier CSV de dépenses avec les colonnes date, service, fournisseur, catégorie et coût, que l’on veut nettoyer, analyser et mettre en dashboard.

Étape 1 — Créer un compte et découvrir l’espace de travail

Pour apprendre, utilisez l’édition gratuite de Databricks ou un essai gratuit sur votre cloud. Une fois connecté, la barre latérale gauche donne accès aux principales zones :

• Workspace : vos dossiers, notebooks, requêtes et dashboards, organisés comme un explorateur de fichiers ;
• Catalog : l’explorateur de données (catalogues, schémas, tables, volumes) géré par Unity Catalog ;
• Compute : les ressources de calcul (clusters et SQL warehouses) ;
• SQL Editor, Queries et Dashboards : les outils de Databricks SQL ;
• Jobs & Pipelines (selon la version) : l’orchestration des traitements ;
• Experiments et Models : le suivi du machine learning.

Le bouton New en haut de la barre latérale permet de créer un notebook, une requête, un dashboard ou d’ajouter des données.

Étape 2 — Comprendre le calcul et les coûts

Dans Databricks, le stockage et le calcul sont séparés. Pour exécuter du code, il faut une ressource de calcul :

• un cluster (ou calcul all-purpose) pour les notebooks Python ou SQL, défini par une version du Databricks Runtime et une taille de machines ;
• un SQL warehouse pour l’éditeur SQL et les dashboards, souvent en mode serverless ;
• un calcul serverless pour les notebooks, selon l’édition et la configuration.

La consommation est mesurée en DBU (Databricks Units) par heure d’utilisation. Deux réglages évitent les mauvaises surprises : l’arrêt automatique après inactivité (par exemple 20 minutes) et une taille de cluster adaptée au volume réel.

Étape 3 — Importer un fichier CSV

Cliquez sur New > Add or upload data (ou l’équivalent selon l’interface), puis déposez votre fichier. Databricks affiche un aperçu, détecte les types de colonnes et vous propose de créer une table dans un catalogue et un schéma, par exemple main.formation.depenses_bronze.

Les noms de tables suivent la hiérarchie à trois niveaux d’Unity Catalog : catalogue.schema.table. Vous pouvez aussi déposer le fichier dans un volume, un espace de stockage de fichiers gouverné, puis le lire depuis un notebook.

Étape 4 — Écrire vos premières requêtes Databricks SQL

Ouvrez le SQL Editor, sélectionnez un SQL warehouse et interrogez la table :

-- Aperçu des données
SELECT * FROM main.formation.depenses_bronze LIMIT 20;

-- Total des dépenses par catégorie
SELECT categorie,
       COUNT(*)            AS nb_lignes,
       ROUND(SUM(cout), 2) AS total_cout
FROM main.formation.depenses_silver
GROUP BY categorie
ORDER BY total_cout DESC;

Sous le résultat, l’onglet de visualisation permet de transformer la requête en graphique (barres, lignes, secteurs, compteurs). L’assistant Databricks, accessible depuis l’éditeur, peut générer une requête à partir d’une question en langage naturel, expliquer une requête existante ou corriger une erreur de syntaxe. Relisez toujours ce qu’il propose.

Si le SQL est nouveau pour vous, commencez par notre guide pour apprendre SQL : SELECT, WHERE, GROUP BY et les jointures couvrent l’essentiel de l’usage de Databricks SQL.

Étape 5 — Nettoyer les données en Python dans un notebook

Créez un notebook (New > Notebook), attachez-le à un calcul, et lisez la table brute. Dans notre exemple, la colonne coût est arrivée en texte, avec des symboles monétaires et des virgules décimales :

from pyspark.sql import functions as F

df = spark.table("main.formation.depenses_bronze")

df_silver = (
    df
    # Nettoyer la colonne coût : retirer "€" et espaces, remplacer la virgule
    .withColumn("cout", F.regexp_replace("cout", "[€\\s]", ""))
    .withColumn("cout", F.regexp_replace("cout", ",", ".").cast("double"))
    # Convertir la date
    .withColumn("date", F.to_date("date", "dd/MM/yyyy"))
    # Supprimer les lignes sans coût et les doublons
    .filter(F.col("cout").isNotNull())
    .dropDuplicates()
)

display(df_silver)

df_silver.write.mode("overwrite").saveAsTable("main.formation.depenses_silver")

Quelques repères : spark est la session Spark déjà disponible dans le notebook, display() affiche un tableau interactif avec graphiques, et les tables sont enregistrées au format Delta par défaut. Dans un même notebook, une cellule peut passer au SQL avec la commande magique %sql en première ligne, ou à la documentation avec %md.

Pour lire un fichier directement depuis un volume :

df_brut = spark.read.csv(
    "/Volumes/main/formation/fichiers/depenses.csv",
    header=True, inferSchema=True, sep=";"
)

Étape 6 — Créer la table Gold et le dashboard

Créez la couche Gold avec une requête d’agrégation :

CREATE OR REPLACE TABLE main.formation.depenses_gold AS
SELECT date_trunc('MONTH', date) AS mois,
       service,
       categorie,
       SUM(cout) AS total_cout
FROM main.formation.depenses_silver
GROUP BY ALL;

Puis New > Dashboard. Un dashboard Databricks s’appuie sur des jeux de données (tables ou requêtes SQL) et se compose de widgets : graphiques, compteurs, tableaux, et filtres (période, service, catégorie) qui s’appliquent à plusieurs visuels. Une fois publié, il peut être partagé avec des utilisateurs de l’espace de travail et actualisé selon une planification.

Étape 7 — Entraîner un premier modèle de machine learning

Les notebooks Databricks permettent d’utiliser les bibliothèques Python habituelles. Exemple simple : prédire le coût d’une dépense à partir de sa catégorie et de son service, avec suivi automatique par MLflow :

import mlflow
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_absolute_error

mlflow.autolog()

pdf = spark.table("main.formation.depenses_silver").toPandas()
X = pdf[["service", "categorie"]].astype("category").apply(lambda c: c.cat.codes)
y = pdf["cout"]

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

with mlflow.start_run():
    model = RandomForestRegressor(n_estimators=100, random_state=42)
    model.fit(X_train, y_train)
    print("Erreur absolue moyenne :", mean_absolute_error(y_test, model.predict(X_test)))

Chaque exécution apparaît dans l’onglet Experiments, avec ses paramètres et ses métriques, ce qui permet de comparer plusieurs essais. Pour comprendre ce que font réellement ces algorithmes, lisez notre guide sur le machine learning et le deep learning.

Bonnes pratiques pour bien démarrer sur Databricks

Quelques habitudes font gagner beaucoup de temps et d’argent :

• Nommez et rangez : un dossier par projet dans le Workspace, un schéma par projet dans le catalogue, des tables suffixées _bronze, _silver, _gold.
• Arrêtez le calcul quand vous ne travaillez pas, et configurez toujours l’arrêt automatique.
• Travaillez sur un échantillon pendant la mise au point (LIMIT, sample()), puis lancez le traitement complet.
• Évitez toPandas() sur de gros volumes : cette commande rapatrie toutes les données sur une seule machine. Restez en Spark tant que les données sont volumineuses.
• Documentez vos notebooks avec des cellules %md : objectif, source, règles de nettoyage.
• Utilisez l’historique Delta pour contrôler ou annuler un chargement :

DESCRIBE HISTORY main.formation.depenses_silver;
SELECT * FROM main.formation.depenses_silver VERSION AS OF 1;

• Versionnez votre code : Databricks permet de relier des dossiers à un dépôt Git, ce qui facilite le travail en équipe.
• Automatisez la chaîne : une fois le notebook de nettoyage fiable, planifiez-le dans un job (par exemple chaque nuit), avec une tâche Bronze vers Silver puis une tâche Silver vers Gold. Le dashboard s’appuie alors toujours sur des données à jour.
• Gérez les droits dans Unity Catalog plutôt qu’en partageant des fichiers : les permissions se donnent sur un catalogue, un schéma ou une table, à un utilisateur ou à un groupe.

GRANT SELECT ON TABLE main.formation.depenses_gold TO `analystes`;

Donner accès aux seules tables Gold aux équipes métier est une règle simple qui évite beaucoup d’erreurs d’interprétation.

Les erreurs fréquentes des débutants sur Databricks

En formation, ce sont toujours les mêmes blocages qui reviennent :

Erreur	Cause	Solution
Une cellule ne s’exécute pas	Notebook non attaché à un calcul, ou calcul arrêté	Sélectionner une ressource de calcul en haut du notebook et la démarrer
Facture plus élevée que prévu	Cluster laissé actif ou surdimensionné	Arrêt automatique, taille adaptée, calcul serverless pour le SQL
Colonnes toutes en texte après import	Types non détectés ou séparateur mal réglé	Préciser inferSchema, sep et le format de date, ou caster les colonnes
« Table or view not found »	Nom incomplet ou mauvais catalogue et schéma	Utiliser le nom complet catalogue.schema.table
Mémoire saturée dans un notebook	toPandas() ou collect() sur une grosse table	Filtrer ou agréger en Spark avant de rapatrier les données
Chiffres différents entre deux dashboards	Calculs refaits dans chaque requête	Centraliser les règles dans une table Gold commune

Databricks, Microsoft Fabric, Snowflake : quelle plateforme choisir ?

Databricks n’est pas seul sur le marché des plateformes de données cloud. Voici les grandes différences à connaître :

Critère	Databricks	Microsoft Fabric	Snowflake
Positionnement d’origine	Spark, data engineering, machine learning	Plateforme analytique SaaS de Microsoft	Entrepôt de données cloud
Architecture	Lakehouse, format Delta	Lakehouse et entrepôt, stockage OneLake au format Delta	Entrepôt, avec prise en charge croissante des formats ouverts
Clouds	AWS, Azure, Google Cloud	Microsoft	AWS, Azure, Google Cloud
Langages principaux	Python, SQL, Scala, R	SQL, Python, DAX, Power Query	SQL, Python
Visualisation	Dashboards intégrés, connexion à Power BI et autres outils	Power BI intégré	Outils tiers et fonctionnalités intégrées
Profil idéal	Équipes data engineering et data science	Organisations centrées sur Microsoft 365 et Power BI	Équipes analytiques orientées SQL

Si votre organisation travaille surtout avec Power BI et Microsoft 365, lisez aussi notre présentation de Microsoft Fabric. Databricks et Power BI se combinent d’ailleurs très bien : Power BI peut se connecter directement aux tables Gold, comme expliqué dans notre guide pour apprendre Power BI.

Comment apprendre Databricks efficacement ?

Databricks couvre plusieurs métiers : ne cherchez pas à tout maîtriser d’un coup. Voici le parcours que nous recommandons :

1. Les concepts (1 heure) : lakehouse, Delta Lake, architecture médaillon, calcul distribué, DBU. Sans eux, l’interface paraît opaque.
2. L’environnement (1 heure) : créer un compte, parcourir la barre latérale, créer un dossier, un notebook et une ressource de calcul.
3. L’analyse SQL (quelques heures) : importer un CSV, écrire des requêtes, visualiser, construire un dashboard avec filtres.
4. Le traitement Python : manipuler des DataFrames Spark, nettoyer une colonne, écrire des tables Silver et Gold. Des bases en Python aident beaucoup à cette étape.
5. Le machine learning : préparer les données, entraîner un modèle, suivre les essais dans MLflow et interpréter les résultats.

Pour suivre ce parcours de façon guidée, le cours vidéo pour apprendre Databricks d’EspritAcadémique dure deux heures quinze, sans prérequis, avec des fichiers ressources pour pratiquer. Il aborde notamment :

• l’architecture Data et IA : lakehouse, Delta Lake, médaillon et Databricks Runtime ;
• Databricks SQL et le modèle de tarification ;
• la création du compte, la visite de l’interface, le Workspace et les notebooks Python ;
• l’import d’un CSV, l’assistant IA, les requêtes SQL et un dashboard interactif complet ;
• la transformation de données en Python avec un cas pratique de nettoyage ;
• le chargement de données externes et l’entraînement d’un modèle d’IA avec analyse des résultats.

En résumé

Apprendre Databricks commence par les concepts : le lakehouse réunit data lake et entrepôt, Delta Lake fiabilise les tables, et l’architecture médaillon organise les données de Bronze à Gold. Ensuite, la pratique suit un ordre logique : importer, interroger en SQL, visualiser dans un dashboard, nettoyer en Python, puis entraîner un modèle. Gardez un œil sur le calcul et les DBU, et centralisez vos règles métier dans des tables Gold partagées.