Databricks

Esta guía te muestra cómo simular un entorno Databricks localmente usando Docker, MinIO como almacenamiento compatible con S3 y PostgreSQL como Hive Metastore persistente. Este lab demuestra cómo desarrollar y probar ETLs con Spark y Delta Lake localmente usando Databricks Runtime 15.4 LTS (Spark 3.5.0).

Prerrequisitos

• Docker instalado y en ejecución.
• Dev Containers extension instalada (opcional).

Cómo ejecutar

1. Configurar el entorno:

   Dev Container (recomendado)

   Abre VS Code en la carpeta del proyecto y ejecuta este comando en la Paleta de Comandos:

   > Dev Containers: Reopen in Container

   Manual

   Lanza todos los servicios necesarios (Spark, MinIO, PostgreSQL):

   docker compose up -d

2. Ejecutar el ejemplo:

   Dev Container (recomendado)

   python main.py

   Manual

   Ejecuta el script dentro del contenedor Spark:

   docker compose exec spark python3 main.py

Análisis interactivo (solo Dev Container)

Abre src/notebooks/analysis.ipynb y ejecuta las celdas para analizar los datos registrados en el Hive Metastore y probar el DBUtils Shim (secretos y widgets). Requiere el entorno Jupyter preconfigurado del Dev Container.

Limpieza

docker compose down -v

Solución de problemas

Problema	Solución
Conexión rechazada	Asegúrate de que todos los servicios están en ejecución: docker compose ps
La tabla ya existe	Elimina la tabla con spark.sql("DROP TABLE IF EXISTS sales.products_silver") o ejecuta Limpieza para reiniciar los volúmenes.

Siguientes pasos

• Explora el Lab relacionado S3 (MinIO).
• Explora el Lab relacionado PostgreSQL.