Databricks

Esta guía te muestra cómo simular un entorno Databricks localmente usando Docker, MinIO como almacenamiento compatible con S3 y PostgreSQL como Hive Metastore persistente. Este lab demuestra cómo desarrollar y probar ETLs con Spark y Delta Lake localmente usando Databricks Runtime 15.4 LTS (Spark 3.5.0).

Prerrequisitos

• Docker instalado y en ejecución.
• Dev Containers extension instalada (opcional).

Cómo ejecutar

1. Configurar el entorno:

   Dev Container (recomendado)

   Abre VS Code en la carpeta del proyecto y ejecuta este comando en la Paleta de Comandos:

   > Dev Containers: Reopen in Container

   Manual
   1. Inicia la infraestructura: Lanza todos los servicios necesarios (Spark, MinIO, PostgreSQL).

      docker compose up -d

   2. Ejecuta el script de setup dentro del contenedor Spark para instalar herramientas y dependencias.

      docker compose exec spark bash scripts/setup.sh

2. Ejecutar el ejemplo:

   Dev Container (recomendado)

   python main.py

   Manual

   Ejecuta el script dentro del contenedor Spark:

   docker compose exec spark .venv/bin/python main.py

Análisis interactivo (solo Dev Container)

Abre src/notebooks/analysis.ipynb y ejecuta las celdas para analizar los datos registrados en el Hive Metastore y probar el DBUtils Shim (secretos y widgets). Requiere el entorno Jupyter preconfigurado del Dev Container. Cuando te pregunte qué kernel usar, selecciona el intérprete .venv/bin/python.

Cómo depurar

1. Script de Python (main.py):
   • Abre main.py y coloca puntos de interrupción.
   • Ejecuta la configuración Python: Main desde la pestaña Run and Debug.
2. Notebook interactivo:
   • Abre src/notebooks/analysis.ipynb y depura las celdas con el depurador de Jupyter.

Cómo testear

• All tests: Ejecuta el script automatizado: scripts/run_tests.sh
• Individually: Usa la pestaña Testing de VS Code para ejecutar o depurar tests concretos.

Validar resultados

Spark UI

Mientras se ejecuta un job, Abre la Spark UI:

http://localhost:4040

MinIO Console

Navega por los ficheros Delta escritos en el bucket. Inicia sesión con MINIO_ROOT_USER / MINIO_ROOT_PASSWORD:

http://localhost:9001

Limpieza

docker compose down -v

Solución de problemas

Problema	Solución
Conexión rechazada	Asegúrate de que todos los servicios están en ejecución: docker compose ps
La tabla ya existe	Elimina la tabla con spark.sql("DROP TABLE IF EXISTS sales.products_silver") o ejecuta Limpieza para reiniciar los volúmenes.

Siguientes pasos

• Explora el Lab relacionado S3 (MinIO).
• Explora el Lab relacionado PostgreSQL.