S3 Garage

Esta guía te muestra cómo trabajar con AWS S3 usando Garage como emulador local. Este lab demuestra un pipeline de datos usando Boto3, PyArrow y Delta Lake (delta-rs).

Prerrequisitos

• Docker instalado y en ejecución.
• Dev Containers extension instalada (opcional).

Cómo ejecutar

1. Configurar el entorno:

   Dev Container (recomendado)

   Abre VS Code en la carpeta del proyecto y ejecuta este comando en la Paleta de Comandos:

   > Dev Containers: Reopen in Container

   Manual
   1. Inicia la infraestructura: Lanza los contenedores necesarios.

      docker compose up -d

   2. Ejecuta el script de configuración para instalar herramientas y dependencias.

      scripts/setup.sh

2. Ejecutar el ejemplo:

   python main.py

Claves S3 de Garage

Las claves de conexión S3 de Garage se refrescan automáticamente al iniciar o reiniciar el entorno de desarrollo. Usa las generadas en tu .env, no las del repositorio.

Cómo depurar

1. main.py:

   • Abre: Abre main.py.
   • Breakpoints: Coloca breakpoints en el código.
   • Ejecuta: Pulsa F5 para iniciar la depuración.

2. Tests:

   • Abre: Abre un fichero de test (p. ej., tests/components/test_s3_boto.py).
   • Breakpoints: Coloca breakpoints en el código del test.
   • Ejecuta: Usa la pestaña Testing de VS Code y haz clic en el icono Debug Test junto al test que quieras depurar.

Cómo testear

• Individualmente: Ejecuta los tests individualmente desde la pestaña Testing de VS Code.
• Todos los tests: Ejecuta el script automatizado:

  scripts/run_tests.sh

Validar resultados

AWS CLI

• Verifica los buckets: Comprueba que se crearon los buckets bronze y silver.
  Global

  aws s3 ls --profile garage

  Mise

  mise exec -- aws s3 ls --profile garage

• Verifica el contenido: Comprueba los archivos en el bucket silver.
  Global

  aws s3 ls s3://silver --recursive --profile garage

  Mise

  mise exec -- aws s3 ls s3://silver --recursive --profile garage

Rclone

• Lanza la interfaz gráfica de Rclone:

  scripts/rclone-gui.sh

• Abre en tu navegador:

  http://127.0.0.1:5572

• Inicia sesión: Si te pide usuario y contraseña, escribe cualquier cosa, se acepta cualquier valor.

Limpieza

docker compose down -v

Solución de problemas

Problema	Solución
API de Garage no lista	Asegúrate de que el contenedor garage está en ejecución y espera unos segundos a que la API se inicialice. Revisa los logs con docker logs garage.
Puerto 3900 en uso	Detén cualquier otro servicio que use el puerto 3900 o cambia el mapeo en docker-compose.yml.

Siguientes pasos

• Compara con S3 (MinIO), un emulador alternativo para el mismo servicio.
• Construye sobre este MVE con el proyecto Storage Writer.