S3 MinIO

Esta guía te muestra cómo trabajar con AWS S3 localmente usando MinIO y Python. Este lab demuestra cómo integrar librerías de S3 (Boto3, PyArrow y Deltalake) para pipelines de datos locales y emulación de almacenamiento de objetos.

Prerrequisitos

• Docker instalado y en ejecución.
• Dev Containers extension instalada (opcional).

Cómo ejecutar

1. Configurar el entorno:

   Dev Container (recomendado)

   Abre VS Code en la carpeta del proyecto y ejecuta este comando en la Paleta de Comandos:

   > Dev Containers: Reopen in Container

   Manual
   1. Ejecuta el script de configuración para instalar herramientas y dependencias.

      scripts/setup.sh

   2. Iniciar la infraestructura: Lanza los contenedores necesarios.

      docker compose up -d

2. Ejecutar el ejemplo:

   Python

   python main.py

   AWS CLI

   Sube el archivo README al bucket bronze:

   aws s3 cp README.md s3://bronze --profile minio

Cómo depurar

1. main.py:

   • Abre main.py.
   • Breakpoints: Añade breakpoints en el código.
   • Ejecuta: Pulsa F5 para iniciar la depuración.

2. Tests:

   • Abre un archivo de test (e.g., tests/components/test_s3_boto.py).
   • Breakpoints: Añade breakpoints en el código de test.
   • Ejecuta: Usa la pestaña Testing de VS Code y haz clic en el icono Debug Test junto al test que quieras depurar.

Cómo testear

• Individualmente: Ejecuta tests individualmente desde la pestaña Testing de VS Code.
• Todos los tests: Ejecuta el script automatizado:

  scripts/run_tests.sh

Validar resultados

MinIO GUI

• Abre:

  http://localhost:9001

• Credenciales: Usa MINIO_ROOT_USER y MINIO_ROOT_PASSWORD definidos en tu .env.
• Verifica: Comprueba los buckets bronze y silver para ver los archivos subidos.

AWS CLI

• Ejecuta: Lista el contenido del bucket bronze:

  aws s3 ls s3://bronze --recursive

MinIO CLI

• Accede al shell:

  scripts/minio_cli.sh

• Verifica:

  mc ls data/bronze/ --recursive

Limpieza

docker compose down -v

Siguientes pasos

• Compara con S3 (Garage), un emulador alternativo para el mismo servicio.
• Construye sobre este MVE con el proyecto Storage Writer.
• Consulta el Lab equivalente en Azure.