S3 RustFS

Esta guía te muestra cómo trabajar con AWS S3 usando RustFS como emulador local. Este lab demuestra un pipeline de datos usando Boto3, PyArrow y Delta Lake (delta-rs).

Prerrequisitos

• Docker instalado y en ejecución.
• Dev Containers extension instalada (opcional).

Cómo ejecutar

1. Configurar el entorno:

   Dev Container (recomendado)

   Abre VS Code en la carpeta del proyecto y ejecuta este comando en la Paleta de Comandos:

   > Dev Containers: Reopen in Container

   Manual
   1. Inicia la infraestructura: Lanza los contenedores necesarios.

      docker compose up -d

   2. Ejecuta el script de configuración para instalar herramientas y dependencias.

      scripts/setup.sh

2. Ejecutar el ejemplo:

   python main.py

Cómo depurar

1. main.py:

   • Abre: Abre main.py.
   • Breakpoints: Coloca breakpoints en el código.
   • Ejecuta: Pulsa F5 para iniciar la depuración.

2. Tests:

   • Abre: Abre un fichero de test (p. ej., tests/components/test_s3_boto.py).
   • Breakpoints: Coloca breakpoints en el código del test.
   • Ejecuta: Usa la pestaña Testing de VS Code y haz clic en el icono Debug Test junto al test que quieras depurar.

Cómo testear

• Individualmente: Ejecuta los tests individualmente desde la pestaña Testing de VS Code.
• Todos los tests: Ejecuta el script automatizado:

  scripts/run_tests.sh

Validar resultados

RustFS Console

• Abre en tu navegador:

  http://localhost:9001/rustfs/console/

• Inicia sesión: Usa el S3_ACCESS_KEY y el S3_SECRET_KEY definidos en tu .env.
• Verifica: Revisa los buckets bronze y silver para ver los archivos subidos.

AWS CLI

• Verifica los buckets: Comprueba que se crearon los buckets bronze y silver.
  Global

  aws s3 ls --profile rustfs

  Mise

  mise exec -- aws s3 ls --profile rustfs

• Verifica el contenido: Comprueba los archivos en el bucket silver.
  Global

  aws s3 ls s3://silver --recursive --profile rustfs

  Mise

  mise exec -- aws s3 ls s3://silver --recursive --profile rustfs

Limpieza

docker compose down -v

Solución de problemas

Problema	Solución
API de RustFS no lista	Asegúrate de que el servicio rustfs está en ejecución y espera unos segundos a que la API se inicialice. Revisa los logs con docker compose logs rustfs.
Puerto 9000 o 9001 en uso	El lab de S3 (MinIO) usa los mismos puertos. Deténlo antes de arrancar este, o cambia el mapeo en docker-compose.yml.

Siguientes pasos

• Compara con S3 (Garage), un emulador alternativo para el mismo servicio.
• Compara con S3 (MinIO), un emulador alternativo para el mismo servicio.
• Construye sobre este MVE con el proyecto Storage Writer.