Simple ETL

Esta guía te muestra cómo construir un pipeline de procesamiento de archivos usando AWS S3, Lambda y DynamoDB localmente con LocalStack. Este lab demuestra cómo las subidas a S3 disparan una Lambda para registrar metadatos en una tabla DynamoDB.

Prerrequisitos

• Docker instalado y en ejecución.
• Dev Containers extension instalada (opcional).
• AWS Toolkit para VS Code (opcional, incluido en el Dev Container).

Cómo ejecutar

1. Configurar el entorno:

   Dev Container (recomendado)

   Abre VS Code en la carpeta del proyecto y ejecuta este comando en la Paleta de Comandos:

   > Dev Containers: Reopen in Container

   Manual
   1. Inicia LocalStack:

      docker compose up -d localstack

   2. Configura el AWS CLI:

      aws configure set aws_access_key_id test --profile localstack
      aws configure set aws_secret_access_key test --profile localstack
      aws configure set region us-east-1 --profile localstack
      aws configure set output json --profile localstack
      aws configure set endpoint_url http://localhost:4566 --profile localstack
      aws configure set cli_pager "" --profile localstack

   3. Instala las dependencias de Python:

      pip install uv
      uv sync

   4. Empaqueta la función Lambda:

      python deploy/utils/package_lambda.py

   5. Despliega:

      python deploy/boto3_deploy.py

2. Ejecutar el ejemplo:

   Python

   python main.py

   cURL

   curl -X PUT -T src/lambda.py http://localhost:4566/file-uploads-bucket/manual-upload.py

   AWS Toolkit
   1. Selecciona el perfil localstack en el AWS Toolkit.
   2. Haz clic derecho en file-uploads-bucket y selecciona Upload Files….

Métodos de despliegue

Hay otros métodos de despliegue que puedes usar en este lab.

Terraform

terraform -chdir=deploy init
terraform -chdir=deploy apply -auto-approve

CloudFormation

1. Crea un bucket temporal para el despliegue:

   aws s3 mb s3://lambda-deploy-bucket --profile localstack

2. Sube el paquete Lambda:

   aws s3 cp tmp/lambda.zip s3://lambda-deploy-bucket/lambda.zip --profile localstack

3. Despliega el stack:

   aws cloudformation deploy --profile localstack \
      --stack-name aws-dynamo-db-stack \
      --template-file deploy/cloud_formation_deploy.yaml \
      --capabilities CAPABILITY_NAMED_IAM

Boto3

python deploy/boto3_deploy.py

AWS CLI

1. Crea la tabla DynamoDB:

   aws dynamodb create-table --profile localstack \
     --table-name file-logs \
     --attribute-definitions AttributeName=file_id,AttributeType=S \
     --key-schema AttributeName=file_id,KeyType=HASH \
     --billing-mode PAY_PER_REQUEST

2. Crea el rol IAM:

   aws iam create-role --profile localstack \
     --role-name lambda-s3-processor-role \
     --assume-role-policy-document '{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Principal":{"Service":"lambda.amazonaws.com"},"Action":"sts:AssumeRole"}]}'

3. Crea la función Lambda:

   aws lambda create-function --profile localstack \
     --function-name s3-file-processor \
     --runtime python3.12 \
     --role arn:aws:iam::000000000000:role/lambda-s3-processor-role \
     --handler lambda.lambda_handler \
     --zip-file fileb://tmp/lambda.zip \
     --environment Variables={DYNAMODB_TABLE=file-logs}

4. Crea el bucket S3:

   aws s3 mb s3://file-uploads-bucket --profile localstack

5. Añade permisos S3 y configura la notificación:

   aws lambda add-permission --profile localstack \
     --function-name s3-file-processor \
     --statement-id s3-trigger \
     --action lambda:InvokeFunction \
     --principal s3.amazonaws.com \
     --source-arn arn:aws:s3:::file-uploads-bucket
   aws s3api put-bucket-notification-configuration --profile localstack \
     --bucket file-uploads-bucket \
     --notification-configuration '{"LambdaFunctionConfigurations":[{"LambdaFunctionArn":"arn:aws:lambda:us-east-1:000000000000:function:s3-file-processor","Events":["s3:ObjectCreated:*"]}]}'

Cambio de método de despliegue

Si cambias entre Terraform, CloudFormation, Boto3 o AWS CLI, ejecuta Limpieza primero para evitar conflictos de nombres de recursos.

Validar resultados

AWS CLI

• Comprueba el bucket S3:

  aws s3 ls s3://file-uploads-bucket --profile localstack

• Escanea la tabla DynamoDB:

  aws dynamodb scan --table-name file-logs --profile localstack

• Consulta los logs de Lambda:

  aws logs tail /aws/lambda/s3-file-processor --profile localstack

AWS Toolkit

• S3: Despliega la sección S3 para ver los archivos subidos.
• CloudWatch: Despliega la sección Logs para ver la salida de ejecución de Lambda.

NoSQL Workbench

1. Descarga: NoSQL Workbench para DynamoDB.
2. Configura la conexión: Haz clic en Operation builder > Add connection > DynamoDB local. Establece Connection Name como LocalStack, Hostname como localhost, Port como 4566.
3. Conecta para explorar y editar la tabla file-logs.

Limpieza

docker compose down -v

Solución de problemas

Problema	Solución
Conexión rechazada	Asegúrate de que LocalStack está en ejecución y espera el mensaje Ready. en los logs.
Lambda no se dispara	Verifica los logs: aws logs tail /aws/lambda/s3-file-processor --profile localstack

Siguientes pasos

• Consulta el proyecto equivalente en Google Cloud.
• Profundiza en el Lab Lambda (SAM).
• Profundiza en el Lab S3 (MinIO).