Project LAGO data model

📦 Requisitos (entorno local)

• Poetry
• Python 3.11 o superior

---

🚀 Instalación del entorno (local)

poetry install

Para activar el entorno virtual:

poetry shell

Ejecutar Jupyter Lab

Jupyter lab lo podemos utilizar para ejecutar los notebooks.

poetry run jupyter lab

Esto abrirá una sesión interactiva en tu navegador.

---

🐳 Uso con Docker

Puedes ejecutar el entorno completo dentro de un contenedor Docker. Existen dos variantes:

• CPU: entorno ligero, sin soporte para GPU.

• GPU: entorno con PyTorch CUDA y posibilidad de usar torch.cuda (requiere drivers NVIDIA y nvidia-container-toolkit en el host).

Construir imagen

CPU:

make docker-build

GPU:

make docker-build-gpu

Ejecutar contenedor

CPU (corre en http://localhost:8888):

make docker-run

GPU (corre en http://localhost:8888):

make docker-run-gpu

Una vez ejecutado el comando puedes entrar al navegador y acceder a jupyter lab

Validación de GPU

Dentro de un notebook, ejecuta:

import torch
print("CUDA disponible:", torch.cuda.is_available())
if torch.cuda.is_available():
    print("GPU:", torch.cuda.get_device_name(0))

Si aparece tu tarjeta NVIDIA, el contenedor está usando la GPU correctamente.

---

Procesar un archivo .lag

Este proyecto incluye un lector de archivos .lag que convierte los datos en un DataFrame y los guarda como archivo .parquet.

Opción 1: Usar Makefile

make read-data file=./data/20210518_142318.lag

Esto ejecutará el lector y guardará el archivo como output/instrument_readings_YYYYMMDDHHMM.parquet.

Opción 2: Ejecutar el script directamente

poetry run python scripts/run_lag_reader.py ./data/20210518_142318.lag

---

Salida esperada

El archivo generado tendrá este formato:

output/instrument_readings_202503291230.parquet