ElectricSim es una plataforma educativa orientada al análisis, simulación y predicción de la demanda eléctrica en el Gran Buenos Aires (GBA). El sistema integra fuentes de datos energéticas, meteorológicas y astronómicas, las consolida mediante Apache Kafka y las expone a un modelo de deep learning capaz de anticipar variaciones en el consumo eléctrico y detectar comportamientos anómalos en tiempo real.
El proyecto busca servir como entorno experimental para el estudio de sistemas distribuidos, procesamiento de datos en streaming y machine learning aplicado al dominio energético, combinando datos históricos y datos en tiempo real dentro de una arquitectura desacoplada y escalable.
Características del proyecto
- Integración de múltiples fuentes de datos
- Procesamiento de datos en tiempo real
- Modelo predictivo basado en deep learning
- Inferencia bajo demanda
- Detección de anomalías en tiempo real
El sistema unifica información energética oficial, datos meteorológicos y variables astronómicas relevantes para el modelado del consumo eléctrico.
Los datos actuales son distribuidos mediante Apache Kafka, permitiendo desacoplar la recolección de datos del procesamiento analítico.
Una red neuronal feedforward permite estimar la demanda eléctrica a partir de variables climáticas, temporales y energéticas.
El sistema expone una API REST que permite realizar predicciones puntuales y simulaciones con datos de pronóstico.
Se detectan desvíos significativos entre valores reales y predichos mediante Server-Sent Events (SSE).
Beneficios
- Anticipación de picos de consumo
- Análisis energético integral
- Arquitectura escalable
- Aplicación educativa
Permite prever aumentos o caídas en la demanda eléctrica con antelación.
Combina variables ambientales, temporales y operativas en un único modelo.
El uso de Kafka permite escalar productores y consumidores de datos de forma independiente.
Sirve como base para el estudio de sistemas distribuidos y machine learning aplicado.
Tecnologías utilizadas
- Fuentes de datos
- CAMMESA API: datos oficiales de generación y demanda eléctrica
- OpenWeather API: variables meteorológicas
- Sunrise-Sunset API: información astronómica
- Streaming y mensajería
- Apache Kafka
- Kafka Streams
- Backend y procesamiento
- Spring Boot: recolección y exposición de datos
- Python + FastAPI: inferencia, detección de anomalías y SSE
- APIs HTTP/REST
- Server-Sent Events (SSE)
- Machine Learning
- TensorFlow / Keras
- Scikit-learn
- Pandas y NumPy
- Infraestructura
- Docker
- Docker Compose
ElectricSim se organiza en dos bloques funcionales principales:
- Recolección y distribución de datos: las fuentes energéticas, meteorológicas y astronómicas son consultadas de manera periódica por un backend desarrollado en Spring Boot. En este proceso, solo los datos en tiempo real son enviados hacia Apache Kafka, que actúa como sistema de mensajería y desacople entre productores y consumidores. Por otro lado, los datos históricos no pasan por Kafka: quedan disponibles directamente a través de un endpoint específico del backend, desde donde luego son consumidos para el proceso de entrenamiento del modelo. Paralelamente, los datos en tiempo real almacenados en Kafka se utilizan para la visualización continua mediante Grafana.
- Entrenamiento del modelo: los datos provenientes de Kafka (en tiempo real) y los datos históricos previamente almacenados son procesados mediante un módulo de preprocesamiento que limpia, transforma y organiza la información. Luego, estos datos alimentan un modelo de deep learning diseñado para predecir la demanda eléctrica. Una vez entrenado, el modelo se expone mediante una API que no solo permite realizar inferencias, sino que también ofrece un endpoint para la obtención de anomalías cada 5 minutos mediante SSE. Además, este bloque integra datos en tiempo real para reentrenar periódicamente el modelo con información más reciente, permitiendo que la red se adapte a los cambios actuales del sistema.
Este repositorio corresponde exclusivamente al módulo de Deep Learning de ElectricSim. Aquí se implementa el modelo predictivo, el preprocesamiento de datos, la inferencia, la detección de anomalías y el mecanismo de reentrenamiento en tiempo real.
La recolección de datos, la publicación en Kafka y la visualización del sistema forman parte de otros repositorios del proyecto ElectricSim y no se encuentran incluidos aquí.
ElectricSim-ML/ │ ├── api/ # API de inferencia y streaming (FastAPI, SSE) ├── data/ # Datos utilizados para entrenamiento y reentrenamiento ├── lib/ # Utilidades de preprocesamiento y helpers ├── ml/ # Lógica principal de entrenamiento y reentrenamiento ├── models/ # Modelos entrenados y escaladores (StandardScaler) │ ├── model.ipynb # Notebook experimental de diseño y evaluación del modelo ├── requirements.txt # Dependencias del proyecto ├── README.md # Documentación del módulo ├── LICENSE # Licencia del proyecto ├── __init__.py └── __pycache__/ # Archivos de cache de Python
Este repositorio contiene únicamente la implementación del modelo de Deep Learning utilizado por ElectricSim.
- Preprocesamiento de datos energéticos, climáticos y temporales
- Entrenamiento inicial del modelo predictivo
- Inferencia bajo demanda mediante API REST
- Detección de anomalías en tiempo real mediante Server-Sent Events (SSE)
- Reentrenamiento automático e incremental del modelo
La arquitectura completa de ElectricSim incluye otros componentes como la recolección de datos desde APIs externas, la publicación en Apache Kafka y la visualización del sistema, los cuales se desarrollan y despliegan en repositorios independientes.
Flujo general de ElectricSim
- Recolección de datos
- Publicación en Kafka
- Consumo y preprocesamiento
- Inferencia del modelo
- Detección de anomalías
- Reentrenamiento periódico
El backend consulta periódicamente las APIs de CAMMESA, OpenWeather y Sunrise-Sunset.
Los datos en tiempo real se publican en tópicos de Apache Kafka.
El backend analítico consume los datos, los limpia y los transforma.
El modelo de deep learning predice la demanda eléctrica.
Se comparan valores reales y predichos y se notifican desvíos mediante SSE.
El modelo se reentrena automáticamente con datos recientes.
ElectricSim utiliza Docker y Docker Compose para simplificar la ejecución del entorno completo de desarrollo.
Para construir las imágenes y levantar los servicios:
docker compose up --buildPara detener el entorno y liberar los recursos:
docker compose down-
Blasco, Gonzalo
-
-
