En Chile, cerca de 800 mil personas son sordas o mudas, enfrentando diariamente una brecha comunicacional debido a la falta de recursos inclusivos en instituciones. SignAI es un proyecto que transforma esta realidad, ofreciendo soluciones tecnológicas avanzadas para derribar barreras y promover la inclusión.
SignAI es un servicio intérprete de Lengua de Señas Chilena (LSCh) que utiliza Inteligencia Artificial para facilitar la comunicación entre personas sordas, mudas y oyentes. Con un enfoque práctico e innovador, integra herramientas que permiten procesar videos, audios y texto para ofrecer una comunicación inclusiva y efectiva.
El sistema se divide en tres módulos principales:
- Diccionario Digital de Lengua de Señas Chilena: Un diccionario completamente digitalizado, accesible y práctico, basado en material previamente disponible solo en libros y PDFs.
- Intérprete de Voz a Señas: Procesa audios, los transcribe y los convierte en señas utilizando una base de datos de imágenes.
- Intérprete de Señas a Texto: Una red neuronal detecta señas en imágenes y videos, facilitando la comunicación bidireccional.
- Interpretación de videos o audios a lengua de señas y viceversa.
- Interpretación en tiempo real de lengua de señas y viceversa.
- Aplicaciones educativas para aprender lengua de señas al estilo de Duolingo.
- Diccionario de Lengua de Señas Chilena (LSCh) virtual accesible en cualquier dispositivo.
- Asistencia en consultas médicas, promoviendo la privacidad al no depender de intérpretes humanos.
- Herramienta de aprendizaje inclusiva para escuelas y universidades.
- Servicio de interpretación integrado para plataformas de atención al cliente.
- Primer lugar en la categoría "Impacto Social" y segundo lugar en la categoría "Proyecto del Año" en la DemoDay 2024, compitiendo a nivel nacional en Santiago contra más de 20 proyectos.
- Presentación en Preview DemoDay, destacando por su innovación y relevancia social.
- Astro, React, TailwindCSS
- Astro, Firebase, MongoDB, TailwindCSS, TypeScript, HTML
- FastAPI, Python, Tensorflow, Keras, Firebase, MongoDB, FFMPEG, Websockets, Modelo VOSK
- Keras, Tensorflow, Pillow, Numpy, Pandas, CUDA, Cudnn
- Móvil: Ionic, Angular, Typescript, TailwindCSS
- Web: Angular, Typescript, TailwindCSS
- Web en Tiempo Real: Astro, Typescript, React, TailwindCSS, WebSockets
- Figma, Git, GitHub
- Python 3.9 o superior
- Node.js 16 o superior
- MongoDB
- Firebase configurado (Obtenener archivo)
Caution
El Developer Portal, Aplicación en Tiempo Real y Diccionario Digital LCSh dependen en su totalidad de la API, la Base de Datos (MongoDB, click para obtener backup) y de las credenciales de firebase.
- Clona el repositorio:
git clone https://github.com/Alwexis/SignAI.git- Instala las dependencias del servidor API:
cd API
pip install -r requirements.txt-
Configura las variables de entorno en .env para Firebase y MongoDB.
-
Ejecuta el servidor API:
uvicorn main:app --reload
- Navega a la carpeta del portal:
cd DeveloperPortal- Instala las dependencias:
npm install- Ejecuta el servidor de desarrollo:
npm run dev
- Navega a la carpeta de la aplicación:
cd AppRealtime- Instala las dependencias:
npm install- Ejecuta el servidor de desarrollo:
npm run dev
- Precisión en entrenamiento: 91%
- Precisión en validación: 79%
- Precisión en casos reales: 70% (fotos y videos recopilados por el equipo).
Las imágenes usadas para pruebas reales se encuentran en la carpeta: Imagenes Testing CNN Casos Reales.
El gráfico de métricas del modelo (ver imagen adjunta) y el código de pruebas está disponible en el notebook ubicado en la carpeta Fase 2/Evidencias Proyecto/Arquitecturas CNN/Test_Arquitectura_16.ipynb.
Ariel Silva @Alwexis
- Rol: Líder de equipo
- Correo: ar.silva@duocuc.cl | arielsilvar.dev@gmail.com
- Portafolio: www.alwexis.me
- LinkedIn: Ariel Silva
- Twitter: @Alwexisss
Jenniffer Coñuel @jeconuel
- Rol: Desarrolladora y apoyo en documentación
- Correo: je.conuel@duocuc.cl
- LinkedIn: Jenniffer Coñuel
Mattías González @Mattiasgonzalez
- Rol: Desarrollador
- Correo: matt.gonzalez@duocuc.cl
- LinkedIn: Mattías González