CAM-SMARTTOOL 4.0

El proyecto CAM-SmartTool 4.0 ha consistido en el desarrollo de un sistema para la gestión de información de aeronavegabilidad y la evaluación del estado de aeronaves, asistido por medio de visión artificial y realidad mixta, con el objetivo de permitir a las empresas dedicadas a la gestión de la aeronavegabilidad reducir la carga de trabajo durante la realización de inspecciones físicas y revisiones de aeronavegabilidad, tanto de aeronaves que se encuentran en línea de vuelo, como aeronaves que se encuentran en mantenimiento o que están en proceso de preservación.

Es importante comentar que el tipo de inspecciones que normalmente se realizan en el ámbito aeronáutico, para empresas de Leasing, CAMO, entre otras, presentan una diversidad de retos que las convierten en escenarios desafiantes para los inspectores. Entre estas limitaciones se incluyen horarios reducidos (de entre 2 y 3 horas por aeronave), entornos con iluminación poco adecuada y sujetos a las condiciones meteorológicas del lugar donde se encuentre la aeronave.

Esta aplicación, en su fase inicial, permitirá a los usuarios la recolección de información de campo de manera ordenada y segura, siguiendo los requerimientos y estándares establecidos por cada uno de sus clientes. A su vez, el sistema provee a los usuarios con un sistema automatizado de identificación de daños a partir de las memorias gráficas obtenidas en campo, simplificando de esta manera el proceso de inspección de las aeronaves y optimizando el tiempo que cada inspector dedica a recolección y organización de la información de cada inspección.

Uno de los pilares tecnológicos para la identificación de defectos, es el uso de algoritmos de Computer Vision, en relación con el tratamiento avanzado de imágenes. El proyecto trabajará en 2 líneas de investigación respecto al uso de algoritmos de Computer Vision basados en redes neuronales convolucionales (CNN), aplicados a imágenes:

1- Técnicas de reconocimiento de caracteres mediante CNN: 

Este proceso denominado OCR (Optical Character Recognition) tiene como punto principal la identificación de zonas de interés y posterior reconocimiento de caracteres. El proceso completo está compuesto por algoritmos y modelos de deep learning como CRAFT (Character Region Awareness for Text detection) para el reconocimiento de zonas de texto, el cual explora los caracteres y valora la afinidad entre ellos; o modelos de redes neuronales (CRNN – Convolutional Recurrent Neural Network) para el reconocimiento, dividido a su vez en extracción de características mediante ResNets (Residual Networks), distribución de secuencias mediante un algoritmo LTSM (Long Short-Term Memory) y decodificación mediante un algoritmo de entrenamiento CTC (Connectionist Temporal Classification).

Como resultado actual del proyecto, identificamos bounding boxes y caracteres de etiquetas aeronáuticas previamente identificadas por interés, parámetros y rango de valores:

2- Técnicas de detección y clasificación de defectos mediante CNN: 

Basándonos en estudios previos sobre algoritmos de computer vision disponibles en el mercado como Faster R-CNN, SSD (Single Shot Multibox Detector) y YOLO (You Only Look Once) para la detección y clasificación de objetos, se identificó YOLO, basado en una arquitectura de red neuronal convolucional profunda (CNN), como la mejor solución debido a su método de detección en una sola etapa, diseñado para detectar objetos en tiempo real y con gran precisión. A diferencia de los modelos de detección en dos etapas, como R-CNN, que primero proponen regiones de interés y luego las clasifican. Tras la generación de un dataset con una muestra de al menos 200 imágenes por cada defecto y un entrenamiento de 300 épocas, se han conseguido los siguientes resultados:

De igual forma, el sistema que acompaña a este aplicativo permitirá a los usuarios un almacenamiento ordenado de la información de cada inspección, así como su descarga, incluyendo los datos y las alertas recolectadas a través de inteligencia artificial durante y después de las inspecciones. 

Estos datos incluyen información sobre los posibles defectos encontrados, su ubicación de acuerdo a la lista de verificación personalizada por el cliente e información relevante de placas de datos que se encuentran a lo largo de las aeronaves. Una vez completados todos los pasos necesarios de la inspección, la aplicación permite almacenar informes parciales y finales y compartirlos con cada uno de los clientes.

A su vez, como parte del aplicativo, se contará con la opción de proporcionar soporte remoto en tiempo real a los inspectores, con el fin de complementar su trabajo en campo y resolver posibles problemas durante las inspecciones. Este soporte remoto incluirá la opción de compartir audio y video en tiempo real con quien esté brindando soporte, así como anotaciones virtuales sobre el sistema mediante realidad mixta. Lo cual facilitará la resolución de dudas y aumentará la calidad de la información recolectada durante las inspecciones.