La creación de algoritmos para trabajar con imágenes siempre ha sido una tarea bastante difícil, pero prometedora. Cuando todavía estaba escribiendo mi proyecto de graduación en 1999, el tema del "reconocimiento de patrones" era muy relevante en los sistemas de gestión y control automático.
Eso es lo que pueden hacer hoy. Los desarrolladores indios han presentado un sistema que puede crear videos cortos a partir de imágenes borrosas. El algoritmo funciona sobre la base de redes neuronales convolucionales y recurrentes y le permite convertir los artefactos de movimiento en imágenes en videos cortos (hasta diez cuadros).
Más detalles …
norte
Al ver una imagen borrosa, una persona puede completar mentalmente una imagen de lo que está sucediendo. Por ejemplo, ver una fotografía de un pájaro con alas difusas sugiere que el desenfoque de la imagen se debe a artefactos en el movimiento de las alas durante la adquisición. Para los sistemas de visión por computadora, sin embargo, esta tarea es más difícil, y la mayoría de los métodos conocidos están destinados únicamente a eliminar los artefactos de movimiento y suavizar los marcos.
Los científicos del Instituto Indio de Tecnología, dirigido por AN Rajagopalan, sugirieron que una sola imagen borrosa podría usarse para crear un video corto completo: es decir, restaurar el movimiento original de sus artefactos en la imagen. Para ello, desarrollaron un algoritmo basado en redes neuronales convolucionales, que se utilizan activamente para tareas relacionadas con el reconocimiento automático de imágenes, así como redes neuronales recurrentes.
El modelo se entrena en una gran cantidad de videos, que se dividen en cuadros. Después de eso, la red neuronal busca dicho marco, los artefactos en los que más coinciden con los artefactos del marco de muestra de entrenamiento. Después de eso, el decodificador "restaura" los artefactos del cuadro de muestra de entrenamiento en movimiento capturado en video. Por lo tanto, el modelo almacena datos sobre posibles movimientos recuperados de cada fotograma borroso disponible en la muestra de entrenamiento.
Video promocional:
Como resultado del trabajo, la red neuronal produce un video, reconstruido a partir de la imagen borrosa, que consta de diez cuadros. El algoritmo desarrollado, según los creadores, podrá ayudar en el futuro a mejorar no solo la restauración de imágenes borrosas, sino también los propios videos.
La eliminación de artefactos de movimiento en cuadros individuales también puede mejorar la transmisión de video. Hasta ahora, para este propósito, se utilizan principalmente algoritmos para adaptar la tasa de bits en función de la velocidad del video y su almacenamiento en búfer.
Elizaveta Ivtushok
