Con el desarrollo de redes neuronales y tecnologías de aprendizaje automático, el alcance de su aplicación también se está expandiendo. Si las redes neuronales anteriores se usaban exclusivamente para realizar cálculos y pronósticos matemáticos, médicos, físicos, biológicos complejos, ahora estas tecnologías están ganando gran popularidad en un entorno más "mundano": en el campo del entretenimiento. Dando solo los primeros pasos en esta dirección, ya son capaces de demostrar resultados asombrosos y, a veces, incluso sobresalientes. Hoy analizaremos algunos ejemplos ilustrativos.
El proceso de remasterización de videos es tan complicado y requiere tanto tiempo que es posible que nunca hayamos visto muchas obras maestras de los clásicos mundiales con una imagen nueva, moderna, clara y jugosa. Sin embargo, el mundo está lleno de fanáticos y entusiastas inteligentes que están bien versados en las nuevas tecnologías, y en particular en las redes neuronales y las tecnologías de aprendizaje automático, con las que puede lograr resultados sorprendentes incluso en casa. Por ejemplo, el usuario de YouTube Stefan Rumen con el seudónimo de CaptRobau decidió demostrar algunas de las capacidades de las redes neuronales en el procesamiento de videos de una antigua serie de ciencia ficción.
Su trabajo anterior es Remako Mod, un "remake en HD" del clásico y popular RPG japonés llamado Final Fantasy VII. Para hacer esto, utilizó el algoritmo AI AI Gigapixel, con la ayuda del cual pudo escalar 4 veces la imagen de la imagen original, convirtiéndola a resolución HD sin cambios significativos en el diseño artístico original. Por lo tanto, mientras espera otra década hasta el momento en que el desarrollador y editor japonés de juegos de computadora Square Enix lance oficialmente una remasterización de quizás una de las mejores partes de esta serie de juegos, puede probar el mod de Stefan Rumen descargándolo de este sitio.
norte
Por cierto, recientemente, las tecnologías de redes neuronales para remasterizar juegos antiguos y llevarlos a un aspecto más relevante y moderno sin cambiar el concepto original general se ha convertido en una tendencia real entre varios modders. Por ejemplo, no hace mucho tiempo hablamos de la tecnología ESRGAN (Enhanced Super Resolution Generative Adversarial Networks), que implementa tecnologías de escalado de imágenes con un aumento de 2-8x en la calidad. El algoritmo “alimenta” la imagen original con una resolución baja, tras lo cual no solo aumenta la resolución original de esta última, sino que también mejora la calidad de la imagen, pintando sobre detalles realistas y haciendo las texturas “más naturales”.
Comparación de la calidad de la textura: a la izquierda está la textura original del juego Morrowind, a la derecha, procesada por la red neuronal.
Un personaje de Doom (left - was, right - se convirtió).
Procesamiento en segundo plano en Resident Evil 3.
Video promocional:
Sea como fuere, en los intervalos entre la remasterización de "La séptima final", Stefan Rumen decidió emprender otro proyecto: utilizar la misma tecnología de aprendizaje automático, pero esta vez para procesar fotogramas de la clásica serie de ciencia ficción de los años 90. Rumen eligió Star Trek: Deep Space Nine como objeto para sus experimentos.
Escalar una imagen en vivo de una serie de televisión es muy diferente en complejidad a escalar una imagen pre-renderizada de Final Fantasy VII, señala el autor, por lo que el resultado final, aunque se ve mucho mejor que los materiales originales en baja resolución, aún está lejos del ideal que Podrías haber soñado desde que salieron al mercado los primeros reproductores de Blu-ray. Ocasionalmente, aparecen pequeños "artefactos" en la pantalla. Pero, de nuevo, en general, todo parece más que digno. Pero, en general, véalo usted mismo.
Para este proyecto, Rumen también utilizó el algoritmo AI Gigapixel, que fue entrenado para editar imágenes basadas en fotografías reales. El autor señala que la nueva imagen se obtuvo en 1080p y 4k, pero como Rumen no tiene un televisor o monitor con resolución nativa 4K, no puede evaluar adecuadamente la versión 4K.
Desafortunadamente, no puedes ver la serie completa en calidad Full HD. El proceso de procesamiento de todo el material de origen habría llevado mucho tiempo, por lo que Rumen utilizó solo fotogramas separados de diferentes series para la demostración. Según él, tomó este proyecto por una sola razón: demostrar que es realmente posible. En su opinión, todo un equipo de profesionales que trabaja en una gran empresa de televisión y que tiene a su disposición equipos informáticos más adecuados y potentes para tal trabajo podrá afrontar mucho mejor esta tarea.
El uso de redes neuronales para simplificar el trabajo de procesamiento de imágenes antiguas de videojuegos y películas no son las únicas áreas en las que estas tecnologías pueden mostrar su talento. En el mundo moderno, donde las cámaras panorámicas capaces de producir 360 grados, así como los cascos de realidad virtual, están ganando popularidad, los desarrolladores han comenzado a explorar activamente el potencial de la fotografía panorámica.
Uno de los últimos avances en esta dirección es una red neuronal capaz de emitir imágenes panorámicas estáticas. Está escrito por expertos en aprendizaje automático de las universidades de Massachusetts, las universidades de Columbia y la Universidad George Mason.
El algoritmo creado determina el tipo de entorno y objetos en la fotografía, y luego selecciona y organiza los sonidos de la base de datos utilizada de acuerdo con el cálculo espacial de la distancia a sus fuentes en esta imagen. Gracias a esto, la imagen panorámica adquiere un sonido realista y espacioso que le permite evaluar la imagen presentada de una manera completamente nueva.
Según los desarrolladores de esta red neuronal, la tecnología puede encontrar interés entre los desarrolladores de contenido de realidad virtual (películas y juegos). Este último, en este caso, no tendrá que superponer manualmente todos los sonidos en la imagen panorámica, la red neuronal podrá hacerlo todo por sí sola.
Nikolay Khizhnyak
