Lo que hay detrás de las sensacionales noticias sobre el manuscrito Voynich y sobre los científicos rusos, es que es posible determinar con precisión el idioma a partir del texto, cuán adecuados son los matemáticos para trabajar en el "campo" de la lingüística.
El 19 de abril, los medios de comunicación rusos difundieron la noticia sobre el descubrimiento "trascendental" de los matemáticos rusos: utilizando el nuevo método, los científicos no solo demostraron la importancia del famoso "manuscrito Voynich", sino que también pudieron determinar que estaba escrito en dos idiomas y con la excepción de letras para vocales.
El manuscrito Voynich es un manuscrito ilustrado medieval comprado en 1912 por el anticuario Wilfred Voynich. Creado en el siglo XV (basado en el análisis de radiocarbono de pergamino, pero la mayoría de los estudiosos en este momento no consideran que el texto en sí sea una falsificación posterior), está escrito en un idioma desconocido utilizando un alfabeto desconocido. A juzgar por las ilustraciones, el texto consta de bloques temáticos: botánico, astronómico, farmacológico y otros. La complejidad de decodificar el texto hizo del manuscrito de Voynich un "santo grial" para los criptógrafos y objeto de muchos estudios, incluidos los que utilizan métodos de Big Data.
La noticia sobre el manuscrito se informó como algo sensacional. Esto despertó inmediatamente algunas sospechas. “Antes de eso, todos los intentos de descifrar un documento único e incluso entender si es un texto significativo fallaron. ¡600 años de esfuerzos inútiles!.. Criptógrafos de la CIA y NSA, supercomputadoras e incluso doctores en "ciencias ocultas" firmaron su total impotencia. La última publicación del criptólogo Gordon Rugg de la Universidad de Keele en el Reino Unido dice: “El manuscrito Voynich es falso. Un “texto tan complejo” es fácil de construir para cualquiera que esté familiarizado con métodos de copia simples”, dice el artículo.
norte
En primer lugar, la significación del texto se reconoció en la década de 1970 y se confirmó varias veces en estudios de la década de 2010, sobre el que se escribió con suficiente detalle incluso en los medios nacionales. En segundo lugar, el descubrimiento presentado a las noticias se presentó solo en forma de una preimpresión del instituto, y no en un artículo en una revista internacional revisada por pares (la preimpresión también se publicó en 2016).
Estas rarezas en la presentación del material nos obligaron a buscar aclaraciones primero del autor del estudio y luego de expertos independientes, lingüistas que trabajan con métodos estadísticos y matemáticos, así como con la decodificación de escrituras antiguas.
Es fácil escribir una fórmula, pero es muy costoso realizar un análisis numérico
Video promocional:
Primero, brevemente sobre la esencia del estudio. Los autores de la preimpresión, matemáticos del Instituto de Física y Tecnología de Moscú y del Instituto de Matemáticas Aplicadas de la Academia de Ciencias de Rusia, confían en sus trabajos, según los cuales "la distribución de frecuencia de los símbolos del texto es una característica estable no del autor o del tema del texto, sino del idioma". Es decir, utilizando un conjunto con la ayuda de herramientas matemáticas, es posible determinar en qué idioma está escrito, debido a que cada idioma tiene su propio "perfil" característico (distribución del exponente de Hurst). Además, tomando estos métodos como base, los científicos establecieron que el texto del manuscrito estaba escrito en una mezcla de varios idiomas. Al mismo tiempo, se le agregaron espacios falsos y se eliminaron los símbolos que denotan los sonidos de las vocales.
El autor principal del estudio, Yuri Orlov (IPM RAS y MIPT), destacó que el manuscrito de Voynich no es en absoluto el objetivo principal de su trabajo. "El manuscrito 'sensacional' es solo una ilustración del método matemático para reconocer idiomas a partir del texto, un problema, de hecho, para el aprendizaje automático", dijo Orlov.
El manuscrito en sí no nos interesa en absoluto. La ciencia se refiere específicamente a las estadísticas de los idiomas. A través de él, podemos entender en qué idioma está escrito este manuscrito. Pero no lo que está escrito allí, este es un punto importante. - Yuri Orlov. MIPT y el Instituto de Matemáticas Aplicadas que llevan el nombre de M. V. Keldysh
En cuanto al método lingüístico utilizado en la obra, Orlov señala que el análisis de la frecuencia de combinaciones de letras en los textos en sí es algo bien conocido. Sin embargo, el indicador de Hurst es poco conocido por los lingüistas, ya que es difícil de calcular incluso en términos matemáticos. La fórmula en sí es fácil de escribir, pero el análisis numérico es muy costoso. Para ello, la supercomputadora ubicada en el Instituto que lleva el nombre de M. V. Keldysh, subraya el matemático.
La elección de las lenguas indoeuropeas para el análisis se explica por el hecho de que todas son muy similares, dice Orlov. Los indicadores desarrollados por matemáticos facilitan la distinción de idiomas dentro del mismo grupo de idiomas, pero no entre familias. Por supuesto, teóricamente es posible realizar el mismo trabajo con otros grupos (Ural, Altai u otros), pero el valor del análisis radica en su exhaustividad, Orlov está seguro. En el caso de las lenguas indoeuropeas, no es difícil teclear un corpus de textos para cada lengua, es más difícil hacerlo con otras familias.
Volviendo al manuscrito de Voynich, Orlov señaló que él y sus colegas citaron cinco pruebas (el perfil logarítmico del orden de frecuencia de las letras en el texto en uno y varios idiomas, la distribución del exponente de Hurst, el retrato espectral de la matriz de probabilidades condicionales, y otros) de la hipótesis sobre la mezcla de idiomas en el manuscrito y la supresión letras para vocales. Se distanciaron enfáticamente del "lugar de reunión alrededor del manuscrito", pero presentaron un resultado único: un método abierto, análisis estadístico con una evaluación de confiabilidad que puede ser verificada de forma independiente.
La conclusión se deprecia por el hecho de que no entendemos de qué material derivaron y de qué - comprobaron su fórmula
La misma suposición de que el texto del manuscrito Voynich carece de letras para vocales, con espacios incorrectamente espaciados es hermosa y buena, señala la lingüista Evgenia Korovina, que se dedica a las estadísticas matemáticas del lenguaje (Instituto de Lingüística, Academia de Ciencias de Rusia). Anteriormente, nadie propuso tal hipótesis. Ella, por ejemplo, explica maravillosamente por qué hay menos letras de las que cabría esperar en un texto europeo. Pero el problema es que los autores del estudio ni siquiera indicaron qué textos en diferentes idiomas compararon y cuál fue el volumen de estas pruebas. En la preimpresión se menciona una gran cantidad de idiomas. Por tanto, el estudio no es reproducible: si se toman textos arbitrarios en los mismos idiomas, no es un hecho que saldrán los mismos patrones.
Maria Molina, especialista en métodos de corpus en el estudio de lenguas antiguas (Instituto de Lingüística, RAS), coincide con Korovina. Los nuevos métodos de procesamiento de datos lingüísticos, en su opinión, ayudan a obtener información sobre lo que antes estaba cerrado a los investigadores del lenguaje. Sin embargo, un material de entrada insuficientemente preparado a menudo desacredita incluso las mejores técnicas de procesamiento de datos.
norte
La conclusión se deprecia por el hecho de que no entendemos de qué material lo derivaron y sobre qué base probaron su fórmula. Para mi material, estoy seguro de que hay un pequeño error metodológico y obtengo números críticamente diferentes. - María Molina. Instituto de Lingüística RAS
“Entrada de basura, salida de basura”, agrega Molina (GIGO es un principio en ciencias de la computación que significa que los datos ingresados incorrectamente darán como resultado resultados incorrectos, incluso si el algoritmo en sí es correcto, observe el Indicator. Ru).
Los métodos estadísticos siguen siendo indicios de resultados, no resultados
Albert Davletshin (un empleado del Centro de Estudios Lingüísticos Comparados del Instituto de Estudios Comparados de la Universidad Estatal Rusa de Humanidades, estudia las lenguas maya y polinesia) habló aún más agudamente. Si los autores de la preimpresión no iban a descifrar el manuscrito de Voynich, ¿por qué lo hacen? Y además, si hablamos específicamente de la decodificación de una escritura desconocida, surge una pregunta tras otra: “No hay datos iniciales sobre la escritura, ¿qué tipo de letra? ¿Cómo se obtienen las diferentes transcripciones? Cuantos personajes? ¿Qué subyace a los supuestos existentes sobre la naturaleza de la escritura? ¿Cuál es la longitud de una palabra separada por espacios y sin espacios? ¿Qué significan los espacios? ¿Qué tamaño tiene el diccionario? ¿Cuál es la proporción de firmas y dibujos?
Al principio, resulta que el texto es danés y solo danés (y esto es históricamente imposible, sobre lo cual no hay una palabra en la obra). Entonces resulta que el texto está en dos idiomas desconocidos (la verificación en esta etapa resulta imposible y se toma por fe). Además, existen muchas formas conservadoras de mostrar que dos páginas (grandes) están escritas en una letra, pero en diferentes idiomas, sin recurrir a modelos matemáticos complejos. Finalmente, si se eliminan las vocales del texto, ¿cuánto se confirma esto con métodos estándar conocidos desde hace mucho tiempo (por ejemplo, Sukhotin, Shevoroshkina y Ventris)?
Davletshin también critica la insensibilidad a la filología y la historia característica de este tipo de investigación:
Lo que veo en el texto: a menudo hay personas que quieren tomar la fuente X y se olvidan de que es una fuente y existe en algún contexto histórico, incluso lingüístico, y de alguna manera contar algo en ella. La hipótesis de que hay más de un idioma en un manuscrito es interesante. Pero de alguna manera podrías mostrarlo humanamente. Los métodos estadísticos siguen siendo indicios de resultados, no resultados. -Albert Davletshin. Centro de Estudios Lingüísticos Comparados, IVKA RSUH
No existe ningún criterio para distinguir los resultados interesantes de los terribles
Georgy Starostin, experto en lingüística histórica comparada (RSUH), adoptó una posición más equilibrada. Estaba más interesado en la utilidad de los nuevos métodos matemáticos para resolver problemas a los que se enfrentan los lingüistas. “El modelo presentado en el artículo causa una extraña impresión. Por un lado, parece pertenecer a la categoría de "ciego", analizando datos de texto sin ningún juicio preliminar sobre la estructura del alfabeto (por ejemplo, los dígrafos, como el inglés ch, sh, deben considerarse combinaciones de dos letras, aunque en realidad es una sonido). Por otro lado, las vocales se eliminan de las cadenas comparadas, que, según los autores del texto, contienen menos información y más bien agregan ruido. En general, la base de pruebas es claramente muy pequeña, es imposible hablar de algo fundamental en tantos idiomas ".
Los resultados de la comparación de las lenguas indoeuropea y urálica, presentados en la tabla comparativa 3 del artículo, no inspiran un optimismo particular en Starostin. Algunos indicadores del grado de proximidad de las lenguas se captan bien (por ejemplo, conexiones intra-germánicas o intrarrománicas), otros mal (por ejemplo, la metodología ya no identifica a la familia indoeuropea). Lo principal es que no existe un criterio para distinguir los resultados interesantes de los terribles. En el mejor de los casos, el método permite seleccionar pequeños grupos lingüísticos (aunque incluso aquí no funciona entre finlandés y estonio estrechamente relacionados), pero todos estos grupos pueden identificarse de forma fiable sin él.
Tabla 3 de la preimpresión, que presenta los resultados comparando lenguas indoeuropeas y urálicas. El mismo color en la mesa. Se identifican 3 grupos de lenguajes que están pareados cercanos (en el sentido de la norma L1 de las distribuciones de frecuencias ordenadas en textos sin vocal). Algunos pares de idiomas inesperadamente cercanos están marcados en rojo, como alemán / húngaro, inglés / estonio, latín / vasco y griego / finlandés. Autores de la preimpresión: Arutyunov A. A., Borisov L. A., Zenyuk D. A., Ivchenko A. Yu., Kirina-Lilinskaya E. P., Orlov Yu. N., Osminin K. P., Fedorov S. L., Shilin S. A.
Finalmente, es una idea interesante determinar la característica genética de una lengua por la distribución del exponente de Hurst y, quizás, incluso llevado a algún punto científico. Pero esto requerirá procesar una gran cantidad de textos en diferentes idiomas. Y el problema surge de inmediato: muchos idiomas no están escritos y no está claro qué tan correcto es comparar los sistemas de grabación alfabética con las transcripciones fonéticas. Esta idea tendrá muy poco sentido práctico, Starostin está seguro. En el mejor de los casos, realmente se puede aplicar a incidentes como el manuscrito Voynich, cuando existe la hipótesis de que algún idioma con una escritura alfabética estándar está encriptado de acuerdo con ciertos principios (por ejemplo, con la supresión de vocales, etc.). Sin embargo, hay muy pocos incidentes de este tipo en el mundo.
Resumiendo
¿Qué hay en el fondo? La discusión en torno a la investigación de IPM y MIPT reveló una profunda brecha entre la comunidad lingüística (incluso aquellos que utilizan métodos estadísticos) y los "forasteros" en relación con los especialistas en lingüística que decidieron aplicar sus herramientas matemáticas al material lingüístico.
El hecho de que los matemáticos no quieran trabajar junto con los lingüistas no solo da lugar a graves pifias, que luego migran a los medios de comunicación (por ejemplo, el euskera en el preprint se llama indoeuropeo, hay una frase "letras vocales"). La belleza de los modelos y el poder computacional de las supercomputadoras en realidad está devaluado por errores en el punto de entrada. Nuevamente, con el deseo y la apertura de los contactos con colegas de una disciplina diferente, estos errores podrían evitarse fácilmente.
Vea el manuscrito Voynich en sí mismo aquí.
