Por casualidad, en un torrente de noticias e información, encontré un artículo en Nature Scientific Reports. Presenta datos de una encuesta a 1.500 científicos sobre la reproducibilidad de los resultados de la investigación. Si anteriormente este problema se planteó para la investigación biológica y médica, donde por un lado es explicable (falsas correlaciones, la complejidad general de los sistemas en estudio, a veces incluso se acusa al software científico), por otro lado, tiene un carácter fenomenológico (por ejemplo, los ratones tienden a comportarse de manera diferente con los científicos). diferentes géneros (1 y 2)).
Sin embargo, no todo es fácil con ciencias más naturales, como la física y la ingeniería, la química y la ecología. Parecería que estas mismas disciplinas se basan en experimentos "absolutamente" reproducibles realizados en las condiciones más controladas, por desgracia, asombroso, en todos los sentidos de la palabra, el resultado de la encuesta: hasta el 70% de los investigadores han encontrado experimentos no reproducibles y resultados obtenidos no solo por otros grupos de científicos, ¡PERO también por los autores / coautores de trabajos científicos publicados!
norte
¿Cada lavandera alaba su pantano?
Aunque el 52% de los encuestados apunta a una crisis de reproducibilidad en la ciencia, menos del 31% considera que los datos publicados son fundamentalmente incorrectos y la mayoría indicó que todavía confía en el trabajo publicado.
Pregunta: ¿Existe una crisis de reproducibilidad de resultados?
Por supuesto, uno no debe cortarse el hombro y linchar toda la ciencia como tal solo sobre la base de esta encuesta: la mitad de los encuestados todavía eran científicos asociados de una forma u otra con disciplinas biológicas. Como señalan los autores, en física y química, el nivel de reproducibilidad y confianza en los resultados obtenidos es mucho mayor (ver gráfico a continuación), pero todavía no es del 100%. Pero en medicina, las cosas están muy mal en comparación con el resto.
Video promocional:
Me viene a la mente una anécdota:
Marcus Munafo, psicólogo biológico de la Universidad de Bristol, Inglaterra, tiene un interés de larga data en la reproducibilidad de los datos científicos. Recordando los días de su época de estudiante, dice:
Pregunta: ¿Cuántos trabajos publicados en su industria son reproducibles?
Profundidad del problema de latitud y longitud
Imagina que eres un científico. Se encuentra con un artículo interesante, pero los resultados / experimentos no se pueden reproducir en el laboratorio. Es lógico escribir sobre esto a los autores del artículo original, pedir consejo y hacer preguntas aclaratorias. Según la encuesta, ¡menos del 20% lo ha hecho en algún momento de su carrera científica!
Los autores del estudio señalan que, tal vez, tales contactos y conversaciones sean demasiado difíciles para los propios científicos, porque revelan su incompetencia e inconsistencia en ciertos temas o revelan demasiados detalles del proyecto actual.
Además, una minoría absoluta de académicos intentó publicar una refutación de resultados irreproducibles, mientras se enfrentaba a la oposición de editores y revisores que exigían que se minimizara las comparaciones con el estudio original. ¿Es de extrañar que la probabilidad de informar la no reproducibilidad de los resultados científicos sea de aproximadamente el 50%?
Primera pregunta: ¿Ha intentado reproducir los resultados del experimento?
Segunda pregunta: ¿Ha intentado publicar su intento de reproducir los resultados?
¿Quizás, entonces, dentro del laboratorio, al menos para realizar una prueba de reproducibilidad? Lo más triste es que un tercio de los encuestados NUNCA ha pensado en crear métodos para verificar la reproducibilidad de los datos. Solo el 40% indicó que utiliza habitualmente este tipo de técnicas.
P: ¿Ha desarrollado alguna vez técnicas o procesos técnicos especiales para mejorar la reproducibilidad de los resultados?
Otro ejemplo, una bioquímica del Reino Unido, que no quiso revelar su nombre, dice que los intentos de repetir, reproducir el trabajo para su proyecto de laboratorio simplemente duplican el tiempo y los costos de materiales, sin dar ni agregar nada nuevo al trabajo. Los controles adicionales se llevan a cabo solo para proyectos innovadores y resultados inusuales.
Y por supuesto, las eternas preguntas rusas que empezaron a torturar a los colegas extranjeros: ¿quién tiene la culpa y qué hacer?
norte
Quien es culpable
Los autores del trabajo identificaron tres problemas principales de reproducibilidad de resultados:
- Presión de los superiores para publicar el trabajo a tiempo
- Informes selectivos (aparentemente, significa la supresión de algunos datos, que "estropean" el panorama completo)
- Análisis de datos insuficiente (incluido el estadístico)
Pregunta: ¿Qué factores son responsables de resultados científicos irreproducibles?
Respuestas (de arriba a abajo): –Reporte de muestras –Presiones de presión –Deficientes análisis / estadísticas –Repetibilidad insuficiente del experimento en el laboratorio –Supervisión insuficiente –Falta de método o código –Diseño experimental deficiente –Falta de datos brutos del laboratorio primario –Fraude –Verificación insuficiente por expertos / revisores –Problemas con los intentos de reproducción –Se requiere experiencia técnica para reproducir –Variabilidad de los reactivos estándar - "Neddachka y Pichalka"
¿Qué hacer?
De 1,500 encuestados, más de 1,000 especialistas hablaron a favor de mejorar las estadísticas en la recolección y procesamiento de datos, mejorar la calidad de la supervisión de los jefes y una planificación más rigurosa de los experimentos.
P: ¿Qué factores ayudarán a mejorar la reproducibilidad?
Respuestas (de arriba a abajo): - Mejor comprensión de las estadísticas - Supervisión más estricta - Mejor diseño experimental - Capacitación - Revisión interna del laboratorio - Habilidades prácticas mejoradas - Fomento de la verificación cruzada formal de datos - Revisión entre laboratorios - Asignación de más tiempo para la gestión de proyectos - Aumento de los estándares de las revistas científicas - Asignar más tiempo para trabajar con registros de laboratorio
Conclusión y alguna experiencia personal
En primer lugar, incluso para mí, como científico, los resultados son asombrosos, aunque ya me he acostumbrado a un cierto grado de irreproducibilidad de los resultados. Esto es especialmente evidente en los trabajos realizados por chinos e indios sin una "auditoría" de terceros en forma de profesores estadounidenses / europeos. Es bueno que el problema haya sido reconocido y pensado en su (s) solución (es). Con mucho tacto guardaré silencio sobre la ciencia rusa en relación con el escándalo reciente, aunque muchos hacen su trabajo honestamente.
En segundo lugar, el artículo ignora (o mejor dicho, no considera) el papel de las métricas científicas y las revistas científicas revisadas por pares en el surgimiento y desarrollo del problema de la irreproducibilidad de los resultados de la investigación. En pos de la velocidad y frecuencia de las publicaciones (es decir, un aumento en los índices de citas), la calidad cae drásticamente y no hay tiempo para una verificación adicional de los resultados.
Como dicen, todos los personajes son ficticios, pero basados en hechos reales. De alguna manera, un estudiante tuvo la oportunidad de revisar un artículo, porque no todos los profesores tienen el tiempo y la energía para leer cuidadosamente los artículos, por lo que se recopila la opinión de 2-3-4 estudiantes y médicos, a partir de la cual se forma la revisión. Se redactó una reseña que señaló la irreproducibilidad de los resultados según el método descrito en el artículo. Esto le fue claramente demostrado al profesor. Pero para no estropear la relación con los "colegas" - después de todo, tienen éxito en todo - la revisión fue "corregida". Y hay 2 o 3 de estos artículos publicados.
Resulta ser un círculo vicioso. El científico envía el artículo al editor de la revista, donde indica los revisores “deseados” y, lo más importante, “no deseados”, es decir, de hecho, dejando solo a los que tienen una disposición positiva hacia el equipo de autores. Ellos revisan el trabajo, pero no pueden "cagar en los comentarios" y tratan de elegir el menor de dos males. Aquí hay una lista de preguntas que necesitan respuesta, y luego publicaremos el artículo.
Otro ejemplo, del que habló el editor de Nature hace apenas un mes, son los paneles solares de Grazel. Debido al enorme interés en este tema en la comunidad científica (¡después de todo, todavía quieren un artículo en Nature!), Los editores tuvieron que crear un cuestionario especial en el que necesitan indicar una gran cantidad de parámetros, proporcionar calibraciones de equipos, certificados, etc., para confirmar que el método para medir la eficiencia Los paneles cumplen con algunos principios y normas generales.
Y, en tercer lugar, cuando una vez más escuchas sobre una vacuna milagrosa que lo conquista todo y a todos, una nueva historia sobre Jobs en falda, baterías nuevas o los peligros / beneficios de los transgénicos o la radiación de los teléfonos inteligentes, sobre todo si fue promovida por escritores amarillos del periodismo, entonces sea comprensivo y no saque conclusiones precipitadas. Espere la confirmación de los resultados por otros grupos de científicos, la acumulación de la matriz y las muestras de datos.
