Revisión por pares: un suelo, no un sello de verdad
La revisión por pares es un control de calidad que dos o tres especialistas anónimos realizan sobre un manuscrito, normalmente sin acceso a los datos brutos y prácticamente nunca repitiendo la medición. Detecta incompetencia, razonamientos poco claros y controles ausentes, lo cual es valioso y limitado. La confirmación llega después, de la replicación.
Qué comprueba realmente la revisión
Un editor que recibe un manuscrito lo envía a dos o tres investigadores que trabajan en problemas parecidos. Lo leen e informan sobre si la pregunta merece plantearse, si el método puede responderla, si el análisis se sigue de los datos presentados, si se cita el trabajo previo pertinente y si las conclusiones están respaldadas por lo mostrado. Recomiendan aceptación, revisión o rechazo, y el editor decide.
Este proceso es bueno en cosas concretas. Detecta un control ausente, una hipótesis injustificada, un resultado previo no citado que cambia la interpretación, un tratamiento estadístico que no encaja con la estructura de los datos y una conclusión expresada con más fuerza de la que permite la evidencia. Un informe de revisión competente mejora a menudo un artículo de forma sustancial, y buena parte del valor está en la revisión y no en el veredicto.
Lo que no hace es comprobar el trabajo. Los revisores ven normalmente el manuscrito, sus figuras y el material suplementario que los autores decidieron aportar. No visitan el laboratorio, no inspeccionan el aparato, no examinan los datos brutos y no repiten el análisis, y son voluntarios no remunerados con su propia investigación que suelen dedicar unas pocas horas a un manuscrito. Nada en el proceso podría detectar un instrumento mal calibrado o un conjunto de datos excluido en silencio.
Esto importa para cómo debe leerse un artículo publicado. La publicación establece que dos o tres especialistas no encontraron fallo evidente en el relato ofrecido. No establece que la medición sea correcta, y el sistema nunca se diseñó para establecerlo. La confusión se alimenta del uso de revisado por pares como sinónimo de verificado, que no lo es.
Dónde ocurre el escrutinio real
En las grandes colaboraciones experimentales, la revisión seria ocurre antes de que una revista vea el artículo. Un resultado de un detector grande pasa por una revisión interna de análisis: un comité de miembros de la colaboración que no hicieron el trabajo, que sí tienen acceso a los datos brutos y al código, y que pueden exigir comprobaciones adicionales y las exigen. Este proceso dura habitualmente meses y quienes participan lo describen a menudo como bastante más duro que la revisión de revista posterior.
La estructura de incentivos explica la diferencia. Una colaboración de varios cientos de personas pone el nombre de todos en el artículo, de modo que un error perjudica a todos, y la institución tiene medios y motivo para encontrarlo primero. Un revisor de revista no asume ese riesgo y tiene una fracción del acceso.
La física también ha separado la conversación de la publicación. El servidor de preprints arXiv, abierto desde 1991, significa que un resultado suele ser público y estar discutiéndose en la comunidad pertinente mucho antes de aparecer en una revista. En la práctica, la revisión comunitaria de un preprint de física empieza a los pocos días de publicarse, y la publicación formal confirma a menudo un juicio al que los colegas ya habían llegado.
De esto se sigue algo que conviene decir sin rodeos: en física, la ausencia de publicación en revista no significa por sí sola que un resultado esté sin examinar, y su presencia no significa que se haya confirmado. Lo que importa es si personas con la competencia y los medios para comprobarlo lo han hecho y han dicho qué encontraron. Eso puede ocurrir sobre un preprint, en una reunión de colaboración o en un experimento posterior, y ocurre con frecuencia en los tres antes de que se imprima un número de revista.
Revistas depredadoras
Existe una industria considerable dedicada a vender la apariencia de revisión por pares. Las revistas depredadoras cobran una tasa de publicación y aceptan prácticamente cualquier cosa, a menudo en días, sin arbitraje apreciable. Existen porque la fórmula publicado en una revista revisada por pares tiene peso ante públicos que no examinarán la revista, y porque ese peso puede comprarse barato.
Las señales son constantes y fáciles de comprobar. Aceptación a los pocos días del envío, cuando la revisión genuina tarda semanas o meses. Invitaciones por correo no solicitadas que elogian un trabajo que el remitente claramente no ha leído. Un alcance tan amplio que una revista cubre física, medicina y gestión. Métricas inventadas con nombres parecidos a los establecidos. Un consejo editorial que enumera investigadores que, al preguntarles, nunca aceptaron el cargo. Una estructura de tasas prominente y un proceso de revisión sin describir.
Comprobarlo es sencillo y lleva unos minutos: si la revista está indexada en las bases de datos reconocidas, si su editorial pertenece a los organismos establecidos de ética editorial, si los editores enumerados reconocen el papel, y si lo demás que ha publicado tiene un nivel con el que sus autores querrían ser asociados.
La misma cautela vale para actas de congreso vendidas como revisadas por pares, para capítulos de libro de complacencia y para artículos en revistas cuyos nombres imitan de cerca a los conocidos. La pregunta útil nunca es si algo se publicó, sino dónde, y qué examen aplica realmente ese lugar concreto.
Leer una cita de publicación
Cuando una afirmación técnica se respalda con una cita, conviene establecer cuatro cosas. Si la revista es una que leen los especialistas pertinentes. Si el artículo dice realmente lo que se le atribuye, que a menudo no es el caso. Si es una medición primaria o una revisión que repite la de otro. Y si algo lo ha confirmado de forma independiente desde entonces, que es la pregunta que decide el asunto en última instancia.
La cuarta es la que cuenta, y también la que más se omite. Un artículo aislado es, por bien revisado que esté y por prestigiosa que sea la revista, un resultado de un aparato y de un equipo de análisis. Los modos de fallo que la revisión por pares no puede detectar - un error sistemático, una mala calibración, una decisión de análisis tomada en silencio - son precisamente los que sí detecta una replicación hecha por otros.
Por eso el número y la independencia de las mediciones confirmatorias son mejor guía de cuán firmemente se sabe algo que cualquier afirmación sobre dónde se publicó. Un resultado confirmado por tres grupos con métodos distintos está en otra categoría que uno publicado en una revista prestigiosa y nunca repetido, aunque el segundo tenga la cita más impresionante.
El criterio se aplica de forma simétrica, y ahí está su mérito. Es indiferente que una afirmación sea convencional o inesperada, bien financiada u oscura: la pregunta es qué medición existe, quién más la ha reproducido y qué incertidumbre se declaró. La revisión por pares es donde esa conversación empieza y no donde concluye, y tomarla por la conclusión concede a un número de revista una autoridad que ningún número de revista tiene.
Preguntas frecuentes
Qué comprueba realmente la revisión por pares?
Dos o tres especialistas leen el manuscrito e informan sobre si la pregunta merece plantearse, si el método puede responderla, si el análisis se sigue de los datos presentados, si se cita el trabajo previo y si las conclusiones están respaldadas. No deciden nada sobre si la medición es correcta.
Ven los revisores los datos brutos?
Rara vez. Ven normalmente el manuscrito, sus figuras y el material suplementario que los autores decidieron aportar. No visitan el laboratorio, no inspeccionan el aparato y no repiten el análisis, y son voluntarios no remunerados que suelen dedicar unas horas a un artículo. Nada en el proceso podría detectar un instrumento mal calibrado.
Es un preprint menos fiable que un artículo publicado?
No necesariamente, y en física la distinción es más débil que en otros campos. Desde la apertura de arXiv en 1991, los resultados son públicos y se discuten a los pocos días de publicarse, a menudo meses antes de la publicación en revista. Lo que importa es si quienes pueden comprobarlo lo han hecho y han dicho qué encontraron.
Cómo detecto una revista depredadora?
Aceptación en días, cuando la revisión real tarda semanas o meses. Invitaciones halagadoras no solicitadas. Un alcance que cubre física, medicina y gestión a la vez. Métricas inventadas que imitan a las establecidas. Un consejo editorial con personas que nunca aceptaron. Una tasa prominente y un proceso de revisión sin describir.
Si la revisión por pares no confirma un resultado, qué lo hace?
La replicación independiente. Los fallos que la revisión por pares no puede detectar - un error sistemático, una mala calibración, una decisión de análisis no declarada - son exactamente los que sí detecta otro grupo con otro aparato. El número y la independencia de las mediciones confirmatorias son mejor guía que el lugar de publicación.
