El prestigio de los científicos

Es probable que, en ocasiones, salgamos de lo estrictamente científico o de lo estrictamente hacker para aportar ideas no del todo maduradas acerca del proceso de hackerización de la ciencia. Hoy, me temo, será uno de esos días. Espero sepan disculparme y que puedan aguantar hasta el final del post para ver si al final ha tenido sentido el descarrile. Tambien me disculparé porque los ejemplos sean muy «biomédicos», pero ese es mi contexto.

Para empezar voy a poner una frase de @jlori que he leido hoy, en un artículo de El Mundo,  al respecto de gente cualquiera que se ha hecho famosa en twitter:

«La popularidad de una cuenta en Twitter», agrega, «en el caso de autores que no tenían una marca o reputación previa, está directamente relacionada con el valor que aporta a sus comunidades de referencia. Ese valor puede originarse en la calidad de la información, la agudeza de las opiniones, el dominio de la ironía o del humor, la capacidad de provocación o la originalidad de los contenidos«.

Y vamos a resumir esto de otra forma: si tienes la posibilidad de ser evaluado por cualquier «consumidor» porque las herramientas te lo permiten, tu reputación dependerá de la capacidad que tengas para aportar valor añadido a la red que te ha permitido difundir tu «producto». Que cada quien cambie consumidor y producto como quiera. Esto, que ahora es una perogrullada, no lo es tanto en cuanto a qué tenemos que hacer para ser reputados, prestigiosos. Siguiendo con el ejemplo del humor, la capacidad de ser prestigioso de Martes y Trece dependía, en parte, de su capacidad pero mucho tambien de como estuvieran posicionados respecto a los gestores de contenidos de TVE. Dependía de las rentas. Cuanto mas distribuida es una red, cuanto menos filtros predeterminados tiene, mayores son las probabilidades de que la reputación en dicha red dependa sólo de lo que se aporta a la red exclusivamente, ya que la posición previa, si os fijáis en el gráfico, es igual para todos. O , al menos, tiende a ser lo mas igualitaria posible:

Y esto vale para el cine, para los medios de comunicación, para la economia… y para la ciencia.

En la ciencia, otra perogrullada, el prestigio es fundamental. No porque eso lleve a ganar más dinero, o no de forma sustancial, sino porque casi exclusivamente de ello depende tu «factor de impacto» y, por tanto, la financiación de tus nuevos proyectos. Por tanto, cogiendo la frase de @jlori por los cuernos, el prestigio de un investigador cualquiera en la ciencia depende de:

1. Que exista una herramienta, sin más filtros que los legales, que le permita llegar a todos aquellos rincones en los que su «producto» puede ser interesante.

2. Que produzca contenidos considerados relevantes por su comunidad (sea la comunidad de gente interesada en mecánica cuántica o en la célula B).

Y yo añadiré una terecera cosa que, en el ejemplo del humor en twitter no importa, pero en la ciencia si:

3. Que la relevancia de los contenidos sea mesurable de una forma objetiva y que todo el proceso sea verificable y contextualizable.

Ahora desarrollaremos un poco los 3 puntos, pero antes lean cuáles son las profesiones mas valoradas en España. Con las particularidades de cada cultura, coinciden bastante bien con las de otros paises más reputados. Y con las de paises no tan reputados. Es indudable que influye la percepción que se tenga de lo que la profesión aporta a la sociedad. Es indudable que enfermeras o médicos salen en los primeros puestos por el tipo de labor y en el contexto que la desempeñan. Pero ¿por qué los científicos y no los periodistas? Ambos buscan la verdad para mejorar la sociedad. Yo diría que la búsqueda de la verdad de los periodistas es, incluso más relevante para la sociedad que la de los científicos. Sin embargo, no salen muy bien parados…¿Acaso no hay vanidad, lucha por poder, peleas, intereses, etc en la ciencia también?.Piensen el por qué, yo me inclino por algo que tiene que ver con el tercer punto.

Siguiendo con la ciencia, que es lo que nos ocupa, hemos de reconocer que los 3 supuestos que hemos planteado como necesarios para adquirir reputación en el mundo científico y para que esa reputación se corresponda con el valor de la aportación a la red se cumplen bastante bien. Pero hay camino de mejora:

1. La primera condición para lograr que un investigador se convierta en prestigioso es que exista la posibilidad de que todo el mundo pueda acceder en igualdad de condiciones a herramientas que permitan la divulgación de sus resultados. Eso en la ciencia se conseguía mediante las revistas científicas. Las revistas científicas tienen una doble función aseguran la divulgación y determinan la reputación de lo publicado. Antes de internet la reputación de un científico (salvo las grandes figuras) solía estar restringida a su propio campo. A aquellos que, por su propia formación y por estar suscritos a las mismas revistas o sociedades científicas, hacían de interlocutores científicos del investigador en cuestion. Luego llegó internet y la generalización del uso de PubMed y, aunque todavía no podemos acceder a todo de todos, por lo menos podemos acceder a los abstracts de todo y a una gran parte de los contenidos completos. En la ciencia que viene, en la ciencia hacker, podremos acceder a todo gratis. No me cabe la menor duda. Osea que, al primera condición, si bien no se cumple del todo, se cumple en gran parte y experiencias como arXiv, Mendeley o PLoS nos sugieren que pronto podremos acceder a todo. Sin restricciones. No hace falta recordar que la herramienta que posibilita eso es internet. No cualquier internet. Una internet libre y neutral. Este punto lo explica mejor Peter Binfield, editor de PLoS:

[youtube=http://www.youtube.com/watch?v=D0Iguwaj6pQ]

2. La relevancia de los contenidos se puede medir de muchas formas. La más común es el factor de impacto de la revista en la que se publica. Digamos que ha servido bastante bien para detectar buenas publicaciones y para generar reputación allí donde era merecida pero es un sistema francamente mejorable. Tiene dos problemas fundamentales: que se acepte tu artículo en una revista depende del valor del artículo, en buena medida, pero, a veces, tambien de lo amigo que seas del revisor que te toca, de una llamadita por aquí al editor, del país del que proceda un hallazgo (digamos que, a priori, es mas creible un paper de EEUU que uno de la India)… Es decir, tiene un punto de subjetividad. Lo cual es desastroso para generar una red estrictamente meritocrática. El segundo punto controvertido es que, aunque en una revista buena, generalmente, hay buenos artículos, a veces, conseguir impacto es más importante que la propia veracidad del artículo. A veces, que algo sea controvertido es beneficioso en si mismo, aunque no sea del todo veraz o el proceso tenga lagunas. Desde la vida basada en el arsénico hasta las vacunas y el autismo. Como decían en un editorial del Annals of Neurology: «extraordinary claims need extraordinary evidence». Y a veces la «extraordinary evidence» se sacrifica en pro del impacto. O, a veces, la amistad con el editor, permite colar articulos malos en revistas muy buenas. Y, por tanto, un investigador con un artículo muy malo puede beneficiarse enormemente en las convocatorias de becas por estar en una revista buena mientras que en un sistema en el que se premie exclusivamente el valor del hallazgo y no el de la revista en que está publicado, nunca saldría beneficiado. Quien tiene que dar relevancia al hallazgo es la comunidad (me refiero a la comunidad real en la que ese hallazgo puede ser relevante). Y esa relevancia no (sólo) debe establecerse a priori (peer-review pre-publicacion) sino tambien a posteriori (peer-review post-publicacion, citaciones, comentarios en blogs, descargas…). Y esto último es importante, ya que un hallazgo puede parecer muy relevante pero, a veces, sólo tu «peer» más cercano en la red, sólo el que se dedica a algo muy parecido a lo tuyo, tiene la capacidad intelectual y material de rebatirte con experimentos o argumentos. Por eso ha de poder comentar a posteriori sin la intercesión de ningún editor que le seleccione a priori. Y esto enlaza con el tercer punto.

3. Algo fundamental para que un hallazgo sea relevante es lo fiable que sea el hallazgo. En una red distribuida cualquiera la relevancia en la propia red de un individuo depende de su reputación y su reputación depende del valor que añada lo conseguido a su comunidad (cientifica o no) y, muy importante, de lo verificable que sea ese logro y del contexto en que se consigue. En el caso de un programador de software libre (paradigma de hacker) su verificación depende de que la línea de código que cree funcione o no y de la utilidad de esa línea de código. Eso le dará reputación. En el caso de un científico: su «impacto» depende de la relevancia de las conclusiones a las que llegue en sus estudios, conclusiones que deben atenerse estrictamente a sus resultados y éstos a los métodos con los que se han obtenido. Eso le dará la reputación. Y algo mas. Depende tambien de que sus conflictos de intereses estén meridianamente claros. Las conclusiones de un estudio sobre un fármaco pueden tener mucho impacto por ser científicamente muy relevantes y metodológicamente intachables aunque el científico esté patrocinado por la compañia que produce el fármaco. Pero las conclusiones de un estudio sobre un fármaco pueden no ser tan relevantes en la red si son científicamente muy relevantes pero metodológicamente discutibles y el científico está patrocinado por la compañia en cuestión. Si eso no se aporta se está ocultando una parte muy importante de la verdad, la verdad del contexto.

Si esos conflictos suceden en la ciencia y se ha considerado necesario su clarificación estricta por cada científico para el conocimiento de la verdad, a pesar de trabajar en un campo en el que la trazabilidad y verificación de los resultados es una rutina,  qué no debería de suceder en el periodismo… Y vuelvo a lo de las profesiones mas valoradas: periodismo y ciencia buscan la verdad en ambitos relevantes para la gente. El periodismo investiga verdades incluso más relevantes. Pero la diferencia entre ambas que hace que una sea reputada (y aporte, a criterio de los ciudadanos, valor añadido a la red) y la otra no, no es el acceso a herramientas que permitan la difusión libre, ni la relevancia de los hallazgos. La diferencia es la trazabilidad, veracidad y la revelación de los conflictos de intereses. Y esto se lo pueden aplicar los economistas, los historiadores, los sociólogos, los políticos y todos aquellos que aspiren a hacer «ciencia». No vale sólo con poner la palabra en el nombre.

querolus

3 comentarios

  1. En cuanto al punto uno, no debemos olvidar el más antiguo método para conseguir una publicación de otro autor: pedírselo. Esto, internet (o al menos al 33% de la población mundial que lo usamos habitualmente) nos lo ha puesto todavía más facil, basta mandar un e-mail y en la mayor parte de los casos no sólo tendremos nos enviarán el artículo en cuestión si no que quizás sea el comienzo de un dialogo interesante acerca del tema en cuestión o el mismo autor nos pueda aclarar alguna duda que nos surja sobre el tema. En todo caso es mucho más fecundo este bis a bis que el equivalente a un «me gusta»: pubmed search+download. Eso si, es dificil de medir con herramientas de impacto social.

    En cuanto al punto dos, quiero defender la revisión por pares que junto con un buen trabajo del editor de turno ha sido la base de toda la historia de la ciencia. En lo esencial ha cambiado muy poco desde que se publicaron las primera revistas. Tiene sus fallos como todo invento humano, pero si se aplicase a otras esferas de la sociedad, otro gallo nos cantaría… estoy pensando por ejemplo en la necesidad de poner un aeropuerto en cada puñetera provincia de este extenso pais nuestro, pero también en muchas de las cosas que se publican en diarios, blogs etc. El post publication peer review es algo que todavía estoy esperando que funcione. Sigo sin ver muchos comentarios en las revistas (Plos, BMC, Frontiers) que permiten hacer este tipo de cosas. Al final el mejor post peer review, para mi, siguen siendo las citaciones. Alguien que te cita, te ha leido con la atención suficiente y tu trabajo le ha servido en el suyo tanto que cree que merece la pena mencionarte en su propia publicación.

    • Estoy de acuerdo en general. Digamos que las citaciones son una forma de reconocimiento que sigue unas reglas aceptadas por todos. Seguramente en un hipotetico sistema de evaluacion multidimensional del impacto las citaciones merezcan seguir siendo muy valoradas. Pero eso no quita que se puedan introducir otros metodos adicionales que las complementen. Por ejemplo, las citaciones no distinguen bueno o malo. Si tu haces un paper hablando de la vida basada en el arsénico, tendrás centenares de citaciones rebatiendote. Tu ciencia es una basura. Pero tendras un indice h muy alto. Segundo, las citaciones obvian el impacto social-mediatico de un descubrimiento. Por ejemplo… en la esclerosis multiple (perdon por ser tan pesado con mis cosas) hay un sesgo brutal del impacto de las citaciones de trabajos de inmunologia y de tratamientos farmacologicos. La rehabilitacion es, probablemente, el tratamiento mas eficaz, pero no recibe atencion cientifica ni relevancia porque no mola. Pero quiza para los pacientes, para las asociaciones, para la «comunidad» de gente interesada en EM si que sea muy relevante un estudio de rehabilitacion… pues esas cosas son cosas que se pueden incorporar al metodo intachable de las citaciones.
      Y yo creo que lo de comentar a posteriori o tener blogs y discutir papers, etc, es una cosa cultural. Ira cambiando. No hay mas que ver la productiva blogsfera cientifica que hay…. esos blogs citan tambien, pero esas citas no cuentan.

      • Yo es que soy un antiguo. Los papers se han comentado a posteriori desde de siempre, en el pasillo del laboratorio, en la poyata mientras que esperas a que acabe la centrífuga, en el comedor con otros colegas, en los congresos preguntando directamente al autor ya sea en el turno de preguntas o después de unas cuantas copas. Incluso aquellos científicos más comprometidos con la labor de difusión de la ciencia que se preocupan en explicar su trabajo al público en general en centros sociales, asociaciones de vecinos, agricultores, o enfermos. Todo esto está pasando aunque no reciba twets, me gustas ni comentarios en blogs.

        Y si, las citaciones tienen muchos fallos no distinguen entre citaciones positivas y negativas etc. Pero al final alguien para citar ha tenido que publicar y pasar de nuevo por el sistemas de revisión por pares y a la larga un experto en un determinado campo sabe distinguir la paja del grano y tampoco se deja impresionar por el número de citas. Por cierto, un número alto de citaciones negativas no es necesariamente bueno… porque le darías tu un proyecto a los autores del artículo de la sustitución de fósforo por arsénico. Y hablando de este artículo en particular, más que citaciones negativas lo que ha recibido es un montón de comentarios, publicados también por Science y que también pasan por un filtro editorial (otra vez la revisión por pares).

        La revisión por pares sigue siendo para mi el sistema más efectivo para asegurarse la fiabilidad de la que hablas en tu punto tres. Tiene sus fallos, si, se podrían hacer y se hacen otras cosas diferentes para mejorarla como la revelación del nombre de los revisores al final de la publicación (veáse Frontiersin.org) etc. Bienvenidas sean las nuevas herramientas que nos proporciona internet, pero no hagamos política de tierra quemada ni tampoco pensemos que porque un artículo reciba 200 comentarios a vuela pluma, 304 tweets etc va a tener un mayor (mejor) impacto. El caso de la bacteria que puede cambiar fósforo por arsénico es un buen ejemplo. Este artículo ha tenido mucho impacto social en cuanto a comentarios en blogs etc. a pesar de tener graves problemas en su desarrollo experimental.

        Sólo espero que si al final las nuevas herramientas de post-publication review no se conviertan en lo que se han convertido las seccion de comentarios de los principales periódicos.

Responder a querolus Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.