Introducción¹

Los sistemas de evaluación de la actividad científica han sido desarrollados en cada país con el objetivo de definir los reconocimientos que se les asignan a los investigadores por su trabajo. Generalmente, se basan en los artículos publicados por cada investigador, entre otros indicadores de calidad. Las métricas que se utilizan, miden y jerarquizan a las revistas que los contienen y no a los artículos en sí mismos. Cada sistema es diferente, pero en los años más recientes hemos observado una tendencia uniformadora hacia el uso de las mismas fuentes de citaciones de los artículos, constituidas por servicios comerciales que venden los datos a las agencias de evaluación. Estas agencias pueden ser universidades u oficinas gubernamentales que utilizan la evaluación para asignar incentivos a los investigadores de acuerdo con la calidad de su producción científica.

En Costa Rica la evaluación de la actividad científica se realiza principalmente en las universidades públicas, y si bien se utilizan criterios diferentes en cada una de ellas, se rige principalmente por la evaluación de expertos. No existe un sistema nacional de evaluación, y aunque nuestro Ministerio de Ciencia, Tecnología y Telecomunicaciones (MICITT) invierte una parte importante de sus recursos en promover la generación de conocimiento científico (un 0,47% del PNI), los resultados no se evalúan sólo a partir de las publicaciones, patentes u otros productos, sino de indicadores que abarcan diversos productos de la ciencia y la tecnología, como se puede ver en MICITT (2017).

Hemos luchado en mi país por no seguir los pasos de la evaluación tradicional, que propicia una dura competencia entre académicos y que sólo conduce a sostener una ciencia “por unos dólares más”, o la cultura de “publicar o perecer” que se ha entronizado en los últimos veinte años. Sin embargo, no estamos exentos de riesgo, pues podría existir una corriente de académicos que pretenda seguir esa práctica competitiva, sobre todo aquellos que provienen de las ciencias exactas y naturales y las tecnologías. No sólo la búsqueda alienada de las citas, también las mediciones del impacto en manos de las empresas que lucran con esto han conducido a abandonar el interés por mejorar las revistas nacionales o despectivamente llamadas “locales”.

Por ello, al carecer de procedimientos nacionales para evaluar las publicaciones, la Universidad de Costa Rica (UCR) inició el diseño y aplicación de sus propias normas utilizando el catálogo Latindex para contar con una guía que tasara las revistas nacionales. Posteriormente, conforme éstas fueron mejorando su calidad, elaboramos el UCR Índex, un índice que se aplica únicamente a las revistas de la UCR (Córdoba González, Murillo Goussen y Polanco Cortés, 2017), con la finalidad de tomar decisiones más acertadas para la asignación de recursos a las 50 revistas que administra y sostiene esta Universidad y también para promover su calidad. No obstante, en diversas ocasiones la comisión evaluadora de los académicos de la UCR ha intentado tomar el índice como una medida absoluta² y no como una guía que pueda orientar la evaluación de los académicos.

A partir de esta experiencia, nos ha quedado muy claro que la función primordial de los índices es orientar la toma de decisiones y, en consecuencia, incidir en las políticas que conducen a mejorar la distribución de los recursos disponibles con tal de fortalecer las revistas, en este caso particular. También hemos comprobado que el problema no está sólo en los indicadores o en el índice, sino en cómo se los aplica y en los fines para los que se los utiliza. A través de los años, la práctica ha evidenciado que es más fácil aplicar un algoritmo para evaluar la producción de un investigador, que valorar cualitativamente diferentes categorías de los productos del esfuerzo que éste realiza, aunque el proceso –sin dudas más integral– sea más lento y más complejo.

Nuestra conclusión es que los resultados de la ciencia no se pueden medir por el soporte que la alberga sino por su contenido y por el impacto social y económico que genera. Por ello en este texto, a partir de esta experiencia y los aprendizajes obtenidos, junto con los aportes de otros expertos, deseamos considerar las alternativas y reflexionar acerca de otras posibilidades de evaluación más justas y equitativas.

El comportamiento de la evaluación

A nivel mundial, la evaluación de la ciencia ha seguido los patrones tradicionales antes mencionados. Estos patrones son aplicados por las agencias de evaluación, dominadas por dos empresas que ofrecen el servicio de citaciones de los artículos –Web of Science, de Clarivate Analytics y Scopus, de Elsevier–, lo cual ha traído como consecuencia el ocultamiento y la exclusión de las revistas que contienen la ciencia local, entre las que se encuentra la mayoría de la producción científica de América Latina y el resto de países que son parte del sur global. Así, la evaluación de la ciencia en muchos de estos países (Colombia, Brasil, México, Argentina) obedece a políticas diseñadas perversamente, que provocan la exclusión de las revistas académicas y científicas latinoamericanas por razones ajenas a la calidad, la rigurosidad y la originalidad que deben caracterizar todo conocimiento científico. Estas consecuencias han sido denunciadas por Vasen y Lujano-Vilchis (2017), quienes destacan la formación de una periferia de revistas que no es considerada por ese grupo ortodoxo; por Alperín y Rozemblum (2017, p. 238) quienes certeramente llaman la atención sobre el riesgo de perder el modelo “cooperativo, regional y gobernado por la misma comunidad científica latinoamericana”; y por Vessuri, Guédon y Cetto (2014), quienes advierten sobre los excesos de la competencia que llevan a asimilar la calidad académica con las “revistas internacionales” para inducir a los investigadores a aspirar a ese modelo.

Como parte de estas políticas se incluye la selección de revistas que tengan mayor impacto, y para ello utilizan dos indicadores principales: el Factor de impacto (FI) y el Scimago Journal Rank (SJR), que sirven para jerarquizar las revistas en listas. A pesar de los esfuerzos que las revistas latinoamericanas realizan para mejorar su calidad, tropiezan con las dificultades económicas³ o con las características propias del desarrollo de la región como son las prácticas locales y el conocimiento originario. Entonces, las empresas editoriales como Elsevier aprovechan las exigencias de estas políticas de evaluación para ofrecer sus servicios con tal de facilitarles el trabajo a los editores (Giménez Toledo, 2013) a cambio de costosas sumas de dinero –mediante el cobro de APC–⁴, objetivos que no siempre se logran. Además, estos costos son finalmente pagados por la universidad o agencia que financió la investigación con un sobreprecio que le deja mayores ganancias a la empresa editorial. En consecuencia, la universidad paga dos veces el proceso.

Por otro lado, al evaluar los resultados de la investigación utilizando los indicadores bibliométricos (FI o SJR) como los que aplican las empresas mencionadas, las agencias evaluadoras restringen la posibilidad de aplicar otros métodos más integrales. “La integridad de la literatura científica está en peligro”, aducen Lindner, Torralba y Khan (2018), desde el momento en que la misma depende de los indicadores bibliométricos que miden los sitios donde se publican los resultados, el factor de impacto de las publicaciones, la cantidad de veces en que éstas son citadas o el prestigio de la revista. Sin embargo, el problema va más allá; estos autores aducen que el abuso de estos sistemas comerciales basados en las citaciones ha llegado a cuestionar la calidad de la investigación, bajo el supuesto de que los artículos que no son citados “significan fracasos científicos y recursos desperdiciados” (p. 2). Este estigma lo han sufrido muchas revistas de la región latinoamericana, pues al no ser parte de ese grupo de élite se pone en duda su calidad y los investigadores prefieren las revistas “internacionales”⁵ para publicar. Por otro lado, los investigadores que generalmente realizan su trabajo en conjunto con personas de otros países se ven inducidos a publicar en revistas “internacionales” para cumplir con las exigencias de los sistemas de evaluación de esos otros países.

En consecuencia, se presenta un círculo vicioso que se genera a partir de las políticas de evaluación de la ciencia: éstas exigen de las revistas el cumplimiento de requisitos que han sido definidos por las empresas comerciales y por ello son esas empresas –indizadoras y publicadoras, que terminan siendo las mismas– las que aparecen ofreciendo sus servicios como publicadores para sustituir a las organizaciones editoras de las revistas, con el objeto de que éstas puedan ser parte de los primeros lugares en las jerarquías que definen las agencias evaluadoras.

Sin embargo, los indicadores bibliométricos no son un problema en sí mismo, sino el uso que les da la comunidad científica y la sobrevaloración a la que se someten. Si se llegan a utilizar, la selección de estos indicadores debe ser muy cuidadosa para no caer en el mismo error del uso inadecuado o el abuso, y nunca deben reemplazar el juicio de los expertos como método de evaluación.

En ese sentido, se han manejado la calidad, la visibilidad, el prestigio y el impacto como criterios que orientan la selección de una “buena” revista. Estos criterios han ido evolucionando según el uso y este uso responde a la conveniencia de quienes deciden las políticas de evaluación. Para ello se echa mano a la ambigüedad, de manera que no se definen sus conceptos, sino que se modifican de acuerdo con el vaivén del negocio. Alperín y Rozemblum (2017) analizan esa evolución en los sistemas de evaluación latinoamericanos para desembocar en el estadio más reciente, denominado por ellos como “internacionalización” de las revistas, como mencionamos anteriormente.

Si analizamos el concepto del prestigio de la revista, que se usa como el principal criterio para valorar positivamente un artículo, encontramos las siguientes variaciones. En el artículo de Bollen, Rodríguez y Van de Sompel (2006) definen el prestigio de una revista en contraposición a la popularidad que desde su perspectiva es lo que mide el FI. Los autores incluyen el prestigio de las revistas que citan los autores como un insumo más para evaluar la investigación, basándose en el Page Range de Google para los sitios de la web (p. 671). Esta posición en la web más las citas que recibe es lo que le da prestigio a la revista. En otro caso, Manzari (2013) presenta un estudio de percepción sobre el prestigio de las revistas en Bibliotecología y Ciencia de la Información en Estados Unidos a partir de un cuestionario realizado a 827 profesionales afiliados a la American Library Association (ALA) sobre una lista de 89 revistas, a los cuales, a la vez, les pide que hagan una lista de las cinco revistas más prestigiosas de esta disciplina. En este estudio, el criterio subjetivo de los expertos es el que determina el prestigio de las revistas, y es probable que las tres más prestigiosas según este estudio sean las seleccionadas para diversos fines académicos y profesionales. Franceschet (2010) “define” la noción de prestigio cuando dice que “una revista es prestigiosa si es citada por otras revistas prestigiosas”. Pero, ¿cuáles son esas revistas prestigiosas que citan a las otras? Chang, Mc Aleer y Oxley (2010) asumen que el prestigio de una revista está basado en las citas recibidas con anterioridad; en consecuencia, una revista prestigiosa no puede reflejar la calidad de un artículo recién publicado.

Por otro lado, en los resultados de las búsquedas arrojadas por Google Scholar sobre el prestigio de una revista (Journal prestige) se observan artículos publicados entre la década de los noventa al 2010, pero no más recientes. Pareciera que la palabra “prestigio” ha perdido vigor en este contexto, a pesar de los esfuerzos realizados para medirlo a través de algoritmos e indicadores. Pero si lo valoramos a partir del trabajo de Buendía et al. (2017, p. 314) podemos afirmar que el prestigio de una revista es un resabio de la iniciativa que se dio en la década de los ochenta –en este caso, en México– e imitada en otros países, para que el sobresueldo asignado como estímulo a las personas académicas en varios países latinoamericanos y basado en diversos indicadores se asumiera como una medida de “calidad”.

Suber (2008) trató de aclarar estos conceptos hace más de diez años, porque observó que entre las revistas calificadas como prestigiosas pocas eran de acceso abierto. Así, determinó que “la calidad alimenta el prestigio y el prestigio alimenta la calidad”, ya que éste es un potente atractivo para publicar en la medida en que las agencias evaluadoras lo usan como una etiqueta. Consecuentemente, la revista trata de mantener ese prestigio y para ello aumenta su calidad. Pero este autor también denunció que la calidad es elaborada por los autores, muchas veces en conjunto con los editores y los árbitros, como resultado de un buen arbitraje o evaluación por pares. Sin embargo, según Suber (2008), el prestigio es construido por las comunidades (lectores, autores, bibliotecas y comités variados), de manera que éste termina siendo más importante que la calidad por ser más popular y permanente. Como resultado de su análisis, el prestigio se vuelve un concepto subjetivo, sostenido por las comunidades que forman parte de la revista y que engañosamente se ha manejado como si fuera un valor objetivo.

Si asumimos que el prestigio de la revista es parte de las cualidades que se deben tomar en cuenta para valorar la producción científica, deducimos que al ser esta una característica subjetiva asumida como objetiva por las empresas para definir una jerarquización de las revistas y utilizarla como sinónimo de calidad, entonces puede cambiarse la denominación fácilmente, aprovechándose de la ambigüedad en su definición y llamarlas “visibles”, “de impacto” o “internacionales” de acuerdo con el momento y la aceptación de la comunidad científica.

Ha existido una creciente tendencia por la cual interesa menos la calidad de la investigación, la rigurosidad o los métodos confirmados porque nos quedamos en los medios, no en la sustancia. Tal como lo apuntan Vessuri, Guédon y Cetto (2014), los sistemas de evaluación en América Latina no han demostrado la calidad de la investigación; sólo han desatado una competencia irracional. Deseamos medir el prestigio de una publicación para que a partir de ella se tase su contenido. Tal como lo ha definido Franceschet (2010), “el método EigenFactor pondera las citas de revistas por el prestigio de las revistas citadas”, de manera tal que se presenta un círculo vicioso por el cual se puede tener prestigio mientras se mantenga dentro del mismo grupo de revistas prestigiosas.

Valorar la calidad de una publicación –artículo, paper o preprint revisado por pares– según la revista en que se publica y no por la calidad intrínseca de su contenido, ha sido una práctica tradicional que demuestra la inclinación de la agencia de evaluación de la ciencia hacia una mayor facilidad en el proceso que deben desarrollar, pues son las revistas las que hacen el trabajo de evaluación y no las agencias nacionales. Se trata de ceder la responsabilidad a otros para agilizar el trabajo, para evitar suspicacias o impedir reacciones inconvenientes. Es más fácil trasladar la responsabilidad a otros mediante la lectura de un dato, una cifra, una medida, que realizar el trabajo completo de valoración de la calidad del artículo. En una reciente encuesta realizada por DOAJ (2019) a una muestra de 1065 de sus publicadores se destaca que un 86% asegura que los órganos evaluadores de sus países priorizan “dónde ellos publican en lugar de lo que publican”. Esto demuestra cuán fuerte es aún esta corriente tradicional. Tal como afirma Gregorio-Chaviano (2018), estos sistemas tradicionales –se refiriere a WoS y Scopus– son considerados como el “máximo criterio de calidad” por parte de esos sistemas de evaluación. Esta concepción hace que las revistas que no estén incluidas en estos sistemas sean consideradas de baja calidad: son locales, no internacionales y su impacto y prestigio son bajos porque sus artículos no son citados.

¿Son las nuevas métricas la solución?

En los últimos 50 años se han propuesto nuevas métricas y nuevos modelos de evaluación, y por mucho tiempo se han discutido los modelos y los indicadores. Hace más de doce años conocemos la publicación de Ball (2006), en la que cuestionaba el uso de los rankings de revistas para evaluar la investigación, en lugar de los métodos cualitativos. Tampoco la aparición de nuevos indicadores ha obligado al cambio, pues siempre terminamos aplicando la misma unidad de medida, a pesar del desarrollo de las investigaciones y de la amplia oferta de alternativas: las métricas a partir de la revista y no del artículo o de la producción científica en sí misma.

Sin embargo, han aparecido llamados de atención cuyo mensaje, en algunos casos, si bien no consiste en abandonar el uso de métricas sí advierte sobre la diversidad de formas para utilizarlas:

• La Declaración de San Francisco –o DORA (2012)–, que impugna el uso de las métricas basadas en revistas como el factor de impacto para evaluar las contribuciones de los científicos a partir de su investigación.

• El Manifiesto de Leiden (Hicks, Wouters, Waltman, De Rijcke y Rafols, 2015), que establece diez principios para evaluar la investigación, entre los que se destaca la necesidad de apoyar la evaluación cuantitativa con la cualitativa.

• La Declaración de México (2018), que llama la atención sobre la apropiación de la información que se encuentra en acceso abierto para luego ser vendida. Recomienda a las revistas utilizar la licencia CC BY-NC-SA.

• El pronunciamiento de COAR “Más allá del acceso abierto” (2018), que incluye cinco requisitos para la gestión del conocimiento global como un bien común. Entre ellos, incluye la recomendación de combinar métricas e indicadores cuantitativos con los cualitativos.

Todas estas declaraciones impulsan formas más equitativas de evaluación y alternativas al factor de impacto. No obstante, ninguna de estas iniciativas ha podido incidir sustantivamente para cambiar el estado de cosas, algo que parece inevitable mientras las empresas sigan dominando a los sistemas de evaluación. Es claro que los intereses comerciales están por encima de todas las buenas intenciones que se expresen. Por esto es muy importante no escatimar esfuerzos para lograr avances y seguir buscando alternativas de solución.

El problema no son las métricas, es el uso que se les da a sus resultados. Para fundar esta afirmación hay dos razones: una, las agencias de evaluación buscan siempre el camino fácil, los datos procesados que alivianen y abaraten el trabajo; y dos, existe un sistema comercial perverso que define el prestigio y la calidad de la producción científica según la revista donde se publica. Tomemos como ejemplo opuesto a Redalyc, que tiene a disposición interesantes estadísticas que reflejan el comportamiento de las revistas y sus avances y que no por ello son perniciosas en sí mismas, sino que son útiles para que las revistas decidan qué y cómo deben mejorar. Por otro lado, mucho se ha discutido sobre lo restringidas y costosas que resultan las fuentes tradicionales de citaciones (WoS y Scopus), pero recientemente Martín-Martín, Orduña-Malea, Thelwall, y Delgado López-Cózar (2018) han demostrado que Google Scholar incluye mayor cantidad de datos para citaciones que los dos sistemas supracitados y que, además, estos datos abarcan no solo artículos de revista, sino también otro tipo de materiales (tesis, capítulos de libros y libros, conferencias y preprints) que permiten cubrir más amplia y variadamente a otras disciplinas y regiones del mundo.

Medir la cantidad más que la calidad ha provocado esa competencia sin sentido que se concreta en la cultura de “publicar o perecer” y como consecuencia, hemos llegado a extremos en los que el plagio se reproduce, las retractaciones se convierten en pan de cada día, hasta llegar al exceso de que se retracta una retractación (A Retraction gets…, 2018), y aparecen revistas espurias o fraudulentas que buscan engañar a los autores con indicadores e índices falsos. Estos vicios y desviaciones son producto de un sistema en el que se privilegian la competencia y los resultados (no los procesos) o el comercio desbocado para que las empresas obtengan ganancias cada vez mayores y más jugosas.

En América Latina, el uso de métricas tradicionales es insostenible, pero aún más, como resultado de su aplicación podría quedar un alto porcentaje de revistas universitarias en manos de empresas publicadoras. En la región, la gran mayoría de revistas son sostenidas por las universidades (Cetto, Alonso-Gamboa, Packer y Aguado-López, 2017, p. 21), pero esto podría cambiar gracias a las insistentes ofertas de estas empresas para administrarlas. Menciono dos ejemplos: en la Universidad de Costa Rica hemos vivido tres intentos en cuatro años por parte de Elsevier o Springer para apropiarse de la mejor revista que esta posee; podemos revisar también la experiencia de la UNAM que entregó 44 revistas a Elsevier en el 2014 para luego enmendar tal decisión (Priego, 2017).

Tal como lo perciben Vessuri, Guédon y Cetto (2014), “… uno podría imaginar que los países latinoamericanos, con grandes gastos y esfuerzos, trabajarían por mejorar sus revistas sólo para descubrir que aquellas que sean exitosas serán capturadas por los grandes publicadores comerciales” (p. 10). El espejismo que nos muestran quienes promueven este sistema trata de que las mejores revistas alcancen la inclusión en los índices “internacionales”, pero esa meta es cada vez más inalcanzable por las razones señaladas o porque, una vez incluidas, no pueden aumentar su rendimiento dentro de los índices de impacto.

A manera de conclusión: ¿existen soluciones?

Las soluciones no son sencillas. Recientemente, Barnett (2018) propuso realizar auditorías al azar que examinen los resultados del trabajo de los investigadores, aplicando medidas de calidad complejas, que capturen la originalidad, la reproducibilidad y la traducción de la investigación. Según este investigador y estadístico australiano, “las auditorías podrían mejorar las buenas prácticas de investigación entre la comunidad de investigadores a partir de la preocupación de ser auditado”. No obstante, aún no hay resultados visibles que puedan indicar los avances objetivos de esta posible solución.

Mientras tanto, siguen apareciendo métricas alternativas y sistemas que tienden a diversificar los procedimientos y sus efectos. Servicios como Altmetrics, Google Metrics y CrossRef tratan de abarcar otras fuentes y mejorar los procedimientos, con tal de variar las prácticas tan cuestionadas. El impacto de las redes sociales y el entorno digital han provocado importantes y recientes modificaciones (Robinson-García, Repiso y Torres-Salinas, 2018). También observamos las solicitudes para que se dé un cambio en las universidades, las entidades que financian la investigación, las agencias evaluadoras y en los propios investigadores; estos son llamados de atención ante estas condiciones tan desiguales. El uso responsable de las métricas debe ser la tónica que guíe la evaluación de la ciencia y facilite el mejoramiento de las revistas en tanto sirvan como espejo que dirija sus avances hacia la calidad.

Asimismo la ciencia abierta (The Open Science…, 2018), que insiste en la colaboración, la transparencia en los procesos de investigación y la reutilización de los datos e información, también incluye un sistema de evaluación que ha de ser voluntario, equitativo, inclusivo y solidario aunque no abandona la aplicación de las métricas. Estos principios tienen un peso significativo para los países del sur global, pues más que plantear nuevas ideas, refuerzan la manera en que éstos han trabajado a través de los años. América Latina ha aplicado el acceso abierto desde siempre, así como el trabajo colaborativo y solidario, para generar conocimiento.

La evaluación de la ciencia en acceso abierto exige que los indicadores, la medición de impacto y las políticas institucionales, nacionales o de los entes financieros sean igualmente abiertas y variadas y que exista independencia de las entidades comerciales para la obtención de los datos (The Open Science… 2018). La justificación que dan algunos organismos para no aplicar el cambio es el costo, porque supuestamente resulta más oneroso evaluar los resultados de la investigación con métodos cualitativos o similares. Mientras las tendencias actuales empujan en algunos casos hacia el cambio, el inmovilismo se presenta en otros (Robinson-García et al., 2018). Sin embargo, nos llena de esperanza observar que existen países que siguen haciendo la evaluación sin necesidad de recurrir exclusivamente a las publicaciones y a los datos que venden las empresas para demostrar cuál revista tiene más prestigio por ser la más citada. Los países centroamericanos, por ejemplo, no utilizan esos sistemas comerciales oficialmente y a nivel nacional; algunos lo hacen dentro de cada universidad sin contar con un índice, como el que construyó la UCR, o se rigen por otros criterios. Pero principalmente utilizan las revistas del Catálogo Latindex para seleccionar las que sean de mayor calidad (Gómez-Centeno, 2015) y, sobre todo, para impulsar la formación de los editores en el proceso de mejoramiento de las revistas.

La cultura de “publicar o perecer” es propia de los sistemas de evaluación tradicionales, que como hemos revisado no conducen a elevar la calidad de la ciencia, sino todo lo contrario. Asimismo, la búsqueda de salidas fáciles que valoran más cantidad que calidad en los productos de la ciencia entre los que se cuentan las publicaciones, no logra obtener resultados que beneficien a las comunidades científicas o que aumenten el impacto social de la ciencia. Es necesario enriquecer los procedimientos cuantitativos con los cualitativos y aplicar las métricas cuando sea necesario, para mejorar las revistas y no para excluirlas o jerarquizarlas.

Los índices nacionales de revistas científicas deben mantener su prioridad de orientar la toma de decisiones para el apoyo a las revistas nacionales, que sirvan como incentivos y no exclusivamente para establecer una jerarquía en la que tengan que morir los más débiles. Igualmente, deben asignar mayor peso a la calidad y la visibilidad y no así a recursos subjetivos como el prestigio, la internacionalización o el impacto a partir de las citaciones. Mientras las empresas comerciales sigan siendo las dueñas de ese espacio y continuemos utilizando esos índices tradicionales para distribuir becas, financiamiento a la investigación, incentivos a los investigadores o aumentar sus ingresos por medio de regímenes de méritos, no vamos a lograr el mejoramiento de las revistas latinoamericanas.

Referencias

Alperín, J.P., y Rozemblum, C. (2017). La reinterpretación de visibilidad y calidad en las nuevas políticas de evaluación de revistas científicas. Revista Interamericana de Bibliotecología, 40(3), 231-241. Recuperado de https://aprendeenlinea.udea.edu.co/revistas/index.php/RIB/article/view/327794/20785493

Ball, P. (2006). Prestige is factored into journal ratings. Nature, 439, 770–771. Recuperado de https://www.nature.com/articles/439770a.pdf

Barnett, A. (2018). Random audits could shift the incentive for researchers from quantity to quality [Mensaje de blog]. LSE Impact. Recuperado de http://blogs.lse.ac.uk/impactofsocialsciences/2018/04/30/random-audits-could-shift-the-incentive-for-researchers-from-quantity-to-quality/

Bollen, J., Rodriguez, M.A., y Van de Sompel, H. (2006). Journal status, Scientometrics, 69(3), 669-687. Recuperado de https://arxiv.org/abs/cs/0601030#

Buendía, A., García, S., Grediaga, R., Landesman, M., Rodríguez-Gómez, R., Rondero, N., Rueda, M., y Vera, H. (2017). Queríamos evaluar y terminamos contando: Alternativas para la evaluación del trabajo académico. Sociológica, 32(92), 309-326. Recuperado de http://www.sociologicamexico.azc.uam.mx/index.php/Sociologica/article/view/1462/1214

Cetto, A.M., Alonso-Gamboa, J.O., Packer, A.L., y Aguado-López, E. (2017). Enfoque regional a la comunicación científica: sistemas de revistas en acceso abierto. En J. P. Alperín y G. Fischman (Ed.), Hecho en Latinoamérica: Acceso abierto, revistas académicas e innovaciones regionales (pp. 19-41). Buenos Aires: CLACSO. Recuperado de http://biblioteca.clacso.edu.ar/clacso/se/20150722110704/HechoEnLatinoamerica.pdf

Confederation of Open Access Repositories [COAR] (2018). Más allá del acceso abierto: Cinco requisitos para la gestión del conocimiento global como un bien común. Recuperado de https://www.coar-repositories.org/files/COAR-beyond-open-access-esp.pdf

Córdoba González, S., Murillo Goussen, G., y Polanco Cortés, J. (2017). Génesis y desarrollo de UCR Índex en la Universidad de Costa Rica. E-Ciencias de la Información, 7(1), 1-26. http://dx.doi.org/10.15517/eci.v7i1.25713

Costa Rica. Ministerio de Ciencia, Tecnología y Telecomunicaciones [MICITT] (2017). Indicadores nacionales: ciencia, tecnología e innovación 2015-2016. San José, C.R.: MICITT. Recuperado de https://www.micit.go.cr/images/indicadores/indicadores-nacionales-2015-2016/#/0

Chang, Ch., McAleer, M., y Oxley, L. (2010). How are Journal Impact, Prestige and Article Influence Related? An Application to Neuroscience. Journal of Applied Statistics, 38 (11), 2563-2573. Recuperado de http://eprints.ucm.es/12933/1/1125.pdf

Declaración de México a favor del Ecosistema Latinoamericano de Acceso Abierto no comercial (2018). Recuperado de http://www.accesoabiertoalyc.org/declaracion-mexico/

DOAJ (9 de enero de 2019). Large scale Publisher survey reveals global trends in open access publishing. Recuperado de https://blog.doaj.org/2019/01/09/large-scale-publisher-survey-reveals-global-trends-in-open-access-publishing/

San Francisco Declaration on Research Assesment [DORA] (2012). Recuperado de https://sfdora.org/read/

Franceschet, M. (2010). The difference between popularity and prestige in the sciences and in the social sciences: A bibliometric analysis. Journal of Informetrics, 4, 55-63. https://doi.org/10.1016/j.joi.2009.08.001

Giménez Toledo, E. (2013). Imposturas en el ecosistema de la publicación científica. Revista de Investigación Educativa, 32(1), 13-23. http://dx.doi.org/10.6018/rie.32.1.190251

Gómez-Centeno, R.V. (2015). La experiencia de Latindex y el impacto de la aplicación de los parámetros en las revistas científicas de Nicaragua. Ciência da Informação, 44(2), 290-296. Recuperado de http://revista.ibict.br/ciinf/article/view/1800

Gregorio-Chaviano, O. (2018). Evaluación y clasificación de revistas científicas: reflexiones en torno a retos y perspectivas para Latinoamérica. Revista Lasallista de Investigación, 15(1), 166-179. https://dx.doi.org/10.22507/rli.v15n1a12

Hicks, D., Wouters, P., Waltman, L., De Rijcke, S., y Rafols, I. (2015). El Manifiesto de Leiden sobre indicadores de investigación. Recuperado de http://www.ingenio.upv.es/es/manifiesto#.WufaDdQhLIU

Lindner, M.D., Torralba, K.D., y Khan, N.A. (2018). Scientific productivity: An exploratory study of metrics and incentives. PLoS ONE, 13(4), e0195321. https://doi.org/10.1371/journal.pone.0195321

Manzari, L. (2013). Library and Information Science Journal Prestige as Assessed by Library and Information Science Faculty. En Post Library Faculty Publications, Paper 5. Recuperado de http://digitalcommons.liu.edu/post_libfacpubs/5

Martín-Martín, A., Orduña-Malea, E., Thelwall, M., y Delgado López-Cózar, E. (2018). Google Scholar, Web of Science, and Scopus: a systematic comparison of citations in 252 subject categories. Journal of Informetrics, 12(4), 1160-1177. https://doi.org/10.1016/J.JOI.2018.09.002

The Open Science Training Handbook (2018). https://doi.org/10.5281/zenodo.1212496

Priego, E. (Agosto 2017). Revistas académicas de la UNAM entregadas a Elsevier/Science Direct [Mensaje en blog]. Humanidades Digitales. Recuperado de http://humanidadesdigitales.net/blog/2017/08/07/revistas-academicas-elsevier-sciencedirect/

A Retraction gets retracted (13 de abril 2018) [Mensaje en blog]. Retraction Watch. Recuperado de https://retractionwatch.com/2018/04/13/a-retraction-gets-retracted/

Robinson-García, N, Repiso, R., y Torres-Salinas, D. (2018). Perspectiva y retos de los profesionales de la evaluación científica y la bibliometría. El profesional de la información, 27(3), 461-466. https://doi.org/10.3145/epi.2018.may.01

Suber, P. (2008). Thinking about prestige, quality and open access. SPARC Open Access Newsletter, 125, septiembre. Recuperado de https://dash.harvard.edu/bitstream/handle/1/4322577/suber_oaquality.html?sequence=1

Vasen, F., y Lujano-Vilchis, I. (2017). Sistemas nacionales de clasificación de revistas científicas en América Latina: tendencias recientes e implicaciones para la evaluación académica en ciencias sociales. Revista Mexicana de Ciencias Políticas y Sociales, 62(231), 199–228. Recuperado de http://www.redalyc.org/pdf/421/42152785008.pdf

Vessuri, H., Guédon, J.C., y Cetto, A.M. (2014). Excellence or quality? Impact of the current competition regime on science and scientific publishing in Latin America and its implications for development. Current Sociology, 62(5). Recuperado de http://eprints.rclis.org/23682/1/Current-socio-published-non-Sage-format.pdf

Notas