1. Introdução

Ao longo dos anos as revistas científicas foram se consolidando como os canais preferenciais de comunicação utilizados pelos pesquisadores ao redor do mundo para publicar e disseminar os resultados obtidos em suas pesquisas, fazendo com que sejam imprescindíveis para a comunicação científica mundial e, consequentemente, para o avanço da ciência como um todo. Há diversos estudos, nacionais e internacionais, mais amplos e mais restritos, que estudam esta proeminência dos periódicos sob outros canais formais de comunicação científica, como os livros e anais de eventos, por exemplo. Neste sentido, estudo de Miranda, Carvalho & Costa (2018, pp. 2-3) é taxativo ao apontar a preferência dos pesquisadores pelo uso dos periódicos:

[...] os periódicos científicos passaram a ser um novo veículo de comunicação da ciência, além de serem mais rápidos que os livros no que diz a produção e divulgação. Diante disso, os periódicos científicos são o meio de divulgação do conhecimento por conta da credibilidade e divulgação mais acelerada em comparação aos demais itens informacionais impressos. Dessa forma, observa-se a grande procura dos cientistas em divulgar o resultado por meio das revistas.

Ainda sob esta perspectiva, as autoras reiteram suas constatações ao compararem a relação existente entre os periódicos e a ciência moderna:

Vale salientar que, com o aparecimento da Ciência moderna, ocorreu a necessidade de acelerar a comunicação das experiências, para possibilitar a troca de ideias e críticas, com maior velocidade, entre todos os cientistas interessados nos assuntos em foco. Esse contexto contribuiu para o surgimento de um meio de comunicação que rompeu as fronteiras da comunicação oral e da correspondência pessoal, bem mais utilizado que os livros e tratados: o periódico científico (Miranda, Carvalho, Costa, 2018, p. 9).

Dada a preferência ao uso das revistas científicas foram sendo criados diversos produtos e serviços que visam avaliá-las sob diferentes pontos de vista. Há produtos e serviços que têm por objetivo indexar as revistas e delas extrair dados quantitativos, que são aqueles conhecidos como intrínsecos ou de conteúdos e que fornecem indicadores de citação e fator de impacto, tais como: Google Scholar,¹Scopus,² etc. Mas há também produtos e serviços que focam na verificação de dados qualitativos, que são aqueles conhecidos como extrínsecos ou formais e que fornecem indicadores relativos ao processo editorial como um todo, que são os dados relativos à avaliação por pares, cumprimento de periodicidade, composição do conselho editorial, afiliação institucional e exogeneidade dos autores, políticas de direitos autorais, normalização e padronização das publicações, etc.³ Dentre estes produtos e serviços, valem ser citados: DOAJ,⁴ Dialnet,⁵ Latindex,⁶ SciELO,⁷ Portal Oasisbr,⁸ Redalyc,⁹ dentre outros (Leite, 2009).

Estas avaliações que tais produtos e serviços fazem das revistas não têm um fim em si mesmas, pois possuem propósitos maiores e que vão além dos benefícios às próprias revistas. Esses propósitos são diversos e afetam todo o ciclo da comunicação científica, conforme constatam Rozemblum, Unzurrungaza, Banzato & Pucacco (2015, p. 67):

A presença ou ausência de uma revista em diferentes portais de revistas nacionais, temáticos, multidisciplinares, comerciais ou institucionais têm se voltado a uma questão de Estado: gestores, editores, e autores reconhecem que a inclusão e a indexação nestes serviços estão servindo como critério de avaliação nos sistemas de pesquisa.

Isto posto, é notório que as revistas científicas se veem frente a uma extensa trajetória na qual precisam aperfeiçoar seus processos e métodos para que consigam elevar a qualidade de seus processos editoriais, ingressar aos sistemas de indexação, atrair mais autores, serem lidas pelo maior número de pesquisadores da área em que atuam, obter seus índices de impacto e citação e assim por diante. Ao passo que este ciclo acontece, a revista começa a adentrar e fixar-se no ciclo da comunicação científica. Neste sentido, Mueller (1999) esclarece a relação existente entre a presença das revistas em bases bibliográficas versus o ciclo da comunicação científica:

[...] para ser lido e citado, um artigo precisa ser encontrado pelo leitor. Os instrumentos de busca são os índices e periódicos de resumo ou bases de dados bibliográficas especializadas. Mas apenas os periódicos mais prestigiosos são sistematicamente analisados e incluídos nos índices e periódicos de resumo e nos índices de citação internacionais [...] Essas bases de dados, adotadas internacionalmente como fonte de referência para medir citações e impacto de artigos, autores e títulos, incluem apenas uma percentagem muito pequena de títulos provenientes dos países em desenvolvimento (Mueller, 1999, s/p).

O que se denota desta explanação inicial é que a avaliação da qualidade editorial das revistas científicas, que pode culminar ou não em sua indexação, é relevante para a própria produção científica que ela publica, uma vez que são aferidas questões básicas de cientificidade e que estão distribuídas em diferentes etapas do processo editorial. Deste modo, os indexadores cumprem um papel fundamental no ciclo da comunicação científica, pois são eles que maximizam a visibilidade das revistas e as tornam cada vez mais acessíveis à comunidade científica que atende.

Contudo, não é factível falar de indexação de revistas científicas sem atentar-se às dificuldades enfrentadas pelas revistas científicas, as quais nem sempre contam com corpos técnicos permanentes e acabam tendo suas principais funções executadas pelos editores científicos, os quais, em geral, aprendem suas funções no dia a dia de trabalho. Sobre esta problemática, trazemos a visão de Gomes (2010, p. 157):

O editor, responsável pelo gerenciamento de todo o processo de produção editorial de uma revista científica, contudo, ainda carece de ambientes de formação e atualização profissionais, mesmo depois de decorridos vários séculos desde o surgimento dessa atividade. Pode-se mesmo afirmar que são praticamente inexistentes as oportunidades e espaços de formação de editores, tanto no âmbito de graduação como de pós-graduação.

Apesar desta visão trazida pelo autor, não se pode dizer que os editores carecem totalmente de auxílios e ambientes de formação profissional. No contexto brasileiro algumas iniciativas profícuas valem ser citadas. A Associação Brasileira de Editores Científicos (Abec),¹⁰ têm realizado uma série de webinars, minicursos e outros eventos que auxiliam os editores, “[...] expondo os periódicos, criando listas de discussão, enfim, multiplicando oportunidades de troca de experiências, buscando romper o isolamento que nos caracterizava.” (Yanamoto, 2002, s/p). Ademais, o Instituto Brasileiro de Informação em Ciência e Tecnologia (Ibict)¹¹ promove ações de auxílio aos editores científicos por meio de treinamentos técnicos relacionados à qualidade editorial, bem como outras ações, por exemplo, a customização do Sistema Eletrônico de Editoração de Revistas (SEER) e a implantação da Rede Cariniana, visando a preservação digital das revistas científicas (Bandeira & Freire, 2017). Além dessas duas últimas ações, também vale destacar que o Instituto é Centro Brasileiro do ISSN,¹² e do próprio Latindex e coordena outras iniciativas, como o Diadorim,¹³ e o Portal Oasisbr, o que estreita ainda mais os laços com as revistas científicas.

Diante a indiscutível importância dos indexadores de revistas científicas e considerando este cenário em que se encontram os editores científicos brasileiros, é importante a realização de estudos que possam medir a presença ou ausência das revistas nestas plataformas para serem tomadas ações mais efetivas no sentido de subsidiar seus editores e equipes editoriais. Em sentido mais estrito, esta pesquisa objetiva analisar a qualidade editorial das revistas científicas brasileiras que foram avaliadas para o Catálogo 2.0 do Latindex, tanto as aprovadas quanto as reprovadas. Os resultados obtidos são capazes de traçar um diagnóstico da qualidade editorial destas revistas, compreender quais pontos elas mais têm dificuldade de cumprir e então dar suporte mais efetivo àquelas que ainda não foram avaliadas para que possam, antes de solicitar a indexação, alinhar-se aos critérios de qualidade editorial requisitados por este indexador. O cumprimento destes critérios vai além somente da aprovação da revista no Catálogo 2.0 do Latindex. Eles são importantes para a ciência como um todo, uma vez que as exigências feitas conseguem aferir as questões relativas à transparência e cientificidade da revista, servindo como parâmetro para pesquisadores, agências de fomento à pesquisa e outras instâncias da comunicação científica.

2. Sobre o Latindex

O Latindex - Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal - originalmente denominado “Índice Latinoamericano de Publicaciones Científicas Seriadas”, constitui-se atualmente como um dos principais indexadores de revistas científicas publicadas nas regiões da América Latina, Caribe, Espanha e Portugal. Idealizado em 1994 na ocasião do I Workshop de Publicações Científicas de América Latina, teve sua primeira versão oficialmente lançada em fevereiro de 1997, durante reunião em que estavam presentes representantes do Brasil, Cuba, México e Venezuela. Desde modo, o Latindex caminha para seus quase 25 anos em operação (Amaro, Silva & Carvalho, 2015).

O Latindex conta com dois principais produtos: o Diretório e o Catálogo. Esses dois produtos são essenciais para entender o funcionamento e uma das metas definidas no projeto fundacional do Latindex, a de “Estabelecer critérios e padrões de qualidade para a editoração das publicações científicas Latino-americanas” (Latindex, 1995, tradução nossa). O primeiro produto, Diretório, é uma base de dados bibliográficos que reúne informações descritivas das revistas, tais como: títulos, instituição editora, URL, ISSN, periodicidade, área do conhecimento, suporte da publicação, etc. O segundo produto, Catálogo 2.0, principal objeto deste estudo, é entendido como uma subdivisão do Diretório, onde somente constam aquelas revistas que foram avaliadas segundo critérios de qualidade editoriais previamente estabelecidos. Percebe-se, portanto, que a existência deste produto é fruto da necessidade constatada desde a fundação do Latindex para medir a qualidade editorial das revistas publicadas nas regiões por ele abrangidas. Neste sentido, Amaro, Silva & Carvalho (2015, p. 231) apontam:

A criação deste produto esteve ligada à necessidade latente de se criar um mecanismo de avaliação da qualidade de revistas latino-americanas e ibéricas dado a baixa inserção destas publicações nos indexadores amplamente aceitos pela comunidade científica internacional, tais como Web of Science e Scopus. Com o Catálogo, o Latindex busca fornecer aos editores um instrumento de diagnóstico para que possam identificar aspectos a serem melhorados e, assim, elevar a qualidade dos periódicos por eles editados.

A avaliação da qualidade editorial das revistas é essencial para promover a visibilidade das publicações. Como apontado anteriormente, os indexadores que priorizam avaliar critérios extrínsecos e/ou formais são diversos, e cada um deles apresenta critérios específicos, com distintos níveis de exigência. Vale ressaltar também que alguns indexadores têm adotado aquilo que se conhece por meta-avaliação, que nada mais é do que avaliar uma revista de acordo com uma avaliação previamente realizada.

Acerca do que se entende por meta-avaliação, podemos citar a relação existente entre o Latindex e o Portal Oasisbr. Este último cobra como um dos critérios para a indexação de novas revistas em sua base de dados a presença delas no Catálogo 2.0 do Latindex, refletindo um entendimento de que se a revista foi aprovada nesta avaliação ela já apresenta determinado nível de qualidade editorial. Frente a estas breves explanações é notório que o Latindex desempenha um papel fundamental para a visibilidade e disseminação das revistas científicas editadas pelos países que o compõem. Deste modo, tornam-se fundamentais estudos que visem avaliar a metodologia utilizada por este indexador e que possam servir como base para os editores científicos que desejam ingressar a ele.

2.1. Transição do Catálogo 1.0 para o Catálogo 2.0

Entre os anos 2002-2017, o Latindex operou com a metodologia hoje denominada Catálogo 1.0 e/ou histórico. Esta primeira versão do Catálogo distinguia da atual não somente por conta dos critérios de qualidade que eram exigidos das revistas, mas também por conta das revistas que poderiam ser avaliadas. Durante a vigência deste primeiro catálogo, tanto as revistas impressas quanto as eletrônicas/online podiam ser avaliadas. Já com o Catálogo 2.0 a avaliação é restrita às revistas eletrônicas, representando uma mudança substancial tanto para as revistas quanto para os próprios gestores do Latindex.

Não foram localizadas nos documentos oficiais e públicos disponibilizados pelo Latindex explicações concretas do motivo para que, a partir da vigência do Catálogo 2.0, somente as revistas eletrônicas pudessem ser avaliadas, apenas que tal decisão foi tomada durante a reunião técnica do ano de 2017 e que entraria em vigência a partir de 01/01/2018. Contudo, durante as reuniões técnicas-anuais do Latindex as falas dos coordenadores dos Centros de apoio começaram a deixar clara a dificuldade para registrar e avaliar as revistas impressas, uma vez que fazia-se necessário o envio de exemplares físicos para o Centro de apoio do país ao qual a revista é vinculada. Deste modo, a checagem e atualização dos dados das revistas impressas no Latindex era moroso, além de onerar financeiramente a revista, já que o envio dos exemplares é custeado por ela. Não obstante, as próprias solicitações para registro de revistas impressas vêm diminuindo consideravelmente nos últimos anos. Dados da Equipe Latindex/Brasil apresentados nas reuniões técnicas-anuais mostram que, somados os números apresentados em 2019 e 2020, foram incluídas 11 revistas impressas e 799 revistas eletrônicas durante o período.

A vigência do Catálogo 1.0 se deu durante 15 anos (2002-2017), período em que editores e equipes editoriais das revistas trabalharam em conjunto com os Centros de apoio de cada país para que as revistas pudessem cumprir requisitos importantes de qualidade editorial e, então, ingressarem ao Catálogo. Contudo, uma nota oficial do Latindex deixa claro que era latente a necessidade de atualização dos critérios exigidos das revistas, fazendo com que um grupo de trabalho composto por pesquisadores membros dos Centros de apoio do Latindex tenham aprovado a lista de novos critérios.

O objetivo desta nova lista de critérios é reforçar o papel pedagógico e didático que o Latindex tem desempenhado com os editores desde o lançamento do Catálogo, em 2002. Quinze anos depois se resultou necessária uma revisão e atualização, particularmente dirigida às revistas eletrônicas, cuja ascensão é evidente nos países ibero-americanos, porém com diferentes estados de desenvolvimento, inclusive dentro de um mesmo país ou instituição (Latindex, 2021, s/p).

Com a definição do novo conjunto de critérios, o Catálogo até então vigente foi desativado, servindo somente como histórico para as revistas que já haviam sido avaliadas. Deste modo, coube a cada Centro de apoio definir suas próprias metodologias para reavaliação das revistas conforme os novos critérios de qualidade editorial. No caso do Brasil, todas as reavaliações foram e são feitas sob demanda, seja pelos próprios editores ou por outros responsáveis pela gestão das revistas, como portais de periódicos e bibliotecários.

Frente à metodologia apresentada e as questões relativas às atualizações que foram feitas nos critérios de qualidade, é essencial, para melhor elucidação do nível de exigência do Catálogo 1.0 e do Catálogo 2.0, uma análise comparativa entre os critérios cobrados por cada um deles, a qual será apresentada nas tabelas 1 e 2.¹⁴

Tabela 1

Comparação dos critérios do Catálogo 1.0 e 2.0

Fonte: Latindex (2018, 2021).

Tabela 2

Comparação dos critérios do Catálogo 1.0 e 2.0

Fonte: Latindex (2018, 2021).

A análise pura e simples das Tabelas 1 e 2 não é capaz de revelar quais foram as principais mudanças advindas com o Catálogo 2.0, e muito menos em que sentido elas iriam afetar as revistas já indexadas no Catálogo 1.0. Contudo, já é possível analisar alguns pontos essenciais, a saber: o aumento da quantidade de critérios (de 36 para 38), a inclusão de uma nova classe de critérios (destinada exclusivamente a questões que afetam revistas eletrônicas), alteração dos critérios que compõem a classe de características básicas (que são aqueles que as revistas obrigatoriamente precisam cumprir para ingressar ao Catálogo), etc.

3. Metodologia

Esta pesquisa se caracteriza como quantitativa, descritiva e exploratória e foi realizada a partir da compilação dos dados de todas as 428 revistas científicas brasileiras avaliadas e reavaliadas para o Catálogo 2.0 do indexador Latindex. Os dados compilados contêm informações de caráter bibliográfico, ou seja, de identificação (Título, ISSN e Fólio) e também de caráter editorial, que são os 38 critérios de qualidade requisitados pelo Catálogo 2.0, bem como a taxa de cumprimento e não cumprimento para cada um desses critérios.

Os dados da pesquisa são públicos e obtidos a partir de cada avaliação feita pela Equipe Latindex/Brasil para o Catálogo 2.0. Estes dados começaram a ser compilados desde o lançamento do Catálogo 2.0, que ocorreu no mês de Outubro de 2018, e foram finalizados em 16/04/2021. No caso das revistas que foram reavaliadas durante este período, os critérios foram atualizados nos dados da pesquisa para que retratem o cenário mais fidedigno possível da qualidade editorial das revistas científicas brasileiras avaliadas pelo Catálogo 2.0 do Latindex. Para a compilação e análise dos dados, foi usado o software Excel.

4. Dados e resultados¹⁵

Os resultados apresentados nesta seção serão mais ou menos detalhados a depender do nível de exigência de cada um dos critérios analisados. Em última instância, objetiva-se compreender quais são os critérios que as revistas menos cumprem para então pensar em políticas objetivas que sejam capazes de auxiliar efetivamente os editores no cumprimento destes critérios. Os resultados não serão alvos de comparação com outros indexadores e nem mesmo com dados anteriores do próprio Latindex (no caso, com o Catálogo 1.0). Ressalta-se que o intuito é apresentar os critérios menos cumpridos em cada uma das cinco classes de critérios definidas pelo Catálogo 2.0, ainda que as taxas de não cumprimento sejam baixas.¹⁶ Notou-se que se os resultados apresentados fossem somente dos critérios com altas taxas de não cumprimento¹⁷ eles estariam concentrados em somente duas classes, o que resultaria em uma visão restrita da aplicação dos critérios de qualidade editorial.

Em uma análise inicial foi feito um cálculo acerca da proporção entre o universo e a amostra da pesquisa. A seção Diretório do Latindex/Brasil - que representa o universo - atualmente conta com 3542 revistas científicas eletrônicas em situação vigente, ou seja, revistas que potencialmente podem compor a seção Catálogo 2.0, uma vez que, desconsiderados os requisitos mínimos para requisitar a avaliação,¹⁸ todas essas revistas poderiam ser avaliadas e ingressar ao Catálogo 2.0. Já a amostra, a qual é composta exclusivamente pelas revistas científicas eletrônicas que já passaram por ao menos um processo de avaliação para o Catálogo 2.0, possui 428 revistas. Deste modo, a amostra representa cerca de 12% de todo o universo. Contudo, ressalta-se que este baixo percentual não se traduz como um problema, dado que a pesquisa não objetiva ser exaustiva no que diz respeito à quantidade de revistas já avaliadas.

A segunda análise diz respeito às taxas de aprovação e reprovação das revistas avaliadas para o Catálogo 2.0. Das 428 revistas científicas já avaliadas até o momento, 196 (45,79%) foram aprovadas, enquanto 232 (54,21%) foram reprovadas. Este percentual de aprovação no Catálogo 2.0 abaixo de 50% não necessariamente está relacionado à baixa qualidade editorial das revistas avaliadas, mas em muitos casos ao desconhecimento dos editores e equipes editoriais de todos os detalhes que precisam ser descritos nos sites das revistas para cada um dos critérios. De certo modo, descrições não detalhadas podem indicar falta de transparência dos processos editoriais da revista, levando à baixa qualidade editorial da mesma.

Outro tópico explorado dos dados mais globais da pesquisa diz respeito à taxa de cumprimento e não cumprimento dos critérios. Ou seja, considerando que todas as revistas da amostra foram avaliadas segundo os 38 critérios de qualidade editorial, foi possível obter uma média de quantos destes critérios estão sendo cumpridos e de quantos não estão sendo. Os dados mostram que, em média, as revistas avaliadas cumprem 29 (76%) dos critérios, enquanto não cumprem 9 (24%). Desconsiderando alguns casos isolados, a média de cumprimento de critérios, apesar de não ser a ideal, mostra um cenário promissor. À primeira vista pode soar equivocado dizer que este é um cenário promissor, mas há de se considerar que o Latindex exige que as revistas cumpram 30 dos 38 critérios (80%) para que sejam aprovadas para o Catálogo 2.0. Portanto, se a taxa de cumprimento de critérios das revistas já avaliadas mostra que elas conseguem cumprir, em média, 29 (76%) dos critérios, significa que estão próximas de atingir o percentual mínimo exigido. Deste modo, análises mais minuciosas precisam ser feitas para que se compreenda o real motivo da alta taxa de reprovação para o Catálogo 2.0.

No que diz respeito aos critérios de qualidade editorial, que representam o cerne da pesquisa, os resultados são muito mais extensos e poderiam ser feitos considerando diversas frentes. Optou-se por apresentar, para cada uma das cinco classes de critérios, os quatro critérios com as maiores taxas de não cumprimento (ou seja, critérios que as revistas mais apresentam dificuldade para atender às exigências). Deste modo, 20 dos 38 critérios de qualidade editorial requisitados pelo Catálogo 2.0 do Latindex serão analisados com maior detalhamento daqui adiante.¹⁹

Tabela 3

Critérios menos cumpridos na classe “Características básicas”

Fonte: dados da pesquisa.

A Tabela 3 traz os critérios que as revistas menos cumprem na classe denominada “Características básicas”. Acerca desta primeira classe é imprescindível deixar claro que ela agrega os 7 critérios obrigatórios de serem cumpridos para que uma revista seja aprovada para o Catálogo 2.0. Na prática, isso significa que, ainda que a soma dos critérios cumpridos ultrapasse os 30 requeridos, caso a revista não cumpra um dos 7 da primeira classe ela não ingressará ao Catálogo 2.0. A adoção desta metodologia denota uma preocupação do Latindex com questões que são básicas para se considerar uma revista como científica. Os resultados obtidos nesta classe mostram que as revistas conseguem cumprir boa parte dos critérios que a compõe, mas há alguns pontos que precisam ser melhorados.

O primeiro deles diz respeito ao critério “Sistema de arbitragem por pares”, o qual não foi cumprido por 32,01% das revistas. Isto não significa que as revistas que não cumpriram o referido critério não realizam avaliação por pares, mas sim que não descrevem como o processo é feito de acordo com as exigências do Latindex. A avaliação por pares é uma das principais etapas do processo científico e o Latindex tem exigido das revistas o detalhamento dele, onde as seguintes informações precisam ser apresentadas: indicação de que a avaliação é externa à instituição editora da revista, o tipo de revisão adotada (simples-cega, duplo-cega, aberta, etc.) e indicação do responsável pela decisão editorial. O que se tem percebido nas revistas que não cumprem o critério é que eles não informam, especialmente, o último tópico, fazendo com que o critério não possa ser dado como cumprido. Por outro lado, 67,99% das revistas avaliadas obtiveram êxito neste critério, ainda que em muitos casos isso tenha ocorrido após um primeiro resultado negativo. Recomenda-se que os editores das revistas que não cumpriram o critério entrem em contato com a equipe Latindex/Brasil ou do país a que suas revistas são vinculadas para sanar dúvidas que por ventura tenham ocorrido. Os editores também podem consultar as políticas de outras revistas para entender como foi feito o detalhamento do critério.

O critério “Geração contínua de conteúdos” diz respeito à publicação de novos conteúdos nos últimos dois anos consecutivos conforme a periodicidade declarada pela revista, não tendo sido cumprido por 12,85% delas. Portanto, se uma revista declara que sua periodicidade é trimestral, ela deve ter publicado ao menos quatro novos números nos últimos dois anos. Outro ponto que tem sido observado pela Equipe Latindex/Brasil é que algumas revistas conseguem publicar novos fascículos com certa frequência, mas não se atentam à periodicidade que elas mesmas declaram. Há casos em que a revista publicou em um único ano seis novos números, mas declara sua periodicidade como quadrimestral, fazendo com que haja incoerência entre o que foi declarado e o que realmente está publicando. Este critério reflete bastante a maturidade da revista frente à comunidade que atende, e o fato dele ter sido cumprido por 87,15% das revistas avaliadas é um dado muito relevante. O que se tem notado nos últimos anos é uma migração das revistas para a modalidade de publicação “Fluxo contínuo”, o que certamente tem ajudado no cumprimento deste critério. Neste tipo de modalidade de publicação os artigos são publicados individualmente à medida que passam pelo processo editorial, não sendo necessário aguardar o fechamento de um fascículo completo. Além do mais, esta modalidade tem sido cada vez mais valorizada pela comunidade científica e pelos indexadores, uma vez que aceleram consideravelmente a difusão do conhecimento científico.

Os dois últimos critérios analisados nesta classe são “Entidade editora da revista” e “Responsáveis editoriais”, onde ambos não foram cumpridos por somente 2,8% das revistas avaliadas. Dentro da amostra da pesquisa este percentual é muito baixo, o que certamente é um resultado positivo. Contudo, salienta-se que eles compõem a classe “Características básicas”, e o descumprimento deles é impeditivo para aprovação da revista ao Catálogo 2.0, ainda que em números absolutos a revista tenha cumprido mais de 80% dos critérios. Esses dois critérios, apesar de serem obrigatórios, são simples de serem cumpridos. Somente é necessário que tais informações sejam descritas em alguma seção da revista destinada para identificação e contatos, tais como: equipe editorial, contato, foco e escopo, etc. Acerca do critério “Entidade editora da revista”, ressalta-se que o fato dela estar hospedada em um Portal de periódicos de alguma instituição não é suficiente para o critério ser cumprido, uma vez que a publicação pode somente ser hospedada no portal da instituição e não ser editada por ela.

Por fim, é válido apontar que esta classe abriga o único critério dentre os 38 que foi cumprido por 100% das revistas avaliadas até o momento, o de ISSN. Contudo, este resultado deve ser relativizado tendo em vista que a exigência de ISSN é umas das condições para que a revista entre no Diretório. Ou seja, caso não possua ISSN, a revista sequer será aprovada para o Diretório do Latindex, e por conta disso todas as revistas avaliadas já cumpriram este critério.

Tabela 4

Critérios menos cumpridos na classe "Características de apresentação"

Fonte: dados da pesquisa.

A segunda classe é chamada de “Características de apresentação”, e reúne critérios mais descritivos e relacionados ao acesso às publicações da revista (tabela 4). O critério menos cumprido nesta classe é “Afiliação institucional dos membros do conselho editorial”, o qual 29,91% das revistas avaliadas não conseguiram cumprir. Assim como o critério de avaliação por pares, este também exige que os membros do conselho editorial sejam identificados a partir do detalhamento de algumas informações básicas, a saber: nome completo da instituição a qual o membro é afiliado (ou declaração de trabalhador independente) e país. As revistas que não cumprem este critério geralmente indicam somente a sigla das instituições e/ou não indicam o país. É importante considerar que este tipo de informação é importante para mensurar o nível de exogeneidade da revista, o que reforça ainda mais sua pertinência.

O segundo critério menos cumprido é “Data de recebimento e aceite dos originais” (18,46%), que nada mais é do que inserir em cada um dos documentos publicados - especialmente em artigos originais, de revisão e ensaios - as datas que o trabalho foi recebido e aceito pela revista. Apesar destas informações não traçarem relação direta com a cientificidade da revista elas são importantes em termos de gestão e para a realização de futuras análises bibliométricas. Por outro lado, o critério é cumprido por mais de 80% das revistas avaliadas, o que provavelmente tem ocorrido devido às funcionalidades existentes no contexto da editoração científica eletrônica, onde estes dados já ficam salvos no processo de submissão, cabendo às equipe de diagramação incluí-las nas versões finais dos documentos. Em relação a este mesmo critério, Melo (2018) apontou em sua pesquisa uma taxa de não cumprimento de 66,10%. Este resultado precisa ser relativizado, uma vez que o universo da pesquisa era outro. Contudo, já são notados indícios de que as revistas estão mais atentas a este critério e conseguindo cumpri-lo com mais facilidade.

O terceiro critério menos cumprido da classe é “Navegação e funcionalidade de acesso aos conteúdos” (13,08%), que requer a presença de sumários/tabelas de conteúdo e uma estrutura que permita o acesso às publicações em, no máximo, três cliques, contados da página inicial. Para cumprir este critério é importante que os responsáveis pela fase de diagramação da revista estejam atentos a tais exigências, o que notavelmente tem ocorrido, dado que 86,22% das revistas avaliadas conseguem cumprir o critério. Por fim, o último critério menos cumprido é “Menção da periodicidade” (5,61%), o qual requer não somente que a revista indique se é semestral, quadrimestral, trimestral, fluxo contínuo, etc., mas, também, os períodos (meses) que são cobertos por cada um dos números publicados.

Tabela 5

Critérios menos cumpridos na classe "Características de gestão e política editorial"

Fonte: dados da pesquisa.

A terceira classe, “Características de gestão e política editorial” é uma das que apresenta altas taxas de não cumprimento dos critérios, conforme mostra a Tabela 5. Ela reúne critérios que precisam ser monitorados e continuamente aperfeiçoados, uma vez que podem deixar de ser cumpridos ao longo do tempo, dada a rotatividade dos editores e equipes editoriais. Sendo assim, ressalta-se que boa parte dos critérios que a compõe deveriam ser rigorosamente descritos não somente no site da revista, mas também nos documentos e políticas internas que são usados pelas equipes responsáveis pela gestão editorial.

O critério que apresenta maior taxa de não cumprimento é “Detecção de plágio”, em que 56,54% das revistas já avaliadas não cumprem. O plágio e autoplágio são problemas sérios que permeiam o universo das publicações científicas, e adotar práticas para coibi-los é, sem dúvidas, essencial. Existe hoje no mercado editorial uma série de softwares - gratuitos e pagos - que são capazes de verificar no corpo de um documento a existência de plágio e similaridades com outras publicações disponíveis na internet. O Latindex não exige que a revista utilize um software de detecção de plágio, somente que descreva como o processo é feito. O que se tem percebido nas revistas é que muitas somente estampam no site a logo de um determinado software, contudo, isso não é suficiente, pois é necessário que o processo seja detalhado. Por outro lado, destaca-se que 43,46% das revistas avaliadas cumprem este critério, sendo que muitas apontam em que momento ele é feito, quem são os responsáveis por fazê-lo, quais são as atitudes tomadas quando plágio e autoplágio são descobertos, etc. Em seguida, com 54,44% de taxa de não cumprimento, tem-se o critério “Código de ética”, que se refere à adoção de normas ou códigos de ética para publicação científica. O Latindex incentiva que as revistas sejam signatárias de códigos já amplamente usados pela comunidade científica, como os do Committee on Publication Ethics (COPE)²⁰ e/ou International Committee of Medical Journal Editors (ICJME).²¹ Das revistas que cumpriram o critério (45,56%), tem sido notória a adesão de alguns desses Códigos mencionados, bem como de alguns outros redigidos por instituições brasileiras e mais voltados a áreas do conhecimento específicas. Também há casos em que a revista redige seu próprio código de ética, o que também é aceito.

O terceiro critério analisado nesta classe é “Cumprimento da periodicidade”, não cumprido por 43,69% das revistas. Intrinsecamente relacionado aos critérios “Geração contínua de conteúdos” e “Menção da periodicidade”, este critério exige que a revista publique os novos números no início dos períodos declarados. Portanto, se uma revista é quadrimestral, teoricamente publicará três números ao ano, e as publicações devem ser sempre no início do período que cada número cobre, por exemplo: V. 3, N. 1, jan./abr. 2020 (o número deverá ser publicado em janeiro). O grande gargalo percebido nas revistas que não cumprem o critério está em não disponibilizarem os números no início do período ou não disponibilizarem a data de publicação. Contudo, 56,31% das revistas cumprem o critério, o que é um dado positivo. Levanta-se como hipótese que a migração das revistas para o fluxo contínuo pode facilitar o cumprimento da periodicidade, e pesquisas mais aprofundadas podem ser feitas para verificar tal relação.

O quarto critério menos cumprido desta classe é “Abertura/exogeneidade editorial”, onde 43,22% das revistas não conseguem cumprí-lo. A exogeneidade é uma questão crucial da comunicação científica, pois evita que pesquisadores e grupos de pesquisa que desenvolvem pesquisas conjuntas se auto-avaliem, evitando qualquer tipo de favorecimento em prol de um determinado grupo e desfavorecimento em detrimento de outro. Na prática, o critério exige que ao menos 2/3 dos membros do conselho editorial da revista sejam externos à instituição editora, considerando, para tanto, o nível mais alto de afiliação institucional desses membros. Este critério tem estrita relação com o critério “Afiliação institucional dos membros do conselho editorial”, já apresentado anteriormente. A Equipe Latindex/Brasil tem verificado que, em geral, as revistas avaliadas são exógenas em relação a suas equipes editoriais, o que fica claro ao ressaltar que 56,78% delas conseguiram cumprir o critério. Ocorre que algumas revistas não descrevem corretamente as afiliações institucionais dos membros da equipe, fazendo com que os dois critérios não possam ser dados como cumpridos, ainda que na prática as equipes sejam exógenas.

Tabela 6

Critérios menos cumpridos na classe “Características de conteúdo”

Fonte: dados da pesquisa.

Apesar de o Latindex não ter intenção de avaliar especificamente os conteúdos publicados pelas revistas, há uma preocupação, ainda que tímida, de avaliar alguns aspectos básicos que precisam constar em uma publicação científica, e é sobre essas questões que trata a quarta classe de critérios. Apesar de apresentar baixas taxas de não cumprimento, os critérios que a compõem são importantes e precisam ser analisados.

Como se pode observar na tabela 6, o primeiro critério e menos cumprido desta classe é “Exigência de originalidade”, com taxa de não cumprimento de 13,32% das revistas avaliadas. Apesar de não ser cumprido por poucas revistas, este critério precisa ser melhor avaliado pelas revistas que não o cumpriram, uma vez que a originalidade é uma questão essencial à comunicação científica e sua não exigência pode representar prejuízos à cientificidade dos conteúdos publicados pela revista. O segundo critério com maior taxa de não cumprimento (8,42%) é, na verdade, a união de dois critérios distintos, uma vez que “Resumo em dois idiomas” e “Palavras-chave em dois idiomas” são avaliados separadamente.²² Contudo, dado que estes dois critérios fazem o mesmo tipo de exigência, decidiu-se por apresentá-los em conjunto. A exigência deles é para que todas as publicações da revista apresentem tanto o campo de resumo quanto o de palavras-chave em dois idiomas diferentes. O que tem sido percebido pela Equipe Latindex/Brasil ao longo das avaliações é que as poucas revistas que não cumprem estes critérios são ou revistas muito novas e que talvez ainda não fazem essa exigência aos autores ou revistas que publicam conteúdos exclusivamente em inglês. O terceiro critério menos cumprido é “Elaboração de referências bibliográficas exigindo uma norma”, que 7,48% das revistas não cumprem. Este critério nada mais é do que a exigência de que os autores normalizem suas referências bibliográficas conforme uma norma internacionalmente aceita. Não é permitido para o critério que a revista utilize uma norma própria ou similar. O quarto critério menos cumprido é “Quantidade de artigos publicados por ano”, em que 5,14% das revistas não conseguiram cumprir. A exigência para este critério é que as revistas publiquem ao menos cinco artigos originais, de revisão ou ensaios por ano, e, também, que utilizem seções dentro de seus sumários que especifiquem a categoria de cada documento publicado. Caso esta categorização não seja feita, caberá ao avaliador aceitar ou não o critério como cumprido.

Os resultados obtidos nesta classe de critérios apresentam as menores taxas de não cumprimento e mostram um cenário bastante positivo para as revistas científicas brasileiras nos quesitos que lhe dizem respeito. As poucas revistas que não conseguem cumprir os critérios são, em sua maioria, revistas jovens e que ainda estão adequando suas políticas editoriais, e possivelmente, em uma segunda avaliação para o Catálogo 2.0, já conseguirão cumprir estes critérios.

Tabela 7

Critérios menos cumpridos na classe “Características de revistas eletrônicas"

Fonte: dados da pesquisa.

A quinta e última classe de critérios, denominada “Características de revistas eletrônicas”, reúne questões que dizem respeito exclusivamente às revistas publicadas em suporte eletrônico, foi inserida somente a partir da vigência do Catálogo 2.0 e apresenta as maiores taxas de não cumprimento, a maioria acima de 50%.

A tabela 7 mostra que o critério com maior taxa de não cumprimento é “Uso de protocolos de interoperabilidade”, que 94,16% das revistas não conseguiram cumprir. Esta elevada taxa de não cumprimento causa surpresa ao verificar o que de fato o critério exige, que é: o uso de metadados para descrição das publicações e de protocolo de interoperabilidade que permita a coleta das publicações para outros sistemas. No que diz respeito à primeira exigência, uma simples verificação do código fonte das revistas permite sua certificação, e estas verificações têm mostrado que, no geral, as revistas usam o padrão de metadados Dublin Core,²³ para descrição de suas publicações. Já em relação à segunda exigência, uso de protocolos de interoperabilidade, é que quase todas as revistas estão sendo falhas. As revistas que utilizam o software Open Journal Systems (OJS) já vêm com um dos mais conhecidos protocolos de interoperabilidade habilitado, o Open Archives Initiative Protocol for Metadata Harvesting (OAI-PMH).²⁴ Apesar disso, uma das exigências do critério é que as revistas não somente tenham este ou outro protocolo de interoperabilidade ativo, mas que informem qual protocolo utilizam e o endereço eletrônico para acessá-lo, o que as revistas não fazem, levando ao descumprimento do critério. O segundo critério com a maior taxa de não cumprimento é “Políticas de preservação digital”, que 92,99% das revistas avaliadas não conseguiram cumprir. Quase a totalidade das revistas já avaliadas estampam em seus sites a logo do LOCKSS,²⁵ um programa da Stanford University que constrói redes de preservação de documentos entre as instituições participantes. Contudo, isso não é suficiente. O Latindex exige que as revistas detalhem suas políticas internas de preservação digital, e o que se tem visto é que as revistas não realizam ou não se preocupam em detalhar tal processo.

O terceiro critério menos cumprido na classe, “Uso de diferentes formatos de edição”, com taxa de não cumprimento de 91,82%, basicamente requer que as revistas disponibilizem mais de um formato para leitura e download dos conteúdos publicados. O que se tem percebido é que as revistas, no geral, disponibilizam seus documentos em um único formato, o PDF, e o ideal é que isso seja feito em ao menos dois formatos, como HTML e Epub. O critério “Serviços de interatividade com o leitor” apresenta taxa de não cumprimento de 84,11% e requer que as revistas incluam “[...] serviços que facilitem a interatividade com o leitor [...]” (Latindex, 2021, p. 15, tradução nossa). Apesar de o Latindex apresentar alguns exemplos desses serviços, o que se tem percebido entre as revistas avaliadas é que não há muita preocupação com a gestão desses serviços, especialmente com aqueles que ficam vinculados ao próprio site da revista. As poucas revistas que cumprem o critério são aquelas que possuem contas em redes sociais onde a interatividade com os leitores é maior. Apesar disso, percebe-se que há casos em que a revista possui conta em rede (s) social (is) e essa conta sequer é mencionada no site, o que dificulta não somente seu alcance à comunidade, mas a própria verificação do critério.

As altas taxas de não cumprimento verificadas nesta classe não se restringem à realidade brasileira. Recentes reuniões técnicas organizadas pela Coordenação-Geral do Latindex com outros Centros Nacionais têm mostrado que a dificuldade em cumprir os critérios que compõem a classe “Características de revistas eletrônicas" ocorre com as revistas científicas de diversos outros países. Neste sentido, já se tem pensado em eventos online, organizados por colaboradores de diferentes instituições da Rede Latindex, que tratem de diferentes questões do universo da editoração científica, especialmente destes tópicos que os editores têm apresentado mais dificuldades.

4.1. Análise e discussão

De algum modo, os resultados apresentados na seção anterior vão ao encontro de um problema recorrente no universo da editoração científica, que é a dificuldade enfrentada pelos responsáveis das revistas científicas para alcançar alta qualidade editorial e impacto na comunidade científica a que pertence. Sobre isso, trazemos aqui a reflexão de Gomes (2010), que em seu estudo elenca quatro fatores que dificultam o processo de editoração de uma revista científica, a saber: “[...] escassez de verbas, [...] problemas de ordem operacional ou estrutural”, [...] dificuldades de captação de conteúdo [e] [...] mudanças políticas no interior da organização científica ou acadêmica em que foi criado.” (Gomes, 2010, p. 152). Quando estes fatores são somados à gama de atividades acumuladas pelos editores científicos, é de se imaginar que questões técnicas e de qualidade editorial nem sempre serão alvos de suas preocupações primárias. Sobre esse acúmulo de atividades que recaem sob os editores, trazemos aqui os apontamentos feitos por Yamamoto (2002, s/ p):

Não parece desarrazoado supor que os editores da área, como regra, são pesquisadores que passam a se envolver na atividade de editoração como uma atividade paralela, muitas vezes, por circunstâncias fortuitas, sem reunir, de início, as condições/conhecimentos que seriam desejáveis para assumir tal responsabilidade.

Os fatores e o cenário trazidos por Yamamoto (2002) e por Gomes (2010) colocam os editores científicos frente a dificuldades que eles terão de transpor caso queiram que as revistas que editam se tornem veículos consolidados na área do conhecimento que atuam. Este esforço empreendido pelos editores tem sido notório nos atendimentos feitos pela Equipe Latindex/Brasil. Muitas das vezes, diante a uma primeira reprovação, estes profissionais não poupam esforços para readequarem as revistas que editam às especificidades requeridas pelo indexador, de modo que ela não somente seja aprovada para o Catálogo 2.0, mas visam também o alcance a outros indexadores que utilizam o Latindex como um balizador.

A Equipe Latindex/Brasil adotou como prática a avaliação das revistas para o Catálogo 2.0 somente sob demanda e após encaminhamento dos critérios de qualidade editorial aos responsáveis pelas revistas, de modo que eles possam ler e tomar conhecimento de todas as especificidades dos critérios antes da efetiva solicitação de avaliação. Apesar disso, durante este início de vigência do Catálogo 2.0 nota-se que boa parte das solicitações estão sendo feitas imediatamente após o envio da lista de critérios, o que leva a crer que as solicitações podem estar sendo feitas sem a devida verificação. A título de exemplo, há casos em que portais de periódicos encaminham para avaliação, em uma única solicitação, todas as revistas que compõem aquele portal. Em termos de gestão, entende-se que tal prática é mais cômoda, uma vez que o processo fica centralizado em um único responsável. Contudo ela pode significar que os efetivos responsáveis pelas revistas (editores e equipes editoriais, principalmente) não estejam cientes dessa solicitação, e, assim, não tenham tido tempo hábil para fazer os ajustes necessários nas revistas que editam.

Considerações finais

As informações obtidas a partir da avaliação das revistas científicas brasileiras para o Catálogo 2.0 do Latindex nos permitiu traçar um panorama detalhado daqueles pontos que elas têm enfrentado mais dificuldades em cumprir. O resultado global da pesquisa aponta que menos da metade das revistas já avaliadas (428) tiveram êxito nesta avaliação, dado que somente 196 (45,79%) foram aprovadas.

Apesar deste cenário inicialmente negativo, o que se percebe é que as revistas científicas brasileiras estão trilhando um caminho promissor no que diz respeito a sua qualidade editorial, considerando, claro, os critérios exigidos pelo Catálogo 2.0 do Latindex. O indexador requisita que 80% dos critérios por ele definidos sejam atendidos para que a revista seja aprovada no Catálogo 2.0, e os resultados da pesquisa mostram que elas estão próximas de atingir este percentual, cumprindo, em média, 76,00% deles. Fazendo uma análise mais minuciosa, há indícios de que existem critérios pontuais que podem estar sendo responsáveis pela alta taxa de reprovação das revistas no Catálogo 2.0, especialmente os que fazem parte da classe “Características básicas”. Esta classe de critérios precisa ser tratada com atenção pelos editores e equipes editoriais das revistas, já que, ainda que as revistas cumpram, em números absolutos, acima de 80% dos critérios requisitados pelo Latindex, caso não cumpram um critério que faz parte desta classe a revista será reprovada. Não obstante, é essencial ressaltar que os critérios desta classe são cobrados por boa parte dos indexadores, regionais e internacionais, como Redalyc, SciELO, DOAJ, etc., ou seja, o não cumprimento deles poderá fazer com que a revista enfrente dificuldades para ingressar a diversos outros serviços de indexação.

Outra classe de critérios que precisa ser tratada com atenção pelas equipes responsáveis pelas revistas é “Características de revistas eletrônicas”, que apresentam altas taxas de não cumprimento. Apesar da ascensão das revistas científicas eletrônicas estar consolidada e em alta no Brasil, os resultados obtidos nesta classe de critérios mostram que as equipes responsáveis pelas revistas ainda enfrentam dificuldades para gerenciar suas publicações nos aspectos que envolvem o ambiente eletrônico. Apesar disso, tem-se percebido que os critérios cobrados nesta classe não são tão complexos de serem cumpridos, como, por exemplo, “Uso de protocolos de interoperabilidade”, “Serviços de interatividade com o leitor” e “Uso de estatísticas”. Ou seja, pode estar havendo não somente dificuldade para com estes critérios, mas, também, falta de atenção e/ou interpretação dos responsáveis pelas revistas quando da solicitação de avaliação para o Latindex.

Além das duas classes que já foram discutidas com mais detalhes, o Latindex possui mais três, que são: “Características de apresentação”, “Características de gestão e política editorial” e “Características de conteúdo”. Em relação a essas, os resultados mostram taxas de não cumprimento são mais baixas, ainda que haja critérios que fujam a esta regra, como “Detecção de plágio”, “Código de ética” e “Abertura editorial”. Estes critérios são essenciais à cientificidade e seriedade do processo científico e precisam ser melhor cuidados tanto pelas revistas que não o cumpriram, que devem aperfeiçoar seus métodos e técnicas para conseguir cumpri-los em uma futura reavaliação, tanto para aquelas que já cumpriram, para que assim se mantenham ao longo dos anos.

Ressalta-se ainda que o Latindex é um indexador reconhecido por seu caráter pedagógico e de apoio aos editores das revistas que indexa. Deste modo, a descentralização de sua gestão a partir de centros Nacionais permite que cada centro adote metodologias que dêem suporte aos editores nas questões que eles mais apresentam dificuldade, e isso pode variar em cada país. No caso do Centro Brasileiro, lotado no Ibict desde a fundação do indexador, tem havido cada vez mais aproximação e diálogo entre a Equipe Latindex/Brasil e os editores das revistas científicas brasileiras, favorecendo a solução de problemas pontuais com maior celeridade, a melhoria da qualidade dessas revistas e, consequentemente, sua internacionalização.

Com vistas a finalização deste estudo, ressalta-se que os dados apresentados não fornecem um retrato global da qualidade editorial das revistas científicas brasileiras, uma vez que o Catálogo 2.0 do Latindex acaba de completar dois anos de vigência e que mais de 85% das revistas que compõem o Diretório do indexador ainda poderão ser avaliadas. O estudo é uma avaliação preliminar, a qual serve de ponto de partida para as revistas que ainda não foram avaliadas ou que foram reprovadas na avaliação, para que seus responsáveis compreendam quais são os pontos mais falhos até então apresentados, entendam a razão destas falhas e assim tenham a oportunidade de corrigi-los antes de solicitar a avaliação.

Referências

Amaro, B., Silva, D. M. & Carvalho, T. (2015). A contribuição do Latindex para a promoção e visibilidade das revistas técnico-científicas da Iberoamérica: a história dos seus 20 anos. Ciência da informação, 44(2), 229-238. Recuperado de http://revista.ibict.br/ciinf/article/view/1773

Bandeira, P. B. & Freire, I. M. (2017). Movimento de acesso aberto no brasil: contribuição do Instituto Brasileiro de Informação em Ciência e Tecnologia a partir da implementação do sistema eletrônico de editoração de revistas. Pesquisa brasileira em ciência da informação e biblioteconomia, 12(1). https://doi.org/10.22478/ufpb.1981-0695.2017v12n1.33788

Gomes, V. P. (2010). O editor de revista científica: desafios da prática e da formação. Informação & informação, 15(1), 147-172. http://dx.doi.org/10.5433/1981-8920.2010v15n1p147

Latindex. (1995). Projecto fundacional (1995). Recuperado de https://www.latindex.org/latindex/proyectofund

Latindex. (2018). Características de calidad del Catálogo histórico 2002-2017 (revistas en línea). Recuperado de https://www.latindex.org/latindex/docuElectHist

Latindex. (2021). Características de calidad del Catálogo 2.0 (Metodología). Recuperado de https://www.latindex.org/latindex/meto2

Leite, M. P. F. R. (2009). Avaliando a qualidade de revistas científicas para a publicação de resultados de pesquisas e estudos. Revista mineira de enfermagem, 13(3), 317-319. Recuperado de http://www.reme.org.br/artigo/detalhes/194

Melo, B. K. S. B. de. (2018). Revistas científicas brasileiras de acesso aberto: qualidade do ponto de vista dos indexadores. Cadernos Bad, 1, 111-120. Recuperado de https://www.bad.pt/publicacoes/index.php/cadernos/article/view/1955

Miranda, A. C. C. de, Carvalho, E. M. R. de. & Costa, M. I. da. (2018). O impacto dos periódicos na comunicação científica. Biblos, 32(1), 1-22. https://doi.org/10.14295/biblos.v32i1.7177

Mueller, S. P. M. (1999). O círculo vicioso que prende os periódicos nacionais. DataGramaZero, 0. Recuperado de https://repositorio.unb.br/handle/10482/985

Rozemblum, C., Unzurrunzaga, C., Banzato, G. & Pucacco, C. (2015). Calidad editorial y calidad científica en los parámetros para inclusión de revistas científicas en bases de datos en Acceso Abierto y comerciales. Palabra clave, 4(2), 64-80. Recuperado de https://www.palabraclave.fahce.unlp.edu.ar/article/view/PCv4n2a01

Yamamoto, O. H. (2002). As responsabilidades do editor de um periódico científico. Estudos de psicologia, 7(1). https://doi.org/10.1590/S1413-294X2002000100001

Notas