Avaliação por fator de impacto prejudica produção de conhecimento Evaluation for impact factor harms knowledge production

Ao levar em conta essencialmente o fator de impacto, as agências de avaliação e de fomento podem trazer prejuízos para o desenvolvimento da ciência nacional

Matéria divulgada no Jornal Nature mostra o “empilhamento” de citações praticado por revistas brasileiras que, para aumentar a média de citações, a revista X cita Y, enquanto Y cita X, aumentando consideravelmente essa média. Para ampliar o fator de impacto, aparentemente criou-se um tipo de citação cruzada, que gerou a exclusão da revista Clinics, da Faculdade de Medicina da Universidade de São Paulo (USP), do Jornal Brasileiro Pneumologia, da Revista da Associação Médica Brasileira, da Revista Brasileira de Zootecnia e da Acta Ortopédica Brasileira. No total, foram 67 publicações suspensas. 

Um dos mais populares modos de medir o trabalho científico é o fator de impacto – média de citação por artigo que um periódico tem em determinado intervalo de tempo. Apesar das críticas ao modelo é comum associar o fator de impacto ao prestígio da revista. Mas o método aplicado e valorizado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) divide opiniões.

O coordenador do Centro de Pós-Graduação da Faculdade de Medicina da Universidade Federal de Minas Gerais (UFMG) Prof. Manoel Otávio da Costa Rocha, ao comentar a suspensão de quatro periódicos brasileiros da área médica do Journal Citation Reports (JCR) da Thomson Reuters – um dos principais índices que medem o fator de impacto das revistas científicas – por alegada irregularidade em suas citações, assegura que a ciência serve para desvendar a “verdade”, contribuir com o conhecimento humano e melhorar as condições de vida.

Entretanto, ele atenta que o julgamento aplicado na avaliação do mérito acadêmico e das publicações é inadequado. “Ao se publicar em uma revista com fator menor que 1, o artigo nem é levado em consideração, independentemente de sua qualidade e importância intrínsecas”, diz. Segundo o coordenador, o fator de impacto não avalia a qualidade do pesquisador nem do artigo, mas o impacto da revista. Uma vez que a Capes e o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) valorizam predominantemente o fator de impacto como instrumento de avaliação e de qualidade da produção de instituições de pós-graduação e de pesquisadores individuais, isso gera uma distorção. “As pessoas tendem a se preocupar mais com a quantidade do que com a qualidade”, aponta.

Na opinião do Dr. Carlos Costa, ex-presidente da Sociedade Brasileira de Medicina Tropical (SBMT) e professor da Universidade Federal do Piauí (UFPI), a escolha deste sistema, ontologicamente errôneo, posto que destinado a fins comerciais e que não capta a essência da ciência, que é a descoberta, foi possivelmente decorrente de uma rejeição à avaliação pelos pares, por suposição de que não seria neutra; ou seja, a própria comunidade científica se colocou sob suspeita. “E por quê? Talvez porque reconhecesse que já não vinha adotando os princípios de integridade e de neutralidade no julgamento de pares e de instituições”, frisa. Para ele, isto sim é o mais preocupante, pois remete à essência da corrupção, o produto final de um sistema de favorecimento de alguns em detrimento da coletividade.

Para Dr. Carlos Costa, que também é cientista, ao renunciar à avaliação por pares, a comunidade científica e o aparelho de Estado que cuida da ciência estariam refletindo exatamente o que nós realmente somos: um Estado em que os princípios da democracia ainda não se implantaram em corações e mentes, uma democracia de papel e, portanto, um Estado que ainda não se anuncia como o de uma nação desenvolvida, mas o de uma grande oligarquia com todos os vícios do Terceiro Mundo.

Como escolher onde publicar
Assim como em outros segmentos, na área científica, existem revistas nacionais excelentes e outras de padrão científico insatisfatório. Entretanto, Manoel Otávio adverte que a perversidade do esquema, de levar em conta essencialmente o fator de impacto na avaliação do mérito da publicação ou do desempenho acadêmico, favorece a criação de um círculo vicioso. O professor considera que, na área da saúde, é preciso buscar um caminho para que a boa publicação científica nacional, divulgada em revistas nacionais, não seja discriminada, nem desconsiderada. Ele lembra que a supervalorização do fator de impacto e do número de publicações pode gerar um ambiente de tensão e de competição exacerbada entre pesquisadores, editores e professores.

De acordo com Manoel Otávio, quando se trata de doenças endêmicas, de interesse regional, o campo de pessoas que fazem citações é menor. Ele acrescenta que, a busca da excelência vem sendo exercitada por diversas revistas nacionais, dentre elas a Revista da Sociedade Brasileira de Medicina Tropical (RSBMT), a qual vem melhorando muito – o corpo editorial da revista é bom, as publicações são relevantes, originais e em inglês. Alerta que muitas vezes um bom trabalho não é publicado em revistas estrangeiras porque o tema não tem interesse mundial. “Por isso, temos que ter boas revistas nacionais”, aponta.

Investindo na soberania
País que não investe em conhecimento não alcança a soberania, defende Dr. Manoel Otávio. “Se queremos ter um País independente, precisamos ter ciência própria. Podemos melhorar o padrão das revistas nacionais qualificando a nossa ciência. Quanto melhor for a ciência nacional, maior a possibilidade de que as pessoas publiquem em nossas revistas”, ressalta.

Para o professor, ao levar em conta essencialmente o fator de impacto, as agências de avaliação e de fomento podem trazer prejuízos para o desenvolvimento da ciência nacional. “Você coloca na cabeça das pessoas que precisam publicar necessariamente fora, pois nas revistas nacionais é perder tempo. Mas não é bem assim: isso é um preconceito com nós mesmos”, assinala, ao ponderar que não se desenvolve uma ciência nacional se os bons pesquisadores desprezam publicar em revistas nacionais.

Dr. Carlos Costa, defende que quem usa estes fatores de impacto com objetivo comercial para medir a ciência (Capes, CNPq, FAPs, etc) está simultaneamente afundando as revistas brasileiras e promovendo uma ciência interesseira e desprovida do seu principal sentido, que é a descoberta. Segundo ele, um tiro no pé.

“Seguindo-se a este escândalo, e acompanhando diversos países e, em especial a San Francisco Declaration on Research Assessment (DORA), o Brasil deve imediatamente abandonar fatores de impacto na avaliação da ciência e pesquisadores”, defende o médico ao acrescentar que inevitavelmente, deverá adotar métodos qualitativos baseados na avaliação por pares. “Mas para isto, os tomadores de decisão e os cientistas devem adotar princípios de integridade de conduta e de neutralidade de julgamento ao avaliar a ciência, os cientistas e as instituições, a fim de não retornar aos erros induzidos pelos fatores de impacto”, finaliza.

When considering essentially the impact factor, evaluation and foster agencies can harm the development of national science

Article published on the Nature Journal shows the “stacking” of citations by Brazilian magazines, whick in order o raise the average citations, magazine X quotes magazine Y, while magazine Y quotes magazine X, increasing considerably the average of citations. In order to raise the impact factor, apparently a type of cross citation was created, what led to the exclusion of the Clinics Magazine, from the Sao Paulo University Medical School from the Brazilian Pulmonology Journal, the Brazilian Medical Association Magazine, Brazilian Zootechnics Journal and the Brazilian Orthopedics Acta. In total, 67 publications were suspended. 

One of the most popular ways to evaluate a scientific work is the impact factor – average of articles citations from a journal in a period of time. Despite the critics to the model it is common to associate the impact factor to the journal’s prestige. But the method applied and valued by the Superior Personnel Improvement Coordination (SPIC) divides opinions.

The post-graduation coordinator from the Federal University of Minas Gerais Medical School, Prof. Manoel Otavio da Costa Rocha, while commenting the suspension of four Brazilian medical periodics from the Journal Citation Reports (JCR) from Thomson Reuters – one of the main indexes to measure scientific journal’s impact factors – for alleged irregularities in its citations, assures that science’s purpose is to uncover the “truth”, contribute with human knowledge and enhance life quality.

However, he points that the judgment applied when evaluating academic and publications merits is inadequate. “When publishing in a magazine with fator lower than 1, the article is not even taken in consideration, regardless of its qualities and intrinsic importance”, says. According to the coordinator, the impact factor does not measure the researcher’s or the article’s quality, but the journal’s impact. Once SPIC and the National Council of Scientific and Technological Development predominantly value the impact factor as an evaluation tool and post-graduation institutions and individual researchers production quality control, and this creates a distortion. “People tend to worry about quantity rather than quality”, he points.

For Dr. Carlos Costa, ex-president of the Brazilian Society of Tropical Medicine and professor at the Federal University of Piaui, the choice of this system, ontologically erroneous, once its commercial purposes and that do not capture the essence of science, which is discovery, was possibly resulting of a rejection to evaluation by their peers, due to a supposition that it would not be neutral; i.e., the scientific community put itself under suspicion. “And why? Maybe because it knew the principles of integrity and neutrality were not being applied while judging peers and institutions”, emphasizes. For him, this is the most concerning, because it resembles to the essence of corruption, the final product of a system is favoring some rather than the collective.

For Dr. Carlos Costa, who is also a scientist, when renouncing to evaluation by peers, the scientific community and the state apparel that care for science would be reflecting exactly what we are: a State where the principles of democracy have not been implanted in our hearts and minds, a paper democracy, and this way, a State that still does not announce itself as a developed nation, but as a great oligarchy with all of the third world’s vices.

How to choose where to publish
As in other segments, in scientific area, there are excellent national journals and other of poor scientific standard. However, Manoel Otavio warns for the perversity of the scheme, of taking in matter essentially the impact factor when evaluating an article of academic performance, favors the creation of a vicious circle. The professor considers that in health area, it is needed to seek a path where good national scientific production is not discriminated, nor unconsidered. He reminds that impact factor and number of articles overvaluation can create a tension and exacerbated competition environment among researchers, editors and professors.

According to Manoel Otavio, when dealing with regional interest endemic diseases, the field of people publishing is smaller. He adds that, the quest for excellence has been exercised by several national journals, among them, the Journal of the Brazilian Society of Tropical Medicine, constantly enhancing – the journal’s editorial board is good, the articles are relevant, original and in English. Alerts that many times a good article is not published in foreign journals because the theme does not have global interest. “This is why we need to have good national journals”, points.

Investing in sovereignty
A country that does not invest in knowledge cannot reach sovereignty, defends Dr. Manoel Otavio. “If we want an independent country, we must have our own science. The better the national science is, the greater are the odds of people publishing in our journals”, highlights.

For the professor, when considering essentially the impact factor, evaluation and foster agencies can harm the development of national science. “You make people believe that necessarily they must publish out of the country, because publishing in national journals is a waste of time. But it is not exactly like this: this is prejudice to ourselves”, signs while considering that you cannot develop a good national science if our good researchers despise publishing in national journals.

Dr. Carlos Costa, defends that whoever uses impact factor with a commercial ends to evaluate science (SPIC, NCSTD, etc) is sinking the Brazilian journals at the same time as promoting a deliberate science without its main meaning, that is discovery. According to him, a shot in the foot.

“Following to this scandal, and followed by several countries, and specially the San Francisco Declaration on Research Assessment (DORA), Brazil must immediately abandon impact factors when evaluating science and researchers”, defends the doctor when adding that unavoidably, the country should adopt quantitative methods based on peer evaluation. “But for this, the decision-makers and the scientist must adopt the principles of conduct integrity and judgment neutrality when evaluating science, the scientists and the institutions, in order to not return to the mistakes induced by impact factors, finalizes.…