A avaliação da pesquisa deve ir além de comparar métricas de impacto

A avaliação da pesquisa deve ir além de comparar métricas de impacto

30-08-2022

Por Lilian Nassi-Calò

Fotografia de uma régua de madeira de 15 centímetros apoiada em um apoio laranja em um fundo amarelo.

Imagem: Markus Spiske.

A avaliação dos resultados de pesquisa é necessária para determinar o que é relevante, para apoiar decisões sobre fomento a projetos de pesquisa e para traduzir esta produção científica em programas e políticas públicas para toda a sociedade.

O primeiro indicador bibliométrico que conhecemos é o Fator de Impacto (FI), criado em 1972 por Eugene Garfield para avaliar periódicos, com a publicação do Science Citation Index do Institute for Scientific Information. De seu papel original de avaliar periódicos, tornou-se logo um índice para avaliar programas de pós-graduação, ranquear instituições e avaliar pesquisadores em processos de contratação, promoção na carreira, premiação e qualquer outra forma de medir a produção científica que poderia se beneficiar de uma avaliação qualitativa ou mais ampla, foi muitas vezes reduzido a uma lista de publicações associadas a um FI.

As limitações do FI e sua larga utilização pela comunidade científica tem sido registrada por meio de ações como a San Francisco Declaration on Research Assessment (DORA). Este documento, resultante da ação de editores e publishers reunidos em 2012 no Annual Meeting of the American Society of Cell Biology em San Francisco, CA, EUA, enumera as recomendações para que índices de impacto baseados em citações, como o FI, deixem de ser utilizados para avaliar pesquisadores em situações de contratação, promoção ou decisão de concessão de financiamento para projetos de pesquisa. Até o momento, mais de 22.000 pessoas de 159 países assinaram a DORA. A seguir, em 2015, o Manifesto de Leiden, originado na 19ª Conferência Internacional de Indicadores em Ciência e Tecnologia, em 2014, em Leiden, na Holanda, orienta o uso de métricas de avaliação científica na Europa. Até hoje, o Manifesto foi traduzido para 25 idiomas, adotado por instituições e reconhecido por publishers em todo o mundo.

Ao tomar conhecimento de iniciativas como a DORA e o Manifesto de Leiden, o leitor poderia inferir que instituições de pesquisa, ao contratar e avaliar pesquisadores e agências de fomento, ao conceder financiamento à projetos, deveriam estar cientes sobre a limitação das métricas de impacto mais utilizadas e realizam também avaliações qualitativas e consideram atividades acadêmicas de outra natureza, além da publicação de artigos, em seus processos de avaliação, como a avaliação por pares, orientação de estudantes e publicação de dados de pesquisa, por exemplo. Infelizmente, na maior parte das vezes, o conhecimento está dissociado da prática.

Segundo Cameron Neylon1 relata em seu artigo recém-publicado na Nature,2 os pesquisadores, especialmente aqueles em início de carreira que não têm uma extensa produção acadêmica, são particularmente desfavorecidos em oportunidades de contratação e obtenção de financiamento à pesquisa. Estas decisões, segundo Neylon, são baseadas em evidências questionáveis, que se fossem dados de pesquisa não passariam pelo processo de avaliação por pares.

Por exemplo, Neylon e seu colega Karl Huang3 pesquisaram os dados que informam os rankings universitários internacionais. Cada ranking utiliza uma certa base de dados para contabilizar citações da produção científica das instituições avaliadas, como Web of ScienceScopus ou Microsoft Academic. Os autores criaram um ranking baseado em citações de 155 universidades e compararam as citações provenientes das três bases de dados. Os resultados obtidos mostram que três universidades mudaram de 110 posições, e 45 instituições mudaram mais de 20 posições, quando a fonte dos dados foi alterada.

A surpresa não está no fato que diferentes bases de dados e critérios de cada ranking forneçam diferentes resultados, mas que a comunidade científica continue a ignorar estas discrepâncias e tomando decisões sobre contratações, financiamento à pesquisa e políticas públicas com base em métricas que sabem ser falhas.

Muitos pesquisadores, especialmente os mais jovens, estão convencidos que a metodologia da avaliação da pesquisa deve mudar, para que eles não tenham de optar entre construir uma carreira com foco em publicações e citações ou contribuir para a ciência da melhor forma possível sem se preocupar excessivamente com métricas de impacto.

Este cenário, no entanto, pode estar mudando. Um documento denominado Agreement on Reforming Research Assessment4 começou a ser redigido em janeiro deste ano e acaba de ser publicado por iniciativa da European Research Area (ERA), European University Association (EUA), Science Europe, e a Comissão Europeia. O acordo conta com o apoio de 350 organizações públicas e privadas incluindo agências de fomento, universidades, centros de pesquisa, institutos e infraestruturas, associações e sociedades científicas, e associações de pesquisadores, entre outros, de mais de 40 países.

Os signatários do acordo se comprometerão com uma visão compartilhada de que a avaliação da pesquisa, pesquisadores e organizações de pesquisa reconhecem os diversos resultados, práticas e atividades que maximizam a qualidade e o impacto da pesquisa. Isso requer fundamentar a avaliação principalmente no julgamento qualitativo, para o qual a avaliação por pares é central, apoiada pelo uso responsável de indicadores quantitativos. Um vídeo5 disponibilizado pela ERA detalha os motivos e o processo de reforma da avaliação de pesquisa com opiniões de pesquisadores entrevistados.

Loading...