DORA

Declaração de São Francisco sobre Avaliação da Pesquisa

Há uma necessidade urgente de melhorar a maneira pela qual as agências de financiamento, as instituições acadêmicas e outros grupos avaliam a produção da pesquisa científica. Para tratar dessa questão, um grupo de editores de periódicos acadêmicos se reuniu durante o Encontro Anual da Sociedade Americana de Biologia Celular (American Society for Cell Biology – ASCB) em São Francisco, Califórnia, em 16 de dezembro de 2012. O grupo desenvolveu uma série de recomendações, chamada de Declaração de São Francisco sobre Avaliação da Pesquisa. Convidamos todos os interessados de todas as áreas do conhecimento para demonstrar seu apoio adicionando seus nomes a essa Declaração.

Os produtos da pesquisa científica são inúmeros e variados, e incluem: artigos de pesquisa que relatam novos conhecimentos, dados, reagentes e softwares; propriedade intelectual; e jovens cientistas altamente capacitados. As agências de financiamento, as instituições que empregam cientistas, e os próprios cientistas, todos têm o desejo, e a necessidade, de avaliar a qualidade e o impacto da produção científica. Portanto, é imperativo que a produção científica seja medida com precisão e avaliada com prudência.

O fator de impacto (FI) de periódicos científicos é frequentemente utilizado como o principal parâmetro para comparar a produção científica de indivíduos e instituições. O FI, calculado pela Thomson Reuters*, foi originalmente criado como uma ferramenta para ajudar bibliotecários a identificar periódicos para aquisição, não como um instrumento para medir a qualidade científica de um artigo. Tendo isso em mente, é essencial entender que o fator de impacto, como uma ferramenta para a avaliação da pesquisa, tem uma série de deficiências bem documentadas. Essas limitações incluem: A) as distribuições de citações nos periódicos são altamente assimétricas [1-3]; B) as propriedades do FI são específicas para cada campo do conhecimento: seu cálculo utiliza vários tipos de artigos muito diferentes entre si, incluindo trabalhos de pesquisa primária e revisões [1, 4]; C) o FI pode ser manipulado através de políticas editoriais [5]; e D) os dados utilizados para calcular o FI não são transparentes ou abertos para o público [4, 6, 7]. A seguir, fazemos uma série de recomendações para o aprimoramento da forma em que a qualidade da produção de pesquisa é avaliada. A produção para além dos artigos de pesquisa crescerá em importância na avaliação da eficácia da pesquisa no futuro, mas o artigo científico revisado por pares continuará tendo importância central para a avaliação da pesquisa. Portanto, nossas recomendações se concentram em práticas relacionadas a artigos de pesquisa publicados em periódicos revisados por pares, mas podem e devem ser estendidas para outros produtos adicionais, como conjuntos de dados, por serem resultados importantes de pesquisa. Essas recomendações são direcionadas para agências de financiamento, instituições acadêmicas, periódicos, organizações que fornecem métricas, e pesquisadores individuais.

Tais recomendações abrangem uma série de tópicos:

a necessidade de eliminar o uso de métricas baseadas em periódicos, como o fator de impacto, nas considerações de financiamento, nomeação e promoção;
a necessidade de avaliar a pesquisa por seus próprios méritos, em vez de depender dos méritos do periódico no qual ele foi publicada; e
a necessidade de investir as oportunidades oferecidas pela publicação online (por exemplo, tornar mais flexíveis os limites desnecessários do número de palavras, figuras e referências em artigos, e explorar novos indicadores de importância e impacto).

Reconhecemos que várias agências de financiamento, instituições, editores e pesquisadores já estão promovendo melhores práticas na avaliação de pesquisas. Esses passos estão começando a aumentar o ímpeto em direção a abordagens mais sofisticadas e significativas para a avaliação de pesquisas que agora podem ser desenvolvidas e adotadas por todas as principais partes envolvidas.

Os signatários da Declaração de San Francisco sobre Avaliação da Pesquisa apoiam a adoção das seguintes práticas na avaliação da pesquisa.

Recomendação Geral

Não use métricas baseadas em periódicos, tais como o fator de impacto (FI), como uma medida indireta da qualidade de artigos de pesquisa individuais, para avaliar as contribuições de um cientista individual, ou em decisões de contratação, promoção ou financiamento.

Para agências de financiamento

Seja explícito sobre os critérios utilizados para avaliar a produtividade científica dos solicitantes de financiamento e enfatize, especialmente para pesquisadores que estão iniciando sua carreira, que o conteúdo científico de um artigo é muito mais importante do que as métricas de publicação ou a identidade da revista em que foi publicado.

Para avaliar a pesquisa, considere o valor e o impacto de todos os seus resultados (incluindo conjuntos de dados e software), além de publicações, e considere uma ampla gama de medidas de impacto, incluindo indicadores qualitativos de impacto da pesquisa, tais como sua influência em políticas e práticas.

Para instituições

Seja explícito sobre os critérios utilizados para tomar decisões sobre contratação, posse e progressão enfatizando, especialmente para pesquisadores que estão iniciando sua carreira, que o conteúdo científico de um artigo é muito mais importante do que as métricas de publicação ou a identidade da revista em que foi publicado.

Para avaliar a pesquisa, considere o valor e o impacto de todos os seus resultados (incluindo conjuntos de dados e software), além de publicações, e considere uma ampla gama de medidas de impacto, incluindo indicadores qualitativos de impacto da pesquisa, tais como sua influência em políticas e práticas.

Para editores

Reduza consideravelmente a ênfase no fator de impacto da revista como uma ferramenta promocional, idealmente deixando de promover a sua utilização ou apresentando a métrica no contexto de uma variedade de outras métricas baseadas em revistas (por exemplo, fator de impacto de 5 anos, Eigenfactor [8], SCImago [9], índice h, tempo de edição e de publicação, etc.) que forneçam uma visão mais ampla do desempenho da revista.

Disponibilize uma variedade de métricas em nível de artigo para incentivar uma mudança em direção à avaliação com base no conteúdo científico de um artigo, em oposição às métricas de publicação do periódico no qual foi publicado.

Incentive as práticas de autoria responsável e o fornecimento de informações sobre as contribuições específicas de cada autor.

Independentemente de a revista ter acesso aberto ou por assinatura, remova todas as limitações à reutilização de listas de referência em artigos de pesquisa e disponibilize-as sob a Dedicação ao Domínio Público identificada como CC0 da Creative Commons [10].

Remova ou reduza as restrições relacionadas ao número de referências em artigos de pesquisa e, quando possível, exija a citação de literatura primária em vez de artigos de revisão, de forma a dar créditos para o(s) grupo(s) que primeiro relataram um resultado de pesquisa.

Para organizações que fornecem métricas

Seja aberto e transparente, fornecendo dados e métodos utilizados para calcular todas as métricas.

Forneça os dados sob licença que permita a reutilização irrestrita, e o acesso computacional a esses dados, quando possível.

Esclareça que não será tolerada a manipulação inadequada de métricas; seja explícito sobre o que constitui uma manipulação inadequada e que medidas devem ser tomadas para o seu combate.

Considere a variação nos tipos de artigos (por exemplo, revisões versusartigos de pesquisa) e nas diferentes áreas temáticas ao usar, reunir ou comparar métricas.

Para pesquisadores

Quando envolvido em comissões de tomada de decisões sobre financiamento, contratação, permanência ou promoção, realize avaliações baseadas em conteúdo científico, ao invés de métricas de publicação.

Sempre que possível, cite literatura primária, em que as observações são relatadas primeiro, no lugar de revisões, objetivando dar o devido crédito onde deve ser dado.

Ao elaborar currículos, apresentações, memoriais, cartas de recomendação e outras declarações pessoais sobre sua carreira ou a de outra pessoa, use uma gama diversa de métricas e indicadores como evidência do impacto de artigos publicados e de outros produtos de pesquisa [11].

Desafie as práticas de avaliação que usam inadequadamente o fator de impacto promovendo e ensinando melhores práticas centradas no valor e influência dos resultados e produtos específicos de pesquisa.

Referencias

* O Fator de Impacto é publicado atualmente pela Clarivate Analytics.

PDF: DORA_Português Brasileiro.pdf

This is a translation of the DORA text at https://sfdora.wpengine.com/read, contributed by Gabriel N. Flaquer, Manuella P. Gomes, Lúcia da Silveira, Paula Eduarda Michels, and Iara Vidal and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.