Quando existe um conjunto suficientemente denso de investigações científicas sobre um determinado tema, passa a ser relevante investigar as diversas publicações disponíveis, para avaliar a qualidade das pesquisas e para identificar os pontos de convergência e divergência.
Esse tipo de meta-análise (ou seja, de uma análise de análises, e não de fatos) tem uma grande relevância para um campo de conhecimento, visto que ela contribui decisivamente para o mapeamento dos discursos existentes e para a construção de uma certa sistematicidade.
No campo das publicações científicas, é comum diferenciar o que é um research article (ou seja, um artigo que publica resultados de pesquisas originais) e o que é um review article (ou seja, artigo de revisão), que faz revisões de literatura, em suas várias formas.
No direito, essas estratégias ainda são de difícil aplicação, visto que tipicamente não há uma base suficientemente ampla e densa de pesquisas empíricas sobre um determinado tema, que justifique a necessidade de um estudo desse tipo para poder mapear um campo.
Inobstante, já começamos a ter estudos desse tipo: Duarte e outros escreveram um artigo intitulado O Sistema de Justiça na Ciência Política Brasileira: uma análise da literatura, no qual fazem um levantamento dos artigos de ciência política sobre o sistema de justiça e aplicam a esse conjunto de dados uma técnica de clusterização (programas que dividem um conjunto de textos em clusters, ou seja, em grupos com características comuns), baseados nas referências bibliográficas dessas publicações. O artigo identifica que não há padrões claros de distribuição das referências, que não formam clusters significativos, o que sugere que elas não estabelecem um diálogo muito grande entre si, exceto no campo da literatura sobre Justiça Eleitoral.
Bibliometria
O referido artigo de Duarte e outros afirma que se utiliza de técnicas de bibliometria, ou seja, de abordagens quantitativas que mensuram certas relações entre os textos. Desde que a área de estatística aplicada à economia veio a ser chamada de econometria, outros campos de abordagens quantitativas também passaram a construir seus nomes a partir dessa mesma lógica de identificar um objeto (economia, direito, publicações, ciência) e acrescentar o sufixo "metria", gerando neologismos como bibliometria (bibliometrics), jurimetria (jurimetrics), cientometria (scientometrics).
Para compreender melhor a bibliometria, há boas referências no artigo Bibliometric Basics, de Diane Cooper (2015), na página da Wikipedia e no canal do HUB no Youtube.
Uma das funções básicas da bibliometria é medir o impacto da produção acadêmica, utilizando medidas como contagem de citações e o estabelecimento de índices que determinem o fator de impacto dos periódicos. A bibliometria não se concentra no conteúdo dos textos, na qualidade dos resultados das pesquisas, mas os elementos que podem ser quantificados.
Um dos instrumentos típicos da bibliometria é a construção de redes de citações, como as que foram estabelecidas por Duarte e outros, em busca de compreender o modo como as pesquisas científicas se relacionam e quais são as produções centrais nessa rede.
Revisões Sistemáticas
As revisões sistemáticas não se limitam a análises quantitativas e estatísticas, pois a sua função é realizar o mapeamento das pesquisas realizadas em um certo campo, com foco nas metodologias utilizadas e nos resultados alcançados. Não se trata de mensurar o impacto de certas publicações (como é normalmente o caso das abordagens bibliométricas), mas de cartografar uma área de pesquisa, consolidando os resultados e, principalmente, evidenciando quais são as conclusões predominantes, quais são os pontos de dissenso e quais são as lacunas de conhecimento (knowledge gaps) (Jesson e outros 2011) que podem ser enfrentadas por novas pesquisas .
Por mais que toda revisão de literatura organize sistematicamente as publicações mapeadas, a expressão revisão sistemática tem um sentido técnico: ela não é um estudo preparatório, mas ela é propriamente uma investigação, em que o objeto de pesquisa é um um campo de pesquisas (Jesson e outros 2011).
Essas revisões tendem a gerar artigos autônomos e a lidar com grandes conjuntos de informações (que chegam aos milhares de obras). Por se tratarem de investigações autônomas, essas revisões precisam evitar ainda com mais cuidado os vieses de seleção (especialmente, para evitar a localização apenas de textos com os quais o pesquisador tende a concordar e para garantir o caráter exaustivo do trabalho), o que exige abordagens metodologicamente bem planejadas.
O rigor dessas pesquisas explica o fato de que que Kahn e outros designam esse tipo de produção como um research article e não como um review article, pois trata-se propriamente de uma investigação metodologicamente determinada, que tem a peculiaridade de adotar como objeto outras produções acadêmicas. Todavia, revisões sistemáticas tendem a ser entendidas como review articles e não como research articles.
Há algumas décadas, revisões sistemáticas não eram trabalhos comuns. Porém, com a recente combinação de (i) uma multiplicação exponencial do número de publicações e (ii) a disponibilidade de softwares capazes de pesquisar os dados dessas publicações, fez com que a construção de revisões sistemáticas se tornasse um elemento fundamental para garantir a coesão de campos de estudo com ampla produção acadêmica (especialmente, com produção empírica ampla, que conduz a resultados colidentes e a interpretações divergentes dos dados).
No caso das dissertações de mestrado construídas como dois artigos concatenados, uma das combinações possíveis é iniciar o trabalho com uma revisão sistemática da literatura, o que seria apropriado caso os estudos preparatórios sugerissem a existência de incertezas e tensionamentos dentro da produção contemporânea. Nesse caso, o mapeamento da produção existente, feito de forma rigorosa, pode ser uma etapa necessária para encontrar as lacunas no campo que poderão dar margem à construção de problemas originais de pesquisa.
Meta-análises
Embora meta-análise signifique textualmente análises de análises, esse termo adquiriu um significado específico na epistemologia, especialmente de áreas experimentais.
As meta-análises são uma forma específica de revisão sistemática, caracterizada pelo uso que elas fazem dos resultados das pesquisas mapeadas pela revisão. Nas palavras de Jesson e outros:
Meta-analysis is a statistical technique which has been developed to combinequantitative results obtained from independent studies that have been published. (Jesson e outros 2011)
O pressuposto da meta-análise é a existência de uma pluralidade de pesquisas que avaliam o mesmo objeto, como ocorre tipicamente nas ciências médicas. No contexto da pandemia de Covid-19, muitos estudos foram feitos simultaneamente, para avaliar os impactos de uma série de drogas no tratamento da doença e de suas repercussões.
Cada um desses estudos é limitado em seu escopo, e essas limitações dificultam a generalização das conclusões. A meta-análise se utiliza de mecanismos estatísticos que permitem combinar os resultados de uma multiplicidade de pesquisas individuais, para tirar conclusões do conjunto dos dados compilados pela revisão sistemática.
Essa abordagem permite a construção de conjuntos de dados mais robustos do que os contidos em cada pesquisa particular, viabilizando conclusões cientificamente mais sólidas.
Dado o estado atual das pesquisas em direito, especialmente no Brasil, não parece viável a utilização de meta-análises, as quais somente oferecem conclusões interessantes na medida em que possibilitam combinar dados de uma multiplicidade de pesquisas empíricas (normalmente experimentais) sobre um mesmo objeto, o que não é o caso do contexto atual da pesquisa em direito. Mas é importante saber o que elas são, até para evitar chamar de meta-análises um artigo de revisão, por mais amplo que seja o seu objeto.
Artigo de Revisão
Um artigo de revisão é uma publicação autônoma, que veicula uma revisão de literatura. Essa revisão não precisa ser necessariamente sistemática, no sentido específico de que ela tem uma metodologia predefinida, pois esses artigos normalmente realizam uma descrição narrativa do campo científico mapeado pelo pesquisador.
Quando a revisão de literatura trata de um objeto suficientemente amplo e realiza um mapeamento especialmente complexo, ela pode representar uma contribuição efetiva para o campo estudado. Esse é o caso, por exemplo, do artigo de Arantes e Arguelhes intitulado Supremo: o estado da arte: pesquisas mapeiam as forças e as fraquezas do STF, do individualismo dos ministros à busca por transparência.
Esse tipo de mapeamento extensivo é um instrumento relevante para que as pessoas tenham uma visão de conjunto. Ele tende a poupar o trabalho de outros pesquisadores, na medida em que funcionam como revisões gerais de literatura, que podem ser citadas e incorporadas por outras pesquisas.
Como tudo na academia, esse tipo de trabalho precisa ser avaliado na sua relação com o ambiente no qual foi produzido. Quando um campo de pesquisa não está amadurecido, é comum que se multipliquem abordagens autônomas, sem o devido diálogo. Quando os conhecimentos estão dispersos, os mapeamentos feitos por review articles podem ser muito relevantes. Porém, em campos nos quais há mapeamentos constantes (veiculados em revisões de literatura publicadas em vários trabalhos), pode não ser relevante um trabalho que se dedique apenas a fazer a revisão de uma literatura que já foi revisada (a não ser se o resultado apresentado for inovador).
Quando há uma sedimentação maior de pesquisas, quando vão se tornando mais claras as metodologias úteis e as enganosas, o tipo de mapeamento exigido não será o de uma revisão de literatura construída narrativamente, mas de uma revisão sistemática com métodos claros. E quando o campo consolida a utilização de certas metodologias, os trabalhos podem se tornar tão acopláveis entre si que permitem a realização de meta-análises que combinem resultados de pesquisas independentes, gerando um conhecimento novo a partir dos dados combinados de investigações realizadas de forma autônoma.
Os artigos de revisão podem ser o núcleo de uma monografia de graduação ou de uma monografia de especialização, mas não é comum que eles sejam aceitos como a produção de um mestrado, visto que eles não têm densidade metodológica.
Inobstante, dentro de uma monografia pensada como uma combinação de dois artigos (como é a sugestão feita neste curso), é possível que o primeiro seja um review article que prepare o terreno para a realização de um artigo de pesquisa acoplado a ele. Porém, essa é uma escolha que deve ser feita com cuidado, já que os review articles são normalmente resultados de estudo e não de pesquisa. Assim, para que essa opção seja devidamente justificada, o mais adequado seria a realização de uma revisão sistemática, com uma metodologia predefinida.
