Indicadores de avaliação de programas de pós-graduação no Brasil: uma análise multivariada na área de Matemática

Abstract

The objective of this research is to analyze the quantitative indicators used by CAPES on performance evaluation of graduate programs in mathematics in Brazil, for the 2007-2009 triennium, verifying the coherence between them and the concepts assigned to each the program. More precisely, this research aims to view the differences in the performance of the Graduate Programs and identify those indicators most discerning of concepts, identify and highlight the groupings of the Graduate Programs in Mathematics, generated by Cluster analysis, considering the set of indicators present in Spreadsheet of Comparative Triennial Assessment of the area of Mathematics and finally compare groups of graduate programs according to the grade obtained by CAPES, with the result of the grouping obtained by Cluster analysis in order to see the participation and sufficiency of the indicators in the assignment of final concepts of graduate programs. For the univariate analysis, from the set of indicators of the Spreadsheet, we constructed contingency tables and box plots in order to observe the relevance and impact of the different indicators used by CAPES in the attributed concepts to the programs. For the set of the 26 graduate programs Mathematics, in the triennium 2007-2009, were assessed its main indicators, namely the early decade of Masters and PhD courses, number of permanent faculty, total of theses and dissertations defended and average items by permanent faculty, according to the Qualis stratification. It was observed, in a general way, a trend of association between all analyzed indicators and the concept obtained by each program. Regarding the multivariate analysis, in all Cluster analyzes performed with the programs concept 3, they always clumped into one group, while the remainder was separating the extent that most indicators were entered in the analysis. Still, indicators: total full papers published in technical and scientific events and books and chapters of books published, have a negligible or no presence in all groups. It is also observed that the more indicators are included in the analysis, the result gets more refined and close to the concept attributed by CAPES.

O objetivo desta pesquisa é analisar os indicadores quantitativos utilizados pela CAPES na avaliação do desempenho dos programas de pós-graduação na área de Matemática, no Brasil, referentes ao triênio 2007-2009, verificando a coerência entre eles e os conceitos atribuídos a cada programa. Mais precisamente, objetiva visualizar as diferenças de desempenho dos programas e identificar aqueles indicadores mais discernentes dos conceitos; identificar e evidenciar os agrupamentos dos programas de pós-graduação em Matemática, gerados pela Análise de cluster, considerando o conjunto de indicadores, presentes na Planilha Comparativa da Avaliação Trienal da área de Matemática; e comparar os grupos de programas de pós-graduação, segundo a nota obtida pela avaliação da CAPES, com o resultado do agrupamento obtido por meio da Análise de cluster, a fim de visualizar a participação e suficiência dos indicadores na atribuição final dos conceitos dos programas de pós-graduação. Para a análise univariada, a partir do conjunto de indicadores da Planilha, construíram-se tabelas de contingência e diagramas de caixa, a fim de se observar a relevância e o impacto dos diferentes indicadores utilizados pela CAPES no conceito atribuído aos programas. Para o conjunto dos 26 programas de pós-graduação da área de Matemática, no triênio 2007-2009, foram avaliados os indicadores: década de início dos cursos de Mestrado e Doutorado, número de docentes permanentes, total de teses e dissertações defendidas e média de artigos por docente permanente, segundo a estratificação Qualis. Observou-se, de modo geral, uma tendência de associação entre todos os indicadores analisados e o conceito obtido. Em relação à análise multivariada, em todas as Análises de cluster realizadas, os programas com conceito 3 aglutinaram-se sempre em um único grupo, enquanto o restante foi se separando a medida em que foram inseridos mais indicadores na análise. Os indicadores: total de trabalhos completos publicados em anais de eventos técnico-científicos e livros e capítulos de livros publicados, têm uma presença pouco significativa ou nula em todos os grupos analisados. Observa-se também que, quanto mais indicadores são incluídos na análise, mais refinado e próximo do conceito atribuído pela CAPES é o resultado.