Relações entre o construto e as características do teste escrito do EPPLE eletrônico: um processo de validação

Abstract

This thesis presents an investigation about the proficiency assessment of foreign language teachers that happens by means of proficiency tests. Our goal is to describe and improve the written test of EPPLE (Proficiency Examination for Foreign Language Teachers), by verifying aspects that involve its internal validity, including, for instance, the construct validity and the content validity. According to Fulcher and Davidson (2007), the construct validity is the basis of evidence for the interpretation or the use of a test. The content validity, on the other hand, represents the group of tasks of which a given test should be a sample. To fulfill our goal, we present a detailed survey about the proficiency assessment theory that underpins the construct for the EPPLE examination, based on its tasks and goals. In addition to the considerations about the exam as a whole, we also present, as a focus, the tasks of the written test in order to contribute with investigations about its content validity. We look into aspects such as the test method, the tasks, the reliability and the validity that are involved in the implementation and improvement of an assessment instrument. Thus, by means of a theoretical discussion associated with the task analyses of the written test, the data collected in the application of EPPLE in 2012 and data from a research questionnaire, we present criticisms and suggestions that may contribute with the improvement of EPPLE. We indicate that there are many open questions, more indicated to test written production, in the section in which the assessment goal is reading skills. As for suggestions, for instance, we recommend that the EPPLE should better reflect its purpose of an exam for specific purposes, that is, the assessment of language that is representative of FL teachers' linguistic domain

O presente trabalho trata da avaliação de proficiência linguística de professores de língua estrangeira (LE) realizada por meio de testes de proficiência. Objetivamos descrever e aprimorar o teste escrito do EPPLE (Exame de Proficiência para Professores de Língua Estrangeira), por meio da verificação de aspectos que englobam a validade interna do instrumento, incluindo, por exemplo, a validade de construto e a validade de conteúdo. De acordo com Fulcher e Davidson (2007), a validade de construto é a base de evidências para a interpretação ou uso de um teste, enquanto que a validade de conteúdo representa o conjunto maior de tarefas das quais o teste deve ser uma amostra. Sendo assim, apresentamos um levantamento detalhado sobre a teoria em avaliação de proficiência linguística que abrange o construto do EPPLE, com base em suas tarefas e objetivos. Além de considerações a respeito do exame como um todo, apresentamos como foco a análise das tarefas do teste escrito para a verificação da validade de conteúdo. Buscamos, por meio de uma discussão crítico-descritiva, averiguar aspectos como o método do teste, as tarefas, a confiabilidade, a praticidade e a validade que permeiam a implementação e o aprimoramento de um instrumento de avaliação. Por meio de uma discussão teórica associada à análise das tarefas do teste escrito, dos dados de uma aplicação realizada no ano de 2012 e de um questionário de pesquisa, apresentamos críticas e sugestões que possam contribuir para a validação do teste escrito do EPPLE. No âmbito das críticas, destaca-se, por exemplo, a utilização de um grande número de questões dissertativas, mais apropriadas para avaliação de produção escrita, na seção em que o foco de avaliação é a compreensão textual. Quanto às sugestões, salientamos a importância de uma maior caracterização do EPPLE como um exame para fins específicos, no que tange aspectos de proficiência...