Professores Como Avaliadores=Sucesso
Recebemos ligações de escolas de todo o país todos os dias. Mas essa foi diferente.
"O que você fez com a Marie-Pierre?" perguntou o diretor. "Ela é uma professora totalmente diferente. A sala de aula dela está tão viva e o programa dela está crescendo. O que quer que você esteja fazendo está funcionando."
A princípio, a pergunta confundiu Maury Ennis, que gerencia nossos avaliadores como Marie-Pierre. Eles não haviam feito nada de especial com Marie-Pierre, apenas a colocaram no programa de conexão de avaliadores para que ela pudesse avaliar com precisão as respostas de fala e escrita do STAMP 4S. E certamente não haviam dito a ela como ensinar francês.
Por outro lado, a essência do ensino baseado em padrões é um conjunto de resultados comumente entendidos. A avaliação de milhares de respostas de fala e escrita de estudantes proporcionou a Marie-Pierre uma compreensão profunda e concreta do que realmente significa proficiência. Por anos ela leu as palavras no papel - "situações familiares" "geralmente compreensível" "discurso conectado" - mas não foi até ela se sentar para avaliar todas aquelas respostas em francês que os conceitos abstratos ganharam vida. Avaliar essas respostas de estudantes diversos a forçou a se alinhar com outros ao redor do país.
A Confiabilidade das Avaliações de Proficiência é a Nossa Missão
"Nossa missão e nosso negócio dependem de fornecer avaliações de proficiência confiáveis para cada aluno. Todos os nossos avaliadores precisam estar na mesma página", diz nosso fundador David Bong.
"Nós avaliamos cerca de 500.000 respostas por ano", diz Maury. "Meu trabalho é garantir que todas sejam corrigidas rapidamente e com precisão."
Com estudantes e avaliadores espalhados por todo o mundo, ela tem um trabalho difícil. Para torná-lo possível, nossos engenheiros de software se uniram a Maury para construir o Rater Connection, que foi baseado em um protótipo do Centro de Estudos de Segunda Língua Aplicada da Universidade de Oregon (CASLS). Rater Connection é um sistema online para treinamento, certificação e monitoramento de avaliadores que pontuam essas meio milhão de respostas por ano.
Vamos dar uma olhada por trás das cortinas para ver como Maury e sua equipe realizam essa façanha monumental. O sistema consiste em quatro componentes chave: aprendizado, prática, certificação e monitoramento.
Os Quatro Elementos de Avaliação de Proficiência em Idioma
Aprendizado: Tornando critérios específicos
Maury começa orientando os novos avaliadores sobre os critérios do STAMP 4S, que são derivados dos padrões nacionais de proficiência dos EUA. Assim como o treinamento OPI (Oral Proficiency Interview) fornece aos avaliadores técnicas e critérios não diretamente declarados nos padrões, a Avant fornece aos avaliadores critérios específicos para tornar os padrões abstratos mais concretos. Por exemplo, os padrões para Intermediário-Alto afirmam que os alunos devem produzir "frases conectadas em parágrafos usando um número limitado de dispositivos coesivos". Isso pode significar muitas coisas para muitas pessoas, então Maury apresenta aos avaliadores uma regra prática que é mais fácil de interpretar de forma consistente: Uma resposta deve conter orações subordinadas. Isso distingue entre frases como "Meu amigo e eu fomos à loja. Compramos sorvete. Comemos no caminho de casa." (Sem orações subordinadas. Não atende ao critério de "frases conectadas".), e "Meu amigo e eu comemos o sorvete que compramos na loja." (Inclui uma oração subordinada. Atende parte do critério de "frases conectadas".)
Praticando: Aplicando os critérios às respostas dos alunos
Uma vez que os avaliadores entendem os critérios, eles começam a aplicar esse conhecimento em itens de prática. Cada vez que avaliam uma resposta, recebem um feedback imediato sobre se pontuaram corretamente e uma explicação da avaliação correta. Repetindo esse processo através de centenas de respostas, os avaliadores internalizam os critérios. A excelência se torna um hábito.
Certificando: Garantindo a qualidade dos avaliadores
Quando estiverem prontos, novos avaliadores podem fazer um teste de certificação. Se eles avaliarem corretamente pelo menos 90% das respostas dos alunos, tornam-se avaliadores certificados pela Avant. Se não conseguirem atingir o nível de 90%, podem voltar, praticar mais e fazer o teste de certificação novamente.
Monitoramento: Mantendo a excelência
Mesmo após serem certificados, os avaliadores da Avant precisam continuar provando que são consistentes e confiáveis. O Rater Connection insere um item âncora — acordado pelos avaliadores mestres — em cada lote de 25 respostas reais. Isso mostra a Maury como diferentes avaliadores pontuam esse item âncora e garante que eles permaneçam fiéis ao padrão ao longo do tempo. Além disso, um em cada cinco itens é escolhido aleatoriamente para dupla avaliação. Se os dois primeiros avaliadores discordarem, o item vai para um terceiro avaliador, com os avaliadores mestres revisando cuidadosamente todas as decisões de desempate.
Fornecer avaliações precisas baseadas em proficiência para aprendizes de idiomas a um custo razoável é uma de nossas contribuições para o campo. Mas o maior valor deste sistema é que ele pode ser usado para melhorar o ensino e a aprendizagem. Isso é o que aconteceu com Marie-Pierre.
"Claro, ficamos emocionados ao ouvir isso", diz Maury. "Mas foi uma consequência não intencional. Afinal, somos uma empresa de avaliação e uma empresa de desenvolvimento profissional."
No próximo post do blog, aprenda como fizemos a transição do Rater Connection para ADVANCE, uma ferramenta que escolas, distritos e universidades usam para ajudar seus professores a transformar seu ensino como Marie-Pierre.
