O que é a TRI e no que ela difere com relação à Teoria Clássica de Testes (TCT) e também o que é a escala na qual ela se baseia. Mas como de fato a nota é calculada? Por que não obtenho a mesma nota se acerto a mesma quantidade de questões que outra pessoa?
Para compreendermos melhor a nota na TRI (Teoria de Resposta ao Item), precisamos antes entender como um item (questão) é caracterizado nesse tipo de modelo. Para utilizarmos um item na TRI precisamos analisá-lo a partir de suas respostas, que podem tanto ser prévias como em pré-testes, quanto na própria prova em questão. Nessa análise, construímos a chamada curva característica do item, como no exemplo abaixo.
Fonte: Portal do Ministério da Educação*
Nessa curva, é medida a probabilidade de uma pessoa acertar o item em termos da sua proficiência (conhecimento). Bons itens apresentam uma curva similar à da imagem, que indica que quanto maior é a proficiência da pessoa, maior a chance de acerto da questão. É importante destacar três parâmetros da curva:
Parâmetro de dificuldade – b : mede a abscissa do ponto de inflexão da curva, que na prática determina o quão difícil é o item na escala especificada. Itens com parâmetro b maiores, necessitam de proficiência maiores para que a probabilidade de acerto seja maior e analogamente para valores menores;
Parâmetro de acerto casual (“chute”) – c : mede a probabilidade de acerto de uma pessoa com pouco conhecimento do tema. Ele mostra que mesmo que uma pessoa não tenha praticamente domínio algum do que está sendo avaliado, mesmo assim ela ainda tem uma chance de acertar por uma tentativa ao acaso;
Parâmetro de discriminação – a : mede o quão bom é o item para descriminar as habilidades dos examinados. Se o parâmetro a é grande, a inclinação da reta é elevada e a curva sobe rapidamente até um valor alto de probabilidade de acerto, ou seja, ela difere bem entre a probabilidade de acertar a questão para valores maiores ou menores de proficiência do que b.
A partir dessa análise os itens podem então ser usados para estimar a proficiência de uma pessoa que fez a prova. Mas então, como a nota é efetivamente obtida? Para isso é usado certo algoritmo que analisa o padrão de respostasdo examinado em cada item previamente adequado à escala. Nesse algoritmo é analisada a coerência pedagógicado padrão de respostas e não apenas a quantidade de acertos e erros. Vejamos um exemplo:
Fonte: Portal do Ministério da Educação*
Suponhamos uma prova de apenas 10 questões. O Participante A acerta a maioria dos itens fáceis e erra os difíceis. Já o Participante B apresenta um perfil contrário, erra os mais fáceis e acerta os mais difíceis. Percebemos que a nota do participante A é maior que a do B o que contraria a ideia inicial de muitas pessoas sobre a TRI. Isso acontece, pois o perfil de respostas de A é mais coerente: acertar as questões mais fáceis e errar as mais difíceis é mais lógico do que o oposto, ou seja, é como se a TRI “soubesse que houve chutes”. O algoritmo estima então uma habilidade a partir de todas as respostas em conjunto e não individualmente com pesos em cada item como é imaginado por muitos.
Vale ressaltar ainda que mesmo que a nota do participante B tenha sido mais baixa por possíveis chutes, nunca é conveniente deixar de responder uma questão na prova devido a dúvidas, pois um acerto sempre vale mais do que uma resposta em branco, que é considerada um erro.
Nenhum comentário:
Postar um comentário