|
Bom dia! É normal que uma comunidade científica se preocupe, mais que as
outras, quando se trata de um assunto da competência dela. Quer coisa mais
discutida que o Novo Acordo Ortográfico ? Escrevemos alguma linha sobre isso ?
Não. Só os lexicólogos e gramáticos. Portanto, como novatos nessa área, devemos
aprender criticar e sermos criticados, sem levar a questão para o pessoal ou
com “conotação política”. A defesa da TRI foi muito boa e já baixei o pdf postado pelo
professor Heliton. Agradeço também aos que se dispuseram a escrever sobre o
assunto. Mas as dissonâncias do MEC não nos acalmam. Já são 129 notas de
redação alteradas; e não 2 com diz o MEC. Se a redação faz parte da nota final
(50% x 50%), os esforços da TRI ficam comprometidos e os estatísticos são
criticados sem terem culpa no cartório. E aí como é que fica ? Luiz Obs. Vocês não fazem ideia como tem mãe que me pergunta sobre o
ENEM. E nem sempre a coisa está na TRI. De: Heliton Tavares
[mailto:heliton@globo.com] Prezados, Por não me considerar um completo leigo no assunto,
arrisco-me a pronunciar umas poucas palavras sobre a Teoria da Resposta ao Item
(TRI). Tenho certeza de que poderão vir muitas outras contribuições para
esta lista de discussão. 1. 1) A TRI realmente ganhou enorme
visibilidade com sua utilização no Enem, talvez sendo a área da Estatística em
maior evidência no momento. Ataques sucessivos seriam esperados de outras
áreas, mas tem ocorrido justamente o contrário. A área Pedagógica tem sido uma
atuante defensora, mesmo com menor possibilidade de compreensão da Teoria
Estatística que fundamenta a mesma. No entanto, a TRI não é trivial,
assim como muitas outras técnicas Estatísticas, mas não é porque não entendemos
uma metodologia que devemos achar que ela não merece créditos. Se fosse assim,
creio que boa parte da Estatística seria condenada. E mais, confesso que
pouco sei como são obtidos os resultados de muitos dos exames do nosso
cotidiano (médicos, laboratoriais etc.), mas mesmo assim busco realizar o
melhor deles. 2. 2) A TRI tem sido considerada, há bastante
tempo, uma técnica com propriedade estatística de qualidade superior à Teoria
Clássica, que tem como base a medida definida pelo percentual de acerto, ou
soma ponderada das respostas aos itens. Ela tem como objetivo modelar a
probabilidade de resposta correta (no caso certo/errado) como função da proficiência
(habilidade, conhecimento na área avaliada) e um conjunto de características
dos itens (parâmetros), que, ao serem estimados conjuntamente, permitem que
inferências e interpretações pedagógicas sem igual em outras metodologias, tal
como identificando níveis da escala de proficiência onde um conhecimento se
consolida, além de itens onde mais de uma habilidade se manifesta. É muito
interessante ver como isso realmente funciona. 3. 3) As avaliações educacionais padeciam
de uma forte limitação, a de falta de comparabilidade ao longo do tempo. Para
exemplificar um caso trivial, se a proporção média de acertos em uma Prova1 em
um ano for de 0.50, e no ano seguinte em uma Prova2 for 0.60, não se pode
afirmar que aquela população melhorou em termos educacionais, pois a Prova2
pode ser mais fácil que a primeira (Infelizmente a prática nos diz que não
conseguimos produzir provas paralelas, ou seja, com o mesmo nível de
dificuldade). Essa falta de Comparabilidade foi resolvida com a utilização da
TRI, através da Estatística. Seus resultados comparáveis permitem que
sejam realizados Estudos de Fatores Associados ao desempenho (Análise
Multinível), identificando variáveis que realmente interferem no
ensino-aprendizagem, e sua evolução ao longo do tempo. Esses resultados
realmente têm sido usados para definição de políticas educacionais. 4. 4) Hoje grande parte dos Estados, além de
alguns municípios, têm avaliações próprias. No entanto, elas têm seus
resultados comparáveis, como uma verdadeira fita métrica, em que um aluno
submetido a um exame pode ter sua nota diretamente comparada à nota de outro
aluno submetido à outra avaliação completamente distinta. A escala nacional tem
disso adotada em todas. Isso naturalmente é possível desde que ambas tenham
alguns itens devidamente calibrados (parâmetros bem estimados e conhecidos) em
uma mesma escala, mesmo que sejam conjuntos diferentes de itens. Creio
que este também seja o futuro de avaliações tipo o Enem, dependendo de um
grande Banco de Itens, em que cada Instituição poderá ter sua própria prova em
papel, ou realizada via computador. 5. 5) O processo de estimação dos parâmetros
dos itens e/ou proficiências individuais normalmente faz uso de técnicas
ou métodos que desejamos ver nossos alunos entendendo e aplicando, dentre as
quais me arrisco a citar algumas: Máxima Verossimilhança, Máxima
Verossimilhança Marginal, Teorema da Convergência Dominada de Lebesgue,
Algoritmo EM, MCMC, Newton Raphson, Scoring de Fisher, Teoria Assintótica,
Função de Informação de Fisher, Análise Fatorial de Informação Plena,
Inferência Bayesiana, Blocos Incompletos Balanceados, Amostragem Complexa
(Poisson, UPA, USA etc.), Ajustamento e Comparação de Modelos (AIC, BIC etc.),
Testes Paramétricos e Não Paramétricos, dentre muitos outros. Ainda temos
possibilidades de novos modelos para itens, destacando-se os Assimétricos e de
Desdobramento, combinados Modelos TRI com abordagem Longitudinal, Multivariados
e Multidimensionais, além de Curvas de Crescimento. É claro que tudo isso
torna o processo bem mais complexo do que entender um simples percentual de
acertos, mas fica muito mais útil e rico estatisticamente. 6. 6) É fato que em várias outras situações
um novo conceito ou produto foi introduzido na nossa vida, e sua compreensão
pela sociedade ou comunidade acadêmica caminhou lentamente. Neste caso, a TRI
abriu oportunidades inclusive para nossos alunos, e eu próprio já consegui
colocação para diversos, e com rendimentos razoáveis. Acho que a
Comunidade Estatística ganhou e continuará ganhando com isso, e nenhum outro
profissional está tão capacitado para assumir essa dianteira, particularmente
dentro das nossas próprias instituições acadêmicas, ajudando-as a tomar
decisões coerentes, com estudos estatísticos que as suportem. 7. 7) Acho que cada Especialistas em
TRI deve fazer sua parte, incentivando os demais colegas da área, a produzir
materiais didáticos o suficiente a ponto de dirimir boa parte das dúvidas hoje
presentes. Espero que no próximo Congresso Brasileiro de Teoria da
Resposta ao Item, a ser realizado em Belém-PA, em 2013, já tenhamos vencido
esta importante etapa de consolidação, particularmente na própria comunidade
Estatística. Espero ter contribuído um bit para a discussão, e
felizmente dessa vez eu não cheguei a um byte. Abraços
Acadêmicos, Héliton
Tavares Em 13 de janeiro de 2012 20:31, Dalton Francisco de Andrade
<dandrade@inf.ufsc.br>
escreveu: Prezados redistas,
-- |