A discussão foi importante. Encerro apenas esclarecendo os dois pontos citados:
1) A equivalência ou não entre a Prova45 e a Prova31 (sub da 45) ocorreria independente do método de correção (TRI ou Clássica), assim como as provas que nós próprios preparamos não são equivalentes. Preparar outra completamente diferente não resolveria nada. Como profissionais da área de Estatística sabemos que com n=31, ao invés de n=45, teremos basicamente um erro-padrão estimado maior. A distribuição assintótica é a mesma e convergência é bem rápida. Como já dito, os resultados via TRI minimizam a diferença entre instrumentos de avaliação distintos, integral ou parcialmente.
2) Referir-se a "Pesos" pode sugerir um certo desconhecimento do processo de estimação. Cada item tem associados 3 parâmetros (dificuldade, discriminação e acerto casual), e a probabilidade de resposta correta normalmente é modelada por uma equação logística (monótona, crescente, definida na reta), função dos 3 parâmetros e da variável latente (representando o nível cognitivo do examinado: proficiência). Os parâmetros dos itens (estimativas) são obtidos por Máxima Verossimilhança Marginal, supondo-se uma distribuição N(0,1), por exemplo, para a proficiência da população. Essa distribuição, condicionada ao vetor de resposta de um examinado, é usada para obter a estimativa da proficiência do mesmo, calculando-se a média da tal distribuição condicional. Deixo o restante, e há bastante, para uma leitura mais técnica (Andrade, Tavares & Valle, 2000, disponível em
www.ufpa.br/heliton/arquivos/LivroTRI.pdf). Naturalmente há critérios adotados em maximização numérica que podem diferir na eventual implementação, por isso um software padrão tem sido adotado em quase todas as avaliações educacionais do país.
Héliton Tavares
Em 15 de janeiro de 2012 16:21, Luis Paulo Vieira Braga
<lpbraga@im.ufrj.br> escreveu:
Também estou encerrando o meu expediente nesse assunto com algumas nano-observações. Primeiramente foram muito positivas e esclarecedoras as intervenções de vários redistas próximos ao esforço do MEC em implantar o ENEM-SISU. Pelo menos da minha parte nunca houve restrições à TRI, mas sim em relação à sua implementação no processo de acesso ao ensino superior no Brasil. Criticar isso é diferente de negar a TRI. Apesar dos relatos pormenorizados, citando especialistas nacionais e internancionais, livros e eventos, saio desse debate, mantendo-me nos 99% (alusão à música) que não entenderam o seguinte:
1) Como uma prova com 45 questões pode ser equivalente a outra com 14 questões a menos?
2) Por que não se pode divulgar o peso calculado de cada questão em cada prova?
E, last but not least, há uma outra disciplina com forte interseção com a estatística que precisa ser convocada urgentemente – controle de qualidade.
Prof. Luis Paulo
C.P. 2386
20010-974 Rio de Janeiro, RJ
outros e-mails
lpbraga@geologia.ufrj.br
bragaprof@gmail.com
nosso BLOG
http://observatoriodauniversidade.blog.br
BLOG da CPPD
http://cppd-ufrj.blogspot.com/
--
Atenciosamente,
******************************************************************************
Prof. Dr. Héliton Ribeiro Tavares
Faculdade de Estatística
Universidade Federal do Pará
Fone: (91) 3201-8263/8053, Fax (91) 3201-7415, E-mail:
heliton@ufpa.br******************************************************************************