Caros redistas,
Boa noite. Li diversos e-mails que circularam em nossa rede sobre a TRI, ENEM, política etc... Relutei muito em me manifestar (por diversos motivos que não cabem aqui) mas, decidi fazê-lo. Prometo ser breve e gostaria de ater-me APENAS a TRI e a Teoria Clássica de Medidas (TCM). Prefiro não me manifestar sobre o ENEM. Há questões políticas e pessoais, certamente, envolvidas nesse debate (refiro-me à utilização do ENEM como vestibular). Fica difícil distinguir (talvez seja limitação minha) entre o que é de cunho político do que é de cunho científico.
Gostaria de registrar que estou manifestando minha opnião e que, não necessariamente, a mesma vai ao encontro da opnião da instituição INEP e/ou de outros pesquisadores.1 - Não há problemas, em princípio, em se unir notas oriundas da TRI e TCM se o objetivo for classificar, dado que existe concordância entre as duas teorias (do ponto de vista classificatório), em muitos casos. Prefiro dizer, sem querer parecer presunçoso, que ou elas concordam ou a TRI é melhor. Entretanto, particularmente, julgo ser melhor ter notas oriundas somente via TRI. Inclusive há sugestões na literatura de como analisar redações via TRI. Certamente, a logística envolvida seria de uma dimensão maior.
2 - Para mim é bastante lógico julgar que dois indivíduos que acertaram a mesma quantidade de questões, sendo que um acertou as mais difícieis e o outros as mais fáceis, tenham notas diferentes. O lógico é pensar que o primeiro acertou muito (ou tudo) escolhendo de modo aleatório e o outro respondeu consoante seu conhecimento. Ou seja, a nota do segundo tem de ser maior do que o primeiro. Isto a TCM não faz.3 - Até onde sei, numa prova de 40 questões corrigida via TCM, as notas variam de 0 a 40. Ou seja, 0 é a nota mínima. Porque não haveria de existir uma nota mínima dentro do contexto da TRI?4 - Sem sombre de dúvida, a inserção de indivíduos nas Universidades é de suma importância nas vidas deles como também de seus familiares (e da sociedade como um todo). Contudo, creio que a saúde de todos nós, também o é. Particularmente, desconheço as nuâncias da grande maioria dos exames médicos que fiz ao longo da minha vida. Certamente, não saberia explicar como os resultados, de muitos deles, foram obtidos. Isso não invalida os diagnósticos que recebi (ainda estou vivo) tampouco descredencia a utilização de tais ferramentas.Sem querer ser repetitivo, respeito a opnião de todos os colegas, não me julgo dono da verdade, tampouco um especialista na TRI.Lembro-me de ter ouvido um "colega" chamar a TRI de bruxaria. Certamente, ele tinha muito conhecimento acerca da TRI para fazer uma crítica tão bem elaborada e construtiva.Abraços a todos,Caio
De: Luis Paulo Vieira Braga <lpbraga@im.ufrj.br>
Para: Luiz Sergio Vaz <luizvaz@sarah.br>; "abe-l@ime.usp.br" <abe-l@ime.usp.br>
Enviadas: Quinta-feira, 12 de Janeiro de 2012 18:41
Assunto: Re: [ABE-L]: Sobre o ENEM ou sobre nós ?
Céus! É muito pior do que eu pensava!On Thu, 12 Jan 2012 18:16:07 -0200, Luiz Sergio Vaz wrote
> Boa tarde.
>
> Sem qualquer “intenção política”, mas apenas a de contribuir com elementos para o debate, segue o entendimento de um dos profissionais da imprensa sobre o ENEM e sobre o entendimento dele a respeito das explicações teóricas (fonte: blog do Reinaldo Azevedo).
>
> Podemos ver o email com enfoque no ENEM ou na forma como somos percebidos por quem não é da área.
>
> Luiz
>
>
> ----
>Mais sobre a caixa-preta do Enem: quem entrega gabarito em branco recebe, no mínimo, a nota média de cada área. Por quê? Perguntem a Haddad!
>
> O Enem é uma caixa-preta. O aluno jamais saberá por que tirou a pontuação X, Y ou Z. Sim, claro, claro, há teorias que justificam e explicam os critérios adotados, todas elas arcanas, inacessíveis aos candidatos.
> Um professor, leitor deste blog, decidiu fazer a prova para, segundo diz, ter experiência prática no assunto e poder orientar com propriedade os seus alunos. Ele entregou dois gabaritos em branco. Mesmo assim, recebeu pontuação. Reproduzo o comentário dele, com a resposta que lhe foi enviada pelo Inep(to). Leiam. Volto em seguida.
> Prezado Reinaldo Azevedo,
> Escrevi uma carta para o MEC pedindo algumas explicações sobre um fato curioso na minha nota do Enem, como vocês podem observar. O texto enviado ao Inep pode ser lido abaixo:
> “Bom dia! Gostaria de obter um esclarecimento. Sou professor e fiz o Enem 2011 para conhecer melhor a prova e, dessa maneira, poder orientar os meus alunos. Compareci somente no segundo dia e resolvi as provas, mas não passei nenhuma alternativa para o gabarito oficial. Como vocês explicam o fato de eu ter obtido as notas abaixo mesmo sem ter marcado nenhum item no gabarito oficial?
> Número de inscrição no Enem 2011 - 11103751XXXX
> Número do CPF - 598.301.XXX-XX
> Segundo dia - Linguagens, Códigos e suas Tecnologias: 304.2 Presente
> Segundo dia - Matemática e suas Tecnologias 321.6 Presente
> Fico aguardando o contato de vocês.
> Alguém do Enem me respondeu da seguinte forma:
> Prezado(a) Sr(a) Wagner Rodrigues Machado,
> O protocolo de n° 7097XXX, foi finalizado em 5/1/2012, às 11:16 pela área responsável.
> “É comum buscarmos uma correspondência entre a quantidade de acertos (Teoria Clássica) e a proficiência pela Teoria de Resposta ao Item (TRI). Contudo, apesar de haver uma correlação alta entre as duas teorias, essa correspondência não é exata. Na Teoria de Resposta ao Item (TRI), o cálculo da proficiência leva em consideração uma totalidade maior de informações extraídas a partir das respostas dos participantes da avaliação: nível de dificuldade do item, a qualidade do item e, sobretudo, a coerência entre o conjunto de itens que o participante acertou. Outra confusão frequente refere-se a comparar o número de acertos de uma área do conhecimento com o número de acertos em outra área. Ter acertado 40 itens em uma área não significa ter uma proficiência maior do que em outra área cujo número de acertos foi 35. Por serem áreas do conhecimento distintas, não é possível fazer uma relação direta entre as escalas. Além disso, o número de itens por nível de dificuldade faz a diferença, assim como as demais características psicométricas dos itens.
> O Enem não é pontuado de 0 a 1000 e sim da nota mínima e a nota máxima. O participante que comparecer ao local de prova e assinar as listas necessárias já terá a média mínima. Lembramos que nenhum participante, comparecendo ao local de prova e seguindo as instruções necessárias, terá a nota menor que a média de cada área”.
> Bom, recebi a explicação! No entanto, confesso que não entendi nada. Como uma pessoa que não marca nada no gabarito pode ficar com a nota mínima? Estranho, não é mesmo?
> Isso está correto?
> Voltei
> Bem, leitores, em primeiríssimo lugar, vocês perceberam que parte da resposta não tem rigorosamente nada a ver com a indagação feita pelo missivista. Trata-se de explicar a suposta superioridade da chamada Teoria da Resposta ao Item (TRI) no cotejo com a “Teoria Clássica”, que aufere a quantidade de acertos. Entrar nesse mérito seria cair num debate sem fim. Escolho, se for o caso, a “Teoria Clássica”. Ela permite ao candidato conhecer os motivos de sua nota. Segundo o TRI, um candidato que tenha acertado um número menor de questões pode ter uma pontuação superior à daquele que acertou mais. Para que houvesse transparência, seria necessário divulgar o peso que teve cada item, as relações estabelecidas entre elas etc. Entendo que é um direito dos candidatos conhecer os critérios pelos quais estão sendo avaliados.
> O TRI, na forma aplicada pelo Inep(to), se transformou numa licença para a discricionariedade. O mesmo se diga das redações, cuja correção, já vimos, parece ser um exemplo de falta de rigor e de critério. Tanto pior quando se constata que os temas e os textos de referência escolhidos pelo Inep(to) valem por um verdadeiro filtro ideológico. O aluno é convocado a dissertar sobre uma tese, não sobre um tema.
> Conversei com alguns especialistas em matemática, estatística em particular. É aceitável, dado o TRI, que todo participante tenha, ao menos, a nota média de cada área como nota mínima, mas é absolutamente inexplicável que alunos que tenham entregado o gabarito em branco recebam essa nota mínima. Isso nada tem a ver com a Teoria de Resposta ao Item. É apenas uma jabuticaba brasileira. A questão diz respeito apenas ao processamento de dados e nada tem a ver com qualquer teoria matemática.
> Em resumo
> Fernando Haddad criou o maior vestibular do Brasil sob o pretexto de acabar com os vestibulares. Não conseguiu, até agora, garantir nem mesmo o sigilo da prova. Ao contrário até: ele já deu a entender que o considera impossível. O acesso de milhares de alunos a uma vaga na universidade pública — dada a forma como se elaboram e como se corrigem os exames — passa por critérios que, ultrapassadas as barreiras ideológicas, são insondáveis.
> O silêncio das boas escolas particulares — refiro-me a elas porque não serão as públicas a protestar — chega a ser criminoso.
> Uma rosa é uma rosa é uma rosa.
> Um gabarito em branco é um gabarito em branco é um gabarito em branco.
Prof. Luis Paulo
C.P. 2386
20010-974 Rio de Janeiro, RJ
outros e-mails
lpbraga@gbl.com.br
bragaprof@gmail.com
nosso BLOG
http://observatoriodauniversidade.blog.br
BLOG da CPPD
http://cppd-ufrj.blogspot.com/
"Aqui ninguém mais, senão tu, podia entrar, porque só para ti era feita esta porta.”
– Diante da Lei. –
“a única lei, visível e isenta de dúvida, que nos foi imposta, é a nobreza,
e desta lei haveríamos de nos privar a nós mesmos?”
– Sobre a questão das Leis –
Franz Kafka