ajuda com modelagem estatística de aprovados em concursos públicos

gostaria de saber se alguém conhece algum estudo de estatística aplicado a concursos públicos. Estou particularmente interessado no efeito das regras de eliminação por mínimo em cada uma das várias disciplinas do concurso.

Gostaria de saber o impacto que existe quando a prova é difícil e os aprovados ficam "raspando" a nota de corte individual naquela disciplina.

Abaixo, em um texto um pouco mais longo, detalho bem o que eu gostaria de saber e o porquê disto.

Antes de mais nada, devo dizer que sou apenas um engenheiro com noções de estatística (formei-me no ITA em 1990 em eng. eletrônica), então provavelmente cometerei alguns erros no que vou escrever, mas que espero que não afetem o entendimento geral do problema:

Em um concurso público recente, onde havia uma regra de nota mínima global de 60% e de 50% para cada disciplina, notei que dos primeiros 268 colocados no concurso (esses foram os que obtiveram pelo menos 60% no geral), apenas 37 foram aprovados (obtiveram pelo menos 50% em cada disciplina), ou seja de 268 aproveitaram-se 14%. Achei este dado significativo, uma vez que a regra dos 50% deveria, no meu modo de entender, ser uma regra excepcional, para eliminar algum gaiato que não dominasse bem alguma das disciplinas, como português, estatística, etc.

Tentei fazer um modelo matemático que representasse a probabilidade de um candidato ser aprovado. Suponha que um candidato tenha 70% de chance de acertar cada questão, suponha que são 20 questões e o mínimo é de 10 acertos para ele passar. A probabilidade dele ter até 9 acertos e ser eliminado é de 1,7% (utilizei uma distribuição binomial, no Excel DISTRBINOM(9;20;0,7;1) = 1,7%) . A probabilidade então dele não ser eliminado, sabendo 70% da matéria é de 1-1,7% = 98,3%. Se fossem 10 matérias de 20 questões, para ele passar, a probabilidade seria de 98,3% ^10 = 84,1%. Vemos aqui, que alguém que saiba 70% da matéria já corre 1 – 84,1% = 16% de probabilidade de ser eliminado POR AZAR, pela regra dos 50%.

Aqui está uma das minhas primeiras dúvidas: se posso realmente modelar a probabilidade de alguém acertar uma questão desta forma.

Bem, fazendo as contas com as notas do primeiro colocado no concurso (um candidato que é engenheiro formado pelo IME [Exército] e que estudava 15 horas por dia nos últimos 6 meses), tomando os acertos dele na prova como a probabilidade dele acertar uma questão qualquer daquela disciplina, concluí, através de uma distribuição binomial, que as chances dele ser reprovado no concurso seriam de 28% (o que eu entendo como um absurdo dado o nível dele e a quantidade de estudo).

Procuro então um estudo que possa definir se tais métodos de avaliação são ou não justos, ou melhor, se existem uma influência grande do acaso na lista dos aprovados.

abaixo uma tabela com os dados do referido concurso com as notas do primeiro colocado e as contas que eu fiz caso alguém tenha interesse:

(disciplina; número de questões; quantidades de acertos que causariam reprovação (menos de 50%); acertos (em questões) do primeiro colocado; percentual de acerto; probabilidade dele ser reprovado = DISTRBINOM(reprov;quest;perc;1); probabilidade dele ser aprovado = 1 – prob rep)

DISCIPLINA___	quest	reprov	acertos	_%_	prob rep	prob aprov
Portugues____	====18	====08	====15	83%	===000%	=====100%
Mat&Estat___	====18	====08	====14	78%	===000%	=====100%
Economia_____	====16	====07	====11	69%	===003%	=====097%
Administracao	====26	====12	====20	77%	===000%	=====100%
Direitos_____	====22	====10	====13	59%	===014%	=====086%
DireitoCom___	====20	====09	====12	60%	===013%	=====087%
DireitoTrib__	====20	====09	====18	90%	===000%	=====100%
LegisTrib____	====40	====19	====38	95%	===000%	=====100%
Contab_______	====20	====09	====15	75%	===000%	=====100%

					total	=====072%

Refazendo as contas, de forma análoga, com a média dos 100 melhores colocados, a probabilidade de reprovação de alguém seria de 71%.

Eu achei estes resultados assustadores, uma vez que, como já havia dito, a regra dos 50% deveria ser para eliminar as exceções, mas parece ter virado regra de classificação.

Desde a constituição de 1988, o acesso aos cargos públicos é feito por concursos. O governante sofre inúmeras pressões por nunca haver recursos (financeiros e por conseqüência de pessoal) para fornecer os serviços que se espera do Estado. Cabe a ele, decidir a medida em que os recursos serão alocados para cada setor.

Parece que encontraram um fórmula de marketing para resolver este problema. Digamos que exista a necessidade de 1.000 professores. O governante só pretende contratar 150 professores, mas sabe que ao fazer isso será duramente criticado. O governante abre então um concurso para 300 professores e faz com que sejam aprovados apenas 150 candidatos. Desta forma ele estará livre das pressões, uma vez que ele "tentou" contratar 300 professores, mas só havia 150 capacitados. Ninguém pode mais criticá-lo!

É uma solução de marketing, não há nada de ilegal em contratar apenas 150. Poderíamos ter 2.000 habilitados no concurso, ordenados de acordo com as notas e ele contratar apenas 150, no entanto sofreria pressão para contratar mais.

Voltando ao problema inicial, o que eu realmente gostaria de saber é se ao "forçar a barra" fazendo uma prova difícil, SEM NORMALIZAÇÃO DAS NOTAS, com várias disciplinas, com eliminação por 50% POR DISCIPLINA, se não haveria uma grande influência do acaso nos aprovados. Explicando melhor: se muitos dos eliminados ou dos aprovados acabaram sendo por "acaso", isto não é o melhor para a administração pública.

O que parece é que a banca, ao utilizar a fórmula de fazer uma prova muito difícil, e depois ir anulando algumas questões para elevar a média até atingir o número de aprovados "encomendado" acaba por fazer um "sorteio" entre os candidatos que estão no limiar de não serem mais reprovados.