FRASE
"É um estudo pioneiro no Brasil que leva em consideração não só o valor acadêmico, mas o valor atribuído pelo mercado de trabalho às instituições de ensino"
MAURO PAULINO
diretor-geral do Datafolha
ANÁLISE
Só conhecemos aquilo que podemos medir
HÉLIO SCHWARTSMANCOLUNISTA DA FOLHA
Por que criar um ranking universitário? À primeira vista, é uma atitude temerária. É procurar sarna para se coçar, num português claro.
Para começar, as universidades brasileiras, construídas à sombra do sindicalismo de resultados, têm sólido histórico de resistência a avaliações e costumam reagir com veemência a quem se propõe a escrutiná-las.
Ademais, publicar uma lista de classificação significa contentar à meia dúzia dos mais bem colocados e enfurecer, no nosso caso, mais de 200 instituições -um desastre de relações públicas.
Para tornar tudo mais difícil, muitas das críticas feitas a rankings não se limitam a choro de despeitados, merecendo séria consideração.
O exercício de transformar um campus universitário, com todos os seus pesquisadores, professores, alunos e técnicos e suas múltiplas interações, num único indicador numérico implica uma simplificação brutal da realidade, o que gera distorções. Para cada critério incluído no ranking, outros, igualmente defensáveis, deixam de entrar. O RUF não traz nenhum indicador de infraestrutura, para citar um único caso.
Mais do que isso, a escolha de um item tem impacto sobre outros. Num exemplo concreto, o RUF considera tanto o total de trabalhos publicados no biênio 2008-09 (uma medida da robustez da instituição) como as publicações por docente (produtividade) e as citações recebidas (qualidade). A utilização do total de artigos favorece universidades de maior porte como USP, UFRJ e UFRGS.
Seria também justificável ficar apenas com as publicações por docente, mas, aí, as beneficiadas seriam as instituições menores, uma crítica corrente contra alguns rankings internacionais. A única certeza aqui é que tomar decisões é inevitável.
Outra dificuldade é avaliar setores específicos. As publicações em "journals" dão conta razoavelmente bem das áreas de exatas, biológicas e ciências da vida, mas não funcionam tanto nas humanas. Não são despropositadas as objeções dos que afirmam que a publicação de um livro (que não é computada no RUF nem na maioria dos rankings) vale mais que a de dezenas de artigos. De novo, escolhas são inevitáveis.
Os problemas relativos à avaliação do ensino pelos pesquisadores e pelo mercado são só um pouco menores. Evidentemente, é preciso perguntar a quem conhece. Não podemos convidar um arquiteto para julgar cursos de medicina. A solução foi recorrer à base de pesquisadores do CNPq, só que ela própria carrega vieses, como o número extremamente elevado de físicos (894) e relativamente baixo de advogados (60).
No caso do mercado, recorremos aos RHs de empresas e instituições. É uma saída, aceitável, mas não sem implicações. Os próprios RHs não parecem atribuir tanto peso à universidade de origem dos funcionários, já que 32% disseram que não faz diferença.
Com tantos e tão variados dilemas, a pergunta inicial, "por que criar um ranking universitário?", se torna ainda mais premente. Poderia ser apenas uma moda, já que o mundo inteiro está a fazê-lo, mas há razões de fundo que justificam o interesse.
A ciência e o ensino estão se globalizando. É cada vez mais comum ver jovens estudando no estrangeiro. E, se já é difícil escolher uma universidade no país de origem, muito pior é fazê-lo em lugares a respeito dos quais não se tem muita informação. Os rankings, ao traduzir toneladas de dados num número, ajudam esse estudante. Embora a internacionalização seja ainda incipiente no Brasil, devido a mudanças como o Enem, está aumentando a mobilidade interna dos alunos, para os quais o RUF pode ser de grande auxílio.
O ranking é ainda uma ferramenta valiosa para as próprias instituições, que poderão acompanhar seu desenvolvimento ao longo do tempo e comparar-se.
No mais, uma medida da produção universitária, mesmo que imperfeita, é preferível a nenhuma medida. A verdade, para utilizar um mantra da física, é que só conhecemos aquilo que podemos medir. Sem as amarras da realidade mensurável, a ciência é indistinguível da teologia e do delírio.
FRASE
"Uma medida da produção universitária, mesmo imperfeita, é preferível a nenhuma; sem as amarras da realidade mensurável, ciência é indistinguível de teologia e delírio"
METODOLOGIA
Uma receita para medir o ensino
SISTEMA DE CLASSIFICAÇÃO É INSPIRADO EM EXPERIÊNCIAS INTERNACIONAIS E ADAPTADO AO CONTEXTO BRASILEIRO
SABINE RIGHETTIDE SÃO PAULO
A avaliação da qualidade de um produto ou serviço depende da definição do que é medido e da régua usada.
A Folha se debruçou sobre o ensino superior usando uma metodologia inédita, baseada em rankings internacionais e adaptada ao contexto brasileiro.
Foram classificadas 232 instituições de ensino superior brasileiras, sendo 41 faculdades e centros universitários e 191 universidades -instituições com foco em pesquisa e autonomia de ensino, conforme definição do MEC.
As 191 universidades estão listadas em um ranking geral feito a partir de quatro indicadores desenvolvidos pela Folha. Juntos, eles somam cem pontos: produção científica (55 pontos), inovação (5 pontos), reputação no mercado (20 pontos) e qualidade de ensino (20 pontos).
Os dois primeiros indicadores estão ancorados em um levantamento de dados relacionado à quantidade e à qualidade da produção acadêmica das universidades.
Entram na conta, por exemplo, o número de artigos científicos produzidos e a quantidade de professores com doutorado no corpo docente da instituição.
Esse trabalho foi coordenado pelo bioquímico da USP e especialista em análise de produção científica Rogério Meneghini. Ele também é coordenador acadêmico da base Scielo, que reúne 260 periódicos científicos nacionais, incluídos no levantamento do RUF para dar um tempero local à métrica.
Os dois últimos indicadores, de reputação no mercado de trabalho e de qualidade de ensino, foram desenvolvidos a partir de entrevistas feitas pelo Datafolha com pesquisadores e com executivos de Recursos Humanos.
Foram consultados 597 pesquisadores com grande produção, de acordo com o CNPq, a maior agência de fomento à ciência do país.
Também foram ouvidos 1.212 responsáveis pelo setor de Recursos Humanos de empresas, escolas e outras instituições que contratam profissionais nos 20 cursos que mais formam no país, como administração e direito.
Os dois grupos, o de pesquisadores e o de especialistas em mercado de trabalho, listaram as instituições de ensino consideradas melhores por eles -universidades, faculdades ou centros universitários- na área em que atuam profissionalmente.
As instituições que tiveram pelo menos três menções nessas entrevistas feitas pelo Datafolha foram consideradas na classificação.
ANÁLISES ESPECÍFICAS
O RUF traz, ainda, análises específicas sobre o ensino superior brasileiro em cada um dos quatro indicadores desenvolvidos pela Folha.
É possível ver, por exemplo, no recorte do indicador de produção científica, qual a universidade mais produtiva em termos acadêmicos.
Outra possibilidade é verificar nas análises do Datafolha qual é a melhor instituição de ensino de acordo com a perspectiva do mercado de trabalho. Ou quais são as melhores escolas superiores do ponto de vista apenas de quem dá aula.
REPUTAÇÃO
A avaliação qualitativa do ensino superior ganhou destaque com o lançamento do ranking global THE (Times Higher Education), um dos que inspiraram o RUF. Ele inclui entre seus indicadores uma enquete feita com docentes de 137 países.
"Isso dá credibilidade aos rankings. É fácil manipular dados em bases, mas as respostas dos entrevistados não podem ser alteradas", diz Phil Baty, editor do THE.
As outras classificações que serviram de modelo foram a britânica QS (Quacquarelli Symonds) e a chinesa ARWU (ranking de Xangai).
METODOLOGIA
Opinião também entra no cálculo
LEVANTAMENTO INCLUI A VISÃO DE PESQUISADORES E DE QUEM DECIDE CONTRATAÇÕES NO MERCADO DE TRABALHO
DE SÃO PAULOA Folha se inspirou nos principais rankings universitários do mundo para definir seus indicadores e atribuir um peso a cada um deles.
As métricas internacionais mais importantes dão cerca de metade da nota recebida pelas universidades para a produção científica, avaliando por exemplo o número de artigos científicos e de citações que eles recebem.
O RUF segue a mesma lógica e dá 55 pontos, de 100, para o tema, analisado por nove subindicadores que valem de dois a dez pontos cada um.
Esses subindicadores esmiúçam os dados de trabalhos acadêmicos publicados em cerca de 12 mil periódicos científicos de todo o mundo que estão dispostos na base "Web of Science", da Thomson Reuters.
Uma das contas é o número de artigos publicados por docente."É preciso olhar o que cada professor está fazendo para ter uma ideia de como está a universidade", considera o bioquímico americano Bruce Alberts, editor da revista "Science", uma das mais importantes do mundo.
Mas só a quantidade de artigos publicados não basta. O RUF considerou também o total de menções desses artigos por outros cientistas -como fazem THE, Leiden e o ranking nacional dos EUA.
"Esse indicador diz respeito à qualidade dos trabalhos. Quanto mais citado for um artigo científico, maior o seu impacto", diz Rogério Meneghini, que coordenou o levantamento de dados sobre a produção científica no RUF.
O RUF ainda traz critérios novos, como porcentagem de professores com doutorado -conta que só faz sentido em países onde o número de docentes doutores ainda é baixo. "Nas grandes universidades dos EUA e da Europa, quase todos têm doutorado", explica Meneghini.
A Folha verifica ainda, seguindo o que faz o ranking THE, a reputação de universidades, centros universitários e faculdades entre pesquisadores (20 pontos).
Também inclui a opinião do mercado de trabalho sobre essas instituições -outros 20 pontos, mesma pontuação dada na listagem latinoamericana do QS.
(SR)
NA INTERNET
VEJA O LEVANTAMENTO COMPLETO DO RANKING UNIVERSITÁRIO FOLHA E FAÇA CRUZAMENTOS DE DADOS CONFORME O SEU INTERESSE EM FOLHA.COM/RUF
PESQUISA
Crie a lista das escolas que mais têm artigos científicos publicados ou daquelas cujos trabalhos têm mais impacto no meio acadêmico
INOVAÇÃO
Veja a classificação completa das universidades mais inovadoras
PERSONALIZADO
Mude o peso dos indicadores de pesquisa, ensino, mercado e inovação e veja outras listagens
MELHORES POR CURSO
Confira as instituições mais bem avaliadas em 20 cursos por Estado e saiba a posição de cada uma naquele que você procura
PARTICULARES
Quer saber quais as melhores universidades públicas e pagas? Use o filtro 'natureza administrativa' para fazer um ranking exclusivo
POR REGIÃO
Monte a listagem das universidades de qualquer Estado
as 10 melhores universidades
| 1º | USP | SP |
| 2º | UFMG | MG |
| 3º | UFRJ | RJ |
| 4º | UFRGS | RS |
| 5º | Unicamp | SP |
| 6º | Unesp | SP |
| 7º | UFPR | PR |
| 8º | UnB | DF |
| 9º | UFSC | SC |
| 10º | UFPE |
PE |
Grande e rica, USP domina
PRIMEIRA COLOCADA ENCABEÇA 3 DOS 4 INDICADORES QUE COMPÕEM O RANKING
| Eduardo Knapp/Folhapress |
| Praça do Relógio, um dos símbolos da instituição |
DE SÃO PAULO
O orçamento anual de R$ 3,9 bilhões é equivalente à verba estadual para a habitação e à da cultura somadas. A área dos campi de 76 km2 é maior que a de 5% dos municípios do Estado. É a maior formadora de doutores no mundo (2.214 ano passado).
Essa estrutura robusta impulsionou a USP ao topo do RUF, tanto na lista geral quanto em 3 dos 4 subindicadores analisados.
Ganhou em qualidade de ensino e de pesquisa científica e na reputação no mercado de trabalho. Perdeu apenas para a Unicamp, em inovação (número de patentes).
Uma das bases para esse desempenho é a forma estável com que a USP é financiada, aponta o reitor da universidade, João Grandino Rodas.
Por lei, a instituição recebe 5% do ICMS paulista (principal imposto estadual).
É esse percentual que deverá garantir quase R$ 4 bilhões do governo do Estado à universidade neste ano.
Outra vantagem para a instituição é ter mais liberdade para decidir onde injetar seus recursos (assim como a Unesp e a Unicamp).
Normalmente, as universidades públicas do país dependem de negociações com o Executivo para definir seus recursos. Ficam à mercê de decisões e mudanças políticas. E dependem de autorizações dos governos para remanejar seus orçamentos.
"Podemos definir que teremos programa próprio para financiar nossas pesquisas ou alterar o plano de carreira de professores e funcionários", afirmou Rodas, referindo-se a projetos recentemente implementados.
"A USP é disparada a melhor instituição da América Latina. A desvantagem disso é que ela não pode se contentar em ter relevância regional, precisa ter mais impacto nos demais centros", afirma a pesquisadora da USP Elizabeth Balbachevsky, uma das principais analistas brasileiras sobre sistemas internacionais universitários.
"Há estrutura e recursos para estar entre as cem melhores do mundo", diz.
A instituição aparece na maioria dos rankings internacionais como a melhor universidade do país, mas na lista do THE (Times Higher Education), por exemplo, está na 178ª posição mundial.
ENSINO
O reitor vê no ensino o ponto a ser melhorado para que a USP suba nas listas internacionais. A pesquisa, afirma, é o que "tem segurado" a instituição entre as melhores.
Para Rodas, as unidades da USP devem inclusive discutir se devem manter as atuais vagas oferecidas. E se não é o caso de extinguir cursos para dar lugar a outros.
Outro ponto a ser aprimorado, afirma, é a integração entre as suas 48 faculdades, institutos e centros.
"A criação da universidade ocorreu justamente para integrar os conhecimentos. E isso fica mais evidente hoje, em que as grandes pesquisas são multidisciplinares."
Para José Goldemberg, ex-reitor da USP, a escola deve conter o crescimento no número de alunos. "Não há universidade de ponta no mundo que seja muito grande."
A instituição possui 65 mil graduandos. A federal de Minas, segunda no RUF, 27,9 mil; Harvard (EUA), 7 mil.
FRASE
"A USP não pode se contentar com a relevância local, falta ambição internacional. Precisa atrair mais professores e alunos estrangeiros"