DO PATRIMONIALISMO AO GERENCIALISMO: UMA BREVE ANÁLISE SOBRE A EVOLUÇÃO DA ADMINISTRAÇÃO
O uso de Rankings: uma nova versão do gerencialismo para ... · A criação da instituição...
Transcript of O uso de Rankings: uma nova versão do gerencialismo para ... · A criação da instituição...
O uso de Rankings: uma nova versão do gerencialismo para as universidades públicas?
Documento para su presentación en el VIII Congreso Internacional en Gobierno,
Administración y Políticas Públicas GIGAPP. (Madrid, España) del 25 al 28 de septiembre de
2017.
RODRIGUES, Isabella Stroppa
GAVA, Rodrigo
Resumo
A universidade brasileira, desde sua criação, passou por remodelações provocadas por inúmeros
fatores, dentre os quais se destacam os múltiplos papeis a ela atribuídos, desde entidade
geradora de inovação até centro de formação de profissionais. Historicamente, este embate foi
refletido pelas formas de avaliação do seu desempenho, as quais, especialmente a partir da
implementação da Nova Gestão Pública, passaram a priorizar medidas de eficiência e de
resultados análogas às métricas presentes no campo privado, estimulando assim o
comportamento das universidades como empresas, trazendo traços de concorrência e
competição. Assim, a pesquisa aqui conduzida a partir de fontes bibliográficas e documentais
evidenciou as implicações do uso de rankings para avaliação das universidades como uma nova
forma de manifestação das tendências gerencialistas.
Palavras-chave: Ranking; Gerencialismo; Universidade brasileira; Educação.
1 Introdução
O processo pelo qual as universidades brasileiras passam desde sua criação até os dias
atuais revela um panorama de inúmeras remodelações. Após a implantação da primeira
universidade – a Universidade do Rio de Janeiro – em 1920, foram diversos os papeis atribuídos
a esta instituição, desde centro de formação de mão de obra até entidade geradora de inovação
(Cunha, 2007).
Este embate de identidades e atribuições do ensino no Brasil ocorreu antes mesmo da
existência da URJ, sendo que à primeira finalidade foi conferida historicamente maior ênfase
do que à segunda. Ainda quando se proclamou a República, o presidente do governo provisório,
Marechal Deodoro da Fonseca, percebeu a necessidade de reconstrução do ensino diante da
realidade de uma população majoritariamente analfabeta inserida em um regime democrático
que não lhes concedia direito a voto. Assim, os esforços inicialmente dedicados ao nível básico
foram redirecionados quando da renúncia de Deodoro da Fonseca, já que os demais presidentes
até Nilo Peçanha, nos idos de 1909, passaram a destacar a necessidade de investimento no
ensino profissional, tido como capaz de capacitar a mão de obra livre. Esta valorização do
ensino de apelo prático, favorável à lógica mercadológica, esteve presente inclusive quando
assumiu Getúlio Vargas, com o golpe de 1930, através da proposição da “universidade técnica”
(Torgal; Ésther, 2014).
A realidade universitária brasileira foi marcada por aberturas e fechamentos de
universidades, criação de universidades privadas, instituição da primeira universidade brasileira
assim planejada (a Universidade de Brasília – UnB), ao mesmo tempo em que, com a Segunda
Guerra, tomaram importância os esforços de pesquisa que culminaram com a estruturação de
entidades como o Conselho Nacional de Pesquisa (CNPq) e a Campanha para Aperfeiçoamento
de Pessoal do Ensino Superior (CAPES). No entanto, o ideal de formação profissional para
capacitação técnica continuou a inspirar o ensino universitário (Torgal; Ésther, 2014), inclusive
na época da Ditadura Militar, quando ganhou espaço a Teoria do Capital Humano.
Logo após a queda do regime militar, o Brasil aprovou sua nova Constituição em 1988
(CF/88), que trouxe alguns princípios basilares para a área de educação e para a atuação da
universidade, ganhando espaço a questão da formação do indivíduo enquanto cidadão aliada à
capacitação para o exercício de atribuições operacionais ou tecnicistas. No entanto, articulada
com a reforma gerencial promovida pelo governo Fernando Henrique Cardoso (FHC) iniciado
em 1995, responsável por trasladar para a administração pública a lógica de gerenciamento
privado, observou-se a presença do modelo de universidade operacional, voltada diretamente
para o mercado de trabalho, direcionada por contratos de gestão e avaliada por índices de
produtividade.
Esta dinâmica permitiria que a universidade pública brasileira, até então vista como
anacrônica e desperdiçadora de recursos, passasse a ter seu desempenho avaliado de forma
semelhante a uma empresa, circunstância caracterizadora da crise institucional da universidade
(Santos, 1995) inserida em um cenário de desinvestimento público na educação e crescente
mercantilização do ensino, reflexos da disseminação do modelo de desenvolvimento neoliberal,
o qual se expandiu na década de 1990. Assim, foi possível observar a lógica do mercado se
entranhando na administração pública com os princípios da Nova Gestão Pública, levantando
as figuras do Estado Eficiente e do Estado Avaliador (Afonso, 2009), além da transição da
administração burocrática para a administração gerencial.
A abordagem do gerencialismo foi mantida mesmo com as mudanças na política
educacional e a ampliação do acesso ao ensino superior nos mandatos do governo Lula (Paula,
2005). Nesta época, passou a ser defendida a adoção de uma nova missão para a universidade:
promotora do desenvolvimento (Cunha, 2007). Foi também sancionada a lei 10.973/04 (Brasil,
2004), conhecida como Lei da Inovação, cujo intuito era estimular a inovação e a pesquisa
científica e tecnológica capazes de favorecer o desenvolvimento do sistema de produção
nacional. Com ela, houve o incentivo formal à aproximação entre empresas, instituições de
ciência e tecnologia e universidades para, juntas, desenvolverem inovações.
Com a atribuição da nova missão à universidade, toma força a discussão acerca das
contribuições dessa instituição para a sociedade, partindo-se do pressuposto de que havia uma
relação entre sua atuação e o desenvolvimento econômico e social, premissa reforçada no
governo Dilma, especialmente com a sanção do novo Marco da Ciência, Tecnologia e Inovação
(Lei 13.243/16).
Assim sendo, surgem medidas que, reforçando a abordagem gerencialista, acabam por
estimular que as universidades se comportem de forma análoga às empresas, trazendo traços de
concorrência e competição não somente entre as instituições, mas também entre seus membros.
Os rankings, como o recentemente publicado de medição das Universidades Empreendedoras,
elaborado pelo movimento Brasil Júnior em conjunto com a AIESEC, a Rede CsF, o grupo
Enactus e a BRASA, são um dos mecanismos que atuam neste sentido. No campo da educação,
eles são divulgados como relatórios inquestionáveis de avaliações de desempenho
conglomeradas das universidades, o que possibilita que umas se comparem às outras para que
no próximo período a ser avaliado, superem seu próprio desempenho anterior, bem como das
demais universidades, a fim de reforçar sua competência e eficiência frente ao público externo.
No entanto, esses rankings geralmente são provenientes de avaliações unidimensionais
ou, ainda que multidimensionais, estritamente quantitativas e, dessa forma, incapazes de captar
toda a complexidade do objeto estudado, sendo, neste caso, a universidade pública brasileira.
Considerando que, ainda assim, os docentes tendem a levar em consideração os resultados
obtidos de forma a toma-los como a imagem que é projetada sobre sua instituição e sobre sua
atuação profissional para o ambiente externo (Melo, 2007), pode-se afirmar que os rankings
induzem efeitos de mercado, mesmo ao se tratar de universidades públicas, que inicialmente
não se comportariam de forma concorrencial. Neste sentido, os rankings passam a adquirir
legitimidade técnica enquanto instrumentos de avaliação, atuando no sentido de reforçar a
incorporação da Nova Gestão Pública na área da educação ao provocar a concorrência como
indutora de qualidade.
Dessa maneira, diante do contexto de proliferação de rankings que vem se apresentando
no Brasil, o presente estudo objetivou evidenciar a prática de uso de rankings e avaliações
quantitativas de desempenho de instituições de ensino como uma possível nova forma de
manifestação de tendências gerencialistas, focando sua análise empírica especificamente no
Índice de Universidades Empreendedoras, cuja formulação e aplicação é liderada pelo
movimento Brasil Júnior, tendo se iniciado em 2016 e já estando em andamento seu segundo
levantamento para o ano de 2017.
Assim, esta pesquisa buscou contribuir para a compreensão dessas métricas que
envolvem a universidade pública e seu desempenho enquanto instituição, bem como a
performance dos seus membros, objetivando trazer à tona a complexidade que envolve esse
tipo de avaliação, que não pode ser reduzidas a respostas dicotômicas que ignorem a
multiplicidade de fatores envolvidos.
2 O Caminho da Universidade no Brasil
A criação da instituição “universidade” no Brasil foi precedida de muitas tensões, sendo
que não se pode afirmar que as mesmas se esvaíram mesmo após quase cem anos decorridos da
primeira universidade brasileira – a Universidade do Rio de Janeiro, datada de 1920. No
princípio questionada quanto à sua utilidade e pertinência em uma sociedade marcada por uma
educação elitista, a universidade, quando surge no Brasil, já vem eivada dos moldes aplicados
à educação até então: ensino profissional para capacitação da mão de obra livre.
Assim, identifica-se a valorização do ensino de apelo prático, entendido como capaz de
contribuir para o desempenho da lógica mercadológica, sendo, por outro lado, tomada como
sem valor qualquer contribuição do ensino que fosse capaz de cooperar para a construção do
conhecimento em si (Torgal; Ésther, 2014). Epitácio Pessoa, presidente que ocupou o cargo até
1922, ressaltava a importância do ensino atuando como uma ferramenta de capacitação de
pessoal, à qual atribuiu como consequência direta o progresso do país, como é possível observar
no excerto de seu discurso. [...] é o ensino público, em todos os seus graus, elemento básico e primordial da
grandeza e prosperidade da Nação. Do preparo eficiente dos cidadãos dimanam a
regularidade e perfeição de todos os serviços, o aproveitamento das riquezas
naturais do solo, o desenvolvimento da fortuna nacional, em suma, o progresso e
o renome da Pátria sob todos os aspectos material, intelectual e moral. O Governo
da União não pode nem deve conservar-se impassível ante os prejuízos decorrentes
da falta desse preparo. Urge providenciar contra os efeitos do analfabetismo
dominante em muitos Estados da República, os quais, por falta de recursos próprios,
estão deixando sem remédio eficaz esse grande mal e contribuindo, assim, para
agravar cada vez mais o nosso atraso social e político. (Grifo nosso) (MEC; INEP,
1987:79-80)
Com o golpe de estado de 1930 e a implantação da “Universidade Técnica” proposta
por Getúlio Vargas (Franco; Morosini, 2011), continua a prevalecer a visão utilitária acerca da
educação abrangendo também o ensino superior, o que permaneceu vigente inclusive no
período da Ditadura Militar, momento em que ganha força a Teoria do Capital Humano (Torgal;
Ésther, 2014), mesmo após terem sido reconhecidos os esforços de pesquisa e estruturados o
Conselho Nacional de Pesquisa (CNPq) e a Campanha para Aperfeiçoamento de Pessoal do
Ensino Superior (CAPES).
Após a queda do regime militar, ao ser sancionada a Constituição Federal de 1988
(CF/88), atribui-se à educação a promoção do “(...) pleno desenvolvimento da pessoa, seu
preparo para o exercício da cidadania (...)”, além do foco na “(...) qualificação para o trabalho”,
como delimitado pelo art. 205 da CF/88 (Brasil, 1988). Assim, além do desenvolvimento da
capacitação para exercer as atribuições operacionais já historicamente valorizadas, o indivíduo
também deveria ser formado enquanto cidadão. Entretanto, ressalta Chauí (2014) que, ainda
assim, a universidade brasileira continuou a ter como foco o atendimento das demandas do
mercado compreendidas como as necessidades de formação de mão de obra, aspecto
caracterizador da denominada “universidade operacional”. Segundo a autora, esta universidade
é: (...) voltada diretamente para o mercado de trabalho (...) Regida pelos contratos de
gestão, avaliada por índices de produtividade, calculada para ser flexível, a
universidade operacional está estruturada por estratégias e programas de eficácia
organizacional e, portanto, pela particularidade e instabilidade dos meios e dos
objetivos (Chauí, 2014:6)
Percebe-se, assim, que a universidade operacional esteve articulada com a reforma
gerencial responsável por propor a reprodução no campo público da lógica de gestão privada,
com a formulação de indicadores de desempenho para avaliação de resultados do trabalho
conforme métricas instituídas, bem como o foco no cidadão como cliente (Paula, 2005), marcas
do governo Fernando Henrique Cardoso iniciado em 1995.
Embora nos mandatos do governo Lula tenha sido implementadas mudanças na política
educacional, segundo Paula (2005), elas não modificaram esta abordagem gerencialista, sendo
que, além disso, foi ainda atribuída à universidade a nova missão de ser promotora de
desenvolvimento (Cunha, 2007; Ésther, 2016). Neste âmbito, passa a ser valorizada a discussão
acerca das contribuições que a universidade é capaz de oferecer para a sociedade, uma vez que
admite-se aqui um relacionamento entre a atuação da instituição e o desenvolvimento
econômico e social, discurso reproduzido nos governos Dilma, quando foi sancionado o novo
Marco da Ciência, Tecnologia e Inovação, através da Lei 13.243/16, além de instituídas
medidas e programas como a EMBRAPII (EMBRAPII, 2016).
Dentre as medidas que se destacam na Lei 13.243/16, observa-se a concessão de
permissão às Instituições Científicas, Tecnológicas e de Inovação (ICT’s) para prestar serviços
técnicos especializados para instituições públicas e para instituições privadas, com o intuito de
conferir maior competitividade às empresas (Brasil, 2016). A EMBRAPII (Empresa Brasileira
de Pesquisa e Inovação Industrial), por sua vez, foi criada em 2013 justamente no sentido de
construir relações de sinergia entre empresas industriais e instituições de pesquisa tecnológica
capazes de fortalecer o potencial inovativo brasileiro. Desta forma, ela foi desenhada com a
missão de “contribuir para o desenvolvimento da inovação na indústria brasileira através do
fortalecimento de sua colaboração com institutos de pesquisas e universidades” (EMBRAPII,
2016), o que ressalta a existência de medidas estruturadas recentemente no sentido de
proporcionar a atuação da universidade próxima aos requisitos e necessidades demonstradas
pelo mercado, o que, da maneira como é formulado, parece ser positivo para o desenvolvimento
econômico do próprio país.
Assim, percebe-se que os pressupostos do paradigma da Nova Gestão Pública, mesmo
antes de sua formulação formal como tal, já pareciam estar presentes no sistema educacional
público brasileiro, sendo cada vez mais intensificados com o estímulo à aproximação entre
universidades e empresas. Assim, se partirá na próxima seção para a reflexão acerca deste
modelo a fim de oferecer embasamento à análise empírica realizada neste estudo.
3 A Nova Gestão Pública
A busca pela adaptação e transferência de conhecimentos do campo gerencial para o
público, segundo Paula (2005), começou a ganhar espaço a partir dos anos 1970, principalmente
nos Estados Unidos e no Reino Unido, tendo alcançado seu ápice na década de 1980 com a New
Public Management (Nova Gestão Pública ou Administração Pública Gerencial). No Brasil, a
denominada “Reforma Gerencial” teve seu início em 1995, no primeiro governo Fernando
Henrique Cardoso como proposta de superação da administração pública burocrática até então
vigente (Bresser-Pereira, 2002). Pacheco (2010:186) descreve o processo que levou ao novo
paradigma da seguinte forma:
Desde os anos 1970, as sociedades passaram a demonstrar um conjunto de pressões e
questionamentos sobre a forma de organização e funcionamento do Estado que havia
prevalecido durante o século XX. (...) Abrangendo fenômenos econômicos (pressão
fiscal, fim do crédito internacional barato, competição em escala global), sociais
(mudanças dos padrões demográficos e no perfil familiar, novos problemas
complexos como violência, drogas, Aids, migrações), tecnológicos (novas tecnologias
de informação e comunicação, novas aplicações em saúde e consequente aumento do
gasto público, opinião pública mais informada e exigente) e políticos (questionamento
da política tradicional, proliferação dos grupos de causa única, anseios de
aprofundamento da democracia, perda de legitimidade dos governos e da burocracia),
as pressões sobre o Estado puseram em questão o paradigma clássico da burocracia.
Diante deste contexto repleto de questionamentos, parece coerente o surgimento de
alguma proposta de reforma na Administração Pública. Assim, segundo Seabra (2001), as
propostas da administração pública gerencial seguiram os princípios de duas escolas diferentes:
a nova economia institucional – voltada às mudanças interorganizacionais –, e o gerencialismo
– direcionado aos arranjos e modificações intraorganizacionais, foco deste estudo. O
gerencialismo busca estruturar os fluxos de recursos de forma que possibilitem alcançar
objetivos pré-estabelecidos, sendo assim direcionado ao controle dos resultados, o que, ao se
opor à lógica de forte controle processual presente na administração pública burocrática, sugere
a criação de um ambiente mais eficiente que, consequentemente, favoreceria a obtenção dos
resultados propostos.
Para isto, a Administração Pública Gerencial passou a enfatizar no âmbito público a
lógica até então desenvolvida no campo privado, o que envolveu a adoção de métricas de
eficiência e resultados (Silva et al, 2013). Nesse sentido, ferramentas como a Administração
por Objetivos (APO), o Gerenciamento da Qualidade Total e outras, provenientes do âmbito
privado, surgem como supostamente adequadas a esta nova forma de gestão no setor público,
algumas vezes até mesmo colocadas “(...) como uma prescrição para tornar as organizações
públicas mais ‘gerenciais’” (Seabra, 2001:25).
Talvez por exatamente tomar como próximas esferas com ethos diferentes, alguns
pressupostos e premissas da Nova Gestão Pública não tenham se concretizado como seus
elaboradores e implementadores esperavam. Tomando como expoente dessa discrepância a
medição de desempenho que prioriza o controle ex post em substituição ao ex ante, focando em
resultados e não mais somente em processos e procedimentos, a expectativa dessa medida era
trazer ao âmbito público uma nova forma de motivar os funcionários, contribuindo para seu
maior comprometimento com o trabalho e com o cidadão. No entanto, a implementação desta
medida se tornou arriscada ao direcionar a análise para quantidade em detrimento da qualidade
dos resultados. Assim, não se alcança verdadeiramente um melhor serviço público, mas um
serviço apenas mais rápido, por exemplo. Além disso, outros fatores também podem ser
diretamente afetados, como destaca Diefenbach (2009:907):
Performance measurement and management systems have serious methodological
and strategic problems. They concentrate on quantifiable, narrow, often inadequate
indicators and contribute to a further ignorance, devaluation, or even destruction of
many intangible assets and traditional values. In practical terms, they often simply add
to an increase in workload and psychological pressures.
Assim, percebe-se o afastamento entre o desejado e o concretizado no âmbito da Nova
Gestão Pública, o que pode ser atribuído também, segundo Seabra (2001), à adoção deste novo
paradigma apenas como um manual, com passos isolados a seguir, ou como um modismo a
partir do qual se reproduz acriticamente medidas adotadas em outros contextos sem analisar sua
efetiva aplicabilidade no cenário brasileiro. Como afirma Paula (2005:22): “(...) uma vez que a
administração de empresas assumiu uma posição hegemônica na produção do conhecimento
administrativo, a administração pública vem se mantendo subordinada aos seus princípios e
recomendações”.
Assim, a Nova Gestão Pública foi levantada para suprir uma necessidade de reforma na
organização e funcionamento do Estado, sendo assim colocada como uma possível solução que,
no entanto, enfrentou e ainda enfrenta dificuldades em seu processo de implantação por ser
visualizada muitas vezes como um manual e não como um processo que requer mudanças
sistêmicas e sinérgicas no órgão público como um todo. Neste sentido, afirmou Diefenbach
(2009, p. 907): “Such a critical rethinking has become more essential today to deconstruct and
neutralize the overwhelming dominance of market ideology over public affairs..., to examine
the relevance of business norms, and to articulate a set of ethical standards appropriate for the
public service”.
Os rankings, ao serem aplicados no contexto das universidades públicas, parecem se
apresentar como ferramentas coerentes com esta lógica da Nova Gestão Pública, onde são
priorizados os resultados e sua medição a partir de critérios quantitativos. Sendo assim, na
próxima seção os mesmos serão abordados a fim de explorar sua aplicação no contexto do
ensino brasileiro.
4 O uso de Rankings na Avaliação do Ensino Brasileiro
A avaliação é algo que historicamente se faz presente no campo do ensino no Brasil.
Segundo Barreyro (2008), nos idos dos anos 1980 ela já era vigente para a educação superior
através do Programa de Avaliação da Reforma Universitária (PARU) que foi seguido, na década
de 1990, a chamada “Década da avaliação”, pelo Programa de Avaliação Institucional das
Universidades Brasileiras (PAIUB). Neste período, como relatam Calderón et al (2011),
surgiram diversos programas de avaliação do ensino em geral em larga escala, como o Sistema
de Avaliação da Educação Básica (Saeb), o Exame Nacional de Cursos, conhecido como
“Provão” e o Exame Nacional do Ensino Médio (Enem). Essa maior formalização guarda
relação com o surgimento do Estado Avaliador e com a Nova Gestão Pública, onde se
apresentam a “(...) definição prévia de objetivos e a sua mensuração e quantificação são
aspectos centrais” (Afonso, 2009:18).
O Provão foi, conforme Dias Sobrinho (2008), responsável por introduzir os rankings
no cenário educacional nacional. Este exame, implementado no primeiro governo FHC, era
aplicado aos alunos considerados concluintes dos cursos de graduação, sendo que seus
resultados eram apresentados em formas de rankings e interpretados como o conceito das
instituições às quais os estudantes pertenciam.
Esta forma de apresentação, bem como o próprio foco da avaliação em si, foi
questionada, uma vez que diversos autores afirmaram ser os rankings mais utilizados para o
marketing das instituições do que efetivamente para a compreensão dos resultados e processos
que conduziram aos mesmos (Calderón et al, 2011). Assim,
Embora o reconhecimento de cursos e o credenciamento das Instituições tenham
ficado a cargo do Ministério da Educação, houve um regulador não tradicional
análogo à “mão invisível do mercado” do liberalismo clássico (SMITH, 1988, p. 65)
que foi o Provão. (...) Muitos cursos, inclusive nas Universidades públicas,
introduzem o uso do score alcançado no Provão como expressão de sua qualidade e
publicizam, em forma de faixas e cartazes, a colocação que obtiveram, como indicador
de sua posição no ranking acadêmico. (Barreyro, 2008:864)
O Provão, por sua própria linguagem que apresentava os resultados em forma de códigos
(A, B, C, D ou E), inteligíveis a todos os públicos, favorecia sua utilização como recurso de
publicidade. Assim, o intuito de diversas instituições, ao utilizá-lo desta forma, era divulgar
uma imagem favorável que as tornassem mais atrativas para o público e, assim, possibilitasse
a obtenção de ganhos cada vez maiores, tanto para instituições privadas que conseguiriam
ampliar seu número de alunos e, assim, ter maiores rendimentos diretos, quanto para
universidades públicas que, ao melhorar seu conceito, poderiam ser favorecidas com relação à
captação de recursos governamentais (Calderón et al, 2011; Valmorbida et al, 2015).
No primeiro mandato do governo Lula, partindo da constatação de que o Provão seguia
uma lógica mais mercadológica do que pedagógica, foi proposta uma nova forma de avaliação
da educação superior através do SINAES – Sistema Nacional de Avaliação da Educação
Superior. Este passaria a avaliar o desempenho não mais apenas a partir do aluno, mas
considerando também a instituição em si e seus cursos.
Com a implementação do SINAES, os estudantes passaram a ser avaliados pelo Enade
(Exame Nacional do Desempenho dos Estudantes), parcela da avaliação que recebeu maior
destaque tanto no Ministério da Educação, sendo-lhe atribuída maior importância também no
Conceito Preliminar de Curso, componente do Índice Geral de Cursos, quanto na mídia. Assim,
o Enade passou a ser considerado a principal fonte para avaliação da qualidade dos cursos,
diferentemente do que propuseram os formuladores do SINAES.
Diante deste cenário, Barreyro (2008:867) afirma que, apesar do SINAES parecer trazer
uma nova forma de avaliação e de apresentação de resultados, distinta daquelas utilizadas pelo
Provão, a realidade – principalmente representada pela mídia - distorceu este intuito, nos
levando “(...) novamente ao tempo dos rankings, das avaliações mercadológicas e
simplificações midiáticas, mais próximos de uma visibilidade publicitária do que da verdade da
avaliação da qualidade”.
Nesse sentido, os rankings, além de não traduzirem a avaliação efetiva da qualidade do
ensino superior, acabam estruturando um ambiente de competitividade entre as instituições,
atuando como “instrumentos indutores da qualidade por meio da concorrência” (Valmorbida et
al, 2015:822), Assim, mesmo que diversas universidades critiquem esta dinâmica de rankings,
a realidade é que a ideologia da competição ganha espaço e todas esperam ter uma colocação
favorável à sua reputação e publicidade.
A lógica de mercado passa então a ser induzida a partir dessa dinâmica de
competitividade e de métricas quantitativas de desempenho (Afonso, 2009), de forma que tais
“(...) estratégias de estímulo da concorrência para a melhoria da qualidade da educação superior
ganharam consenso e legitimidade” (Calderón et al, 2011:816), superando interesses
específicos dos grupos que se alternam no poder e se tornando vigentes no longo prazo.
Ao ser inserida neste contexto, a universidade passa a ser tratada de maneira análoga à
uma organização empresarial, sendo seus produtos tratados como produtos industriais, ou seja,
de forma padronizada. No entanto, as universidades, devido à complexidade de suas atividades
e cenários em que se inserem, não conseguem ser traduzidas por avaliações de cunho objetivista
e quantitativista, características presentes no modelo adotado nas avaliações brasileiras (Dias
Sobrinho, 2008).
Assim, como afirmam Valmorbida et al (2015), é essencial reconhecer a diversidade das
instituições e sua multiplicidade de objetivos e atuações quando da avaliação e classificação
das universidades. Nesse sentido, duas universidades, mesmo que ofereçam o mesmo curso,
podem ter orientações e objetivos discrepantes e atender públicos distintos, usufruir de
infraestruturas e ter acesso a recursos diferentes, sendo assim impossível compará-las com base
nas mesmas medidas (Schwartzman, 2010). No entanto, os rankings “(...) são assumidos muitas
vezes de forma acrítica, como se fossem técnica, cultural e politicamente neutros e, em qualquer
circunstância, comparáveis com outras realidades organizativas, culturais e educacionais
independentemente das condições e especificidades (...)” (Afonso, 2009:24).
A existência dos rankings com esse tratamento indiferenciado às instituições é, segundo
Valmorbida et al (2015), favorecida pelo apelo público de ter acesso a algum panorama que
ofereça condições de comparação entre o maior número possível de instituições existentes: os
alunos desejam comparar para decidir em qual delas irão estudar, os governos para decidir para
onde direcionarão mais recursos, os profissionais para escolher os lugares com melhor
reputação para trabalhar e os gestores universitários para identificarem o desempenho atual,
compará-lo com os das demais instituições e estruturarem medidas que sejam capazes de mantê-
lo ou incrementá-lo.
Entretanto, é necessário que os públicos compreendam que, por mais que desejem
acessar essas informações, não será o uso de avaliações estandardizadas e exames nacionais
que oferecerão dados conforme eles esperam, uma vez que, como os rankings estão desenhados,
“(...) não são representativos, de forma suficiente, do que pretendem avaliar, e os resultados são
tendenciosos (...)” (Valmorbida et al, 2015:2).
Assim, as metodologias utilizadas nos rankings são consideradas como um aspecto
prejudicial à confiabilidade nos resultados alcançados. Afonso (2009) e Valmorbida et al (2015)
afirmam que eles carecem de base científica para justificar as categorias de avaliação, os pesos
atribuídos aos critérios, as formas de coleta de dados, além das modificações implementadas
periodicamente no cálculo dos indicadores. Nesse sentido, argumentam que a maioria dos
rankings acadêmicos são baseados em indicadores escolhidos devido à facilidade de acesso ou
obtenção dos dados que lhes dão base, não sendo priorizados aqueles que realmente seriam
relevantes na avaliação das universidades.
Essa realidade é oposta ao que se deveria encontrar quando, especificamente no Brasil,
se constrói um panorama de avaliações que, inicialmente eram divulgadas pela imprensa, mas
que, atualmente, ganham também a vitrine do Ministério da Educação. No entanto, percebe-se
que, nem o protagonismo dos órgãos oficiais frente aos rankings é capaz de excluir os vícios
dos quais eles já estão eivados.
3 Procedimentos Metodológicos
A abordagem deste artigo pode ser categorizada como qualitativa, uma vez que o objeto
sob estudo demanda um esforço interpretativo buscando compreender a realidade investigada.
Richardson (1999, p.80) destaca que “os estudos que empregam uma metodologia qualitativa
podem descrever a complexidade de determinado problema, analisar a interação de certas
variáveis (...)”, sendo este exatamente o objetivo visado neste artigo.
Quanto ao objeto, adotou-se a pesquisa exploratória no sentido de, em primeiro plano,
proporcionar uma visão geral acerca dos temas sob estudo, verificar a existência e o conteúdo
dos rankings publicamente divulgados relacionados à avaliação da universidade pública e seu
comportamento, bem como de estudos que abordam este tema. Adotando este caminho
metodológico, segundo Gray (2012), alcança-se maior familiaridade com o problema. Neste
caso, isto foi obtido através de pesquisa bibliográfica, a qual foi desenvolvida com base em
material já elaborado, primando por artigos científicos, sendo complementados por livros
relevantes na área de estudo.
Além disso, realizou-se também análise documental, a qual consiste em um processo de
“garimpagem” composto por duas fases, que, segundo Pimentel (2001), correspondem à
organização do material e o tratamento dos dados de acordo com o problema proposto pela
investigação. A partir da análise dos rankings atualmente aplicados no campo das
universidades, foi escolhido o mais recente, que iniciou sua aplicação em 2016.
Assim, no primeiro momento, obteve-se o denominado “livro” das Universidades
Empreendedoras, disponível no site da Capes e da Brasil Júnior. Posteriormente, o ranking foco
deste estudo – o Índice de Universidades Empreendedoras, apesar de conter informações já
analisadas pelas entidades que o elaboraram, recebeu nova significação e interpretação a partir
da direção de análise desta pesquisa. Sendo assim, o Índice de Universidades Empreendedoras,
cuja elaboração é liderada pela Brasil Júnior, constitui o caso sob análise nesse estudo, o qual
segue apresentado na próxima seção.
4 Descrição e Discussão do Ranking “Universidades Empreendedoras”
O Índice de Universidades Empreendedoras foi elaborado pela primeira vez em 2016,
através da parceria entre Brasil Júnior, Rede CsF, Aiesec, Brasa e Enactus. A Brasil Júnior
consiste na Confederação Brasileira de Empresas Juniores, sendo assim responsável por
representa-las. Ela identifica como seu principal propósito a “(...) criação de um Brasil mais
empreendedor, que, para a Brasil Júnior, significa construir um país mais competitivo, ético,
educador e colaborativo” (Brasil Júnior; Rede CsF, 2016:17).
A Rede CsF corresponde a uma organização social civil, sem fins lucrativos e não
governamental, criada pelos integrantes e ex-integrantes do programa Ciência sem Fronteiras,
que objetiva promover o engajamento dos participantes dos programas de intercâmbio, bem
como as comunidades locais no sentido de desenvolvimento de inovação, tecnologia, ciência e
educação no Brasil. A Aiesec, por sua vez, consiste em um movimento de liderança que
identifica ter como seu maior propósito o alcance da paz e o “preenchimento das
potencialidades humanas” (Brasil Júnior; Rede CsF, 2016:18).
A Enactus é uma rede de estudantes e líderes (acadêmicos e executivos) que oferece
uma plataforma para que universitários criem projetos de desenvolvimento comunitário, o que
eles acreditam ser uma ferramenta capaz de “transformar vidas”. Por fim, a BRASA consiste
na Associação de Estudantes Brasileiros que congrega os estudantes que residem fora do país
no intuito de oportunizar desenvolvimento pessoal, profissional e acadêmico, além de consistir
em uma rede de suporte que busca formar líderes protagonistas de mudanças sociais nos setores
público e privado.
Essas instituições se uniram em forma de parceria para elaborar o índice resultante da
pesquisa aplicada, o qual foi divulgado como capaz de traduzir o nível de empreendedorismo
das universidades brasileiras. Assim, a partir de agora, iniciamos as análises acerca dos
principais aspectos deste ranking.
Conforme apresentado no documento oficial, o ranking consiste em uma pesquisa de
percepção direcionada aos discentes das universidades brasileiras. Ela foi aplicada através de
um questionário online que esteve aberto entre 04 de julho e 20 de agosto de 2016. Neste
período, “ (...) foram obtidas mais de 4 mil respostas de universitários de todos os estados do
Brasil. A partir desta pesquisa, o índice foi elaborado, bem como o conceito de Universidades
Empreendedoras”. (Brasil Júnior; Rede CsF, 2016:31)
A divulgação do questionário aplicado foi realizada pelos “Embaixadores”, alunos
escolhidos em cada universidade pesquisada, selecionados pelas cinco organizações líderes do
projeto. “Por impossibilidade temporal e de acessibilidade de dados para ranquear todas as
universidades brasileiras (...)” (Brasil Júnior; Rede CsF, 2016:39), as instituições foram
escolhidas dentre as cem primeiras do Ranking Universitário Folha (RUF). Adicionalmente,
entre essas cem primeiras, foram excluídas todas as que não contavam com Empresas Juniores,
Enactus, Aiesec ou núcleo da Rede CsF. Outras foram ainda retiradas devido ao baixo índice
de alcance da pesquisa ou por não ter sido possível acessar seus dados nem via solicitação.
Já a partir da descrição metodológica do Índice de Universidades Empreendedoras, se
faz possível diagnosticar diversas fragilidades neste ranking. Inicialmente, a pesquisa, para
selecionar as universidades participantes, se baseou em outro ranking previamente existente,
sendo assim, o resultante do índice elaborado um ranking baseado em outro ranking, no caso,
o RUF. Sobre este ranking-base, não foi realizado nenhum esclarecimento acerca dos métodos
por ele empregados, bem como estiveram ausentes os motivos pelos quais se decidiu partir dele
e não de outros rankings universitários existentes, como, por exemplo, o ranking de
Empreendedorismo nas Universidades Brasileiras elaborado pela Endeavor em conjunto com o
SEBRAE (SEBRAE; Endeavor Brasil, 2016). Diante da multiplicidade de bases de dados
atualmente disponibilizadas com informações referentes às universidades seria inclusive
possível criar critérios próprios para seleção das instituições, partindo de dados primários e não
de informações já processadas por outros métodos.
Além disso, o acesso a diversas informações e até mesmo a outros rankings já
disponíveis sobre o assunto permitiria a realização de triangulação dos dados, o que poderia ter
incrementado de maneira significativa a consistência dos resultados obtidos pela pesquisa,
inclusive sendo possível relativizá-los frente às demais pesquisas.
Adicionalmente, constatou-se que a pesquisa foi realizada de forma a privilegiar a
obtenção da percepção de apenas uma categoria de atores institucionais, os alunos, sendo que
todos os demais integrantes da instituição “universidade”, reconhecida por sua complexidade e
diversidade, não foram ouvidos. Considerando que o Índice buscou construir um conceito capaz
de identificar e alocar cada universidade no ranking, esta visão parcial não consiste em um
aspecto capaz de favorecer a tradução efetiva da realidade que se faz presente no âmbito de
cada uma das instituições pesquisadas, o que reflete a perspectiva limitada dos rankings já
destacada por Valmorbida et al (2015).
Observou-se, além dos fatores anteriormente levantados, a falta de esclarecimento
quanto ao parâmetro utilizado com relação ao número de respostas obtidas para que fosse
considerada satisfatória a participação de alunos de determinada instituição a ponto da mesma
continuar a ser considerada no ranking. A quantidade exata de respondentes também não foi
divulgada, no entanto, ao informar que se aproximaram de quatro mil estudantes provenientes
de menos de cem instituições, pode-se depreender que provavelmente as percepções obtidas
não se aproximam significativamente da real percepção dos praticamente oito milhões de
estudantes do ensino superior, provenientes de mais de 2,4 mil instituições e 32 mil cursos que
hoje compõem o panorama brasileiro (SEMESP, 2016).
A abrangência limitada da pesquisa devido ao período restrito da coleta de dados e à
dificuldade alegada para obtenção de dados retrata um aspecto frágil já apresentado pelos
estudiosos dos rankings: eles são elaborados apenas a partir de indicadores já disponíveis –
como ocorreu com a seleção das instituições a partir de sua colocação no RUF, das informações
acessíveis – como ressaltado no próprio documento oficial da pesquisa, e, assim, acabam por
não ser suficientes para representar de forma mais fidedigna a realidade tal como ela
efetivamente se apresenta.
No ranking sob estudo, esta situação é agravada pela retirada da amostra das
universidades que não possuíssem Empresas Juniores, Enactus, Aiesec ou núcleo da Rede CsF,
uma vez que considerou-se, previamente, que universidades, para que fossem empreendedoras,
necessitavam ter alguma dessas instituições.
A restrição conceitual se reflete também nas categorias elencadas para resposta. Quanto
à inovação, por exemplo, o ranking considera que a proximidade entre Instituição de Ensino
Superior (IES) e Empresa é refletida somente pela quantidade de empresas que estão incubadas,
quando, na realidade, esta relação pode ser construída por meio de convênios, parcerias e outras
formas estimuladas pela Lei 13.243/16 (Novo Marco da Ciência e Tecnologia) (Brasil, 2016).
Tais escolhas restringem e enviesam a amostra ao desconsiderar que o
empreendedorismo nas universidades pode ser influenciado por outros inúmeros fatores de
grande relevância, como outros projetos de extensão e a presença de Núcleos de Inovação
Tecnológica (os NIT’s). Este último aspecto pode inclusive ser interpretado como uma
contradição no âmbito do ranking analisado, uma vez que, no corpo do questionário aplicado,
o número de empresas incubadas e à existência de parques tecnológicos são considerados, no
entanto, este não foi um critério utilizado para escolher as universidades que participariam do
projeto. Outras características empreendedoras poderiam também ser levantadas ao se explorar
estudos que já foram realizados neste sentido, como o de Burton Clark acerca das Universidades
Empreendedoras (Clark, 1998) – o qual, apesar de apresentar fragilidades, seria capaz de
oferecer outras faces do que seria uma universidade empreendedora e, assim, contribuir para a
robustez do ranking sob análise.
Neste sentido, ao considerar a existência de outros critérios anteriormente construídos
para analisar a atividade empreendedora de instituições de ensino, abre-se espaço para
questionar também, frente aos métodos apresentados, os motivos pelos quais os IF’s (Institutos
Federais) não foram considerados como alvo do estudo realizado.
Dessa forma, nota-se que os critérios de seleção utilizados carecem de base científica e
justificativa metodológica adequada e, assim, podem ser vistos como criadores de viés na
pesquisa desde seu princípio, o que oferece base para que sejam construídos questionamentos
acerca da consistência e relevância dos resultados obtidos, como já argumentaram Valmorbida
et al (2015) e Afonso (2009).
O fato da pesquisa ser exclusivamente quantitativa, buscando “(...) medir
quantitativamente as características de uma universidade empreendedora” (Brasil Júnior; Rede
CsF, 2016: 44), reflete a abordagem comumente reducionista dos rankings, como já abordado
por Afonso (2009). A adoção de métricas estritamente quantitativas contribui então para
estimular a concorrência baseada em avaliações numéricas que não necessariamente refletem a
real complexidade do que está sob análise, e nem sua qualidade.
Ao apresentar seus objetivos, o documento oficial afirma que o ranking de
Universidades Empreendedoras tem como objetivo central “(...) dar novos estímulos para a
educação superior. No entanto, mais do que isso, queremos trazer diretrizes pragmáticas e cases
de sucesso nacionais e internacionais que podem ser aplicados diretamente em nossas
universidades (...)”(Brasil Júnior; Rede CsF, 2016:25). Claramente, não se considera que as
universidades, mesmo aquelas inseridas no mesmo país, estão sujeitas à diversidade de
contextos, conforme apontado por Schwartzman (2010), e, assim, não é possível simplesmente
transladar uma lógica válida em outro cenário ou instituição para ser reproduzida como se o
sucesso de uma iniciativa fosse algo inquestionável em qualquer contexto, uma vez que se
apresentou dessa forma em uma situação específica.
Quanto aos cases de sucesso, ressalta-se ainda que, em sua grande maioria, representam
iniciativas que promoveram a capacitação de alunos para o mercado, estimulando-os a iniciar
empresas, competir por recursos e gerar conhecimento que seja diretamente aplicado aos
problemas reais externos, o que remonta a orientação da Universidade Técnica e Operacional
(Franco; Morosini, 2011; Chauí, 2014).
O ranking de Universidades Empreendedoras se propõe então a atuar como um
solucionador de problemas de desempenho das universidades brasileiras, os quais são
apresentados da seguinte forma:
A presença brasileira é tímida nos rankings universitários internacionais e só começa
a partir da 250ª colocação, como é o caso da Universidade de São Paulo no ranking
Times Higher Education (THE). (...) De forma sistemática, as universidades
brasileiras não se destacam quando comparadas às melhores universidades
internacionais. (Brasil Júnior; Rede CsF, 2016:28)
Assim, o ranking seria a estratégia capaz de promover melhorias neste desempenho das
universidades nos rankings internacionais. Dessa forma, se apresenta claramente o objetivo do
Índice de Universidades Empreendedoras: fazer com que as universidades brasileiras alcancem
melhores posições nos rankings que abrangem também universidades estrangeiras, coerente
com a perspectiva concorrencial.
A distorção da utilização dos rankings se manifesta nessa exposição de motivos, uma
vez que o intuito de seu uso acaba não sendo conhecer os processos e motivos, particularidades
e diferenças que levaram àquele resultado em cada instituição, mas sim em, a partir do número
obtido como nota, trabalhar para, conforme as métricas já estabelecidas, incrementar esta
avaliação e obter melhor colocação também em outros rankings. Sendo assim, na realidade, o
que importa não é efetivamente a qualidade, mas sim a repercussão midiática alcançada pelos
resultados alcançados, que podem ter sido inclusive proporcionados por priorizar perspectivas
que não eram protagonistas reais para a universidade e o passaram a ser diante da busca pela
colocação no ranqueamento.
O documento oficial afirma que o ranking foi criado sob o mote de propor “(...) um
Brasil melhor, por meio de Universidades Melhores! Universidades mais Empreendedoras!”,
levando assim à lógica de que, quanto mais empreendedoras conforme os critérios apresentados
pelo índice, melhores as universidades serão, uma afirmação categórica que desconsidera todos
os critérios, complexos e dinâmicos, que podem ser levados em conta para que se considere
uma universidade melhor, conforme sua orientação específica e seus papeis.
Assim, o Índice de Universidades Empreendedoras, ao ser analisado quanto aos seus
objetivos, metodologia, motivadores e participantes, se apresenta como um ranking coerente
com as perspectivas teóricas anteriormente apresentadas, as quais ressaltam características
como unilateralidade, reducionismo e quantitativismo.
5 Considerações Finais
Diante do contexto de multiplicação de rankings que vem ocorrendo no Brasil, esta
pesquisa evidenciou, através do estudo do Índice de Universidades Empreendedoras (Brasil
Júnior; Rede CsF, 2016), a sua utilização como uma nova forma de manifestação de tendências
gerencialistas.
As análises realizadas demonstraram que, no ranking estudado, se manifestou a
utilização de métricas quantitativas, as quais são capazes de induzir a concorrência através da
alocação das universidades em posições mais ou menos favorecidas no ranking. Assim,
demonstrou-se o apelo à lógica mercadológica, que provoca a reprodução, no âmbito das
universidade, dos padrões de comportamento das empresas, não levando em consideração que
se tratam de duas instituições com características, naturezas e modos de operação díspares, o
que contribui para a denominada “crise institucional”.
Devido à entronização da lógica da competição através dos resultados, não são
incentivadas iniciativas relacionadas ao ensino, pesquisa ou extensão que não contribuam no
sentido de incrementar o desempenho da universidade conforme os critérios considerados no
ranking. Dessa forma, o foco acaba sendo direcionado para a repercussão das iniciativas que
sejam diretamente capazes de contribuir nesse sentido, as quais nem sempre serão as mais
adequadas para incrementar efetivamente a qualidade do desempenho da universidade. Assim,
se apresenta a dicotomia análise qualitativa versus análise quantitativa.
Além disso, a diversidade de contexto das universidades não é considerada para
relativização dos resultados, sendo todas inseridas em um mesmo padrão de análise o que, no
Índice de Universidades Empreendedoras se refletiu nas colocações de cada região, sendo
beneficiada a região Sudeste, que obteve as melhores posições, enquanto o contrário ocorreu
com a região Centro-oeste.
Esta pesquisa apresenta sua relevância ao demonstrar que a proliferação do uso dos
rankings, tal como estão sendo elaborados e aplicados, gera um impacto significativo na
conduta da universidade, que passa a competir por repercussão midiática, e também na
sociedade, que tem acesso a informações não necessariamente fidedignas à complexidade da
realidade que representam mas que são assim apresentadas. O Índice de Universidades
Empreendedoras, por exemplo, foi divulgado nas páginas do Portal Brasil (Portal Brasil, 2016),
MEC (MEC, 2016) e CAPES (CAPES, 2016). A sociedade, ao acessá-lo por meio desses
portais, tem convicção de que seja um ranking confiável e consistente, uma vez que está sendo
divulgado por instituições de renome e inclusive vinculadas ao governo, o que dificulta que
questionem sobre a validade dos resultados apresentados.
No entanto, o que se constata é que os rankings são ferramentas de representação parcial
da realidade e, ao partirem de recortes específicos, as restrições estarão presentes. Entretanto, a
questão problemática não é esta, mas sim a sua divulgação como se fossem instrumentos
inquestionáveis, mesmo com falhas metodológicas significativas e lacunas de informação,
como foi aqui demonstrado. Assim, percebe-se que realmente os rankings, bem como ocorreu
com o Provão, vem atendendo a um apelo mais mercadológico do que pedagógico.
Neste sentido, vale a indicação de realização de pesquisas futuras que se baseiem na
análise de outros rankings de avaliação de ensino para que, aprofundando nos temas aqui
elencados, possam contribuir para verificar se os pressupostos gerencialistas estão contagiando
também outros instrumentos de verificação de desempenho do ensino brasileiro, além dos que
já foram aqui apresentados.
Referências
Adolfo Ignacio Calderón, Heloisa Poltronieri, y Regilson Maciel Borges. 2011. "Os rankings
na educação superior brasileira : políticas de governo ou de Estado?", Ensaio: Avaliação e
Políticas Públicas em Educação, Rev. 19, n. 73:813–826.
Alessandra Pimentel. 2001. O método da análise documental: seu uso numa pesquisa
historiográfica, Cadernos de Pesquisa, Rev. 114:179–195.
Almerindo Janela Afonso. 2009."Nem tudo o que conta em educação é mensurável ou
comparável. Crítica à accountability baseada em testes estandardizados e rankings escolares",
Revista Lusofona de Educação, Rev. 13:13–29.
Angelo B. Ésther. 2016. "Qual Universidade para Qual Sociedade?", VII Encontro de
Administração Política, Anais... Juiz de Fora: UFJF. Disponível em:
<https://administracaopolitica.wordpress.com/anais-2016/>. Acesso em: 02 set. 2016.
Brasil. 1988. Constituição da República Federativa do Brasil de 1988. Disponível em:
<https://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm>. Acesso em: 20 out.
2015.
Brasil. 2016. Lei nº 13.243/16, 11 de janeiro de 2016. Disponível em:
<http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2016/lei/l13243.htm>. Acesso em: 10
fev. 2016.
Brasil. 2004. Lei nº 10.973, 02 de dezembro de 2004. Disponível em:
<http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/lei/l10.973.htm>. Acesso em: 03
nov. 2015.
Brasil Júnior, y Rede CsF. 2016. Universidades Empreendedoras. São Paulo.
CAPES. 2016. Índice de Universidades Empreendedoras do Brasil – Fundação Capes. Acesso
em: 05 abr. 2017. Disponível em: <https://www.capes.gov.br/.../17112016-Livro-
Universidades-Empreendedoras.pdf>.
Clark, Burton R. 1998. Creating Entrepreneurial Universities - Organizational Pathways of
Transformation. Emerald.
Dagnino, R. et al. 2011. Racionalidades da interação universidade-empresa na América Latina
(1955-1995), en Dagnino, R., y Thomas, H., org., A pesquisa universitária na América Latina
e a vinculação universidade-empresa. Santa Catarina: Argos.
EMBRAPII. 2016. Quem somos. Disponível em:
<http://embrapii.org.br/categoria/institucional/quem-somos/>. Acesso em: 10 nov. 2016.
Flávia de Araújo. e Silva, Túlio César P. M. Martins, y Ivan B. Ckagnazaroff. 2013. “Redes
organizacionais no contexto da governança pública: a experiência dos Tribunais de Contas do
Brasil com o grupo de planejamento organizacional”, Revista do Serviço Público, Rev.
64:249-271.
Franco, M. E. D. P., y Morosini, M. 2011. "UFRGS: Da “Universidade Técnica” à
universidade inovadora", en Marilia Morosoni, org., A universidade no Brasil: concepções e
modelos. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira.
Gladys Beatriz Barreyro. 2008. "De exames, rankings e mídia", Avaliação: Revista da
Avaliação da Educação Superior (Campinas), Rev. 13, n. 3:863–868.
Gray, D. E. 2012. Pesquisa no mundo real. Porto Alegre: Penso.
José Dias Sobrinho. 2008. "Qualidade, avaliação: do SINAES a índices", Avaliação
(Campinas), Rev. 13, n. 3:817–825.
Luis Antônio Cunha. 2007. "O desenvolvimento meandroso da educação brasileira entre o
Estado e o Mercado", Educ. Soc., Rev. 28, n. 100 – Especial: 809 – 829.
Luiz Carlos Bresser-Pereira. 2002. "Reforma da Nova Gestão Pública: Agora na Agenda da
América Latina", Revista do Serviço Público, Rev. 53, n. 3:143–166.
Maria Benedita Portugal e Melo. 2007. "Educação e mass media na modernidade: efeitos do
ranking escolar em análise", em M. M. Vieira, ed., Escola, Jovens e Media. Lisboa: ICS.
Marilena Chauí. 2014. "Contra a universidade operacional – A greve de 2014". Disponível
em: <www.adusp.org.br/files/database/2014/tex_chaui.pdf>. Acesso em: 04 set. 2016
MINISTÉRIO DA EDUCAÇÃO (MEC). 2016. Universidades empreendedoras são listadas
em índice inédito. Acesso em: 02 jul. 2017. Disponível em:
<http://portal.mec.gov.br/component/content/index.php?option=com_content&view=article&i
d=41541:universidades-empreendedoras-sao-listadas-em-indice-
inedito&catid=212&Itemid=86>.
Ministério da Educação (MEC); Instituto Nacional de Estudos e Pesquisas Educacionais
(INEP). 1987. A educação nas mensagens presidenciais: período 1890-1986. Brasília: INEP.
Paula, Ana Paula. P. de. 2005. Por uma nova gestão pública: limites e potencialidades da
experiência contemporânea. Rio de Janeiro: Editora FGV.
Portal Brasil. 2016. Brasil Júnior lança índice de Universidades Empreendedoras. Acesso em:
02 jul. 2017. Disponível em: <http://www.brasil.gov.br/educacao/2016/11/brasil-junior-lanca-
indice-de-universidades-empreendedoras>.
Regina S. Pacheco. 2010. "A Agenda da Nova Gestão Pública", em M.R. Loureiro, F. L.
Abrucio, y R. S. Pacheco, eds., Burocracia e Política no Brasil: desafios para a ordem
democrática no século XXI. Rio de Janeiro: Editora FGV.
Richardson, R. J. 1999. Pesquisa social: métodos e técnicas. São Paulo: Atlas.
Sandra Mara Iesbik Valmorbida, Thuine Lopes Cardoso, y Sandra Rolim Ensslin. 2015.
"Rankings Universitários Mundiais: Análise da Congruência entre Objetivos e Indicadores",
9o Congreso Iberoamericano De Contabilidad De Gestión:1-16.
Santos, Boaventura de Sousa. 1995. Pela mão de Alice: o social e o político na pós-
modernidade. São Paulo: Cortez.
SEBRAE, y Endeavor Brasil. 2016. Empreendedorismo nas Universidades Brasileiras.
SEMESP. 2016. Mapa do Ensino Superior no Brasil.
Sergio Nogueira Seabra. 2001. "A nova administração pública e mudanças organizacionais",
Revista de Administração Pública, Rev. 35, n. 4:19–43.
Simon Schwartzman. 2010. "O Impacto dos rankings nas instituições de ensino", VIII
Congresso Brasileiro de Gestão Educacional, n. Viii: 1–19.
Thomas Diefenbach. 2009. "New public management in public sector organizations: The dark
sides of managerialistic “enlightenment”", Public Administration, Rev. 87, n. 4:892–909.
Torgal, Luis R., y Ésther, Angelo B. 2014. Que universidade? Interrogações sobre os
caminhos da universidade em Portugal e no Brasil. Juiz de Fora/Coimbra: ED. UFJF/IU.