UNIVERSIDADE POTIGUAR PROGRAMA DE PÓS-GRADUAÇÃO EM ... · de todas as Universidades Federais...

UNIVERSIDADE POTIGUAR

PROGRAMA DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO MESTRADO PROFISSIONAL EM ADMINISTRAÇÃO

DAIANE FERREIRA DA COSTA

MEDIÇÃO DE DESEMPENHO EM UNIVERSIDADES FEDERAIS: ANÁLISE DA RELAÇÃO ENTRE OS INDICADORES DO TRIBUNAL DE CONTAS DA UNIÃO E

O ÍNDICE GERAL DE CURSOS

NATAL/RN 2012

UNIVERSIDADE POTIGUAR

PROGRAMA DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO MESTRADO PROFISSIONAL EM ADMINISTRAÇÃO




Dissertação apresentada ao Mestrado Profissional em Administração do Programa de Pós-Graduação em Administração da Universidade Potiguar, Área de Concentração: Gestão Estratégica, como requisito parcial para a obtenção do título de Mestre em Administração. Orientador: Prof. Dr. Rodrigo José Guerra Leone

NATAL/RN 2012

C837m Costa, Daiane Ferreira da. Medição de desempenho em universidades federais: análise da

relação entre os indicadores do tribunal de contas da união e o índice geral de cursos / Daiane Ferreira da Costa. – Natal, 2012.

118 f.

Dissertação (Mestrado em Administração). – Universidade Potiguar. Pró - Reitoria Acadêmica.

Referências: f. 110-114.

1. Administração – Dissertação. 2. Universidades federais.

3. Indicadores. 4. Desempenho. 5. IGC. 6. Indicadores de gestão.

7. TCU. I. Título.

RN/UnP/BSFP CDU: 658(043.3)




Dissertação apresentada ao Mestrado Profissional em Administração do Programa de Pós-Graduação em Administração da Universidade Potiguar, Área de Concentração: Gestão Estratégica, como requisito parcial para a obtenção do título de Mestre em Administração.

Aprovado em 05/11/2012

BANCA EXAMINADORA

__________________________________ Prof. Dr. Rodrigo José Guerra Leone

Orientador Universidade Potiguar - UNP

__________________________________ Prof. Dr. Alípio Ramos Veiga Neto

Universidade Potiguar - UNP

__________________________________ Prof. Dr. José Dionísio Gomes da Silva

Universidade Federal do Rio Grande do Norte - UFRN

AGRADECIMENTOS

À Deus pela oportunidade deste desafio colocado em minha vida, assim como

por ter me guiado e me fortalecido durante toda essa jornada;

À Universidade Federal Rural do Semi-Árido – UFERSA, por oferecer o apoio

e liberação, dando condições para a concretização desta capacitação que me

engrandeceu profissional e pessoalmente;

Aos companheiros da UFERSA e deste mestrado, Gilmar, Gilberto, Vanessa,

Wilton, Nichollas e Dairone, por suportarmos juntos o peso desta batalha, dividindo

as alegrias e principalmente as dificuldades, que se tornaram bem mais leves pela

força do companheirismo;

Aos colegas da Pró-Reitoria de Planejamento e Administração da UFERSA

por todo apoio, torcida e por acompanharem de perto cada etapa deste mestrado,

dando motivação e suporte nas ausências;

Aos professores da UNP, especialmente os docentes da área de estratégia,

não só por desempenharem o papel de professores, mas por servirem como

exemplo, e por conseguirem extrair dos seus alunos o seu melhor;

Ao Prof. Dr. Rodrigo José Guerra Leone por orientar este trabalho, com toda

paciência, serenidade e valiosas contribuições;

À minha família por todo o apoio e suporte, especialmente à minha mãe,

Expedita, por fazer o papel de avó presente, nos cuidados devotados à minha filha

Isabella durante minhas ausências, me dando tranquilidade e força. Ao meu esposo,

Carlos, pela motivação, suporte e encorajamento, me dando a certeza de que tudo

daria certo, e à todos os demais que contribuíram para eu pudesse vencer essa

batalha e galgar mais esse degrau em minha vida.

Muito obrigada!

RESUMO

A administração pública no Brasil, vem reconhecendo a importância da gestão estratégica e tem buscado trabalhar com modelos de excelência em gestão focado em resultados e orientado para o cidadão, através da utilização de sistemas de medição de desempenho e o uso de indicadores. Assim, esta pesquisa teve como objetivo analisar a relação entre dois grupos de indicadores utilizados no campo das Instituições Federais de Ensino Superior (IFES): os indicadores de gestão definidos pelo Tribunal de Contas da União (TCU) que avaliam o desempenho da gestão nas Instituições Federais de Ensino Superior e o Índice Geral de Cursos (IGC), calculado pelo Instituto de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), que busca avaliar a qualidade dos cursos oferecidos por estas instituições. Numa abordagem quantitativa, a pesquisa utilizou-se da regressão linear simples e múltipla, aplicadas a um modelo de comparação construído para padronização dos dados sendo possível realizar uma comparação do desempenho entre as instituições e a relação entre as variáveis. Utilizando-se dos indicadores de gestão de todas as Universidades Federais divulgados nos seus relatórios anuais de gestão dos anos de 2008, 2009 e 2010, assim como das notas obtidas por elas no Índice Geral de Cursos no mesmo período. Os resultados mostraram que a maior parte das IFES evoluiu em seus indicadores do TCU, assim como nas Notas IGC, porém estes, em menor proporção. A melhoria nos índices refletem os investimentos realizados pelo governo através do projeto de expansão das Universidades, o que é reflexo dos investimentos realizados pelo governo neste período. A regressão múltipla apontou que existe relação entre estes indicadores, com os indicadores do TCU explicando em média 76% do desempenho verificado no IGC, porém apenas os indicadores Conceito CAPES, Índice de Qualificação do Corpo Docente e Taxa de Sucesso na Graduação, definidos pelo TCU, mostraram-se significantes para influenciar o desempenho obtido no IGC, o que pode ser explicado pela utilização de componentes semelhantes no cálculo de ambos indicadores. Tais resultados sugerem que estes indicadores do TCU devem ser melhor trabalhados nas instituições, uma vez que seus resultados tem maior impacto no desempenho dos cursos registrado pelo IGC, levando a uma reflexão sobre a utilização destes indicadores, de forma a permitirem a efetiva implementação de estratégias e a avaliação de resultados, de maneira que possam levar ao alcance de uma gestão eficiente e do oferecimento de um ensino de mais qualidade na formação de profissionais e no desenvolvimento da ciência. Palavras-chave: Universidades Federais. Indicadores. Desempenho. IGC. Indicadores de Gestão TCU.

ABSTRACT

The public administration in Brazil has recognized the importance of strategic management and has sought to work with models of excellence in management and focused on results-oriented for the citizen, through the use of performance measurement systems and the use of indicators. Thus, this research aims to analyze the relationship between two groups of indicators used in the field of Federal Institutions of Higher Education (IFES): management indicators defined by the Court of Audit (TCU) to monitor the performance of management in institutions Federal Higher Education Courses and General Index (PMI), compiled by the Institute of Educational Studies and Research Teixeira (INEP), which seeks to assess the quality of the courses offered by these institutions. In a quantitative approach, the research used simple linear regression and multiple applied to a comparison model built for data standardization is possible to compare the performance between the institutions and the relationship between the variables. Using indicators management of all Federal Universities disclosed in its annual management reports of the years 2008, 2009 and 2010, as well as the marks obtained by them in the General Index of Courses in the same period. The results showed that most of these indicators IFES evolved in the TCU, as in IGC Note, however these to a lesser extent. The improvement in the indices reflect the investments made by the government through the expansion project of the Universities, which is a reflection of the investments made by the government during this period. Multiple regression showed that there is a relationship between these indicators, with indicators TCU explaining on average 76% of the performance recorded in the IGC, but only indicators Concept CAPES, Qualification Index Faculty and Graduate Success Rate, set by TCU, were significant in influencing the performance in the IGC, which can be explained by the use of similar components in calculating both indicators. These results suggest that these indicators TCU should be better worked in institutions, since their results have a greater impact on the performance of the courses registered by the IGC, leading to a discussion on the use of these indicators in order to enable the effective implementation of strategies and evaluation of results, so that they can lead to achieving an efficient and offer a higher quality of education in professional training and development of science. KEYWORDS: Federal Universities; Indicators, Performance, IGC; Management Indicators TCU.

LISTA DE FIGURAS

Figura 1 - Cadeia de Valor e os 6Es do Desempenho .............................................. 35

Figura 2 - Etapas de medição e os 10 passos para a construção de indicadores..... 36

Figura 3 - Estrutura do SINAES ................................................................................ 47

Figura 4 - Composição do IGC .................................................................................. 47

Figura 5 - Esquema da Pesquisa .............................................................................. 69

LISTA DE QUADROS

Quadro 1 - Responsabilidades dos administradores na administração estratégica .. 22

Quadro 2 - Atributos para avaliação de SMDOs ....................................................... 28

Quadro 3 - Comparação de modelos ........................................................................ 30

Quadro 4 - Comparação de modelos (continuação) .................................................. 31

Quadro 5 - Estrutura básica para avaliação de indicadores de educação superior

brasileiros ........................................................................................................... 41

Quadro 6 - Indicadores de gestão determinados pela Decisão TCU nº 408/2002 .... 57

Quadro 7 - Importância atribuída aos indicadores de gestão .................................... 66

Quadro 8 - A experiência do TCU com os indicadores de gestão das IFES ............. 67

Quadro 9 - Importância atribuída aos indicadores de gestão do TCU, pelos gestores

das Universidades .............................................................................................. 73

LISTA DE TABELAS

Tabela 1 - Recursos de investimentos disponibilizados para as Universidades

Federais ............................................................................................................ 38

Tabela 2 - Índice Geral de Cursos............................................................................. 49

Tabela 3 - Notas Finais limites no período ................................................................ 80

Tabela 4 - Notas Finais Médias por região ................................................................ 80

Tabela 5 - Variação de Notas Finais por instituição .................................................. 81

Tabela 6 - Notas IGC limites no período ................................................................... 82

Tabela 7 - Variação de Notas IGC médias no período .............................................. 83

Tabela 8 - Variação de Notas IGC por Instituição ..................................................... 84

Tabela 9 - Resumo do modelo de regressão simples - Ano 2008 ............................. 87

Tabela 10 - Coeficientes do modelo de regressão simples - Ano 2008 .................... 88

Tabela 11 - IFES com desempenho fora da faixa prevista pela regressão simples -

Ano 2008 .......................................................................................................... 89

Tabela 12 - Resumo do modelo de regressão simples - Ano 2009 ........................... 89



Ano 2009 .......................................................................................................... 91

Tabela 15 - Resumo do modelo de regressão simples - Ano 2010 ........................... 91



Ano 2010 .......................................................................................................... 93

Tabela 18 - Resumo do modelo de regressão múltipla - Ano 2008........................... 95

Tabela 19 - Coeficientes do modelo de regressão múltipla - Ano 2008 .................... 95

Tabela 20 - Resumo do modelo de regressão múltipla - Ano 2009........................... 97

Tabela 21 - Coeficientes do modelo de regressão múltipla - Ano 2009 .................... 98

Tabela 22 - Resumo do modelo de regressão múltipla - Ano 2010......................... 100

Tabela 23 - Coeficientes do modelo de regressão múltipla - Ano 2010 .................. 101

LISTA DE SIGLAS

AIFE - Aluno tempo Integral por Funcionário Equivalente

AIPE - Aluno tempo integral por Professor Equivalente

APO - Administração por Objetivos

BSC - Balanced Scorecard

CAPES - Coordenação de Aperfeiçoamento do Pessoal de Nível Superior

CCAE - Custo Corrente por Aluno Equivalente

CGU - Controladoria Geral da União

CONAES - Comissão Nacional de Avaliação da Educação Superior

CPA - Comissão Própria de Avaliação

CPC - Conceito Preliminar de Curso

DE - Dedicação Exclusiva

ENADE - Conceito do Exame Nacional de Desempenho de Estudantes

ENADE - Exame Nacional de Desempenho dos Estudantes

FEPE - Funcionário Equivalente por Professor Equivalente

FURG – Universidade Federal do Rio Grande

GEPG - Grau de Envolvimento com a Pós-Graduação

GESPÚBLICA - Programa Nacional de Gestão Pública e Desburocratização

GPE - Grau de Participação Estudantil

HU - Hospitais Universitários

IDD – Indicador de Diferença entre os Desempenhos Observado e Esperado

IES - Instituição de Ensino Superior

IFES - Instituição Federal de Ensino Superior

IGC - Índice Geral de Cursos

INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira

IQCD - Índice de Qualificação do Corpo Docente

LDB - Lei de Diretrizes e Bases da Educação Nacional

MEC - Ministério da Educação e Cultura

MPOG – Ministério do Planejamento Orçamento e Gestão

NDI - Número de Diplomados

NF - Nota Final

PBQP - Programa Brasileiro da Qualidade e Produtividade

PDE - Plano de Desenvolvimento da Educação

PG – Pós-graduação

PQSP - Programa da Qualidade no Serviço Público

QPAP - Programa Qualidade e Participação na Administração Pública

REUNI - Programa de Apoio a Planos de Reestruturação e Expansão das

Universidades Federais

SESu - Secretaria de Ensino Superior

SINAES - Sistema Nacional de Avaliação do Ensino Superior

SMD - Sistema de Medição de Desempenho

SMDO - Sistema de Medição de Desempenho Operacional

SNPG - Sistema Nacional de Pós-graduação

SSS - Sigma Sustainability Scorecards

TCU - Tribunal de Contas da União

TQM - Total Quality Management

TSG - Taxa de Sucesso na Graduação

UFAC - Universidade Federal do Acre

UFAL - Universidade Federal de Alagoas

UFAM - Universidade Federal do Amazonas

UFBA - Universidade Federal da Bahia

UFC - Universidade Federal do Ceará

UFCG - Universidade Federal da Campina Grande

UFCSPA - Universidade Federal de Ciências da Saúde de Porto Alegre

UFERSA - Universidade Federal Rural do Semi-Árido

UFES - Universidade Federal do Espírito Santo

UFF - Universidade Federal Fluminense

UFG - Universidade Federal de Goiás

UFGD - Universidade Federal da Grande Dourados

UFJF - Universidade Federal de Juiz de Fora

UFLA - Universidade Federal de Lavras

UFMA - Universidade Federal do Maranhão

UFMG - Universidade Federal de Minas Gerais

UFMS - Universidade Federal do Mato Grosso do Sul

UFMT - Universidade Federal do Mato Grosso

UFOP - Universidade Federal de Ouro Preto

UFPA - Universidade Federal do Pará

UFPB - Universidade Federal da Paraíba

UFPE - Universidade Federal de Pernambuco

UFPEL - Universidade Federal de Pelotas

UFPI - Universidade Federal do Piauí

UFPR - Universidade Federal do Paraná

UFRA - Universidade Federal Rural do Amazonas

UFRB - Universidade Federal do Recôncavo da Bahia

UFRGS - Universidade Federal do Rio Grande do Sul

UFRJ - Universidade Federal do Rio de Janeiro

UFRN - Universidade Federal do Rio Grande do Norte

UFRPE - Universidade Federal Rural de Pernambuco

UFRR - Universidade Federal de Roraima

UFRRJ - Universidade Federal Rural do Rio de Janeiro

UFS - Universidade Federal de Sergipe

UFSC - Universidade Federal de Santa Catarina

UFSCAR – Fundação Universidade Federal de São Carlos

UFSJ - Universidade Federal de São João Del Rei

UFT - Universidade Federal do Tocantins

UFTM - Universidade Federal do Triângulo Mineiro

UFU - Fundação Universidade Federal de Uberlândia

UFV - Fundação Universidade Federal de Viçosa

UFVJM - Universidade Federal dos Vales do Jequitinhonha e Mucuri

UNB – Fundação Universidade de Brasília

UNIFAL - Universidade Federal de Alfenas

UNIFAP – Fundação Universidade Federal do Amapá

UNIFEI - Universidade Federal de Itajubá

UNIFESP - Universidade Federal de São Paulo

UNIR - Fundação Universidade Federal de Rondônia

UNIRIO - Universidade Federal do Estado do Rio de Janeiro

UTFPR – Universidade Tecnológica Federal do Paraná

VP - Valor Padronizado

SUMÁRIO

1 INTRODUÇÃO ............................................................................................... 14

1.1 CONTEXTUALIZAÇÃO .................................................................................. 14

1.2 PROBLEMÁTICA ............................................................................................ 16

1.3 OBJETIVOS .................................................................................................... 18

1.3.1 Geral............................................................................................................... 18

1.3.2 Específicos .................................................................................................... 18

2 JUSTIFICATIVA ............................................................................................. 18

3 REFERENCIAL TEÓRICO ............................................................................. 20

3.1 A ADMINISTRAÇÃO ESTRATÉGICA ............................................................ 20

3.1.1 O processo da administração estratégica .................................................. 21

3.2 GESTÃO E MENSURAÇÃO DO DESEMPENHO .......................................... 23

3.2.1 Sistemas de Mensuração de Desempenho (SMD) ..................................... 25

3.3 GESTÃO PÚBLICA NO BRASIL .................................................................... 32

3.4 AS INSTITUIÇÕES FEDERAIS DE ENSINO SUPERIOR .............................. 37

3.5 A MEDIÇÃO DE DESEMPENHO NAS IFES .................................................. 38

3.5.1 O Sistema Nacional de Avaliação do Ensino Superior (SINAES) ............. 43

3.5.2 Componentes do SINAES ............................................................................ 44

3.5.3 Instrumentos do SINAES ............................................................................. 45

3.5.4 O Índice Geral de Cursos (IGC) ................................................................... 47

3.5.5 Os Indicadores do Tribunal de Contas da União (TCU) ............................ 53

3.5.5.1 Custo Corrente por Aluno Equivalente (CCAE) ........................................ 58

3.5.5.2 Aluno tempo integral por Professor Equivalente (AIPE) ........................... 59

3.5.5.3 Aluno tempo Integral por Funcionário Equivalente (AIFE) ........................ 60

3.5.5.4 Funcionário Equivalente por Professor Equivalente (FEPE) .................... 61

3.5.5.5 Grau de Participação Estudantil (GPE) .................................................... 61

3.5.5.6 Grau de Envolvimento com a Pós-Graduação (GEPG) ............................ 62

3.5.5.7 Conceito CAPES/MEC para a Pós-Graduação (CAPES) ......................... 62

3.5.5.8 Índice de Qualificação do Corpo Docente (IQCD) .................................... 62

3.5.5.9 Taxa de Sucesso na Graduação (TSG) ................................................... 63

4 METODOLOGIA ............................................................................................. 69

4.1 TIPO DE PESQUISA ...................................................................................... 70

4.2 UNIVERSO DA PESQUISA ............................................................................ 71

4.3 VARIÁVEIS ANALÍTICAS ............................................................................... 72

4.4 COLETA DE DADOS ...................................................................................... 73

4.5 TRATAMENTO DOS DADOS ......................................................................... 75

4.5.1 Primeira etapa: construção do modelo de comparação ........................... 75

4.5.2 Segunda etapa: regressão simples ............................................................. 76

4.5.3 Terceira etapa: regressão múltipla.............................................................. 77

5 ANÁLISE DOS RESULTADOS ...................................................................... 79

5.1 ANÁLISE DESCRITIVA DOS RESULTADOS E COMPARAÇÃO DO

DESEMPENHO ENTRE AS IFES ............................................................................. 79

5.2 RELAÇÃO ENTRE O DESEMPENHO ESTIMADO PARA O IGC E A NOTA

FINAL NOS INDICADORES TCU. ............................................................................ 87

5.3 RELACÃO ENTRE OS INDICADORES TCU E O DESEMPENHO IGC ........ 94

6 CONSIDERAÇÕES FINAIS ......................................................................... 105

REFERÊNCIAS ....................................................................................................... 110

APÊNDICE .............................................................................................................. 115

14

1 INTRODUÇÃO

1.1 CONTEXTUALIZAÇÃO

O mundo das organizações atualmente exige cada vez mais que as

organizações sejam administradas estrategicamente de maneira que integrem seus

objetivos à sua missão, e que busquem implementar suas decisões, além de aferir o

alcance dos resultados. Na gestão estratégica é fundamental que sejam tomadas

atitudes necessárias para alcançar os objetivos organizacionais, e estabelecer o

que fazer para pôr em prática os objetivos estratégicos que foram planejados, na

busca pelo alcance de resultados positivos. Tachizawa (2006), conceitua que um

modelo de gestão estratégica depende de medição, informação e análise, e que

estas precisam ser decorrência da estratégia da organização, abrangendo os

principais processos, bem como seus resultados. As informações necessárias para

avaliação e melhoria do desempenho nas organizaçõers incluem, entre outras, as

relacionadas com o cliente, o desempenho de produtos, as operações, o mercado,

as comparações com a concorrência ou referenciais de excelência, os fornecedores

e os aspectos de custo entre outras.

Esse processo de avaliação e melhoria do desempenho, de acordo com

Robbins (2000) e Certo (2005), ocorre através do monitoramento e controle

constantes, que geralmente se realiza em três etapas. A primeira consiste em

determinar as medidas padrões do desempenho através do planejamento, a

segunda etapa requer a comparação do desempenho com as metas estabelecidas,

enquanto a terceira etapa é representada pela ação gerencial corretiva quando

necessária, visando garantir a realização dos objetivos, ou mesmo estabelecer

critérios para determinar novos patamares de desempenho.

Os sistemas de medição de desempenho quando bem utilizados oferecem os

elementos fundamentais de informação para a tomada de decisão, facilitando o

processo de gestão das organizações. A eficiência destes sistemas de medições

tem sido confirmada pelo alcance do sucesso em diversas, sejam elas públicas ou

privadas, o que faz destes importantes instrumentos de gestão estratégica. Segundo

Bertolin (2007), os sistemas de indicadores têm sido um dos instrumentos mais

15

importantes na analise do desenvolvimento, desempenho e qualidade dos sistemas

nacionais de educação e devem ser pautados nos princípios da relevância,

diversidade, equidade e eficácia.

A administração pública no Brasil, seguindo a tendência mundial, tem

reconhecido a importância da gestão estratégica e com base nisto tem buscado

trabalhar com modelos de excelência em gestão focado em resultados e orientado

para o cidadão. Marcadamente a partir de década de 90, vários programas foram

instituídos pelo governo buscando a excelência da gestão, tendo como foco o

processo de mudança organizacional e a mensuração do desempenho, voltados

para resultados (MPOG, 2009a).

Mais recentemente, em 2005, foi instituído pelo Governo Federal o programa

GESPÚBLICA visando orientar as instituições públicas a construírem modelos

específicos de mensuração do desempenho, com uma política formulada a partir da

premissa de que a gestão de órgãos e entidades públicas pode e deve ser excelente

e comparada com padrões internacionais de qualidade em gestão. O Programa tem

sido utilizado por diferentes órgãos da administração pública, porém, no campo

educação superior, Fowler (2008) afirma que as universidades públicas têm

negligenciado este e outros programas de qualidade, citando como barreiras a

burocracia, o baixo índice de dados históricos nas instituições e a escassez de

exemplos consolidados na implementação de programas de qualidade nas

instituições de ensino.

Apesar de observar-se pouca utilização de políticas de melhoria de qualidade,

o Ministério da Educação já vêm trabalhando nos últimos anos com algumas ações

voltadas para a avaliação do ensino superior, como observado no Plano Nacional de

Educação, que em uma de suas metas busca “institucionalizar um amplo e

diversificado sistema de avaliação interna e externa que englobe os setores público

e privado, e promova a melhoria da qualidade do ensino, da pesquisa, da extensão e

da gestão acadêmica” (BRASIL, 2001).

Assim para avaliar e medir o desempenho das instituições de ensino superior

foi instituído em 2004 o Sistema Nacional de Avaliação da Educação Superior –

SINAES, que avalia três componentes principais: as instituições, os cursos e os

estudantes. Esta avaliação é realizada com base em uma série de instrumentos que

se complementam, de forma que juntos possibilitem traçar um panorama da

16

qualidade dos cursos e das instituições de educação superior no País. Seus

resultados também subsidiam os processos de regulação e supervisão da educação

superior que compreendem as ações de autorização, reconhecimento e renovação

de reconhecimento de cursos de graduação, e credenciamento e recredenciamento

de IES.

Outra proposta de medição do desempenho voltada para a gestão das

universidades, especificamente na esfera federal, tem sido os indicadores

estabelecidos pelo Tribunal de Contas da União, que apesar de terem foco na

prestação de contas, ou o accountability, por ser um órgão de controle do governo,

pretendem medir a eficiência, produtividade e eficácia da gestão universitária, e

possibilitam o estabelcimento de ações que visem a melhoria de resultados e o

consequente oferecimento de uma educação de qualidade, com uso responsável

dos recursos públicos.

1.2 PROBLEMÁTICA

A sociedade, os empresários e o próprio governo passaram a exigir cada vez

mais eficiência e eficácia das instituições públicas, assim tecnologias de gestão que

ajudaram o setor privado a se projetar com excelência empresarial em seus setores,

estão sendo assimilados pelo governo (COUTINHO; KALLÁS, 2005). Governos

utilizam os mapas estratégicos de choque de gestão em municípios, governos e

autarquias, visando estabelecer foco, prioridade e eficiência dos programas

estratégicos de governo.

A medição de desempenho em organizações públicas pode ser algo bastante

peculiar, já que estas não têm como objetivo a obtenção de lucros, mas sim, a busca

da realização de sua missão precípua, que é a de melhoria da sociedade com a

prestação de seus serviços, fazendo desta forma de controle gerencial, uma tarefa

talvez mais difícil que poderia ser em uma empresa privada.

Algumas mudanças culturais e tecnológicas também contribuíram para a

tendência de se medir o desempenho nas organizações públicas, como o advento

da comunicação de massa, que permite que os cidadãos sejam mais bem

17

informados do que em qualquer outra época da história, conferindo uma maior

responsabilidade por parte do governo, já que agora, mais do que nunca, a

população deseja saber como estão sendo empregados os impostos e contribuições

pagas por ela, e se as alocações de fundos estão ajudando a promover a ampliação

do leque de benefícios sociais.

Esta tendência vem assumindo uma importância concreta e imprimindo uma

nova maneira de gerenciar no setor público. Segundo Niven (2005), ao invés de

lamentar essa nova cultura representada pela medição do desempenho, os gestores

do setor público estão adotando de forma sábia esse movimento e seus benefícios.

Ao empregar tecnologias de medição de desempenho, os gestores públicos

conseguem demonstrar claramente aos legisladores e cidadãos o valor que seus

programas trazem a seus componentes. Identificar esse valor a partir de indicadores

e resultados pode contribuir para se avaliar a eficácia de um programa de sucesso, e

demonstrar como a alocação de fundos para seu programa fará a diferença para

pessoas que no final serão atingidas pela prestação de serviços.

Na administração pública a ação de prestação de contas realizada por seus

gestores, é o chamado accountability, assim como também ocorre nas empresas

privadas. No Brasil, especificamente na esfera federal, a ação de prestação de

contas é acompanhada por órgãos como o Tribunal de Contas da União - TCU e a

Controladoria Geral da União - CGU, que fazem o papel de fiscalizadores e

controladores. No caso do ensino superior, além deste acompanhamento há a

regulação e avaliação das instituições, que é conduzida pelo Ministério da Educação

através da sua Secretaria de Ensino Superior. A avaliação neste segmento se

realiza como uma atividade predominantemente técnica, que busca a mensuração

dos resultados produzidos pelas instituições em termos de ensino, de pesquisa e de

prestação de serviços à comunidade.

Assim, esta pesquisa se propõe responder a seguinte questão: Existe relação

entre os indicadores de desempenho determinados pelo TCU para as Universidades

Federais e o desempenho obtido por elas no Índice Geral de Cursos?

18

1.3 OBJETIVOS

Diante do atual contexto sobre medição de desempenho na gestão pública, e

a partir da questão formulada para a problemática apresentada, definiu-se para esta

pesquisa os seguintes objetivos:

1.3.1 Geral

Analisar a relação entre o indicadores de gestão definidos pelo Tribunal de

Contas da União e o Índice Geral de Cursos, utilizados para medir o desempenho

das Instituições Federais de Ensino Superior.

1.3.2 Específicos

I. Estabelecer um sistema de comparação do desempenho entre as IFES a partir

do levantamento dos indicadores TCU e IGC;

II. Estimar o desempenho esperado das IFES no Índice Geral de Cursos a partir

dos Indicadores do TCU, comparando com o real desempenho obtido pelas

instituições;

III. Relacionar os indicadores TCU e IGC, verificando se existe influência dos

indicadores de gestão do TCU no desempenho medido pelo Índice Geral de

Cursos calculado pelo INEP.

2 JUSTIFICATIVA

O interesse investigativo por este tema justifica-se em razão da importância

da medição de desempenho como ferramenta de avaliação para a implementação

da estratégia nas organizações, sobretudo na gestão pública, onde indicadores de

desempenho podem ser utilizados como forma de prestação de contas à sociedade

sobre os resultados produzidos na gestão dos recursos públicos. Desta forma,

buscar uma possível relação entre os indicadores de gestão determinados pelo TCU

e a notas IGC calculadas pelo INEP, mostra-se especialmente interessante, visto

que ainda não existe na literatura pesquisas que relacionem tais indicadores, o que

poderá gerar a partir dos seus resultados, informações que contribuam para a

melhoria da gestão nas IFES.

19

De acordo com o Instituto Nacional de Estudos e Pesquisas Educacionais

Anísio Teixeira (INEP, 2004), o enfoque da avaliação institucional não deve ser

considerado um fim em si, mas como parte de um conjunto de políticas públicas,

com vistas à expansão e qualificação do sistema, fazendo parte de um amplo

processo de revalorização da educação superior e consequentemente, parte de um

projeto de desenvolvimento da nação brasileira. Ainda segundo o Instituto, o

processo de avaliação da educação superior busca ir além da medição e de

aspectos performáticos, e não deve se restringir a coleta de informações, medida e

controle de desempenho, e sim, um processo guiado por uma perspectiva

emancipatória que requer reflexão tanto sobre a prática quanto sobre o objeto e os

efeitos da avaliação.

Desta forma instiga-se a busca pela verificação de uma possível relação entre

estas duas medidas que se propõem a medir a gestão das universidades e a

qualidade do cursos que elas oferecem, dada a importância que as universidades

federais representam para o desenvolvimento do país. Uma possível relação entre

estas medidas poderá trazer elementos informacionais que oriente os gestores na

elaboração de seus planos de gestão, permitindo uma busca pela melhoria dos

indicadores que contribuam de maneira mais significativa no desempenho dos

cursos e consequentemente, na melhoria do ensino. Na possibilidade de inexistência

de relação entre os indicadores, também ocasionará a oportunidade para que os

gestores e os órgãos de controle e regulação das universidade revejam seus

sistemas de medição e a fim de que se utilizem apenas indicadores que realmente

possam contribuir para a melhoria da gestão, e não apenas para cumprir aspectos

formais e que nada agregam ao processo de medição do desempenho.

20

3 REFERENCIAL TEÓRICO

3.1 A ADMINISTRAÇÃO ESTRATÉGICA

A Administração Estratégica é definida como “um processo contínuo e

interativo que visa manter uma organização como um conjunto apropriadamente

integrado a seu ambiente” (CERTO, 2005, pg. 3), devendo ser desenvolvido a partir

de uma série cíclica de etapas que busquem analisar o ambiente, estabelecer uma

diretriz organizacional, formular, implementar e controlar estratégias, funcionando de

maneira contínua e através de um processo de sinergia com os ambientes interno e

externo. De acordo com o autor, este processo tem como principal propósito a

integração apropriada ao ambiente da empresa, devendo esta se adequar às

mudanças em busca do alcance de suas metas.

Considerando que na sociedade moderna as organizações de dividem em

dois principais grupos, que são as organizações de propriedade particular ou fins

lucrativos e as organizações de propriedade pública ou sem fins lucrativos, no

campo da administração estratégica, estas duas categorias apesar de terem

características significativamente diferentes, reúnem em si uma função comum, que

é o fornecimento de bens e/ou serviços a seu ambiente, que por este motivo são

tratadas por Ansoff (1983, p. 21) como um só conjunto de organizações, qualificadas

como “à serviço do ambiente”. Para este estudioso da administração estratégica,

são muitas as variáveis comuns à estas organizações, que tendem a acentuar-se

diante de uma sociedade que exige cada vez mais, atitudes socialmente

responsáveis das organizações privadas e maior eficiência administrativa e ações

empreendedoras das organizações públicas.

Certo (2005) aponta como fundamentos para a administração estratégica, três

principais funções de negócio, que são: marketing, produção ou operações e

finanças. Para o autor a ênfase nestas três principais funções não descarta a

importância de outras áreas que também podem impactar na administração

estratégica como as atividades de recursos humanos e pesquisa e desenvolvimento.

O mesmo afirma ainda que, para o sucesso de um administrador com visão

estratégica faz-se necessário analisar as principais funções de negócio dentro da

21

organização e entender como elas afetam e se integram à administração

estratégica.

3.1.1 O processo da administração estratégica

A organização que quer utilizar a administração estratégica deve buscar o

estabelecimento de objetivos e metas (ANSOFF; MCDONNELL, 1993), mantendo

um conjunto de relações entre a organização e o ambiente, de modo que lhe

permitam perseguir seus objetivos, que estes estejam compatíveis com suas

potencialidades e lhe possibilitem o atendimento às exigências do ambiente.

Ansoff e McDonell (1993) colocam que no processo da administração

estratégica que há quatro tipos de regras que devem orientar a tomada de decisão

numa organização: os padrões pelos quais o desempenho presente e futuro da

empresa é medido; as regras para o desenvolvimento da relação da empresa com

seu ambiente externo; as regras para o estabelecimento das relações e dos

processos internos da organização; e, as regras pelas quais a empresa conduzirá

suas atividades diárias, ou seja, suas políticas operacionais.

Na prática o processo de administração estratégica engloba uma série de

atividades que embora sejam responsabilidades dos administradores, deve envolver

membros de diferentes áreas e níveis da organização, visando o comprometimento

de todos. Certo (2005, p. 6) coloca algumas dessas responsabilidades (Quadro 1),

que estão presentes no processo de implantação da administração estratégica:

22

Quadro 1 - Responsabilidades dos administradores na administração estratégica

Responsabilidades dos administradores na administração estratégica

1. Definir a missão;

2. Formular a filosofia da empresa;

3. Estabelecer políticas;

4. Estabelecer objetivos;

5. Desenvolver a estratégia;

6. Planejar a estrutura da organização;

7. Engajar pessoas;

8. Estabelecer procedimentos;

9. Fornecer instalações;

10. Fornecer capital;

11. Estabelecer padrões;

12. Estabelecer programas de administração e planos operacionais;

13. Fornecer informações de controle;

14. Manter o pessoal ativo.

Fonte: Certo (2005, p. 6)

O processo de implantação da administração estratégica traz benefícios além

dos financeiros, pois o comprometimento que é gerado nos membros da

organização na realização das metas organizacionais a longo prazo, cria um

estrutura para a comunicação interna entre as pessoas, ordena as prioridades

dentro de um plano, dá à empresa vantagem sobre os concorrentes, dentre vários

outros potenciais benefícios que podem advir se a empresa usar o sistema de forma

efetiva e eficiente.

Para Certo (2005), assim como para Matias-Pereira (2007), a administração

estratégica envolve cinco etapas básicas a seguir:

1) Análise do ambiente: monitorar o ambiente organizacional para identificar as

oportunidades e os riscos atuais e futuros;

2) Estabelecimento da diretriz organizacional: é a determinação da meta da

organização, que deve ser norteada por dois indicadores principais que são a

missão e os objetivos;

3) Formulação da estratégia: é a tarefa de projetar e selecionar ações que levem à

realização dos objetivos organizacionais;

4) Implementação da estratégia: significa por em ação as estratégias que

emergiram das etapas anteriores;

23

5) Controle estratégico: é um tipo especial de controle organizacional que se

concentra no monitoramento e na avaliação do processo de administração

estratégica para melhorá-lo e assegurar-lhe um funcionamento adequado.

Ressalta Certo (2205), que apesar do processo ser apresentado como uma

série de etapas para facilitar o aprendizado sobre como elas normalmente se

vinculam umas as outras, cabe ao administrador a habilidade para implementá-las

de maneira flexível o bastante para se adaptar às circunstâncias organizacionais

com que se deparam, podendo realizá-las em sequência distinta da aqui colocada.

Para Matias-Pereira (2007), a avaliação do ambiente organizacional é o ponto

de partida no processo de administração estratégica, com o propósito de identificar

os riscos e oportunidades presentes e futuros para a organização. Além disso, o

autor coloca que quando se trata de administração pública, deve-se priorizar

também questões de responsabilidade ambiental e gestão socioambiental no

processo de administração estratégica. Neste processo, uma ferramenta de grande

utilidade é o planejamento estratégico, pois é um documento dinâmico de gestão,

que sinaliza as decisões que devem ser tomadas sobre a trajetória a ser seguida

pela organização na busca pela realização de sua missão (MATIAS-PEREIRA,

2007).

3.2 GESTÃO E MENSURAÇÃO DO DESEMPENHO

Uma das premissas para o sucesso da administração estratégica traduz-se

num tipo especial de controle organizacional que se concentra no monitoramento e

na avaliação do processo de administração estratégica para melhorá-lo e assegurar-

lhe um funcionamento adequado.

A gestão do desempenho constitui um conjunto sistemático de ações que

buscam definir o conjunto de resultados a serem alcançados e os esforços e

capacidades necessários para seu alcance, incluindo-se a definição de mecanismos

de alinhamento de estruturas implementadoras e de uma sistemática de

monitoramento e avaliação (MPOG, 2009b).

24

Certo (2005) coloca que, em organizações, controlar significa monitorar,

avaliar e melhorar as diversas atividades que ocorrem dentro delas, e caracteriza

este processo em três etapas: medição do desempenho da organização;

comparação do desempenho medido com as metas e os padrões previamente

estabelecidos; e, determinação da ação corretiva necessária para garantir que os

eventos planejados realmente ocorram. Para Hunger e Wheelen (2002) as

informações de avaliação e controle consistem em dados e relatórios de

desempenho que visam orientar os gerentes quanto ao uso adequado de seus

processos de gestão estratégica, a fim de evitar desempenho indesejável e que

possam, com o uso das informações obtidas, desenvolver novos programas ou

procedimentos de implementação.

Para a medição de seu desempenho organizacional, geralmente a

administração usa a auditoria estratégica para determinar o que realmente está

acontecendo dentro da organização, e então, realiza a comparação do desempenho

organizacional com os objetivos e padrões, e neste caso, avalia se o que ocorreu

como resultado do processo de administração estratégica é aceitável. A partir daí,

segue a tomada de ações corretivas quando necessário, pois se os eventos

ocorrerem em sintonia com os objetivos organizacionais estabelecidos,

provavelmente, não haverá necessidade de ação corretiva.

Robbins (2000) ressalta que antes do estabelecimento de controles deve

haver o planejamento, porque é nele que os padrões são estabelecidos, supondo

que no processo de controle, os padrões de desempenho já existem. De acordo com

o autor, o primeiro passo neste processo, é determinar o que será medido e como

será medido. A seleção dos critérios de medição é um ponto decisivo para o

processo de controle, pois a seleção errada de critérios pode ter consequências

graves sobre seu funcionamento, além disso, o que será medido determina, em

grande parte, aquilo em que as pessoas na organização tentarão se superar. O

segundo passo é a comparação, que é a etapa que vai determinar o grau de

variação entre o desempenho real e o padrão, seguido do terceiro e último passo,

que é a ação gerencial, no qual se podem escolher três cursos de ação: não fazer

nada, corrigir o desempenho real ou revisar o padrão.

25

3.2.1 Sistemas de Mensuração de Desempenho (SMD)

A gestão do desempenho é o meio pelo qual as estratégias organizacionais

são implementadas e administradas pelas empresas, através de subsistemas de

gestão de desempenho que são os sistemas de indicadores ou de medição de

desempenho que tem como objetivo fornecer as informações necessárias e

suficientes aos responsáveis pela tomada de decisão (PANDOLFI, 2005). Portanto,

a escolha de um método adequado é a base para o sucesso de um sistema de

gestão de desempenho, de maneira a reduzir a subjetividade das decisões

fornecendo informações objetivas que permitam aos gestores efetuar um julgamento

preciso. Além disso, a alta administração deve assegurar que seu sistema de

controle e medição siga a estratégia definida, devendo obedecer alguns diretrizes

(HUNGER e WHEELEN, 2002) como: utilizar a quantidade mínima de informações

necessárias, acompanhar atividades e resultados realmente significativos, que

sejam de curto e de longo prazo, que permitam identificar exceções e que sejam

usados para recompensar a alcance ou a superação dos padrões e não a punição

do fracasso no alcance dos padrões.

Apesar de ser um tema contemporâneo, os sistemas de medição de

desempenho têm sido revistos nas últimas décadas, visando adequá-los à realidade

dos ambientes. De acordo com Galvão (2002), um adequado SMD requer medições

balanceadas nas diversas áreas estratégicas da organização, contrariamente ao que

se observava nos primórdios dos sistemas de mensuração, onde os indicadores

financeiros eram notoriamente priorizados em detrimentos de outras medidas. Logo

o desbalanceamento no uso de medidas na verificação do desempenho global da

organização, com a preponderância de medidas de desempenho financeiro, refletia

as deficiências no processo de gerenciamento.

Mesmo com a necessidade crescente por novas medidas, ainda assim

prevalecia o uso de medidas de cunho financeiro e, portanto, fazia-se necessária a

inserção de medidas de desempenho ligadas à satisfação dos clientes e dos

empregados, ao desempenho de atividades internas, capital intelectual e ativos

intangíveis, de maneira a atender a administração de negócios moderna (DINIZ,

2009).

26

Segundo Diniz (2009) um sistema de gerenciamento da performance

empresarial pode garantir a implantação e o controle de estratégias, desdobrando-se

em indicadores de desempenho que fornecem informações de cunho quantitativo e

qualitativo geradas a partir do processo de medição de desempenho, de maneira

que possam contribuir para o processo decisório. Para Fernandes e Berton (2005)

um sistema de avaliação de performance não se presta somente para o controle,

pois se bem utilizado é uma forma valiosa para integrar e conciliar os objetivos em

todas as áreas da organização, servindo para comunicar de forma integrada as

prioridades a serem buscadas, para sinalizar o comportamento esperado, para

receber feedback de suas ações e aprimorar sua eficácia.

Uma das principais questões ao se definirem os padrões de controle de uma

organização, é o que se deve controlar, pois muitas vezes as empresas adotam

sistemas de controle e medição de desempenho que pouco se relacionam com a

sua postura estratégica ou que não indicam se as ações propostas no planejamento

estratégico estão se desenvolvendo a contento (FERNANDES; BERTON, 2005). As

organizações acabam utilizando sistemas de controle pouco flexíveis e pouco

atrelados às concepções estratégicas, adotando sistemas padronizados de controle,

voltados essencialmente para processos internos, e não sistemas dinâmicos, que

possibilitem avaliar efetivamente a eficácia das ações empreendidas (WRIGHT et al,

2000).

A importância da medição do desempenho organizacional foi ressaltada por

Kaplan e Norton (1997, p. 21), quando colocaram que “o que não é medido, não é

gerenciado.” Segundo os autores a estratégia precisa ser traduzida em objetivos e

medidas tangíveis, que estejam integrados, e que não se restrinja a medidas de

cunho financeiro. Desta forma, eles desenvolveram um sistema de mensuração,

denominado Balanced Scorecard ou BSC, que incorpora além da perspectiva

financeira, as de clientes, processos internos e do aprendizado e crescimento. Para

os autores, o sistema vai além de um simples sistema de medidas, para um eficiente

sistema de gestão estratégica, uma vez que ele funciona com o objetivo de

esclarecer e comunicar a estratégia à toda a empresa, alinhar metas e objetivos

estratégicos, realizar revisões e obter feedback sobre a estratégia adotada. Apesar

de criado para utilização no setor privado, os autores destacam que o BSC também

pode se adaptar a realidade das empresas públicas e instituições sem fins

27

lucrativos, pois oferece a base lógica para a existência dessas organizações – servir

clientes e partes interessadas e manter gastos dentro dos limites orçamentários.

A literatura relata ainda diversos modelos de sistemas de medição de

desempenho, que foram evoluindo consideravelmente a partir da década de 80,

quando a medição de desempenho passou efetivamente a fazer parte do ciclo de

planejamento e controle das organizações (FIGUEIREDO, 2003). Atualmente muitos

modelos com múltiplas dimensões de desempenho têm sido propostos, porém

muitos destes modelos ao serem implementados não funcionaram adequadamente,

o que instigou pesquisas que buscaram avaliar esses SMDs. Figueiredo (2003)

estabeleceu atributos desejáveis para a realização de uma auto-avaliação destes

sistemas, de maneira a contribuir para uma maior coerência entre o sistema de

medição e a nova estratégica organizacional, e assim, garantir o sucesso na sua

implementação. Para o autor, a auto-avaliação de um SMD deve ser realizada em

ciclo e deve ser baseada no conjunto de atributos desejáveis, visando identificar as

forças e fraquezas do modelo e propor ações planejadas para sua melhoria.

Partindo de uma revisão literária, ele selecionou entre diversos atributos, a

ocorrência de 9 (nove) atributos desejáveis principais: Aprendizado, Análise Crítica,

Balanceamento, Clareza, Dinamismo, Integração, Alinhamento, Participação e Re-

lacionamento Causal. Os atributos são descritos no Quadro 2.

28

Quadro 2 - Atributos para avaliação de SMDOs

ATRIBUTO DESCRIÇÃO AUTORES CONSULTADOS

Interação Capacidade do sistema em interagir com todas as partes da organização e seus principais sistemas de informação

Ghalayini et al. (1997), Bititci et al. (1998) e Bititci et al. (2000)

Clareza Capacidade do SMD de utilizar indicadores de fácil entendimento pelos usuários

Sink e Smith (1993), Sink e Tutle (1993) e Neely et al. (2000)

Participação Capacidade do SMD em permitir que os diferentes stakeholders tomem parte ativa em todas as fases do seu ciclo de vida

Dixon et al. (1990), Thor (1993) e Ghalayini et al. (2000)

Dinamismo Capacidade de monitorar continuamente o ambiente interno e externo da organização fornecendo informações pertinentes no momento em que são solicitadas

Ghalayini et al. (1997) e Bititci et al. (2000)

Análise Crítica Capacidade do SMD de fornecer informações que possibilitem uma verificação profunda e abrangente do desempenho organizacional

Ghalayini et al. (1997) e Bititci et al. (2000) e FNPQ (2002)

Relacionamento Causal

Capacidade do SMD de inter-relacionar os diversos indicadores de forma a facilitar o entendimento das relações de causa e efeito entre a estratégia, processos e indicadores da organização

Kaplan & Norton (1996b), Neely & Bourne (2000) e Neely et al. (2002)

Aprendizado Organizacional

Capacidade do Sistema em fornecer informações que o facilitem o questionamento, a avaliação ou a inovação do sistema de avaliação

Garvin (1996), Senge (1996) e Kaplan (1996b)

Alinhamento Capacidade do sistema de medição de desempenho de utilizar indicadores vinculados com a estratégia e os principais processos organizacionais

Kaplan & Norton (1996b), Ghalayini et al. (1997), Bititci et al. (1998) e Neely et al. (2000)

Balanceamento Capacidade do SMD em fornecer informações de diferentes dimensões de desempenho

Kaplan & Norton (1996b), Neely et al. (2002) e FNPQ (2002)

Fonte: Adaptado de Figueiredo (2003)

Embora na evolução dos modelos de avaliação de desempenho

organizacional, ocorrida nas últimas décadas, ainda tenha prevalecido as questões

financeiras e econômicas, bastante marcantes desde o surgimento dos primeiros

modelos, estes vieram trazendo a abordagem de outras dimensões, reconhecendo

que os indicadores financeiros não são suficientes para a compreensão da

organização, inclusive pela sua importância estratégica (YOKOMIZO, 2009). Em

seus estudos, o autor cita modelos que fizeram parte desta evolução, como por

exemplo os modelos de Martindell, de Buchele, da Administração por Objetivos

(APO), de Áreas-Chave de Resultado, de Côrrea, do Total Quality Management

(TQM), o Balanced Scorecard (BSC), o Sigma Sustainability Scorecards (SSS) e o

Skandia, entre outros.

29

Yokomizo (2009) coloca que a visão generalista destes sistemas não confere

aplicabilidade com sucesso para todas as empresas, visto que acabam perdendo

força ao não serem reaplicáveis em todos os contextos e sugere, portanto, que se

deve trabalhar com modelos de avaliação de desempenho organizacional

específicos para setores. Segundo o autor, são 8 (oito) as principais dimensões a

serem abordadas em um sistema de medição de desempenho: financeira, processos

e eficiência operacional, clientes, pessoas e aprendizado, infraestrutura técnica,

inovação, meio-ambiente e social.

Em um estudo para identificar e descrever como é feita a avaliação de

desempenho organizacional na administração de municípios, Fevorini (2010)

analisou e comparou alguns modelos de SMD, baseada nas dimensões propostas

por Yokomizo (2009), incluindo a dimensão da aplicabilidade à administração pública

municipal, conforme pode ser observado nos Quadros 3 e 4, permitindo visualizar-se

qual o foco de cada sistema estudado e possibilitando que gestores de diferentes

áreas possam identificar o modelo mais adequado às suas necessidades, inclusive

possibilitando adotar uma abordagem mista.

30

Quadro 3 - Comparação de modelos

Dimensões Tableau de Bord Martindell Buchele APO

Financeiro Propõe de forma enfática que a empresa aborde os indicadores financeiros tradicionais.

Alguns aspectos considerados são: função econômica e saúde nos lucros.

Há uma preocupação específica para a questão financeira.

Propõe que a empresa defina objetivos para rentabilidade e recursos físicos e financeiros.

Clientes É possível incluir indicadores de clientes. Mas o modelo genérico não enfatiza este tipo de indicador.

Não se dirige diretamente a clientes, mas coloca como um aspecto importante o vigor das vendas

Não aborda. Como o foco está voltado para o ambiente interno, no modelo não apresenta indicadores para clientes.

Processos É possível incluir indicadores de processo, mas o modelo genérico não enfatiza este tipo de indicador.

Considera a eficiência da produção e questões como estrutura organizacional e pesquisa e desenvolvimento.

Há uma preocupação específica para a questão de processos.

Como o foco está voltado o para ambiente interno não apresenta indicadores para processos.

Pessoas É possível incluir indicadores de pessoas. Mas o modelo genérico não aborda este tipo de indicador.

Não se dirige diretamente a pessoas, mas coloca como aspectos importantes a análise da diretoria.

Não há uma preocupação específica, mas destaca a necessidade de se cuidar da cúpula administrativa.

Como o foco está voltado para o ambiente interno, no modelo não apresenta indicadores para pessoas.

Sustentabilidade É possível incluir indicadores de sustentabilidade, porém o modelo genérico não enfatiza este tipo de indicador.

Não aborda. Não aborda. Surge na década de 50, quando empresas estavam sofrendo pressões e perdas de lucro. Não havia preocupação com este tema.

Stakeholders Foco essencialmente nos acionistas.

Alguns aspectos considerados são: os serviços para os acionistas, a análise da diretoria, a política fiscal e a avaliação dos executivos.

Não aborda. Foco nos acionistas.

Responsabilidade Social

É possível incluir indicadores de responsabilidade social, mas o modelo genérico não aborda este tipo de indicador.

Não aborda. Não aborda. Preocupa-se com a responsabilidade pública.

Aplicabilidade na administração pública municipal

Difícil. A administração pública não pode ser avaliada pelos indicadores financeiros utilizados em uma empresa. A customização de dimensões e indicadores adequados acabaria por desqualificar o modelo.

Não é aplicável. Não aborda as dimensões e indicadores adequados.

Não é aplicável. Não aborda as dimensões e indicadores adequados.

Alguns aspectos são aplicáveis, mas o foco no ambiente externo não é adequado.

Fonte: Fevorini (2010, p. 43)

31

Quadro 4 - Comparação de modelos (continuação)

Dimensões Modelo Corrêa TQM BSC SSS Skandia

Financeiro O modelo é genérico, mas dá ênfase especial para o resultado financeiro, como conseqüência das outras ações.

Aborda os indicadores financeiros.

Ênfase está nos objetivos e nas medidas monetárias, sendo a perspectiva financeira da organização o objetivo central.

Ampliar a perspectiva financeira para sustentabilidade.

O foco financeiro contempla o passado da organização, representado pelos demonstrativos financeiros.

Clientes O modelo é genérico, mas menciona a satisfação dos usuários e clientes e sugere medir seu grau de satisfação.

Propõe métricas da percepção dos clientes.

Descreve de que forma o valor deve ser criado para os clientes para que a empresa se diferencie da concorrência.

Ampliar a perspectiva clientes para partes interessadas externas.

O foco no cliente consiste em encontrar parâmetros que traduzem a nova realidade das relações entre organização e clientes.

Processos O modelo é genérico, mas dá ênfase especial para processos. Esse módulo chama-se eficiência operacional. A eficiência operacional gera resultado financeiro.

O modelo aborda os objetivos em relação aos processos, no que tange sua percepção e gestão. O modelo enfatiza a satisfação e geração de valor para os stakeholders.

Compreendem as diversas atividades empreendidas dentro da organização que, de uma forma ampla, possibilita realizar desde a identificação das necessidades até a satisfação dos clientes.

Tem a mesma lógica do BSC, porém os indicadores estão relacionados com a eficiência.

O foco no processo trata do papel da tecnologia como instrumento de criação de valor para a organização.

Pessoas O modelo é genérico, mas menciona os recursos humanos e o clima organizacional. Sugere avaliar o desempenho dos funcionários e a qualidade da interação entre as pessoas e setores e as conseqüências dessas interações.

Propõe métricas em relação aos recursos humanos: como são planejados, geridos ou melhorados. As competências dos funcionários são identificadas, devendo-se propor formas de desenvolvê-las e sustentá-las.

Busca analisar a habilidade da empresa em manter sua competitividade e evoluir no longo prazo desenvolvendo e capacitando os funcionários, o ambiente de trabalho, a motivação, as habilidades e a gestão do conhecimento.

Define perspectiva de aprendizado e crescimento semelhante ao BSC.

O foco humano fica localizado no centro do Navegador Skandia e interage com os demais focos constituindo a parte mais difícil do modelo.

Sustentabilidade Não há menção direta à sustentabilidade, mas é possível acrescentar um módulo específico para essa variável.

O PQN examina como a organização contribui para o desenvolvimento econômico, social e ambiental de forma sustentável.

Não aborda. O foco do modelo é a sustentabilidade. Amplia perspectiva financeira para sustentabilidade.

Não aponta preocupação com a questão.

Responsabilidade Social O modelo é genérico, mas menciona a responsabilidade social e sugere medir os benefícios sociais gerados pela empresa.

Idem item sustentabilidade.

Não aborda. A responsabilidade social é uma das prioridades do SSS.

Não aponta preocupação com a questão.

Aplicabilidade na administração pública municipal

É aplicável. Por ser um modelo genérico pode ser adaptado para avaliar as dimensões e indicadores adequados.

Alguns aspectos são aplicáveis. Mas não o método como um todo.

Alguns aspectos são aplicáveis após adaptação.

Alguns aspectos são aplicáveis após adaptação.

Alguns aspectos são aplicáveis mas a adaptação descaracterizaria o método.

Fonte: Fevorini (2010, p. 44)

32

3.3 GESTÃO PÚBLICA NO BRASIL

A gestão na área pública deve balizar-se a partir das diversas características

inerentes à natureza pública que diferenciam as suas organizações das

organizações da iniciativa privada. Conforme Documento 1 do Instrumento de

avaliação da gestão pública Ciclo 2008-2009 do Programa Nacional de Gestão

Pública e Desburocratização - GESPÚBLICA (Brasil, 2008), entre as mais relevantes

características das organizações públicas estão:

• São regidas pela supremacia do interesse público e pela obrigação da continuidade

da prestação do serviço público;

• O controle social é requisito essencial para a administração pública contemporânea

em regimes democráticos, o que implica em garantia de transparência de suas

ações e atos e na institucionalização de canais de participação social;

• A administração pública busca gerar valor para a sociedade e formas de garantir o

desenvolvimento sustentável, sem perder de vista a obrigação de utilizar os recursos

de forma eficiente;

• A atividade pública é financiada com recursos públicos, oriundos de contribuições

compulsórias de cidadãos e empresas, os quais devem ser direcionados para a

prestação de serviços públicos e a produção do bem comum.

• A administração pública tem como destinatários de suas ações os cidadãos,

sujeitos de direitos, e a sociedade, demandante da produção do bem comum e do

desenvolvimento sustentável.

Apesar das especificidades da área, no Brasil os gestores públicos há muito

reconhecem que um dos maiores desafios do setor é o de natureza gerencial

(FERREIRA, 2009), e buscam um modelo de excelência em gestão focado em

resultados e orientado para o cidadão. Um modelo que guie as organizações

públicas em busca de transformação gerencial rumo à excelência e, ao mesmo

tempo, que permita avaliações comparativas de desempenho entre organizações

públicas brasileiras e estrangeiras, assim como com demais organizações do setor

privado, através de um sistema de gestão que vise aumentar a eficiência, a eficácia

e a efetividade das ações executadas, que seja constituído por elementos

integrados, que orientem a adoção de práticas de excelência em gestão com a

33

finalidade de levar as organizações públicas brasileiras a padrões elevados de

desempenho e de qualidade em gestão (BRASIL, 2008).

Assim, nas décadas de 80 e 90 diversos mecanismos e métodos foram

instituídos pelo governo no sentido de preparar e atualizar as empresas e o serviço

público com relação à qualidade e produtividade. Entre elas: o Programa Brasileiro

da Qualidade e Produtividade – PBQP, em 1990; o Programa Qualidade e

Participação na Administração Pública – QPAP, em 1995; o Programa da Qualidade

no Serviço Público – PQSP, em 1999. Mais recentemente em 2005, o governo

federal instituiu o Programa Nacional de Gestão Pública e Desburocratização -

GESPÚBLICA, unificando o Programa da Qualidade com o Programa Nacional de

Desburocratização, sendo assim decretado em 2009 “Ano Nacional da Gestão

Pública”.

O GESPÚBLICA é uma política formulada a partir da premissa de que a

gestão de órgãos e entidades públicos pode e deve ser excelente e comparada com

padrões internacionais de qualidade em gestão, mas não pode nem deve deixar de

ser pública. O Modelo de Excelência em Gestão Pública instituído pelo governo tem

como base os princípios constitucionais da administração pública e como pilares os

fundamentos da excelência gerencial. Assim, a gestão pública para ser excelente

tem que ser legal, impessoal, moral, pública e eficiente, fundamentada pelo

pensamento sistêmico, aprendizado organizacional, cultura da inovação, liderança e

constância de propósitos, orientação por processos e informações, visão de futuro,

geração de valor, comprometimento com as pessoas, foco no cidadão e na

sociedade, desenvolvimento de parcerias, controle social e gestão participativa

(MPOG, 2008).

Segundo Ferreira (2009), modelos de excelência em gestão são próprios para

a avaliação da gestão de organizações tanto públicas quanto privadas. Por meio

deles é possível “medir” os níveis de gestão das organizações em relação ao

“estado da arte” preconizado. No entendimento do autor a avaliação organizacional

é capaz de fornecer ao executivo ou ao administrador informações importantes, na

qual poderão ser usadas para solucionar ou descobrir problemas, capitalizar

oportunidades e melhorar processos. O conceito sobre avaliação postulado pelo

programa GESPÚBLICA, assegura que, quando a avaliação da gestão é

sistematizada, esta funciona como uma forma de aprendizado sobre a própria

34

organização e também como instrumento de melhoria das práticas gerenciais. Desta

forma, a avaliação permite identificar os pontos fortes e os aspectos gerenciais

menos desenvolvidos em relação ao referencial comparativo e que devem ser

melhorados.

Neste sentido o programa GESPÚBLICA publicou em 2009, a partir de um

mapeamento bibliográfico e do estado da arte sobre indicadores de gestão, um Guia

Referencial para Medição de Desempenho e Manual para Construção de

indicadores de eficiência, eficácia e de resultados. Buscando a fixação do novo

paradigma da Governança para Resultados através do foco em novas formas de

geração de resultados em um contexto contemporâneo complexo e diversificado. O

Programa propôs um metamodelo capaz de unir os mais diversos aspectos,

dimensões e abordagens, orientando a elaboração de modelos específicos para a

definição e mensuração do desempenho das organizações.

Neste metamodelo foi utilizada uma concepção de cadeia de valor que

identifica seis dimensões do desempenho, permitindo que se identifique em cada

dimensão distintos objetos de mensuração, que oriente a modelagem de indicadores

e que permita a construção de painéis de acompanhamento da gestão. O modelo é

constituído em uma Cadeia de Valor e dos 6Es do Desempenho, composto pelas

dimensões de esforço e de resultado desdobradas em outras dimensões do

desempenho, conforme Figura 1. As dimensões de esforço são Economicidade,

Execução e Excelência; e as dimensões de resultado são Eficiência, Eficácia e

Efetividade (MPOG, 2009a). A pretensão é de que o metamodelo possa ser

aplicável em vários níveis da administração pública, tais como, nível macro

(Governo), nível meso (política pública ou setor de governo), nível meso-micro

(redes de organizações), nível micro (organizações) e nível nano (unidade de

organização).

35

Figura 1 - Cadeia de Valor e os 6Es do Desempenho

Fonte: Guia Referencial para Medição de Desempenho e Manual para Construção de indicadores (2009, p. 16).

A partir da revisão das principais experiências de construção de

indicadores para o setor público e privado, o GESPÚBLICA sugere em sua

metodologia um conjunto de 6 etapas e 10 passos para o processo de construção de

indicadores de desempenho, conforme Figura 2, de forma a assegurar a coerência

da formulação e a implementação do conjunto de indicadores que se planeja

construir.

36

Figura 2 - Etapas de medição e os 10 passos para a construção de indicadores

Fonte: Guia Referencial para Medição de Desempenho e Manual para Construção de indicadores (2009, p. 42).

Apesar deste modelo de excelência em gestão específico para o setor

público, ser considerado válido e consistente traduzindo-se numa realidade

consagrada (FERREIRA, 2009), o GESPÚBLICA ainda parece ter baixa adesão

pelos órgãos públicos. Especificamente nas Instituições Federais de Ensino Superior

37

– IFES, essa busca pela implementação de sistemas mais eficazes, como as normas

e programas de gestão da qualidade parecem ainda serem negligenciadas

(FOWLER, 2008). Com a proposta de investigar as possíveis motivações e inibições

para a adesão pelas IFES a programas de qualidade como o GESPÚBLICA, esse

autor observou que os principais fatores motivadores são a melhoria da imagem

institucional, confiança e atendimento à sociedade, aprendizagem organizacional e

agilização nas tomadas de decisão, consciência e valores éticos por parte dos

servidores e obtenção de um modelo que facilite a avaliação institucional. Os fatores

inibidores foram receio de não continuidade do programa, baixo índice de dados

históricos na instituição, burocracia e escassez de exemplos consolidados na

implementação de programas de qualidade nas instituições de ensino.

3.4 AS INSTITUIÇÕES FEDERAIS DE ENSINO SUPERIOR

Em reconhecimento ao papel estratégico que desempenham as universidades

federais no desenvolvimento econômico e social do país, o governo instituiu em

2007 através do Plano de Desenvolvimento da Educação (PDE), o Programa de

Apoio a Planos de Reestruturação e Expansão das Universidades Federais

(REUNI), tendo como objetivo garantir às universidades as condições necessárias

para a ampliação do acesso e permanência na educação superior; assegurar a

qualidade por meio de inovações acadêmicas; promover a articulação entre as

diferentes unidades acadêmicas, docência e execução de atividades curriculares

para desenvolvimento da formação superior; e, melhorar o aproveitamento dos

recursos humanos e da infraestrutura das Instituições Federais de Educação

Superior.

A expansão da Rede Federal de Educação Superior teve início em 2003 com

a interiorização dos campi das universidades federais. Com isso, o número de

municípios atendidos pelas universidades passou de 114 em 2003 para 237 até o

final de 2011. Desde o início da expansão foram criadas 14 novas universidades e

mais de 100 novos campi que possibilitaram a ampliação de vagas e a criação de

novos cursos de graduação. De acordo com dados do Ministério da Educação,

mostrados na Tabela 1, de 2008 a 2010 os recursos com investimentos

38

disponibilizados para as universidades federais evoluíram de R$ 764 milhões para

R$ 1,17 bilhão, um incremento de 54% no período.

Tabela 1 - Recursos de investimentos disponibilizados para as Universidades Federais

REUNI/Expansão

ANO REAIS

2008 764.264.812,23

2009 1.298.551.374,75

2010 1.173.792.205,07

Fonte: MEC (2011)

A partir deste programa cresceu consideravelmente o número de instituições,

e seus campi, além do porte destas instituições com a criação de mais cursos de

graduação e o aumento no número de vagas. Diante deste quadro de amplo

crescimento, questiona-se como estas instituições vem trabalhando tamanhas

mudanças em sua estratégia, e de que maneira pode-se melhorar sua gestão

através da utilização de ferramentas administrativas que possibilitem a

concretização de seus objetivos e o acompanhamento do seu desempenho, a fim de

possibilitar a oferta de um ensino público, gratuito e de qualidade para os jovens

brasileiros.

3.5 A MEDIÇÃO DE DESEMPENHO NAS IFES

Os indicadores de desempenho proporcionam a medição, motivação e

avaliação das atividades rotineiras de melhoria dos processos internos das

organizações, e segundo Soares (2007), visam fortalecer os resultados obtidos

pelos controles gerenciais, tendo entre seus pontos positivos a possibilidade de

indicar às IFES a capacidade de gestão de seus recursos de forma independente e

autônoma. A aplicação de indicadores de desempenho atribui valor em sentido

quantitativo e qualitativo, estabelece padrões de comparação e permite a

comparação dos resultados obtidos com os respectivos padrões estabelecidos pela

gestão, tendo assim, como objetivo principal a tomada de decisão.

39

Fernandes (2009) salienta que os indicadores são um interessante instrumento

de prestação de contas e monitoramento das ações públicas e, especificamente

para as universidades, demonstram como suas ações refletem na sociedade. Ele

ressalta ainda, que os indicadores não representam, contudo, a totalidade de

informações para a tomada de decisões, pois eles representam na verdade, apenas

uma ferramenta auxiliar que facilita o acompanhamento da gestão pública. Em sua

pesquisa, o autor encontrou uma lacuna quanto à utilização de indicadores de

gastos que pudessem retratar a relação entre os recursos despendidos pelas IFES e

a qualidade da educação por elas oferecida. Com o objetivo de preencher essa

lacuna, ele criou indicadores de gastos que demonstraram não haver harmonia na

utilização dos recursos públicos e no retorno para a sociedade na forma de melhor

qualidade das atividades acadêmicas. Os resultados de seus estudos mostraram

que as universidades com os maiores gastos correntes apresentaram uma pior

qualidade nas atividades de ensino e pesquisa, importante constatação feita a partir

da utilização de indicadores de desempenho.

Em um estudo que analisou os indicadores de desempenho das IFES na

visão de diferentes usuários, Soares (2007) verificou que os usuários pesquisados

não utilizavam os indicadores para a tomada de decisões em suas gestões,

apontando para a necessidade de uma reflexão sobre a obrigatoriedade da

apuração e divulgação dos indicadores de desempenho nos relatórios anuais de

gestão das IFES. Esta descreve que os indicadores de desempenho necessitam ser

construídos como ferramenta de uso efetivo, para que seja possível convalidar o

desenvolvimento das instituições com uma gestão eficaz, devendo os sistemas de

medidas assegurarem o alinhamento das atividades com o objetivo maior da

organização, que no caso das IFES, é a produção de conhecimento traduzindo-se

no desenvolvimento da nação.

Segundo Ribeiro (2010), o sistema de gerenciamento no ensino dificilmente

utiliza indicadores capazes de alertar as instituições para as mudanças de forma

tempestiva, uma vez que seu gerenciamento sempre tendeu a ser histórico. E coloca

que as medidas acadêmicas normalmente utilizadas, não retratam a imagem real da

situação da instituição, pois não refletem os aspectos da visão, missão e direção

estratégica do órgão público educacional. Estes aspectos retratam uma visão

contemporânea e refletem uma evolução do setor educacional que vem mudando de

40

um modelo que não vislumbrava desempenho e resultados organizacionais para a

adoção de métodos que se equiparam aos de uma empresa mercantil. Nesse

contexto, Ribeiro (2010) reconhece a necessidade das organizações públicas de

ensino desenvolverem um efetivo e eficaz planejamento educacional e um sistema

de acompanhamento desse planejamento, evidenciando se as estratégias

estabelecidas estão efetivamente sendo seguidas e se os objetivos propostos estão

sendo alcançados. Em seu estudo sobre a aplicabilidade do Balanced Scorecard em

uma instituição pública de ensino, ele concluiu com uma avaliação positiva quanto

ao enquadramento das ações e indicadores do Plano de Desenvolvimento

Institucional às perspectivas do Balanced Scorecard, porém verificou que os

indicadores de desempenho não se apresentaram como balizadores da tomada de

decisão pelos gestores da instituição.

Em se tratando de avaliação externa dos padrões de qualidade da educação

superior, vários países já adotam sistemas de avaliação, usando uma enorme

variedade de procedimentos em um grande nível de diversidade quanto à

metodologia utilizada, destacando-se entre os mais importantes os processos de

licença para funcionamento de cursos e instituições, os exames de garantia dos

padrões de qualidade e o sistema de auditoria. Segundo Marchelli (2007) variações

também podem ser vistas quanto à natureza do processo de participação

(obrigatória ou voluntária); podendo ser avaliada a instituição como um todo ou seus

programas departamentais em particular; quanto ao tipo de escala em que os

resultados são expressos (nenhuma escala de classificação, escalas de dois-pontos

ou escala multi-pontos); e quanto à política de divulgação do resultado (confidencial

ou publico). Podendo ainda haver diferenças em termos do foco da avaliação: estar

voltado para caracterizar a eficiência dos meios que os cursos e instituições utilizam

para atingir e garantir a qualidade, ou estar voltado para o aperfeiçoamento dos fins

institucionais. O autor cita ainda que, apesar das variações metodológicas

possíveis, todos os sistemas de avaliação da qualidade têm em comum os seguintes

elementos: baseiam-se em critérios pré-determinados e transparentes; usam uma

combinação de auto-avaliação com avaliação externa; publicam seus resultados; e

asseguram a validez do resultado da avaliação por um período de tempo específico.

Buscando verificar a qualidade do sistema de educação superior brasileiro no

período de 1993-2004 Bertolin (2007) desenvolveu um sistema de indicadores com

41

estrutura sistêmica para avaliar e medir o desenvolvimento dessa qualidade,

estruturado em aspectos de entradas, processos e resultados, tendo como

referência um conceito de qualidade composto de quatro itens: eficácia, diversidade,

relevância e equidade. Seus estudos confirmaram a hipótese de que a qualidade do

sistema de educação superior brasileiro não avançou de forma significativa,

atribuindo-se esse resultado às políticas mercantilistas adotadas neste período, que

priorizavam as demandas da economia, dos mercados e da globalização, ou seja, a

defesa de uma perspectiva mais econômica da educação superior, que não foi

acompanhada de um desenvolvimento em termos de qualidade da educação

oferecida. Em seu sistema de indicadores Bertolin (2007) estabelece que os

indicadores utilizados para se medir a qualidade do sistema de educação superior

brasileiro devem possuir uma estrutura sistêmica com elementos de entradas,

processo e resultados, conforme composição mostrada no Quadro 5.

Quadro 5 - Estrutura básica para avaliação de indicadores de educação superior brasileiros

Indicadores de entradas

Gastos com educação, investimento com tecnologia de informações e quantidade e formação dos docentes.

Gastos com educação

Investimento em Tecnologias de informação e comunicação

Quantidade e formação de docentes

Indicadores de processo

Contexto pedagógico e organizacional ou características primárias, relativas à participação direta do processo de educação, e secundárias, relativas ao apoio à organização das características primárias.

Número de horas de ensino

Acesso e utilização das Tecnologias de informação e comunicação

Número de horas, salário e dedicação dos docentes

Indicadores de resultados

Características relativas aos propósitos intermediários e últimos da educação.

Nível de êxito dos alunos em exames

Porcentagem de matriculados e taxas de escolarização

Impactos no desenvolvimento econômico e social

Fonte: Bertolin (2007, p. 205)

Para Parri (2006), assim como para Kai (2009), quanto mais complexo o

objeto de análise, mais difícil é o processo de se medir a qualidade, em razão de

que não existe um conceito único de qualidade, sendo o ensino superior um desses

42

objetos complexos, onde medir a qualidade é algo muito complexo, uma vez que

não é possível uma abordagem isolada, já que o desempenho pode ser afetado por

diversos fatores inter-relacionados. De acordo com o autor, de forma simplista a

avaliação da qualidade no ensino superior poderia ser realizada em três passos:

definir o que é qualidade, estabelecer padrões de avaliação, comparar estes

padrões com a resultado real e decidir em que medida as normas devem ser

cumpridas. Contudo a avaliação deve sempre estar relacionada ao processo de

planejamento, e deve sempre dar respostas ao público em geral, tanto para quem

tem as credenciais para avaliar, como àqueles que são afetados pela avaliação, ou

seja, deve-se analisar se estão sendo atendidos critérios tanto externos como

internos. Diferentes sistemas são adotados em diferentes países, portanto, o foco

deve estar na ênfase, pois quando em alguns países, a ênfase é na qualidade como

desenvolvimento constante e contínuo, em outros países, se concentram mais na

definição de padrões mínimos.

O desempenho das universidades também foi objeto do estudo de Barbosa

(2011), onde se buscou verificar a associação entre os indicadores que avaliam os

discentes e os que avaliam a gestão, utilizando como variáveis o ENADE e IDD

como medida do desempenho discente e os Indicadores do TCU como medida do

desempenho da gestão. Seus resultados mostraram que o desempenho discente

medido pelo ENADE é impactado mais fortemente pelos seguintes indicadores do

TCU: Custo Corrente por Aluno Equivalente e Taxa de Sucesso na Graduação,

confirmando a relação teoricamente esperada entre tais variáveis, diferentemente do

que ocorreu com os indicadores do TCU: Aluno Tempo Integral por Funcionário

Equivalente e Índice de Qualificação do Corpo Docente, que apesar de também

serem significantes do desempenho ENADE, apresentaram uma relação inversa do

resultado esperado. Contudo, sua pesquisa reforça a importância do accountability,

na forma de indicadores de desempenho, tanto para se avaliar a gestão de uma

universidade quanto para se avaliar o rendimento dos seus estudantes.

43

3.5.1 O Sistema Nacional de Avaliação do Ensino Superior (SINAES)

Criado pela Lei Federal n° 10.861, de 14 de abril de 2004, o Sistema Nacional

de Avaliação da Educação Superior (SINAES) é formado por três componentes

principais: a avaliação das instituições, dos cursos e do desempenho dos

estudantes. O SINAES avalia todos os aspectos que giram em torno desses três

eixos: o ensino, a pesquisa e a extensão, mas analisa ainda vários aspectos como a

responsabilidade social, o desempenho dos alunos, a gestão da instituição, o corpo

docente e as instalações. O sistema foi instituído com os objetivos de a) identificar

mérito e valor das instituições, áreas, cursos e programas, nas dimensões de

ensino, pesquisa, extensão, gestão e formação; b) melhorar a qualidade da

educação superior e orientar a expansão da oferta; e c) promover a

responsabilidade social das IES, respeitando a identidade institucional e a

autonomia (INEP, 2011).

Polidori (2009, p.446) afirma que o SINAES foi um marco na história da

avaliação do ensino superior, por mostrar-se um processo completamente

diferenciado daquele que vinha sendo realizado nos últimos anos no Brasil. O

SINAES, diferentemente das formas anteriores de avaliação, teve como um dos

grandes princípios “respeitar as diferenças e as especificidades de cada IES”. A

proposta do SINAES compreendeu a necessidade das IES passarem por um ciclo

completo de avaliação, contudo, o processo sofreu alterações atribuídas à

problemas de continuidade na mudança na condução do Ministério da Educação.

Atualmente o sistema possui uma série de instrumentos complementares:

auto-avaliação, avaliação externa, Enade, avaliação dos cursos de graduação e

instrumentos de informação (censo e cadastro). Os resultados das avaliações

possibilitam traçar um panorama da qualidade dos cursos e instituições de educação

superior no País. Os processos avaliativos são coordenados e supervisionados pela

Comissão Nacional de Avaliação da Educação Superior (CONAES). A

operacionalização é de responsabilidade do Instituto Nacional de Estudos e

Pesquisas Educacionais Anísio Teixeira (INEP). Os resultados da avaliação também

subsidiam os processos de regulação e supervisão da educação superior que

compreendem as ações de autorização, reconhecimento e renovação de

44

reconhecimento de cursos de graduação, e credenciamento e recredenciamento de

IES.

O SINAES, diferentemente da maioria dos modelos de avaliação institucional

adotados no Brasil onde predominavam os enfoques regulador e normativo, buscou,

segundo Schlickmann et. al (2008), atender um enfoque mais cognitivo, e que

consegue representar a realidade da comunidade acadêmica, levando em conta o

contexto de complexidade em que as instituições de ensino superior estão inseridas.

O SINAES, busca contemplar essa complexidade, quando se propõe “a incorporar

aos processos avaliativos todos os agentes, todas as dimensões e instâncias das

IES, respeitados os papéis específicos dos participantes, a identidade e a missão de

cada uma delas.” (INEP, 2004, p. 94).

3.5.2 Componentes do SINAES

O SINAES está fundamentado nas avaliações institucional, de cursos e de

estudantes. Os processos avaliativos instituídos pelo governo buscam constituir um

sistema que permita a integração das diversas dimensões da realidade avaliada,

assegurando as coerências conceitual, epistemológica e prática, bem como o

alcance dos objetivos dos diversos instrumentos e modalidades. Os componente

considerados são (INEP, 2011):

a) na Avaliação Institucional, interna e externa, são consideradas 10 dimensões:

1. Missão e Plano de Desenvolvimento Institucional;

2. Política para o ensino, a pesquisa, a pós-graduação e a extensão;

3. Responsabilidade social da IES;

4. Comunicação com a sociedade;

5. As políticas de pessoal, as carreiras do corpo docente e técnico-

administrativo;

6. Organização de gestão da IES;

7. Infraestrutura física;

8. Planejamento de avaliação;

45

9. Políticas de atendimento aos estudantes;

10. Sustentabilidade financeira.

b) na Avaliação dos cursos são consideradas 3 dimensões:

1. Organização didático-pedagógica;

2. Perfil do corpo docente;

3. Instalações físicas.

c) na Avaliação dos estudantes, é aplicado periodicamente o Exame Nacional de

Desempenho dos Estudantes (ENADE), aos alunos de todos os cursos de

graduação, ao final do primeiro e do último ano de curso. A avaliação será expressa

por meio de conceitos, tomando por base padrões mínimos estabelecidos por

especialistas das diferentes áreas do conhecimento.

Também coleta informações do Censo da Educação Superior (integrado ao

SINAES e incluindo informações sobre atividades de extensão), do Cadastro de

Cursos e Instituições (integrado ao SINAES) e da Comissão Própria de Avaliação

(CPA) criada nas IES com a atribuição de conduzir os processos de avaliação

interna da instituição, de sistematização e de coleta de informações.

3.5.3 Instrumentos do SINAES

O SINAES propõe uma avaliação institucional integrada por diversos

instrumentos complementares (INEP, 2011):

a) autoavaliação: é conduzida pela Comissão Própria de Avaliação (CPA)

constituída em cada instituição, onde se realizará uma autoavaliação que será o

primeiro instrumento a ser incorporado ao conjunto de instrumentos constitutivos do

processo global de regulação e avaliação.

A autoavaliação articula um autoestudo segundo o roteiro geral proposto em

nível nacional, acrescido de indicadores específicos, projeto pedagógico,

institucional, cadastro e censo. O relatório da autoavaliação deve conter todas as

informações e demais elementos avaliativos constantes do roteiro comum de base

46

nacional, análises qualitativas e ações de caráter administrativo, político, pedagógico

e técnico-científico que a IES pretende empreender em decorrência do processo de

autoavaliação, identificação dos meios e recursos necessários para a realização de

melhorias, assim como uma avaliação dos acertos e equívocos do próprio processo

de avaliação.

b) avaliação externa: essa avaliação é feita por membros externos, pertencentes à

comunidade acadêmica e científica, reconhecidos pelas suas capacidades em suas

áreas e portadores de ampla compreensão das instituições universitárias.

c) censo: é um instrumento independente que carrega um grande potencial

informativo, podendo trazer importantes elementos de reflexão para a comunidade

acadêmica, o Estado e a população em geral. Por isso, é desejável que os

instrumentos de coleta de informações censitárias integrem também os processos

de avaliação institucional, oferecendo elementos úteis à compreensão da instituição

e do sistema. Os dados do Censo também farão parte do conjunto de análises e

estudos da avaliação institucional interna e externa, contribuindo para a construção

de dossiês institucionais e de cursos a serem publicados no Cadastro das

Instituições de Educação Superior.

d) cadastro: de acordo com as orientações do Instituto Nacional de Estudos e

Pesquisas Educacionais Anísio Teixeira (INEP) e da CONAES, também serão

levantadas e disponibilizadas para acesso público as informações do Cadastro das

IES e seus respectivos cursos. Essas informações, que também serão matéria de

análise por parte das comissões de avaliação, nos processos internos e externos de

avaliação institucional, formarão a base para a orientação permanente de pais,

alunos e da sociedade em geral sobre o desempenho de cursos e instituições.

As informações obtidas com o SINAES são utilizadas pelas IES para orientação

da sua eficácia institucional e efetividade acadêmica e social, pelos órgãos

governamentais para orientar políticas públicas e pelos estudantes, pais de alunos,

instituições acadêmicas e público em geral para orientar suas decisões quanto à

realidade dos cursos e das instituições. A estrutura do SINAES é composta

conforme figura 3

47

1. Autoavaliação 2. Avaliação Externa 3. Censo e Cadastro

Figura 3 - Estrutura do SINAES

Fonte: Elaboração própria

3.5.4 O Índice Geral de Cursos (IGC)

O IGC é um indicador de qualidade de instituições de educação superior,

instituído pela Portaria Normativa nº 12, de 5 de setembro de 2008, do Ministério da

Educação, que considera em sua composição, a qualidade dos cursos de graduação

e de pós-graduação (mestrado e doutorado). No que se refere à graduação, é

utilizado o Conceito Preliminar de Curso (CPC) e, no que se refere à pós-graduação,

é utilizada a Nota da Coordenação de Aperfeiçoamento do Pessoal de Nível

Superior (CAPES). O resultado final é formatado em valores contínuos que vão de 0

a 500, e em faixas que variam entre 1 e 5 (MEC, 2008). Este índice estrutura-se

conforme Figura 4.

Figura 4 - Composição do IGC


IGC

ENADE

http://download.inep.gov.br/download/enade/2008/Nota_Tecnica_CPC_17_12_2009.pdf

48

O CPC é uma média de diferentes medidas da qualidade de um curso. As

medidas utilizadas são: o Conceito do Exame Nacional de Desempenho de

Estudantes (ENADE), que mede o desempenho dos alunos ingressantes e

concluintes, o Indicador de diferença entre os desempenhos observado e esperado

(Conceito IDD) e as variáveis de insumo. O dado variáveis de insumo – que

considera corpo docente, infraestrutura e programa pedagógico – é formado com

informações do Censo da Educação Superior e de respostas ao questionário

socioeconômico do ENADE.

A forma do cálculo do CPC tem implicações sobre a representatividade do

IGC. Para um curso ter CPC é necessário que ele tenha participado do ENADE com

alunos ingressantes e alunos concluintes. Para o cálculo do CPC são considerados

três elementos nas seguintes proporções: o ENADE (40%), o IDD (30%) e os

insumos (30%). Esses insumos são compostos pelas seguintes informações: infra-

estrutura e instalações físicas, com peso 10,2; recursos didático-pedagógicos, com

27,2 de peso; corpo docente, considerando-se a titulação, peso de 38,9; e o regime

de trabalho com o peso de 23,8.

Cada área do conhecimento é avaliada de três em três anos no ENADE,

portanto o IGC levará em conta sempre o último triênio. Assim, o IGC 2010

considerou os CPC's dos cursos de graduação que fizeram o Enade em 2009, 2008

e 2007. A medida de qualidade da graduação que compõe o IGC é igual à média

dos CPC's para o triênio de interesse.

Quanto à Pós-graduação, a avaliação é realizada pela CAPES

compreendendo o acompanhamento anual e avaliação trienal do desempenho de

todos os programas e cursos que integram o Sistema Nacional de Pós-graduação

(SNPG). Os resultados desse processo, expressos pela atribuição de uma nota na

escala de 1 a 7 fundamentam a deliberação do credenciamento sobre quais cursos

obterão a renovação de reconhecimento, a vigorar no triênio subseqüente. A medida

de qualidade da pós-graduação que compõe o IGC é uma conversão das notas

fixadas pela CAPES.

A cada divulgação da nota IGC, o INEP esclarece através de Nota Técnica os

procedimentos para o cálculo do índice. Segundo o Instituto, o IGC é uma média

ponderada dos conceitos dos cursos de graduação e pós-graduação da instituição.

http://portal.inep.gov.br/web/guest/superior-censosuperior

http://www.capes.gov.br/

49

Para ponderar os conceitos, utiliza-se a distribuição dos alunos da IES entre os

diferentes níveis de ensino (graduação, mestrado e doutorado).

O conceito da graduação é calculado com base nos Conceitos Preliminares

de Cursos (CPC) e o conceito da pós-graduação é calculado a partir de uma

conversão dos conceitos fixados pela CAPES. Nas instituições sem cursos ou

programas de pós-graduação avaliados pela CAPES, o IGC é simplesmente a média

ponderada dos cursos de graduação. A idéia é que o IGC seja calculado todo ano,

seguindo a divulgação do ENADE e do CPC dos cursos de graduação. O indicador é

divulgado numa escala contínua de 0 a 500 e também por faixas. Para transformar a

variável contínua em faixas, utiliza-se o que está definido na tabela 1.

Tabela 2 - Índice Geral de Cursos

IGC Faixas IGC Contínuo

1 0,0 a 94

2 95 a 194

3 195 a 294

4 295 a 394

5 + 395

Fonte: Site www.inep.gov.br

A equação utilizada para o cálculo do IGC foi apresentada pelo INEP através

de Nota Técnica, da seguinte forma (INEP, 2010):

Onde TME é o número de mestrandos, em termos de graduando equivalente e TDE é

o número de doutorandos, em termos de graduando equivalente, sendo:

50

TMj = Número de alunos de mestrado matriculados em programas de pós-

graduação com nota Mj.

TDj = Número de alunos de doutorado matriculados em programas de pós-graduação

com nota Dj.

De acordo com a definição de TME um aluno de mestrado de um programa de pós-

graduação nota 3 é equivalente a um aluno de graduação; um aluno de mestrado de

um programa nota 4 é equivalente a dois alunos de graduação; e, por fim, um aluno

de mestrado de um programa nota 5 é equivalente a três alunos de graduação.

Raciocínio análogo pode ser feito para o termo TDE referente às matrículas de

doutorado.

O conceito médio da graduação denominada G é uma média ponderada dos

Conceitos Preliminares dos Cursos, isto é:

CPCi = Conceito Preliminar do Curso i da IES:

ni = número total de matrículas no curso de graduação i da IES;

TG = número total de matrículas de graduação na IES. É importante esclarecer que

TG considera apenas as matrículas dos cursos de graduação para os quais foi

possível calcular o CPC.

Para a pós-graduação, definiu-se o conceito médio do mestrado e o conceito médio

do doutorado da IES. O conceito médio do mestrado, denominado M, é obtido a

partir da equação:

51

Mi = nota dos alunos de mestrado do programa de pós-graduação i da IES;

mi= número de matrículas de mestrado no programa de pós-graduação i da IES;

TM = número total de matrículas de mestrado nos programas de pós-graduação da

IES. É importante esclarecer que TM considera apenas as matrículas dos cursos de

pós- graduação para os quais há um conceito CAPES atribuído.

Sendo Capesi o conceito obtido pelo programa na CAPES, a nota dos alunos de

mestrado do programa de pós-graduação i é dada por Mi = Capesi caso Capesi ≤ 5 ,

e Mi = 5 caso Capesi > 5. Consideram-se apenas programas de pós-graduação que

obtiveram conceito CAPES ≥ 3.

O conceito médio do doutorado, denominado D, é obtido a partir da equação:

Di = nota dos alunos de doutorado do programa de pós-graduação i da IES;

hi = número de matrículas de doutorado no programa de pós-graduação i da IES;

TD = número total de matrículas de doutorado nos programas de pós-graduação da

IES. É importante esclarecer que TD considera apenas as matrículas dos cursos de

pós-graduação para os quais há um conceito Capes atribuído.

52

A nota dos alunos de doutorado do programa de pós-graduação i é dada por: Di =

Capesi − 2. Novamente, consideram-se apenas programas de pós-graduação que

obtiveram conceito CAPES ≥ 3.

Visando facilitar a compreensão de todo o cálculo para obtenção do IGC,

Bittencourt et. al (2009) reescreveu a equação de uma forma mais simples:

IGC = {[PGrad x G] + [PMest x (M+5)/2 ] + [PDout x (D+10)/3 ]} x 100

onde:

G = média ponderada dos CPCs da IES nos cursos de graduação, onde a

ponderação dá-se de acordo com o número de alunos matriculados em cada curso.

M = média ponderada dos conceitos CAPES nos programas de pós-graduação, nível

de Mestrado, onde a ponderação dá-se de acordo com o número de alunos

matriculados no programa em nível de Mestrado. O conceito de tais cursos é

limitado a 5.

D = média ponderada dos conceitos CAPES nos programas de pós-graduação, nível

de Doutorado, onde a ponderação dá-se de acordo com o número de alunos

matriculados no programa em nível de Doutorado. Os conceitos são subtraídos de 2

para permitir comparação com os cursos de Mestrado.

PGrad, PMest e PDout = percentual de alunos de graduação, mestrado e

doutorado. Deve-se salientar que tais percentuais não são calculados diretamente

pelo número de alunos matriculados. Isso ocorre porque alunos de pós-graduação

têm peso maior do que alunos de graduação. Os pesos são iguais ao conceito

obtido pelo programa, subtraído de 2. No caso de mestrados, o conceito é limitado a

5.

Segundo Bittencourt et. al (2009) existe uma grande repercussão na

divulgação do IGC pela imprensa porque transformou este indicador num poderoso

e polêmico instrumento de marketing institucional e de formação de opinião pública,

principalmente ao possibilitar, a partir da nota do IGC contínuo, a construção de um

ranking, que pode não traduzir a realidade das instituições uma vez que este não

segue critérios bem definidos de qualidade de ensino, qualidade da instituição,

premiações, produção bibliográfica etc. Os autores sugerem uma mudança na

divulgação dos resultados do IGC contínuo, pois deveriam passar a ser divulgados

53

de forma restrita a cada instituição para que, a partir dos resultados obtidos,

pudesse melhor administrar seus processos internos. Se o INEP divulgasse apenas

os conceitos, como o faz a CAPES na pós-graduação, muitas das críticas não

ocorreriam, pois seria mais difícil construir um ranking a partir de conceitos

(BITTENCOURT et. al. 2009).

Em uma análise quanto ao papel dos indicadores na avaliação da qualidade

na educação superior, Marchelli (2007) coloca que, apesar de o Brasil vir

melhorando em termos de avaliação externa da qualidade, o desejável seria que os

indicadores levantados pelo SINAES permitissem comparar, de maneira mais

coerente, os resultados dos padrões de qualidade encontrados, evitando que os

cálculos baseados em fórmulas que simplificam demais o processo de atribuição de

conceitos não consigam exprimir objetivamente as melhorias implementadas pelas

instituições. Para o autor, indicadores de desempenho não devem se constituir na

última instância a ser considerada, pois a complexidade do processo de ensino e as

experiências de aprendizagem dos estudantes não podem ser capturadas

unicamente por um conjunto de medidas objetivas que usa números e escores. Por

essa razão ele questiona a utilidade dos indicadores de desempenho como

instrumentos centrais para o controle da qualidade, contudo reconhece o papel de

destaque no conjunto dos procedimentos adotados, pela sua objetividade e

precisão.

3.5.5 Os Indicadores do Tribunal de Contas da União (TCU)

O Tribunal de Contas da União (TCU), é um orgão de controle externo do

governo federal que de acordo com o Art. 74 da Constituição Federal Brasileira tem

como atribuições: apreciar e julgar as contas anuais dos administradores e demais

responsáveis por dinheiros, bens e valores públicos;

Realizar inspeções e auditorias por iniciativa própria ou por solicitação do Congresso

Nacional; fiscalizar as contas nacionais das empresas supranacionais;

Fiscalizar a aplicação de recursos da União repassados a estados, ao Distrito

Federal e a municípios; aplicar sanções e determinar a correção de ilegalidades e

irregularidades em atos e contratos; emitir pronunciamento conclusivo, por

54

solicitação da Comissão Mista Permanente de Senadores e Deputados, sobre

despesas realizadas sem autorização; apurar denúncias apresentadas por qualquer

cidadão, partido político, associação ou sindicato sobre irregularidades ou

ilegalidades na aplicação de recursos federais (BRASIL, 1988).

Apesar de sua atribuição eminentemente fiscalizadora, o TCU reconheceu já

em 1999 em seu Plano de Auditoria a necessidade de estabelecer critérios para se

avaliar o desempenho das Instituições Federais de Ensino, e então procedeu uma

auditoria na Universidade de Brasília que objetivou fazer um levantamento de

indicadores que poderiam servir de base para realização de um estudo comparativo

com outras IFES. Assim, este Tribunal através da Decisão nº 358/2000, instituiu

indicadores de desempenho que seriam utilizados nas Universidades Federais de

mais cinco estados a fim de serem avaliados e aprimorados para então serem

estendidos à todas as instituições (TCU, 2000).

Após a consolidação das auditorias nas primeiras cinco instituições, o TCU

determinou através da Decisão nº 408/2002, os indicadores que passaram a ser

utilizados por todas as IFES. Contudo, o Tribunal alertou para algumas limitações e

cuidados que devem acompanhar a utilização e interpretação dos resultados

obtidos, pois devido à grande heterogeneidade apresentada pelas IFES, o conjunto

de indicadores, pela sua simplicidade, mostrou-se incapaz de, isoladamente, permitir

conclusões sobre o desempenho das instituições (TCU, 2002). Tendo essa

perspectiva como ponto de partida, a Decisão do TCU não teve por objetivo a

obtenção de dados para avaliação da condução gerencial da IFES. Tão pouco a

intenção de estabelecer classificação hierárquica e alternativa de instituições,

duplicando-se o trabalho já sistematicamente realizado pela Secretaria de Educação

Superior do Ministério da Educação.

Conforme relatado pelo Tribunal de Contas da União em sua Decisão nº

358/2000, avaliar as Instituições de Ensino Superior (IES) no Brasil é uma tarefa

extremamente complexa em razão da grande heterogeneidade das IES, mesmo

considerando apenas as Universidades Federais, já que nestas se inserem tanto

jovens instituições ainda em fase de consolidação, cuja vocação principal pode ser a

formação de profissionais para o mercado de trabalho local, como grandes

Universidades Federais, que, por sua vez têm condições de apresentar uma

produção complexa nas áreas de ensino, pesquisa e extensão. Sua tradição e

55

qualidade são resultados de anos de investimentos em instalações, equipamentos e

capacitação de seus recursos humanos. Os parâmetros destas instituições não

devem ser os únicos para uma apreciação do conjunto das IFES. Dessa forma, é

preciso levar em conta essa heterogeneidade ao se tentar avaliar as Instituições de

Ensino Superior no Brasil. Para justificar a dificuldade em se definir um conjunto de

indicadores que capte, de forma adequada, as várias dimensões do ensino superior,

o Tribunal de Contas coloca que não existe um único critério de qualidade

igualmente aplicável a todas as instituições, muito menos um modelo único de

excelência (TCU, 2000).

Dada a ausência de critérios necessários para se estabelecer um consenso

sobre os indicadores que seriam representativos do conjunto das IES em seus

vários aspectos, várias análises visam tratar de temas como a quantificação do

custo por aluno nas universidades públicas brasileiras, sua comparabilidade com o

valor correspondente de outras instituições nacionais e internacionais, a

quantificação da produção científica do corpo docente, o crescimento das despesas

com inativos e pensionistas, a diminuição das despesas de capital, etc. De forma

geral, esses estudos procuram estabelecer relações entre os diferentes indicadores

utilizados. Esse fato parte do reconhecimento de que um indicador utilizado de forma

isolada não pode revelar muito acerca de uma realidade mais ampla. Assim, por

exemplo, dados de custos dizem muito pouco se não são associados com

informações sobre a qualidade do que é produzido (TCU, 2000).

Assim, os indicadores utilizados pelo TCU basearam-se numa classificação

composta de três categorias: a) indicadores de eficiência, que buscam informar o

custo de se atingir determinado resultado, sendo que o mais comum é o custo por

aluno; b) indicadores de Produtividade, que tentam estabelecer relações entre

recursos utilizados e produtos obtidos, como, por exemplo, as proporções entre

alunos, professores e funcionários; e c) indicadores de eficácia, que mostram o

grau de consecução das metas da instituição, tendo como exemplo a taxa de

sucesso na graduação (TCU, 2002).

A questão principal discutida pelo TCU é em que medida o indicador retrata

adequadamente o enfoque da realidade que se quer estudar. Em outras palavras,

trata-se da própria definição de como deve ser o indicador. A sua construção e

interpretação de formas fidedignas exigem um conhecimento profundo da situação a

56

ser retratada. Todos os fatores relevantes, bem como as relações entre eles, devem

ser adequadamente considerados. Sem isso, corre-se o sério risco de gerar um

indicador cuja leitura acaba por distorcer e prejudicar a análise. Por exemplo, a

geração de um indicador custo/aluno útil para as universidades precisa levar em

conta alguns aspectos importantes. Dentre estes, destacam-se a forma de

apropriação dos custos de capital, a determinação de quais despesas compõem o

custo do ensino e o tratamento a ser dado aos diferentes tipos de aluno (graduação,

extensão, pós-graduação). Um estudo mais apressado pode passar ao largo destas

questões e produzir um indicador que simplesmente divida as despesas

orçamentárias globais da instituição pelo total de alunos, o que tem pouca relação

com o custo de se manter um aluno na universidade. Outro ponto que merece

registro se refere às fontes de informações existentes sobre o Sistema de Ensino

Superior no Brasil. Boa parte das bases de dados disponíveis se volta para tópicos

específicos do ensino superior, não tendo como objetivo uma avaliação institucional

ou sistêmica. Isso não deixa de ser reflexo da falta de um conjunto de indicadores

representativos para as IES.

As informações gerenciais extraídas desse acompanhamento servem de

subsídio para selecionar áreas a serem estudadas com maior profundidade pelos

Controles Interno e Externo. Essa seleção visa orientar trabalhos como a análise das

Contas do Governo e auditorias de natureza operacional, direcionadas à

identificação de boas práticas e de oportunidades de melhoria na gestão (TCU,

2002). No mesmo sentido, esses dados poderão ser utilizados pelo Ministério da

Educação, no monitoramento já realizado das ações e resultados das IFES. O TCU

espera ainda que o acompanhamento da evolução desses indicadores possa ser útil

como ferramenta de apoio à necessária auto-avaliação institucional, e reconhece

que os indicadores devem ser considerados apenas como ferramenta auxiliar no

acompanhamento do desempenho das entidades, com o propósito de contribuir para

o aprimoramento da gestão das Instituições Federais de Ensino Superior.

A Decisão nº 408/2002 - TCU – Plenário, passou a obrigar a inclusão dos

indicadores nos Relatórios de Gestão das Instituições Federais de Ensino Superior,

pretendendo alcançar, com a inclusão desses dados nos relatórios, a construção de

uma série histórica para acompanhar a evolução de aspectos relevantes do

desempenho de todas as IFES, sem descartar a necessidade de aperfeiçoamentos

57

em áreas específicas, ou mesmo a correção de eventuais disfunções ao longo dos

anos.

Os indicadores determinados pela Decisão, estão relacionados no Quadro 6 ,

detalhados em seguida de acordo com as orientações publicadas pelo Tribunal de

Contas da União para o cálculo dos indicadores (TCU, 2006).

Quadro 6 - Indicadores de gestão determinados pela Decisão TCU nº 408/2002

INDICADOR O QUE MEDE

1 Custo corrente por aluno equivalente

(CCAE)

O custo por aluno, considerando todas as

despesas correntes da instituição divididas

pelo número de alunos.

2 Aluno tempo integral por professor

equivalente (AIPE)

A relação entre a quantidade de alunos para

cada professor.

3 Aluno tempo integral por funcionário

equivalente (AIFE)

A relação entre a quantidade de alunos para

cada funcionário.

4 Funcionário equivalente por professor

equivalente (FEPE)

A relação entre a quantidade de funcionários

para cada professor.

5 Grau de participação estudantil (GPE) Informa o grau de utilização da capacidade

instalada na instituição pelo alunado e

também a velocidade de integralização

curricular. É obtido pelo quociente entre o

número total de alunos em tempo integral e o

número total de alunos ativos na graduação.

6 Grau de envolvimento com pós-

graduação (GEPG)

A relação entre alunos vinculados a

programas de mestrado e doutorado e o total

de alunos da graduação, mestrado e

doutorado.

7 Conceito CAPES É a média das notas de avaliação realizada

pela CAPES de todos os cursos de mestrado

e doutorado da instituição.

8 Índice de qualificação do corpo docente

(IQCD)

A relação ponderada do número de

professores com doutorado, mestrado,

especialização e graduação.

9 Taxa de sucesso na graduação (TSG) A relação entre o número de diplomados e o

número total de ingressantes.


58

3.5.5.1 Custo Corrente por Aluno Equivalente (CCAE)

Este indicador mede o custo por aluno, considerando todas as despesas

correntes da instituição divididas pelo número total de alunos. É calculado de acordo

com a seguinte fórmula:

Custo Corrente/Aluno Equivalente = Custo Corrente (1)

AGE(2)

+ APGTI(3)

+ ARTI(4)

(1) Custo Corrente é calculado considerando-se a equação composta pelos

seguintes itens:

(+) Despesas correntes do Órgão Universidade, com todas as UG`s, inclusive hospitais universitários, se houver

(-) 65 % das despesas correntes totais do(s) hospital(is) universitário(s) e maternidade, devendo ser consideradas todas as unidades hospitalares cujas despesas estejam incluídas nas despesas correntes da Universidade

(-) Aposentadorias e Reformas do Órgão Universidade

(-) Pensões do Órgão Universidade

(-) Sentenças Judiciais do Órgão Universidade

(-) Despesas com pessoal cedido – docente do Órgão Universidade

(-) Despesas com pessoal cedido - técnico-administrativo do Órgão Universidade

(-) Despesa com afastamento País/Exterior – docente do Órgão Universidade

(-) Despesa com afastamento País/Exterior - técnico-administrativo do Órgão Universidade

O número de servidores (docentes e técnicos-administrativos) cedidos ou

afastados deve ser o número apurado no dia 31/12 de cada exercício.

Para este indicador o TCU verificou a necessidade de se excluir os custos

despendidos com hospitais universitários em razão de que existem profundas

diferenças entre as instituições que possuem e as que não possuem hospitais

universitários, em termos de diversidade e porte de atuação, sugerindo, portanto, a

revisão do impacto das despesas correntes do hospital universitário sobre os gastos

totais. Assim, o Tribunal motivado pelas sugestões de várias IFES, determinou

através dos Acórdãos nºs 1.043 e 2.167/2006, a possibilidade de calcular este

indicador considerando ou não os Hospitais Universitários. A composição do custo

corrente com HU (Hospitais Universitários) diferencia-se do cálculo do custo sem

HU, pelo fato de, ao invés de subtrair 65% das despesas correntes totais do(s)

hospital(is) universitário(s) e maternidade, subtrai-se 100%.

59

(2) AGE (Número de Alunos Equivalentes da Graduação), é calculado a partir da

seguinte fórmula:

AGE = Σ todo os cursos (NDI* DPC)(1+ [Fator de Retenção]) + ((NI - NDI)/4)* DPC) * [Peso do

grupo em que se insere o curso]

Sendo:

NDI = Número de diplomados, no ano letivo referente ao exercício, em cada curso

DPC = Duração padrão do curso

NI = Número de alunos que ingressaram, no ano letivo relativo ao exercício, em cada curso

Fator de Retenção e Peso do grupo calculados de acordo com metodologia da SESu.

(3) APGTI (Número de Alunos Tempo Integral da Pós - Graduação): Para o

cálculo de alunos tempo integral, a quantidade de alunos de mestrado e doutorado

deve ser computada com peso dois:

APGTI = 2 * APG

(4) ARTI (Número de Alunos Tempo Integral de Residência): Para o cálculo de

alunos tempo integral de residência, a quantidade de alunos deve ser computada

também com peso dois:

ARTI = 2 * AR

3.5.5.2 Aluno tempo integral por Professor Equivalente (AIPE)

Este indicador mostra a relação entre a quantidade de alunos para cada

professor na instituição. É calculado pela fórmula abaixo:

Aluno Tempo Integral / Professor Equivalente = AGTI(5)

+ APGTI(3)

+ ARTI(4)

___________________________________

Nº de Professores(6)

5) AGTI (Número de Alunos Tempo Integral de Graduação): é calculado a partir

da seguinte fórmula:

AGTI = Σ todos os cursos {(NDI* DPC)(1+ [Fator de Retenção]) + ((NI - NDI)/4)* DPC)}

Sendo:

60

NDI = Número de diplomados, no ano letivo referente ao exercício, em cada curso

DPC = Duração padrão do curso

NI = Número de alunos que ingressaram, no ano letivo relativo ao exercício, em cada curso

Fator de Retenção e Peso do grupo calculados de acordo com metodologia da SESu.

6) Nº de Professores: para o número de professores deve ser considerado como

referência o docente de tempo integral (40 horas/semana, com ou sem Dedicação

Exclusiva - DE), convertendo-se proporcionalmente os que se enquadrem em outros

regimes de dedicação:

REGIME DE DEDICAÇÃO PESO

20 horas/semana 0,50


Dedicação Exclusiva 1,00

O número de professores é calculado considerando-se a equação composta

pelos seguintes itens:

(+) professores em exercício efetivo no ensino superior (graduação, pós-graduação stricto sensu e residência médica), inclusive ocupantes de funções gratificadas e cargos comissionados

(+) substitutos e visitantes

(-) professores afastados para capacitação e mandato eletivo ou cedidos para outros órgãos e/ou entidades da administração pública em 31/12 do exercício

Como professores devem ser considerados apenas aqueles que trabalham no

ensino superior (graduação, pós-graduação stricto sensu e residência). Professores

que atuam exclusivamente no ensino médio de escolas vinculadas à IFES não

devem contabilizar como professores.

3.5.5.3 Aluno tempo Integral por Funcionário Equivalente (AIFE)

Este indicador mede a relação entre a quantidade de alunos para cada

funcionário da instituição. É calculado pela fórmula a seguir:

61

Aluno Tempo Integral / Funcionário Equivalente = AGTI(5)

+ APGTI(3)

+ ARTI(4)

___________________________________

Nº de Funcionários(7)

7) Nº de Funcionários: o número de funcionários deve ser considerado como

referência o servidor de tempo integral (40 horas/semana), convertendo-se

proporcionalmente os que se enquadrem em outros regimes de trabalho.

REGIME DE DEDICAÇÃO PESO




O número de funcionários é calculado considerando-se a equação composta

pelos seguintes itens:

(+) servidores técnico-administrativos vinculados à Universidade

(+) contratados sob a forma de prestação temporária de serviços

(-) funcionários afastados para capacitação ou cedidos para outros órgãos/entidades da administração pública em 31/12 do exercício

3.5.5.4 Funcionário Equivalente por Professor Equivalente (FEPE)

Este indicador mostra a relação entre a quantidade de funcionários para cada professor da instituição. Calcula-se pela seguinte fórmula:

Funcionário Equivalente / Professor Equivalente = Nº de Funcionários(7)

________________________________

Nº de Professores(6)

3.5.5.5 Grau de Participação Estudantil (GPE)

Este indicador informa o grau de utilização da capacidade instalada na

instituição pelo alunado e também a velocidade de integralização curricular. É obtido

pelo quociente entre o número total de alunos em tempo integral e o número total de

alunos ativos na graduação. Calcula-se pela seguinte fórmula:

62

Grau de Participação Estudantil = AGTI(5)

_____________

AG(8)

8) AG (Alunos de Graduação): representa o número total de alunos regularmente

matriculados na graduação.

3.5.5.6 Grau de Envolvimento com a Pós-Graduação (GEPG)

Este indicador mostra a relação entre alunos vinculados a programas de

mestrado e doutorado e o total de alunos (somando-se graduação, mestrado e

doutorado). É calculado a partir da seguinte fórmula:

Grau de Envolvimento com a Pós-Graduação = APG(9)

__________________

AG(8)

+ APG(9)

9) APG (Alunos de Pós-Graduação): representa o número total de alunos na pós-

graduação stricto sensu, incluindo-se alunos de mestrado e de doutorado.

3.5.5.7 Conceito CAPES/MEC para a Pós-Graduação (CAPES)

Este indicador traz a média das notas de avaliação realizada pela CAPES de

todos os cursos de mestrado e doutorado da instituição. É calculado conforme

fórmula a seguir:

Conceito CAPES/MEC p/ Pós-Graduação = Σ conceito de todos os cursos de PG. Número de cursos de PG.

3.5.5.8 Índice de Qualificação do Corpo Docente (IQCD)

Este indicador mostra a relação ponderada do número de professores com

doutorado, mestrado, especialização e graduação. Seu cálculo é efetuado a partir da

seguinte fórmula:

63

Índice de Qualificação do Corpo Docente = (5D + 3M + 2E + G) (D + M + E + G)

Para qualificar o corpo docente, é aplicada, ao número de professores

(professores em exercício efetivo + substitutos + visitantes - professores afastados

para capacitação ou cedidos para outros órgãos e/ou entidades da administração

pública em 31/12 do exercício), a seguinte ponderação:

QUALIFICAÇÃO PESO

Docentes Doutores (D) 5

Docentes Mestres (M) 3

Docentes Especialistas (E) 2

Docentes Graduados (G) 1

Nesse cálculo não deve ser considerado o regime de trabalho (20h ou 40h

semanais) do professor.

3.5.5.9 Taxa de Sucesso na Graduação (TSG)

Este indicador traz a relação entre o número de diplomados e o número total

de ingressantes. Deve-se calcular a partir da seguinte fórmula:

Taxa de Sucesso na Graduação = Nº de Diplomados NDI (10)

Nº Total de Alunos Ingressantes

(11)

10) Nº de Diplomados - NDI: Para o número de diplomados (NDI), deve-se

considerar o número de concluintes (que completaram os créditos, mesmo não

tendo colado grau) dos cursos no ano letivo correspondente ao exercício, somando-

se o número de concluintes nos dois semestres do ano. Se o número de diplomados

do 2º semestre do ano X não estiver disponível, em decorrência de atraso no

calendário letivo, devem ser utilizados no cálculo o número de diplomados do 2º

semestre do ano X-1 e número de diplomados do 1º semestre do ano X. Os alunos

dos cursos em extinção devem ser considerados normalmente, enquanto houver

turmas regulares concluindo o curso.

64

11) Nº Total de Alunos Ingressantes: Para o cálculo dos ingressantes, deve ser

considerado o ano do suposto ingresso dos estudantes que se graduam no

exercício, com base na duração padrão prevista para cada curso. Assim, para o

caso de cursos anuais com duração de 4 anos, deve ser considerado o número de

ingressantes de quatro anos letivos atrás; para cursos com duração de 5 anos,

devem ser considerados os ingressantes de cinco anos letivos atrás.

Nº total de alunos ingressantes = NI4 + NI5 + NI6

Sendo:

NI4 = Número de Ingressantes do exercício letivo de quatro anos letivos atrás,

referentes ao cursos com duração prevista de 4 anos.

NI5 = Número de Ingressantes do exercício letivo de cinco anos letivos atrás,


NI6 = Número de Ingressantes do exercício letivo de seis anos letivos atrás,


No caso de cursos semestrais, o cálculo dos ingressantes deve considerar os

dois semestres de suposto ingresso dos estudantes que se graduam nos dois

semestres do exercício em questão, com base na duração padrão prevista para

cada curso.

Assim, para cursos com duração de 8 semestres (4 anos), devem ser

considerados os ingressantes de oito semestres atrás, em relação aos dois

semestres do ano letivo em análise; para cursos com duração de 10 semestres (5

anos), devem ser considerados os ingressantes de dez semestres atrás, em relação

aos dois semestres do ano letivo em análise.

Nº total de alunos ingressantes = NI8 + NI10 + NI12

Sendo:

NI8 = Número de Ingressantes dos dois semestres há oito semestres, referentes ao

cursos com duração prevista de oito semestres.

65

NI10 = Número de Ingressantes dos dois semestres há dez semestres, referentes ao

cursos com duração prevista de dez semestres.

NI12 = Número de Ingressantes dos dois semestres há doze semestres, referentes

ao cursos com duração prevista de doze semestres.

Com esse procedimento, que é referente ao cálculo do indicador IX – Taxa de

Sucesso na Graduação - TSG, não há ingressantes de cursos novos que ainda não

tiveram turmas regulares de concluintes (turmas que tenham concluído os créditos

na duração padrão do curso). Esses cursos não devem ser considerados nesse

indicador.

Após a apresentação dos indicadores faz-se pertinente destacar alguns

estudos desenvolvidos por autores que buscaram analisar a efetividade dos

indicadores aqui detalhados, de forma a permitir que se faça uma reflexão a cerca

das principais críticas e limitações sobre o tema.

Entre as pesquisas que já trataram da utilização destes indicadores pelas

IFES, a de Barbosa (2011) buscou verificar, em um de seus objetivos específicos, a

importância atribuída a estes indicadores no processo de gestão das universidades,

aplicando-se um questionário com perguntas sobre o grau de importância atribuído a

cada um dos indicadores do TCU. Tal pesquisa foi aplicada junto aos gestores de

universidades federais, utilizando-se uma escala de 1 a 5, em que 1 é o menor grau

de importância e 5 o maior. Com o intuito de facilitar a visualização desse resultado,

ele calculou um índice de importância na escala de 0 a 10. Assim, para cada

indicador somou o grau de importância atribuído pelo respondente e dividiu por 105,

que é o máximo que poderia ser obtido (21 x 5 = 105), e por fim multiplicou o

resultado por 10. Os resultados mostraram que a Taxa de Sucesso na Graduação

(indicador 9) foi o indicador mais bem avaliado com nota 8,86, seguido pelo Índice

de Qualificação do Corpo Docente (Indicador 8) com nota 8,38. Podendo-se dizer

que os indicadores foram considerados importantes, já que em uma escala de 0 a

10, somente dois não ficaram acima de 7. Todas as notas podem ser visualizadas

no quadro 7.

66

Quadro 7 - Importância atribuída aos indicadores de gestão

Indicador 1 2 3 4 5 6 7 8 9

Nota 7,52 8,29 7,14 7,52 5,90 6,29 8,10 8,38 8,86

Fonte: Adaptado de Barbosa (2011)

Ainda nesta pesquisa, Barbosa (2011) buscou analisar a associação destes

indicadores de gestão e os indicadores que avaliam o desempenho discente, no

caso, o ENADE e o IDD. Os resultados do estudo, que abrangeu 50 instituições

federais de ensino superior, mostraram que há associação entre esses dois grupos,

revelando que o conceito ENADE é impactado mais fortemente pelos indicadores (1)

Custo Corrente por Aluno Equivalente e (9) Taxa de Sucesso na Graduação, no

entanto, outros indicadores como (3) Aluno Tempo Integral por Funcionário

Equivalente e (8) Índice de Qualificação do Corpo Docente, também se mostraram

significantes, porém com relações distintas das esperadas teoricamente. Já em

relação ao conceito IDD, o indicador (7) Conceito CAPES/MEC para a pós-

graduação mostrou-se significativa, porém com uma relação inversa, divergindo do

que era esperado.

A utilização destes indicadores para a melhoria da gestão entre seus

principais usuários: IFES, TCU, CGU e MEC/SESU, foi o objetivo da pesquisa

conduzida por Soares (2007), que valendo-se de uma amostra de 5 universidades

federais do nordeste brasileiro, concluiu que estes usuários não utilizam tais

indicadores, apesar de produzirem através destes, informações que podem ser

relevantes para o aproveitamento e aperfeiçoamento dos resultados orçamentários e

gerenciais. Soares (2007) atribui a não utilização destes indicadores à falta de

estabelecimento de padrões e ao processo frágil que os resultados dos indicadores

estão aferindo, e aponta ainda para uma reflexão sobre a obrigatoriedade da

apuração e divulgação dos indicadores de desempenho nos relatórios anuais de

gestão das IFES, assim como sobre a obrigatoriedade de sua análise e julgamento

nos relatórios de controle dos demais órgãos, usuários analisados na pesquisa,

ressaltando que a conduta dos gestores não deve se limitar à mera observância de

leis e regulamentos, e sim, devem buscar constituir alianças em prol de soluções

para os desafios da sociedade.

67

O próprio Tribunal de Contas da União destacou as vantagens e limitações

dos indicadores por ele propostos, a partir de suas experiências na avaliação das

IFES com a utilização do processo de contas para a análise da conformidade e

desempenho da gestão, resumidos no Quadro 8.

Quadro 8 - A experiência do TCU com os indicadores de gestão das IFES

Fonte: Site do Tribunal de Contas da União (2008)

De acordo com as considerações do Tribunal de Contas, a partir de

discussões com as próprias instituições em análise, os estudos, análises e

conclusões que envolvam tais indicadores de desempenho deverão sempre guardar

suas peculiaridades e limitações, sem contudo deixar de reconhecer a importância

VANTAGENS LIMITAÇÕES

Contribuem para superar a ausência atual de dados gerenciais padronizados

Incapacidade de evidenciar aspectos de cursos ou pesquisas específicos - nível de agregação

Proporcionam forma complementar de avaliação das IFES

Dificuldade de comparação - IFES complexas e heterogêneas

Fornecem subsídios à formulação de metas de aperfeiçoamento, orientação e redirecionamento de ações

Impossibilidade de retratar a qualidade do ensino e pesquisa (exceção “Conceito Capes”) - indicadores quantitativos

Permitem identificar aspectos que apresentem oportunidade de melhoria

Dificuldades na interpretação - consistência dos dados x desempenho da IFES

Sinalizam áreas de bom desempenho - possível identificação de boas práticas

Inviabilidade de se analisar isoladamente os indicadores

Possibilitam o auto-monitoramento e auto-avaliação comparativa: entre IFES ou com exercícios anteriores

Dificuldade de se estabelecer hierarquia melhor-pior universidade

Permitem o desenvolvimento de série histórica de dados

Impossibilidade de se identificar causas, servem apenas como subsídios para investigação

Orientam trabalhos de fiscalização (de natureza operacional e de conformidade)

Necessidade de tempo para implementação e maturação dos indicadores

Insuficiência de dados e inexistência de série histórica

Dificuldades frente a utilização imprópria - comparabilidade x padrão

Dificuldades na definição dos componentes (aluno, professor, custo, etc)

Possibilidade de interpretações distorcidas sobre o significado e a finalidade

68

desta iniciativa na busca por referenciais de qualidade que possam retratar o

desempenho destas instituições.

Kai (2009) ressalta a importância do accountability, ou prestação de contas,

para o ensino superior, pois está relacionado com eficiência e eficácia com ênfase

nos resultados, tendo como um de seus principais objetivos a avaliação, que visa

garantir a melhoria na qualidade do ensino superior, reforçando a consciência da

responsabilidade, a atenção para o uso eficiente dos recursos e a adoção de

medidas que busquem melhorar a eficiência. Contudo ele alerta para riscos

potenciais que devem ser considerados neste processo, como a necessidade de se

ter um objetivo abrangente e bem definido, e estar em guarda contra a valorização

excessiva da prestação de contas, de modo a evitar a erosão da autonomia

institucional .

69

4 METODOLOGIA

O conjunto das atividades sistemáticas e racionais que, com maior

segurança e economia, permite alcançar o objetivo, traçando o caminho a ser

seguido, é o método científico que, segundo Marconi e Lakatos (2009), auxilia na

detecção de erros e nas decisões do cientista. A metodologia da pesquisa utilizada em

um trabalho científico deve orientar o pesquisador na busca de seus objetivos e constitui

um pressuposto importante para o trabalho, pois a adoção de um método representa

o caminho e a maneira lógica de se pensar de maneira científica (VERGARA, 2006).

Para tanto, essa pesquisa teve como elemento norteador o esquema

apresentado na Figura 5, elaborado com o objetivo de facilitar o desenvolvimento e o

entendimento das fases deste estudo.

Figura 5 - Esquema da Pesquisa


Deste modo, diferentes métodos foram adotados em cada momento da

pesquisa que, de acordo com o esquema apresentado na Figura 5, compôs-se das

seguintes fases: 1) primeira fase – referencial teórico: pesquisa na literatura e

consulta à diversos estudos sobre o tema; 2) segunda fase – pesquisa documental:

levantamento em fontes secundárias, a saber os relatórios de gestão anual emitidos

pelas Instituições federais de ensino superior, onde são divulgados os indicadores

70

de gestão estabelecidos pelo Tribunal de Contas da União, e ainda, consulta aos

dados do Índice Geral de Cursos – IGC, divulgados anualmente pelo INEP; 3)

terceira fase – apresenta-se em três partes: parte I - construção do modelo, com a

padronização dos indicadores obtidos nos relatórios de gestão; parte II – com a

aplicação da regressão simples para gerar o modelo de previsão; parte III – com a

aplicação da regressão múltipla para verificar a relação entre as variáveis; 4) quarta

fase – análise da relação entre os indicadores, considerando a contribuição das

etapas anteriores.

4.1 TIPO DE PESQUISA

Quanto à perspectiva, esta investigação caracteriza-se como quantitativa,

com propósito de buscar uma medida objetiva sobre determinado fenômeno,

procurando dar ênfase ao uso de dados sistematizados que possibilitam a

elaboração de sínteses, comparações e generalizações. Utilizou-se a quantificação

tanto na coleta dos dados sobre índices de desempenho das IFES, quanto no

tratamento desses dados através do uso de técnicas estatísticas. O uso desse

método teve a intenção de garantir a precisão dos resultados, evitar distorções de

análise e interpretação e garantir uma margem de segurança em relação às

inferências (ROESCH, 2006).

Quanto ao objetivo, esta pesquisa classifica-se como descritiva, pois tem a

finalidade de identificar e descrever as possíveis relações entre variáveis,

caracterizando-se também como explicativa, uma vez que a partir da associação

das variáveis, buscou-se razões que pudessem determinar o desempenho das IFES.

A partir da análise estatística dos dados, buscou-se verificar a relação existente

entre as variáveis: Nota IGC e Indicadores TCU, a partir de um modelo de

comparação construído para se padronizar os dados e assim possibilitar uma

comparação do desempenho entre as instituições.

Quanto ao método, este estudo utilizou-se da pesquisa documental, através

da obtenção de dados em fontes secundárias, a saber os relatórios de gestão

71

elaborados pelas IFES, objetivando analisar os dados deles extraídos referentes aos

indicadores de desempenho destas instituições.

4.2 UNIVERSO DA PESQUISA

Esta pesquisa aborda o universo das Instituições Federais de Ensino

Superior, que é composto basicamente pelas universidades e institutos de educação

tecnológica. De acordo com o Art. 52 da Lei de Diretrizes e Bases da Educação

Nacional, as universidades federais são instituições pluridisciplinares de formação

dos quadros profissionais de nível superior, e englobam diversas faculdades em

diferentes áreas do conhecimento, realizando atividades de ensino (graduação e

pós-graduação), pesquisa (linhas de pesquisa podendo desenvolver novos produtos

e serviços) e extensão (realiza serviços para a comunidade universitária ou não,

como cursos não superiores, hospitais etc.). Já os institutos federais, conforme

definido no Art. 2º da Lei nº 11.892/2008, são instituições de educação superior,

básica e profissional, pluricurriculares e multicampi, especializados na oferta de

educação profissional e tecnológica nas diferentes modalidades de ensino, com

base na conjugação de conhecimentos técnicos e tecnológicos com as suas práticas

pedagógicas. Nesta pesquisa decidiu-se pela delimitação do universo, restringindo-

se apenas às universidades federais, com o intuito de se homogeneizar o grupo de

instituições estudadas, e assim, evitar distorções nos dados analisados,

minimizando as diferenças que possam existir entre as diversas realidades em que

se inserem as IFES no Brasil. Assim, de acordo com o Ministério da Educação,

através de consulta aos dados do Sistema e-MEC em setembro de 2011, as

universidades federais correspondem a 59 instituições devidamente credenciadas,

dispostas por todas as regiões do Brasil.

Desta forma, a pesquisa foi censitária uma vez que abrangeu todas as 59

Universidades Federais do universo delimitado e o período considerado para o

estudo foi de três anos, tendo como referência o triênio 2008, 2009 e 2010.

Ressalta-se que, na fase da coleta de dados, da construção do modelo e da análise

da relação, os dados válidos para a pesquisa restringiram-se aos de 51 instituições,

sendo 8 delas excluídas, em razão da impossibilidade de obtenção de todos os

72

indicadores para estas em todo o período analisado, o que poderia comprometer o

tratamento estatístico pela insuficiência de dados.

4.3 VARIÁVEIS ANALÍTICAS

Considerando o objetivo geral pretendido, foram definidas como variáveis

deste estudo os indicadores de gestão definidos pelo Tribunal de Contas da União e

o Índice Geral de Cursos atribuído pelo INEP às Universidades, buscando-se

verificar a existência de uma possível relação entre estas variáveis de forma a

contribuir para uma análise do desempenho destas instituições.

Como primeira variável utilizou-se os indicadores de gestão estabelecidos

pelo Tribunal de Contas da União, que são calculados com base em dados relativos

a custos, número de alunos, professores e funcionários, entre outros, e que buscam

traduzir índices de eficiência, produtividade e eficácia na gestão destas instituições.

Apresenta-se a seguir os 09 indicadores estabelecidos pelo TCU como obrigatórios

para se avaliar a gestão das Universidades em seus processos de prestação de

contas:

1. Custo Corrente por Aluno Equivalente – CCAE; 2. Aluno tempo integral por Professor Equivalente – AIPE; 3. Aluno tempo Integral por Funcionário Equivalente – AIFE; 4. Funcionário Equivalente por Professor Equivalente – FEPE; 5. Grau de Participação Estudantil - GPE; 6. Grau de Envolvimento com a Pós-Graduação - GEPG; 7. Conceito CAPES/MEC para a Pós-Graduação – CAPES; 8. Índice de Qualificação do Corpo Docente – IQCD; 9. Taxa de Sucesso na Graduação - TSG.

Ressalta-se que o Tribunal de Contas da União determina para os indicadores

1, 3 e 4, a obrigatoriedade das instituições calcularem os mesmos de duas formas:

considerando os custos dos hospitais universitários e desconsiderando os custos

dos hospitais universitários. Desta forma, os 09 indicadores passariam a ser 13,

considerando a duplicidade dos indicadores 1, 3 e 4. Contudo, considerando que

quase metade das universidades estudadas não contam com hospitais

universitários, optou-se nesta pesquisa por utilizar apenas os 09 indicadores que

73

não abrangem hospitais universitários e portanto, são comuns a todas as instituições

estudadas.

Para esta variável foi acrescentado ainda um parâmetro para balancear os

indicadores obtidos pelas instituições. Assim, foi atribuído um peso a cada indicador,

que representa a importância dada a cada um dos 09 indicadores do TCU segundo

os próprios gestores destas instituições, de acordo com resultados obtidos pela

pesquisa de Barbosa (2011), conforme quadro a seguir:

Quadro 9 - Importância atribuída aos indicadores de gestão do TCU, pelos gestores das

Universidades

Indicador I 2 3 4 5 6 7 8 9

Peso 7,52 8,29 7,14 7,52 5,90 6,29 8,10 8,38 8,86

Fonte: Adaptado de Barbosa (2011).

A outra variável escolhida foi o Índice Geral de Cursos - IGC calculado pelo

INEP anualmente para todas as universidades, e que busca refletir a qualidade dos

cursos de graduação e pós-graduação. Os valores deste índice atribuído às

universidade são notas divulgadas em faixas que variam de 1 a 5 e também em

valores contínuos, que variam de 0 a 500. Para esta pesquisa optou-se pela

utilização das notas em valores contínuos, pois exprimem maior precisão e

possibilitam verificar mesmo as pequenas variações entre as notas das instituições.

4.4 COLETA DE DADOS

Os dados foram coletados por meio de pesquisa documental em fontes

secundárias, método que segundo Mattar (2007), pode trazer como vantagem a

economia de tempo, de dinheiro e de esforços e dependendo da fonte consultada,

poderá enriquecer grandemente o trabalho da pesquisa, contribuindo para o alcance

dos objetivos.

Assim, os documentos utilizados como fonte foram os relatórios de gestão

elaborados anualmente pelas próprias instituições objeto de estudo, que são

disponibilizados em suas páginas na internet e no site do Tribunal de Contas da

74

União, órgão fiscalizador que determina por força de lei a elaboração anual destes

relatórios como forma de prestação de contas. Os dados coletados nos relatórios de

gestão foram os índices calculados e divulgados pelas instituições em 09

indicadores de desempenho definidos pelo Tribunal de Contas da União, que visam

medir a eficiência, produtividade e eficácia das instituições, sendo estes indicadores

considerados como uma das variáveis analíticas do estudo.

Outra fonte de coleta de dados foi o Instituto Nacional de Estudos e

Pesquisas Educacionais Anísio Teixeira – INEP, onde foram coletadas na página

deste Instituto na internet, as notas calculadas para o Índice Geral de Cursos – IGC

atribuído anualmente a todas as Universidades, e que foram consideradas como a

outra variável analítica deste estudo.

Foram levantados os dados relativos aos indicadores TCU e notas IGC de

todas as instituições nos anos de 2008, 2009 e 2010. A seleção dos dados a partir

de 2008 se deu em razão de este ser um ano onde houveram significativos

investimentos no ensino superior após a instituição do programa de expansão das

universidade REUNI, e fechou-se o período de análise no ano de 2010 por ser este

o ano mais recente com dados disponíveis, já que os dados dos indicadores do TCU

contido nos relatórios de gestão de 2011 das universidades, assim como as notas

IGC 2011, ainda não estavam disponíveis no inicio desta pesquisa.

Ainda como fonte de coleta de dados, utilizou-se os dados da pesquisa

realizada por Barbosa (2011), em um estudo que pretendeu analisar a associação

dos indicadores de gestão do TCU com os indicadores que avaliam o desempenho

discente, no caso, o ENADE e o IDD. Em um de seus objetivos específicos, o

pesquisador conseguiu mostrar a importância atribuída pelos gestores das

Universidades aos indicadores do TCU, através de um questionário com perguntas

sobre o grau de importância atribuído a cada um destes indicadores, que culminou

em notas na escala de 0 a 10 para cada indicador. No presente estudo, estes dados

foram utilizadas como peso que balizou as notas finais atribuídas a cada instituição,

a partir de seus indicadores de gestão.

75

4.5 TRATAMENTO DOS DADOS

O tratamento dos dados envolve, normalmente, a busca de padrões e a

utilização de técnicas estatísticas específicas (ROESCH, 2006). Assim os dados

coletados foram tratados através de uma abordagem metodológica quantitativa

recebendo um tratamento estatístico paramétrico, sendo o procedimento realizado

em três etapas, como especificado a seguir:

4.5.1 Primeira etapa: construção do modelo de comparação

Após a pesquisa documental que levantou os índices obtidos pelas

instituições nos indicadores do TCU, foi criado um modelo para comparação do

desempenho das instituições, com a padronização das notas obtidas. A

padronização foi possível a partir do seguinte procedimento: dados os índices de um

indicador X, o menor valor é identificado como 0 e o maior valor é identificado como

1, e os demais terão valores intermediários e proporcionais, calculados pela

equação mostrada a seguir:

Padronização:

VP IndicadorX = (valor do indicador para a IFES) – (VMIN para o indicador) (VMAX para o indicador) – (VMIN para o indicador)

Onde:

VP IndicadorX é o Valor Padronizado para o indicador VMIN é o Valor Mínimo para o indicador VMAX é o Valor Máximo para o indicador

No cálculo da Nota Final de cada instituição foi utilizado um peso nos

indicadores do TCU, a fim de balancear os indicadores considerados de maior

importância para as instituições. O peso atribuído a cada indicador foram os obtidos

pela pesquisa de Barbosa (2011), que demonstram a importância atribuída a cada

76

um dos 09 indicadores do TCU segundo os próprios gestores destas instituições,

conforme Quadro 9.

Na obtenção da nota final de cada instituição, para fins de comparação do

desempenho entre elas, bem como da relação entre as variáveis, foi definida uma

equação, calculada conforme mostrado a seguir:

Nota Final da Instituição:

NF InstituiçãoX = ∑ (VP IndicadorX x Peso IndicadorX)

O procedimento da parametrização dos dados possibilitou sintetizar e

sumarizar de forma descritiva o conjunto dos dados obtidos, permitindo a construção

do modelo de comparação do desempenho entre as IFES com a elaboração de um

ranking, bem como a aplicação da estatística descritiva. Este procedimento também

viabilizou a verificação da existência de uma relação linear entre os indicadores,

comparativamente à nota obtida por cada instituição no Índice Geral de Cursos –

IGC, sendo possível analisar a influência de cada indicador no desempenho obtido

na nota do IGC. Para todas as análises foram considerados os dados do IGC

contínuo referentes aos anos de 2008, 2009 e 2010 para todas as 51 universidades

pesquisadas.

4.5.2 Segunda etapa: regressão simples

Dentre as técnicas de análises estatísticas que têm grande utilidade na

identificação e na quantificação do relacionamento entre uma variável-critério e uma

ou mais variáveis-prognóstico, está a regressão (MATTAR, 2007). Esta técnica pode

ser útil quando se procura verificar a existência de relacionamento entre duas ou

mais variáveis, com base em dados observados, “sob a matemática de uma

equação que interligue as variáveis e permita que, conhecendo o(s) valor(es) de

uma(s), possa ser previsto o valor de outra” (MATTAR, 2007, p. 250).

A análise de regressão buscou verificar a existência de dependência

estatística de uma variável denominada dependente, ou variável prevista ou

77

explicada, em relação a uma ou mais variáveis independentes, explanatórias ou

preditoras (CORRAR, PAULO E FILHO, 2009). A utilização desta medida se deu não

só em razão da procura pelo estabelecimento de uma relação, mas também pela

busca na definição de uma forma específica (função matemática) que ligue as

variáveis.

Na aplicação da regressão simples nesta pesquisa, foi definida como variável

independente (x) a Nota Final (NF) obtida para cada instituição, e, como variável

dependente (y) o Índice Geral de Cursos calculado pelo INEP, para todos os 3 anos

do período analisado em todas as instituições, visando estimar os valores da

variável dependente selecionada, com base nos valores conhecidos ou fixados da

variável independente, na forma da seguinte equação:

Y = β0 + β1x1 + ε

Onde:

Y é a variável dependente X1 é a variável independente β0 e β1 são os parâmetros da regressão ε é o resíduo ou erro padrão A partir da equação obtida na regressão, que apontou os valores previstos

para o desempenho IGC a partir da Nota Final nos indicadores TCU, foi aplicado um

teste binário que apontou as instituições que obtiveram índices IGC dentro (0) e fora

(1) do intervalo previsto pela equação, onde foi possível identificar as instituições

que tiveram desempenho acima ou abaixo da previsão.

4.5.3 Terceira etapa: regressão múltipla

Para verificar a relação entre as variáveis escolhidas, foi adotada a regressão

múltipla, que de acordo com Corrar, Paulo e Filho (2009), este método tem, através

do coeficiente de determinação (R2), a capacidade de explicar o percentual da

variação possível na variável dependente, ou seja, o quanto as variáveis

independentes explicam a variável dependente.

78

Foram definidas como variáveis independentes (x) os 09 indicadores

estabelecidos pelo Tribunal de Contas da União com seus Valores Padronizados

(VP), e, como variável dependente (y) o Índice Geral de Cursos calculado pelo INEP,

calculados para todos os 3 anos do período analisado em todas as instituições,

visando verificar a relação existente entre as variáveis selecionadas, na forma da

seguinte equação:

Y = β0 + β1x1 + β2x2 + ... + βnxn + ε

Onde:

Y é a variável dependente X1, X2 ... Xn são as variáveis independentes β0, β1, β2 ... βn são os parâmetros da regressão ε é o resíduo ou erro padrão

Ressalta-se ainda, que no caso da equação da regressão múltipla foram

selecionadas apenas as variáveis que passaram no teste de hipótese aplicado com

nível de significância () de 5%, isto é, só entraram na equação as variáveis

independentes consideradas significativas com < 0,05, que indicam a significância

do modelo e mostram sua influência sobre a variável dependente.

79

5 ANÁLISE DOS RESULTADOS

Os resultados desta pesquisa são apresentados em três partes. A primeira,

apresenta uma comparação do desempenho entre as instituições, obtida a partir da

análise descritiva, descrevendo sinteticamente os dados obtidos com a pesquisa

documental. A segunda parte, apresenta o desempenho estimado das IFES no IGC

a partir dos indicadores TCU, obtido por meio da análise de regressão linear

simples, destacando-se as instituições que tiveram desempenho fora dos valores

previstos. A terceira parte, apresenta a relação existente entre as variáveis

independentes (indicadores TCU) e a variável dependente (nota IGC), obtida por

meio da análise de regressão linear múltipla.

5.1 ANÁLISE DESCRITIVA DOS RESULTADOS E COMPARAÇÃO DO

DESEMPENHO ENTRE AS IFES

Após a coleta de dados que levantou os índices obtidos pelas instituições nos

indicadores do TCU para os anos de 2008, 2009 e 2010, os valores obtidos em cada

um dos nove indicadores do TCU foram padronizados em valores entre 0 e 1, que

chamou-se de Valor Padronizado (VPx). Com a padronização dos valores foi

possível o estabelecimento de uma nota final para cada universidade a partir da

soma dos valores obtidos nos nove indicadores balanceados pelo fator de

importância atribuído a cada um deles, e que chamou-se de Nota Final (NFInstituição x).

Esse procedimento permitiu a construção de um ranking e a comparação do

desempenho das instituições nos indicadores TCU, cujos resultados estão a seguir

descritos. Segue também a apresentação de ranking e a comparação do

desempenho das instituições a partir do índices obtidos no Índice Geral de Cursos -

IGC.

A Nota Final das 51 instituições para o triênio analisado variou de 1,76 a 6,28,

sendo o ranking liderado sempre por instituições da região sudeste, e tendo como

últimas colocadas instituições das regiões norte e centro-oeste, como se observa na

Tabela 3, que apresenta as Notas Finais limites observadas no período.

80

Tabela 3 - Notas Finais limites no período

2008 2009 2010

NF MÁXIMA NF MÍNIMA NF MÁXIMA NF MÍNIMA NF MÁXIMA NF MÍNIMA

5,66

UNIFESP

Sudeste

1,87

UFRR

Norte

6,28

UNIFESP

Sudeste

1,76

UFMT

Centro-Oeste

6,06

UFMG

Sudeste

1,87

UFAC

Norte

Fonte: Dados da pesquisa (2012)

Na tabela 4 observa-se as Notas Finais médias obtidas no período por região,

cuja média nacional foi de 3,62, verificando-se ainda uma variação de 13,5% nesta

média entre os anos de 2008 e 2010. Na análise dos dados por região verificou-se

que as universidades que obtiveram as maiores médias no ano de 2008, foram as

da região sudeste, assim como no ano de 2009 e em 2010 foram as da região sul.

Destaca-se ainda, que a variação observada na Nota Final das instituições da região

sul, representou um crescimento de 23,63%, mostrando que foi a região onde os

indicadores do TCU mais cresceram no período.

Tabela 4 - Notas Finais Médias por região

REGIÃO 2008 2009 2010

VARIAÇÃO NF MÉDIA NF MÉDIA NF MÉDIA

NACIONAL 3,40 3,60 3,86 13,50%

SUL 3,47 3,74 4,29 23,63%

CENTRO-OESTE 3,19 3,27 3,74 17,24%

SUDESTE 3,51 3,88 3,93 11,97%

NORDESTE 3,31 3,22 3,66 10,57%

NORTE 3,02 2,99 3,2 5,96%


Na análise da variação das Notas Finais entre os anos de 2008 a 2010,

mostrados na Tabela 5, que apresenta as 5 primeiras e 5 últimas universidades do

ranking, observou-se que das 51 instituições analisadas, 40 obtiveram variação

positiva da sua nota. Apesar da tendência de maior crescimento das notas para as

universidades da região sudeste, observou-se que algumas universidades do norte e

nordeste tiveram significativo crescimento em suas notas ao longo do triênio, e que a

81

universidade do Distrito Federal, UNB, foi a que teve o maior decréscimo na Nota

decorrente dos indicadores TCU, nos três anos da análise.

Tabela 5 - Variação de Notas Finais por instituição

IFES REGIÃO

NF 2008

NF 2009

NF 2010

VARIAÇÃO

UNIRIO Sudeste 2,93 3,12 4,23 44,64%

UFBA Nordeste 2,78 3,42 3,94 41,81%

UFAM Norte 2,66 2,26 3,66 37,82%

UFPA Norte 2,88 3,66 3,97 37,64%

UFPE Nordeste 3,17 3,84 4,35 37,52%

... ... ... ... ... ...

UFERSA Nordeste 3,06 3,15 2,73 -10,95%

UFPB Nordeste 4,36 3,20 3,85 -11,74%

UFAC Norte 2,17 1,87 1,87 -14,10%

UNIR Norte 3,23 3,17 2,74 -15,29%

UNB Distrito Federal 5,43 5,34 4,51 -16,93%


Analisando os dados coletados, pode-se dizer que a tendência geral, desde

2008, tem sido de crescimento dos índices apurados pelo Tribunal de Contas da

União, o que reflete o processo de expansão REUNI deflagrado no ano de 2007,

onde aumentou-se significativamente os investimentos do governo federal com a

educação superior. Como os índices do TCU para as universidades retratam, entre

outros, o custo por aluno, o total de professores e técnicos disponíveis e o quanto

seus docentes são qualificados, o crescimento dos valores a eles referentes

mostram que maiores recursos estão sendo disponibilizados, contudo, a falta de

padrões referenciais para estes índices não permitem concluir sobre a qualidade do

que é produzido com tais recursos, nem se estes têm contribuído para a melhoria da

gestão, pois assim como assegura Soares (2007) em sua pesquisa, a aplicação de

indicadores de desempenho tem como objetivo principal contribuir para a tomada de

decisão, o que só é atingido quando eles atribuem valor em sentido qualitativo e

quantitativo, e permitem a comparação dos resultados obtidos com padrões

estabelecidos.

82

Resta-nos em estudos como este, a busca pelo estabelecimento de relações

entre os diferentes indicadores utilizados, procurando analisá-los não de forma

isolada, pois como alerta o próprio Tribunal de Contas da União, a simplicidade

deste conjunto de indicadores não retrata a grande heterogeneidade apresentada

pelas IFES, onde se incluem instituições situadas em diversas realidades

econômicas e geográficas e em diferentes etapas de ciclo de vida. Assim, os

resultados da pesquisa mostram que grande parte das Universidades estão

evoluindo positivamente em seus índices e que as diferenças regionais ainda são

bastante significativas e portanto, não devem ser negligenciadas pelos gestores em

seus planos de gestão.

A observação dos dados descritos pode contribuir neste caso, para realização

da primeira das cinco etapas do processo de administração estratégica proposto por

Certo (2005), que é a análise do ambiente. Para os gestores do ensino superior na

esfera federal, conhecer as diferenças regionais no desempenho das IFES

mostradas nestes indicadores, pode contribuir para o estabelecimento de novas

diretrizes organizacionais e formulação de estratégias que visem a melhoria do

ensino superior a nível nacional.

Para o Índice Geral de Cursos – IGC, os dados coletados mostraram que

entre as 51 instituições analisadas, este índice variou de 197 a 440 em todo o

período, conforme observa-se na Tabela 6. E, assim como nos dados referentes aos

indicadores TCU, os maiores índices foram registrados por universidades da região

sudeste, já os menores índices foram de universidades do norte e nordeste.

Tabela 6 - Notas IGC limites no período

2008 2009 2010

IGC MÁXIMO IGC MÍNIMO IGC MÁXIMO IGC MÍNIMO IGC MÁXIMO IGC MÍNIMO

439

UNIFESP

Sudeste

197

UFRB

Nordeste

440

UNIFESP

Sudeste

205

UNIFAP

Norte

431

UFLA

Sudeste

206

UNIFAP

Norte


Quanto ao IGC médio a nível nacional, este variou ao percentual de 4,62 no

triênio, ficando sua média em 331 pontos. Analisando-se os dados por região

83

apresentados na Tabela 7, verificou-se que a tendência de crescimento ficou mais

fortemente presente na região nordeste, onde a variação do índice foi de 8,36%

nestes três anos. Depois do nordeste, a região que teve o maior crescimento do

índice médio foi a região centro-oeste. Assim como nos dados observados para os

indicadores do TCU, os números do IGC também cresceram em todo o país, porém

em menor proporção, destacando-se a região nordeste como a que obteve o maior

percentual de crescimento na nota média.

Tabela 7 - Variação de Notas IGC médias no período

REGIÃO 2008 2009 2010

VARIAÇÃO IGC MÉDIO IGC MÉDIO IGC MÉDIO

NACIONAL 325 327 340 4,62%

NORDESTE 299 299 324 8,36%

CENTRO-OESTE 318 320 335 5,35%

SUL 354 360 366 3,39%

SUDESTE 358 360 370 3,35%

NORTE 263 249 264 0,38%


Na análise da variação do IGC em todas as instituições no triênio, verificou-se

que 42 delas obtiveram variação positiva do índice. Conforme apresentado na

Tabela 8, onde constam as 5 primeiras e 5 últimas colocadas no ranking, observou-

se ainda que algumas universidades do nordeste melhoraram significativamente

seus índices, como no caso da UFRB que obteve uma melhoria de mais de 63% em

sua nota, entre 2008 e 2010, superando o crescimento de todas as instituições

analisadas. Foram observadas contudo, algumas universidades que tiveram

decréscimo em sua nota, como a UNIR, da região norte, que diminuiu seu IGC em

5,14%, entre 2008 e 2010.

84

Tabela 8 - Variação de Notas IGC por Instituição

IFES REGIÃO IGC 2008 IGC 2009 IGC 2010 VARIAÇÃO

UFRB Nordeste 197 206 322 63,45%

UFERSA Nordeste 278 290 350 25,90%

UFRPE Nordeste 286 298 334 16,78%

UFRA Norte 240 239 275 14,58%

UFPA Norte 247 263 276 11,74%

... ... ... ... ... ...

UNIFESP Sudeste 439 440 429 -2,28%

UFAM Norte 276 265 268 -2,90%

UFAC Norte 274 269 264 -3,65%

UFCSPA Sul 408 405 392 -3,92%

UNIR Norte 292 273 277 -5,14%


Os dados apresentados para o Índice Geral de Cursos sugerem uma melhoria

na qualidade dos cursos de graduação e pós-graduação das universidades, já que

este índice reflete o desempenho dos estudantes e o oferecimento de infraestrutura

e recursos didáticos pedagógicos, entre outros. Apesar da complexidade que

envolve o processo de ensino e as experiências de aprendizagem dos estudantes,

que segundo Marchelli (2007), não conseguem ser capturadas unicamente por um

conjunto de medidas objetivas que usa números e escores, deve-se concordar com

o autor e reconhecer o papel de destaque no conjunto dos procedimentos adotados,

pela sua objetividade e precisão. Porém, assim como nos indicadores do TCU, não

se deve analisá-los de forma isolada, já que outras medidas essenciais da qualidade

educacional como produção bibliográfica, premiações etc, não são utilizadas no

cálculo deste índice. É o que propõe Soares (2007), quando coloca que os

sistemas de medidas devem assegurar o alinhamento das atividades com o objetivo

maior da organização, que no caso das IFES, é a produção de conhecimento.

Como relação entre os dois conjuntos de indicadores analisados, a partir dos

dados descritos, pode-se dizer que o crescimento nos indicadores do TCU para as

universidades nos anos de 2008, 2009 e 2010, foi acompanhado de um crescimento

nos índices que se propõem medir a qualidade dos cursos, o IGC, porém não na

mesma proporção. A variação da nota média nacional dos indicadores do TCU foi

85

13,50%, enquanto na nota média do IGC foi de apenas 4,62%. Isto pode ser

atribuído aos impactos gerados pelo programa REUNI, onde se ampliaram

consideravelmente os investimentos na expansão das universidades a partir de

2007, o que pode ser claramente percebido em alguns indicadores financeiros do

TCU, porém só serão refletidos no IGC mais tardiamente, em função de alguns de

seus elementos como o ENADE e o IDD, que compõem o CPC.

Desta forma, os indicadores do TCU podem estar sendo diretamente

influenciados, no período, pelo aumento do custeio das universidades a partir da

ampliação da oferta de cursos de graduação com o processo de expansão da IFES.

Já o menor crescimento do IGC poderia estar relacionado aos conceitos mínimos

que são atribuídos aos cursos de graduação e de pós-graduação no momento em

que são criados, e que só ao longo do tempo é que passam a refletir a qualidade

efetiva dos cursos ofertados. No período, em estudo, muitos cursos de pós-

graduação foram criados com conceito mínimo e só três anos depois quando são

avaliados pela primeira vez, é quando poderão ter seus conceitos modificados,

permitindo uma elevação do IGC. Além disso, de acordo com a nota explicativa do

INEP, o IGC é calculado levando-se em conta sempre o último triênio, o que significa

que o IGC de 2008, considerou dados dos anos de 2005, 2006 e 2007, e assim com

os demais anos, explicando dessa forma, uma defasagem das notas IGC em relação

aos indicadores TCU, que utiliza dados do ano de referência.

O processo de gestão e mensuração do desempenho observado pelos

índices em análise, mostram falhas em uma das principais premissas para o

sucesso da administração estratégica, que é o monitoramento e avaliação do

processo. Para Certo (2005) assim como para Robbins (2000), o controle realizado

através do monitoramento e avaliação deve ocorrer em três etapas, que são:

medição do desempenho, comparação com metas e padrões e a ação gerencial

corretiva quando necessária. No caso dos indicadores TCU, a primeira etapa já foi

contemplada quando se definiu o que seria medido e como seria medido, porém

para a segunda etapa não são estabelecidas metas ou padrões de desempenho, o

que compromete a terceira etapa do processo, que são as ações gerenciais a serem

tomadas para melhoria do desempenho e atingimento dos objetivos traçados.

86

O programa GESPÚBLICA do Governo Federal, estabelece em seu guia

referencial para medição do desempenho, a construção de indicadores focados na

Governança para Resultados, onde um dos passos necessários neste processo é o

estabelecimento de metas e notas referenciais, o que neste caso, não é observado

nos indicadores TCU. Já no índice IGC, este requisito é contemplado quando se

definem escores de 1 a 5, que buscam traduzir a qualidade em níveis graduados, e

portanto, são essenciais na busca pela melhoria dos resultados institucionais,

incentivando as ações estratégicas gerenciais.

Além disso, um sistema de avaliação de performance não deve se prestar

somente para o controle, como ratificam Fernandes e Berton (2005), pois se bem

utilizado ele é uma forma valiosa de se conciliar os objetivos em várias áreas da

organização, visando aprimorar sua eficácia. Concordando com os autores, entende-

se que a falta de referenciais no caso do conjunto de indicadores adotado pelo TCU,

pressupõe que este sistema de controle e medição do desempenho pouco se

relaciona com a postura estratégica das instituições, provavelmente pela inexistência

de um planejamento estratégico definido por parte das instituições ou de órgãos de

credenciamento, avaliação e controle. Isto se deve ao fato das organizações

adotarem muitas vezes sistemas de controle pouco flexíveis e pouco atrelado às

concepções estratégicas, impossibilitando assim, avaliar efetivamente a eficácia de

suas gestões. Além disso, observa-se que não existe nos relatórios de gestão, uma

correlação de metas e ações voltadas a atingir a melhoria destes indicadores. Em

conclusão, este fato indica que as universidades sabem o que medir, mas não estão

conseguindo estabelecer metas que possam imprimir ao gestor a tomada de

decisões para a melhoria da qualidade e eficiência destas instituições.

Para que este conjunto de indicadores possa contribuir de forma mais

eficiente para a tomada de decisão, recomenda-se de acordo com Yokomizo (2009),

que sejam revistos e contemplados nestes indicadores as 8 principais dimensões de

um sistema de medição de desempenho eficaz: financeira, processos e eficiência

operacional, clientes, pessoas e aprendizado, infraestrutura técnica, inovação, meio-

ambiente e social, pois desta maneira tais indicadores poderão atuar de forma mais

coerente com a estratégia organizacional.

87

5.2 RELAÇÃO ENTRE O DESEMPENHO ESTIMADO PARA O IGC E A NOTA

FINAL NOS INDICADORES TCU.

Visando conhecer os valores preditos de uma variável em termos do valor

conhecido de outra variável foi aplicada a regressão simples, utilizando como

variável independente a Nota Final de cada universidade oriunda do somatório dos

indicadores do TCU e como variável dependente a nota obtida no IGC.

Para os dados do ano 2008 observa-se na análise, que o coeficiente de

determinação R2, que mede o grau de variabilidade da variável dependente

explicada pela equação da regressão simples, é de 0,5141 conforme Tabela 9,

indicando que 51,41% da variação na variável dependente IGC são explicados pela

variação ocorrida na variável independente considerada no modelo, a Nota Final.

Ressalta-se ainda a medida de precisão da previsão verificada no erro-padrão de

40, representando o desvio-padrão em torno da reta da regressão.

Tabela 9 - Resumo do modelo de regressão simples - Ano 2008

Estatística de regressão

R múltiplo 0,717011467

R-Quadrado 0,514105443

R-quadrado ajustado 0,504189228

Erro padrão 40,38365816

Observações 51


Quanto ao ajustamento para validação do modelo adotado, com a finalidade

de testar o efeito da variável independente sobre a variável dependente, utilizou-se o

teste de hipótese com nível de significância () de 5%. Neste caso, para que a

regressão seja significativa, a hipótese nula tem que ser rejeitada, ou seja, R2 tem

que ser significativamente maior que zero. Por meio da análise de variância,

constatou-se que o modelo apresenta F de Significação igual a 3,24834E-09, que é

menor que = 0,05, indicando que o modelo é significativo e que há influência da

variável independente na variável dependente.

A relação entre o IGC e a Nota Final para o ano de 2008, como pode ser

observado na Tabela 10, onde o Valor-P mostra sua significância, apresenta valor

88

de 3,2483E-09, menor que o estabelecido (0,05). Assim, da análise de regressão

para o ano de 2008, verifica-se que o modelo estimado consegue explicar mais de

51% da variação que ocorre com o Índice Geral de Cursos – IGC, através das

variações nos indicadores definidos pelo Tribunal de Contas da União - TCU,

sumarizados pela Nota Final. Da análise do coeficiente da equação da regressão,

visto na Tabela 10, tem-se que a variação de um ponto na variável independente

Nota Final, provoca uma variação de 51,73 pontos, em média, na variável

dependente nota IGC.

Tabela 10 - Coeficientes do modelo de regressão simples - Ano 2008

Coeficientes Valor-P

Interseção 148,69 3,01116E-07

NOTA FINAL 51,73 3,24834E-09


O coeficiente do modelo de regressão nos dá a confirmação da significância e

nos permite escrever o modelo de regressão estimado. Assim, conclui-se que a

regressão é significativa no conjunto de seus parâmetros estimados, indicando que a

variável independente Nota Final exerce influência sobre a variável dependente IGC

e portanto o modelo é significativo. Assim, a equação de regressão pode ser

sumariamente descrita da seguinte forma:

IGC2008 = 148,69 + 51,73 x Nota Final

Através da equação que descreve o relacionamento das variáveis em termos

matemáticos, consegue-se chegar à nota esperada para o IGC de cada instituição,

considerando um intervalo entre o valor mínimo e o máximo esperado. A partir daí

foi aplicado um teste com lógica binária, ou seja, com pontuação 0 (zero) para

instituições que tiveram desempenho IGC dentro do intervalo previsto, e pontuação

1 (um) para instituições que tiveram índices fora do intervalo previsto. O teste

mostrou que das 51 instituições observadas, 14 tiveram desempenho IGC fora do

previsto, sendo que destas, 08 instituições obtiveram desempenho abaixo que o

esperado e 06 obtiveram desempenho acima do esperado, conforme tabela 11.

89

Tabela 11 - IFES com desempenho fora da faixa prevista pela regressão simples - Ano 2008

ANO 2008

IFES REGIÃO NOTA IGC OBTIDA

NOTA IGC ESPERADA

INTERVALO

CALCULADO DESEMPENHO

UFAL Nordeste 258 320 280-360 ABAIXO

UFPA Norte 247 297 257-338 ABAIXO

UFPB Nordeste 305 374 333-414 ABAIXO

UFRA Norte 240 341 301-381 ABAIXO

UFRB Nordeste 197 269 228-309 ABAIXO

UFS Nordeste 256 301 261-341 ABAIXO

UNB Distrito Federal 389 429 389-470 ABAIXO

UNIFAP Norte 203 296 256-336 ABAIXO

UNIFEI Sudeste 389 335 295-375 ACIMA

UNIFAL Sudeste 372 271 231-312 ACIMA

UFVJM Sudeste 339 279 238-319 ACIMA

UFRGS Sul 415 367 326-407 ACIMA

UFPE Nordeste 356 312 272-352 ACIMA

UFCSPA Sul 408 335 295-376 ACIMA


Para o ano 2009, verificou-se uma maior explicação comparativamente ao

ano de 2008, pois os dados mostraram que o coeficiente de determinação R2, é de

0,6454, como mostrado na Tabela 12, indicando que 64,54% da variação no IGC

são explicados pela variação ocorrida na Nota Final das instituições. Ressalta-se

que a medida de precisão da previsão verificada no erro-padrão no modelo foi de 35,

representando o desvio-padrão em torno da reta da regressão.







Observações 51


90

Por meio da análise de variância, verificou-se que o modelo apresenta F de

Significação igual a 1,29111E-12, que é menor que = 0,05, indicando que o

modelo é significativo e que há influência da variável independente na variável

dependente. A relação entre o IGC e a Nota Final para o ano de 2009, confirma-se,

como pode ser observado na Tabela 13, onde o Valor-P mostra sua significância,

pois apresenta valor de 1,29111E-12, menor que o estabelecido (0,05),

concluindo-se que a regressão é significativa. Da análise do coeficiente da equação

da regressão, tem-se que a variação de um ponto na variável independente Nota

Final, provoca uma aumento de 48,71 pontos, em média, na variável dependente

Nota IGC, de acordo com os dados mostrados na Tabela 13.



Interseção 154,23 1,22023E-10

NOTA FINAL 48,01 1,29111E-12


O coeficiente do modelo de regressão nos dá a confirmação da significância e

nos permite escrever o modelo de regressão estimado. Assim, a equação de

regressão pode ser sumariamente descrita:

IGC2009 = 154,23 + 48,01 x Nota Final

Através dessa equação que descreve o relacionamento das variáveis em

termos matemáticos, calculou-se a nota esperada para o IGC de cada instituição,

considerando um intervalo entre o valor mínimo e o máximo esperado. Foi aplicado

um teste binário que apontou as instituições que tiveram índices fora do intervalo

previsto. Das 51 instituições observadas, 15 tiveram desempenho IGC fora do

previsto, sendo que destas, 07 instituições obtiveram desempenho abaixo que o

esperado e 08 obtiveram desempenho acima do esperado, conforme tabela 14:

91


No ano de 2010, constatou-se uma explicação de 58,20% da variação no IGC

ocorrida em função da Nota Final das instituições, pois os dados mostraram que o

coeficiente de determinação R2, foi de 0,5820 conforme mostrado na Tabela 15.

Ressalta-se que a medida de precisão da previsão verificada no erro-padrão no

modelo foi de 34, representando o desvio-padrão em torno da reta da regressão.







Observações 51


ANO 2009


NOTA IGC ESPERADA

INTERVALO



UFMA Nordeste 259 325 290-361 ABAIXO

UFMS Centro-Oeste 307 355 320-391 ABAIXO



UFRB Nordeste 206 260 224-295 ABAIXO


UFCSPA Sul 405 350 314-385 ACIMA

UFGD Centro-Oeste 341 293 258-329 ACIMA

UFMT Centro-Oeste 289 238 203-274 ACIMA

UFRGS Sul 422 380 344-415 ACIMA

UFSCAR Sudeste 406 354 319-390 ACIMA

UFTM Sudeste 404 336 300-372 ACIMA




92

A partir da análise de variância, verificou-se que o modelo apresenta F de


modelo é significativo e que há influência da variável independente na variável

dependente. Da análise do coeficiente da equação da regressão, mostrado na

Tabela 16, tem-se que a variação de um ponto na variável independente Nota Final,

provoca uma aumento de 41,51 pontos, em média, na variável dependente nota

IGC.



Interseção 179,98 5,85043E-12

NOTA FINAL 41,51 7,63134E-11


O coeficiente do modelo de regressão nos confirma a significância e nos

permite escrever o modelo de regressão estimado, conforme a equação de

regressão sumariamente descrita:

IGC2010 = 179,98 + 41,51 x Nota Final

Através dessa equação que descreve o relacionamento das variáveis,

calculou-se a nota esperada para o IGC de cada instituição, considerando um

intervalo entre o valor mínimo e o máximo esperado. Após aplicação do teste binário

foi possível destacar as instituições que tiveram índices fora do intervalo previsto.

Das 51 instituições observadas, 15 tiveram desempenho IGC fora do previsto, sendo

que destas, 08 instituições obtiveram desempenho abaixo que o esperado e 07

obtiveram desempenho acima do esperado, conforme tabela 17.

93


Analisando-se os coeficientes da regressão ao longo do período estudado

verificamos que de 2008 para 2009 o coeficiente angular, que representa a variação

esperada na variável resposta (IGC) quando a variável independente (NF) aumenta

em uma unidade, caiu de 51,73 para 48,01, caindo também no ano seguinte para

41,51, totalizando uma queda de 20% no coeficiente neste período, significando uma

redução no peso que a variável independente exerce na variável dependente, isto é,

uma redução no peso que os indicadores do TCU exercem sobre o desempenho no

IGC.

A regressão simples mostrou que, no período dos três anos o R2 médio foi

0,58 (2008: 0,5141; 2009: 0,6454;e, 2010: 0,5820), ou seja, a variável independente

explica em média 58% da variável dependente, no período, o que significa que a

Nota Final proveniente dos indicadores TCU, explica 58% do desempenho no IGC.

O poder preditivo das variáveis mostrou que neste período de três anos as

universidades UFPA, UFRA, UNIFAP e UFAL, 03 da região norte e 01 da região

ANO 20010


NOTA IGC ESPERADA

INTERVALO



UFAM Norte 268 332 297-367 ABAIXO

UFMS Centro-Oeste 314 363 329-398 ABAIXO



UFS Nordeste 274 311 277-346 ABAIXO


UFT Norte 259 295 260-329 ABAIXO

UFERSA Nordeste 350 293 258-328 ACIMA

UFRB Nordeste 322 284 249-319 ACIMA

UFSCAR Sudeste 416 362 327-397 ACIMA

UFTM Sudeste 399 357 323-392 ACIMA

UFVJM Sudeste 355 281 246-316 ACIMA




94

nordeste, apresentaram desempenho abaixo do esperado seguidamente no período

e as universidades UNIFEI e UNIFAL da região sudeste, apresentaram desempenho

acima do esperado seguidamente nos três anos.

Utilizando-se da análise documental realizada nos relatórios de gestão das

instituições com desempenho fora do previsto, não foram encontradas informações

que explicassem tais resultados, talvez porque, apesar de seus desempenhos terem

sido abaixo do esperado a partir dos indicadores TCU, estas instituições evoluíram

positivamente em seus índices IGC e, portanto, não consideraram que seu

desempenho tenha evoluído de modo insuficiente.

Assim, deduz-se que o incremento observado em alguns dos indicadores do

TCU nestas universidades, proveniente do aumento no custo corrente por aluno,

aumento no número de funcionários e docentes, ainda não tiveram seus resultados

plenamente revelados uma vez não houve tempo suficiente para mensuração dos

resultados destes investimentos, pois grande parte dos alunos que ingressaram nos

novos cursos/campi abertos com o processo de expansão, ainda não se formaram,

já que a duração da maioria dos cursos é em torno de 4 ou 5 anos, o que faz com

que componentes como o ENADE e o IDD, que integram o IGC, demorem um pouco

mais para refletirem o incremento nos indicadores de custeamento e capital

investidos nos cursos superiores, observado nos primeiros anos de REUNI.

5.3 RELACÃO ENTRE OS INDICADORES TCU E O DESEMPENHO IGC

Objetivando conhecer a relação existente entre as variáveis, foi aplicada a

regressão múltipla utilizando como variáveis independentes os indicadores do TCU

de cada universidade, com seus valores padronizados, e como variável dependente

a nota obtida no IGC.

Para o ano de 2008 observou-se que o coeficiente de determinação múltiplo

(R2) foi de 0,6996, conforme mostrado na Tabela 18, indicando que 69,96% da

variação na variável dependente IGC são explicados pelas variações ocorridas nas

variáveis independentes consideradas no modelo, os indicadores do TCU. Ressalta-

95

se que a medida de precisão da previsão verificada no erro-padrão foi de 34,


Tabela 18 - Resumo do modelo de regressão múltipla - Ano 2008






Observações 51


Quanto ao ajustamento para validação do modelo adotado, com a finalidade

de testar o efeito do conjunto de variáveis independentes sobre a variável

dependente, utilizou-se o teste de hipótese com nível de significância () de 5%. Por

meio da análise de variância, constatou-se que o modelo apresenta F de


modelo é significativo e que há influência das variáveis independentes na variável

dependente.

No ano de 2008 a relação entre o IGC e as variáveis independentes ficou

restrito às variáveis VP7 e VP8, como pode ser observado na Tabela 19, onde o valor

p mostra que estas são as únicas variáveis com significância, pois apresentam valor

p menor que o estabelecido (0,05). Assim, conclui-se que a regressão é significativa

no conjunto de seus parâmetros estimados, indicando ainda, que as variáveis

independentes VP7, e VP8 exercem influência sobre a variável dependente IGC e

portanto o modelo é significativo.

Tabela 19 - Coeficientes do modelo de regressão múltipla - Ano 2008


Interseção 127,39 0,0070

... ... ...

VP7 159,44 0,0049

VP8 123,97 0,0001


96

A partir da análise da equação da regressão, tem-se que a variação de um

ponto na variável VP7 - Conceito CAPES, provoca uma variação de 127,39 pontos,

em média, na variável dependente IGC; a variação de um ponto na variável VP8 -

Índice de Qualificação no corpo docente, acarreta uma alteração de 123,97 ponto,

em média, no IGC. Assim os valores do coeficiente de regressão também indicam o

peso que cada variável independente exerce na variável dependente, desta forma

pode-se verificar que a variável VP7 - Conceito CAPES exerce maior influência no

Índice Geral de Cursos, por apresentar o maior coeficiente de regressão da

equação, 159,44.

O coeficiente do modelo de regressão nos dá a confirmação da significância

de cada um dos coeficientes isoladamente e nos permite escrever o modelo de

regressão estimado. Assim, a equação de regressão pode ser sumariamente

descrita da seguinte forma:

IGC2008 = 159,44 x (VP7) + 123,97 x (VP8) + 127,39

Assim, da análise de regressão, verifica-se que o modelo estimado consegue

explicar quase de 70% das variações que ocorrem com o Índice Geral de Cursos -

IGC através das variações nos indicadores definidos pelo Tribunal de Contas da

União - TCU, sendo relevantes apenas as variações determinadas pelos

indicadores: Conceito CAPES e Índice de Qualificação do Corpo Docente. A

explicação para a influência destes dois indicadores pode estar na forma de cálculo

do IGC, que utiliza dois eixos: graduação e pós-graduação. No eixo da graduação é

considerado o Conceito Preliminar de Curso – CPC, que é uma média de diferentes

medidas como o ENADE, o IDD e Variáveis de Insumo, sendo esta última

correspondente a 30% do CPC e entre suas variáveis está a titulação do corpo

docente, calculada com peso 38,9, ressaltando a importância da qualificação do

corpo docente para a obtenção da nota IGC, pois quanto maior a titulação dos

docentes maior será a nota atribuída aos cursos da instituição. Já no eixo que mede

a qualidade da Pós-Graduação, é considerada uma conversão das notas fixadas

pela CAPES para a composição do IGC, confirmando a relação direta deste

indicador com a nota IGC, já que quanto maior for a nota CAPES atribuída aos

97

cursos de pós-graduação de uma universidade, maior será seu desempenho do

IGC.

A importância destes dois indicadores corrobora com os achados da pesquisa

de Barbosa (2011), em que apontou o indicador Conceito CAPES como o 4º mais

importante entre os nove, com nota 8,10 e o Índice de Qualificação do Corpo

Docente como o 2º mais importante, com nota 8,38, na opinião dos gestores das

universidades. Na busca por uma relação entre os indicadores TCU e o

desempenho discente, a mesma pesquisa também apontou o Índice de Qualificação

do Corpo Docente como impactante no ENADE e o Conceito CAPES como

impactante no IDD, porém intrigantemente, a relação verificada foi inversa ao

resultado esperado, ou seja, estes indicadores apontaram uma relação negativa no

desempenho discente, diferentemente da presente pesquisa, onde estes indicadores

mostraram uma relação positiva no desempenho IGC.

Na análise dos dados do ano de 2009, observa-se que o coeficiente de

determinação múltiplo (R2) é de 0,7870 conforme Tabela 20, indicando que 78,70%

da variação na variável dependente IGC são explicados pelas variações ocorridas

nas variáveis independentes consideradas no modelo, os indicadores do TCU.

Ressalta-se que a medida de precisão da previsão verificada no erro-padrão foi 30,








Observações 51


Por meio da análise de variância, constatou-se que o modelo apresenta F de



dependente.

98

A relação entre o IGC e as variáveis independentes ficou restrito às variáveis

VP7, VP8 e VP9, como pode ser observado na tabela 15, onde o valor p mostra que

estas são as únicas variáveis com significância, pois estas apresentam valor p

menor que o estabelecido (0,05). Assim, conclui-se que a regressão é significativa

no conjunto de seus parâmetros estimados, indicando ainda, que apenas as

variáveis independentes VP7, VP8 e VP9, como mostrado na Tabela 21, exercem

influência sobre a variável dependente ICG e portanto o modelo é significativo.




... ... ...

VP7 78,42 0,0026

VP8 113,57 0,0003

VP9 108,20 0,0003


A partir da análise da equação, tem-se que a variação de um ponto na

variável VP7 - Conceito CAPES, provoca uma variação de 0,0026 pontos, em média,

na variável dependente IGC; a variação de um ponto na variável VP8 - Índice de

Qualificação do Corpo Docente, acarreta uma alteração de 0,0002 ponto, em média,

no IGC; e, a variação de um ponto na variável VP9 - Taxa de Sucesso na

Graduação, acarreta uma alteração de 0,0002 ponto, em média, no IGC. Assim os

valores dos coeficientes de regressão também indicam o peso que cada variável

independente exerce na variável dependente, desta forma pode-se verificar que a

variável VP7 - Conceito CAPES exerce maior influência no Índice Geral de Cursos,

por apresentar o maior coeficiente de regressão da equação, 0,0026.


explicar mais de 78% das variações que ocorrem com o Índice Geral de Cursos -

IGC através das variações nos indicadores definidos pelo Tribunal de Contas da

União - TCU, sendo relevantes apenas as variações determinadas pelos

indicadores: (7) Conceito CAPES, (8) Índice de Qualificação do Corpo Docente e (9)

Taxa de Sucesso na Graduação.

99

Os coeficientes do modelo de regressão nos dão a confirmação da

significância de cada um dos coeficientes isoladamente e nos permitem escrever o

modelo de regressão estimado. Assim, a equação de regressão pode ser


IGC2009 = 0,0026 x (VP7) + 0,0002 x (VP8) + 0,0002 x (VP9) + 172,04

Assim como explicado nos resultados do ano de 2008, a influência dos

indicadores Conceito CAPES e Índice de Qualificação do Corpo Docente pode estar

na forma de cálculo do IGC, que utiliza dois eixos: graduação e pós-graduação. No

eixo da graduação é considerado o Conceito Preliminar de Curso – CPC, que é uma

média de diferentes medidas como o ENADE, o IDD e Variáveis de Insumo, sendo

esta última correspondente a 30% do CPC e entre suas variáveis está a titulação do

corpo docente, calculada com peso 38,9, ressaltando a importância de uma maior

qualificação do corpo docente para a obtenção de uma maior nota IGC. Já no eixo

que mede a qualidade da Pós-Graduação, é considerada uma conversão das notas

fixadas pela CAPES para a composição do IGC, confirmando a relação direta deste

indicador com a nota IGC, pois cursos de pós-graduação mais bem conceituados

devem refletir numa melhor nota IGC para a instituição. No caso do influência do

indicador Taxa de Sucesso na Graduação, que mede a relação entre o número de

alunos diplomados e o número total de ingressantes, pode ser explicado pela forma

de cálculo do IDD (indicador de Diferença entre os desempenhos observado e

esperado) de um curso, pois este é um componente que representa 30% do CPC,

conceito que integra o eixo da graduação no IGC. No cálculo do IDD inclui-se entre

outras medidas, a razão entre o número de concluintes e o número de ingressantes

de cada curso. Assim como alguns outros indicadores, a Taxa de Sucesso na

Graduação tem sofrido grande impacto nos últimos anos em decorrência da

implantação do REUNI, já que a oferta de vagas nas universidade tem sido

aumentada significativamente desde 2007, porém não na mesma proporção tem

crescido o número de diplomados nos anos próximos posteriores, já que estes

ingressantes só serão diplomados em média 4 ou 5 anos mais tarde.

A importância destes três indicadores também foi constatada na pesquisa de

Barbosa (2011), que apontou o indicador Conceito CAPES como o 4º mais

100

importante entre os nove, com nota 8,10, o Índice de Qualificação do Corpo Docente

como o 2º mais importante, com nota 8,38, e o indicador Taxa de Sucesso na

graduação como o 1º mais importante, com nota 8,86, na opinião dos gestores das

universidades. Porém, a pesquisa de Barbosa (2011) apontou que apenas os

indicadores Índice de Qualificação do Corpo Docente e Conceito CAPES foram

impactantes do desempenho discente avaliado pelo ENADE e IDD.

Para o ano de 2010 a análise mostra que o coeficiente de determinação

múltiplo (R2) da regressão múltipla estimada, é de 0,82 conforme Tabela 22,

indicando que 82,77% da variação na variável dependente IGC são explicados pelas

variações ocorridas nas variáveis independentes consideradas no modelo, os

indicadores do TCU. Ressalta-se ainda a medida de precisão da previsão verificada

no erro-padrão de 24, representando o desvio-padrão em torno da reta da

regressão.







Observações 51


Utilizou-se o teste de hipótese com nível de significância () de 5%, para

testar o efeito do conjunto de variáveis independentes sobre a variável dependente.

Por meio da análise de variância, constatou-se que o modelo apresenta F de

Significação foi igual a 5,6089E-13, que é menor que = 0,05, indicando que o


dependente.

A relação entre o IGC e as variáveis independentes, assim como no ano de

2009, ficou restrito as variáveis VP7, VP8 e VP9, como pode ser observado na tabela

17, onde o valor p mostra que estas são as únicas variáveis com significância, pois

estas apresentam valor p menor que o estabelecido (0,05). Assim, de acordo com os

dados apresentados na Tabela 23, conclui-se que a regressão é significativa no

101

conjunto de seus parâmetros estimados, indicando ainda, que as variáveis

independentes VP7, VP8 e VP9 exercem influência sobre a variável dependente ICG e

portanto o modelo é significativo.




... ... ...

VP7 107,24 0,0019

VP8 126,70 0,0000

VP9 52,18 0,0123


Em análise à equação da regressão, tem-se que a variação de um ponto na

variável VP7 - Conceito CAPES, provoca uma variação de 0,0019 pontos, em média,

na variável dependente IGC; a variação de um ponto na variável VP8 - Índice de

Qualificação no corpo docente, acarreta uma alteração de 4,9E-05 ponto, em média,

no IGC; e, a variação de um ponto na variável VP9 - Taxa de Sucesso na

Graduação, acarreta uma alteração de 0,0122 ponto, em média, no IGC. Assim os

valores do coeficiente de regressão também indicam o peso que cada variável

independente exerce na variável dependente, desta forma pode-se verificar que a

variável VP9 - Taxa de Sucesso na graduação exerce maior influência no Índice

Geral de Cursos, por apresentar o maior coeficiente de regressão da equação

(0,0123).

Os coeficientes do modelo de regressão nos dão a confirmação da

significância de cada um dos coeficientes isoladamente e nos permitem escrever a

equação do modelo de regressão estimado. A equação de regressão pode ser


IGC2010 = 0,0019 x (VP7) + 4,9E-05 x (VP8) + 0,0122 x (VP9) + 166,81

102


explicar mais de 82% das variações que ocorrem com o Índice Geral de Cursos -

IGC através das variações nos indicadores definidos pelo TCU, sendo relevantes

apenas as variações determinadas pelos indicadores: Conceito CAPES, Índice de

Qualificação do Corpo Docente e Taxa de Sucesso na Graduação.

Os resultados do ano de 2010 foram semelhantes aos de 2009, apontando os

mesmos indicadores como significantes. Assim como explicado nos resultados do

ano de 2009, a influência dos indicadores (7) Conceito CAPES e (8) Índice de

Qualificação do Corpo Docente, pode estar na forma de cálculo do IGC, que utiliza

dois eixos: graduação e pós-graduação. No eixo da graduação é considerado o

Conceito Preliminar de Curso – CPC, que é uma média de diferentes medidas como

o ENADE, o IDD e Variáveis de Insumo, sendo esta última correspondente a 30% do

CPC e entre seus componentes está a titulação do corpo docente, calculada com

peso 38,9, ressaltando a importância de uma maior qualificação do corpo docente

para a obtenção de uma maior nota IGC. No eixo que mede a qualidade da Pós-

Graduação, é considerada uma conversão das notas fixadas pela CAPES para a

composição do IGC, confirmando a relação direta deste indicador com a nota IGC,

pois cursos de pós-graduação mais bem conceituados devem refletir numa melhor

nota IGC para a instituição. Já no caso do indicador (9) Taxa de Sucesso na

Graduação, que mede a relação entre o número de alunos diplomados e o número

total de ingressantes, pode ser explicado pela forma de cálculo do IDD (indicador de

Diferença entre os desempenhos observado e esperado) de um curso, pois este é

um componente que representa 30% do CPC, conceito que integra o eixo da

graduação no IGC. No cálculo do IDD inclui-se entre outras medidas, a razão entre o

número de concluintes e o número de ingressantes de cada curso.

Os testes de regressão múltipla mostraram ainda que os indicadores do TCU:

(1) Custo Corrente por Aluno Equivalente, (2) Aluno tempo integral por Professor

Equivalente, (3) Aluno tempo Integral por Funcionário Equivalente, (4) Funcionário

Equivalente por Professor Equivalente, (5) Grau de Participação Estudantil e (6)

Grau de envolvimento com a pós-graduação, não apresentaram resultados

significativos para explicação da variável dependente IGC. A ausência de

significação do indicador (1) Custo Corrente por Aluno Equivalente, por exemplo,

reforça o resultado da pesquisa de Fernandes (2009), onde foi encontrada uma

103

lacuna quanto à utilização de indicadores de gastos que pudessem retratar a relação

entre os recursos despendidos pelas IFES e a qualidade da educação por elas

oferecida. Seus resultados mostraram que as universidades com os maiores gastos

correntes apresentaram uma pior qualidade nas atividades de ensino e pesquisa,

importante constatação feita a partir análise sobre a utilização de indicadores de

desempenho.

A ausência de significação na maioria dos indicadores do TCU pode estar

reforçando o estudo apresentado por Soares (2007), que analisou os indicadores de

desempenho das Instituições Federais de Ensino Superior na visão de diferentes

usuários, e constatou que os usuários pesquisados não utilizavam os indicadores

para a tomada de decisões em suas gestões, levantando a necessidade de uma

reflexão sobre a obrigatoriedade da apuração e divulgação dos indicadores de

desempenho nos relatórios anuais de gestão das IFES. Esta afirmação corrobora

com os estudos de Ribeiro (2010), que verificou que os indicadores de desempenho

não se apresentaram como balizadores da tomada de decisão pelos gestores da

instituição, apontando para a necessidade das organizações públicas de ensino

desenvolverem um efetivo e eficaz planejamento educacional e um sistema de

acompanhamento desse planejamento, que permita evidenciar se as estratégias

estabelecidas estão efetivamente sendo seguidas e se os objetivos propostos estão

sendo alcançados.

Considerando os dois conjuntos de indicadores aqui estudados como medida

do desempenho e da qualidade do ensino superior brasileiro, nos termos do estudo

de Bertolin (2007), que desenvolveu um sistema de indicadores para avaliar e medir

o desenvolvimento da qualidade estruturado em aspectos de entradas, processos e

resultados, verificou-se que os dois apresentam em sua estrutura aspectos de

entradas, processos e resultados. Como indicadores de entrada o TCU apresenta os

indicadores: Custo Corrente/Aluno Equivalente, Aluno/Professor Equivalente,

Aluno/Funcionário, Funcionário/Equivalente e Índice de Qualificação do Corpo

Docente, já o IGC apresenta em sua composição o CPC que também contempla o

Corpo Docente considerando titulação e regime de trabalho; Como indicadores de

processo o IGC apresenta em sua composição o CPC que contempla informações

sobre os recursos didáticos pedagógicos; Como indicadores de resultados o IGC

contempla o nível de êxito dos alunos no uso do ENADE e o IDD, e o TCU considera

104

o Conceito CAPES como medida da qualidade do ensino de pós-graduação. Desta

forma, percebe-se a necessidade de uma mudança de postura por parte do

Ministério da Educação, dos Órgãos de Controle e gestores, enquanto

administradores dos recursos públicos, no sentido de fazerem com que seus índices

possam ser utilizados na busca por resultados de excelência, já que é isto o que

preconiza o accountability e o que buscam os órgãos de controle e o próprio

Governo Federal com a implantação do programa GESPUBLICA.

105

6 CONSIDERAÇÕES FINAIS

Este estudo propôs analisar o desempenho das Instituições Federais de

Ensino Superior tomando como referência os indicadores de gestão definidos pelo

Tribunal de Contas da União e as notas do Índice Geral de Cursos calculadas pelo

INEP. A análise da medição do desempenho tem sua importância destacada como

uma ferramenta estratégica imprescindível para se alcançar os objetivos

organizacionais, já que um bom modelo de gestão estratégica depende de medição,

informação e análise, decorrentes da estratégia da organização, abrangendo seus

principais processos, bem como seus resultados (TACHIZAWA, 2006). Seja no setor

privado ou em instituições públicas, cada vez mais se buscam modelos de

excelência em gestão focado em resultados e orientados para o cidadão

(FERREIRA, 2009), por isso a escolha de um método adequado é a base para o

sucesso de um sistema de gestão de desempenho, de maneira a reduzir a

subjetividade das decisões fornecendo informações objetivas que permitam aos

gestores efetuar um julgamento preciso (PANDOLFI, 2005). Apesar do relato em

alguns estudos de que os indicadores do TCU não vêm sendo utilizados para a

tomada de decisão nas IFES, sua importância foi reconhecida pelos gestores,

despertando para a necessidade de que passem por uma reavaliação de maneira

que estejam alinhados às atividades das universidades, e possam contribuir para a

melhoria no ensino superior.

Assim, em atendimento ao objetivo específico I, este trabalho conseguiu

estabelecer um sistema de comparação do desempenho entre as IFES a partir do

levantamento dos índices sobre o desempenho obtidos nos indicadores do Tribunal

de Contas da União e no Índice Geral de Cursos, que mostrou de forma temporal

todos os índices obtidos por elas nos anos de 2008, 2009 e 2010. O modelo utilizado

na pesquisa possibilitou a comparação do desempenho entre as IFES,

proporcionada pelo estabelecimento de um sistema, que após a padronização das

notas levantadas, permitiu descrever e comparar os indicadores em uma análise

temporal, que mostrou a variação dos números ao longo do período, permitindo

também, uma análise de forma regional e nacional, evidenciando o comportamento

dos números em todo o Brasil bem como as peculiaridades de cada região.

106

Referente aos indicadores do TCU constatou-se que a maior parte das IFES

teve evolução em seus índices, evidenciando significativas diferenças regionais, com

mais altos índices para as instituições da região sul, e menores para as instituições

da região Norte, apesar destas também terem evoluído nestes indicadores,

destaca-se ainda, a necessidade de que estas diferenças regionais não sejam

negligenciadas pelos governantes em seus planos de gestão. Pode-se dizer que a

tendência geral, desde 2008, tem sido de crescimento dos índices apurados pelo

Tribunal de Contas da União, reflexo do processo de expansão REUNI iniciado em

2007, que aumentou significativamente os investimentos do governo federal com a

educação superior. A falta de referenciais para estes índices não permitiram concluir

sobre a qualidade dos resultados obtidos com a aplicação de tais recursos, nem se

estes indicadores têm contribuído para a melhoria da gestão.

Referente aos números do IGC, assim como nos indicadores do TCU, houve

crescimento dos índices, porém em menor proporção, e apesar das evidentes

diferenças entre as regiões norte/nordeste e sul/sudeste do país, uma interessante

constatação mostrada pela pesquisa, referente aos números do IGC, foi a tendência

de crescimento mais fortemente para a região nordeste. Assim, os dados

apresentados para o Índice Geral de Cursos mostram um crescimento nos números

que buscam medir a qualidade dos cursos de graduação e pós-graduação das

universidades, sugerindo uma melhoria pelo menos dentro dos parâmetros

representados pelo referido índice, como o desempenho dos estudantes, o

oferecimento de infraestrutura e recursos didáticos pedagógicos, pessoal, entre

outros. O crescimento desproporcional entre os dois conjuntos de variáveis se deve

em grande parte também aos impactos gerados pelo programa REUNI, onde se

ampliaram consideravelmente os investimentos na expansão das universidades a

partir de 2007, influenciando mais rapidamente os indicadores do TCU e mais

tardiamente as notas IGC, como os componentes que refletem resultados discentes

como o ENADE e o IDD.

Apesar das críticas que alguns estudiosos fazem quanto à construção de

rankings, entende-se que as comparações aqui realizadas, podem ser utilizadas

para contribuir de forma positiva na gestão das universidades, pois se usados de

forma sistemática podem ser úteis como forma de acreditação destas instituições, e

107

impulsão na busca pela melhoria e o engajamento de todos os que fazem estas

organizações, em prol do oferecimento de uma maior qualidade no ensino superior.

Em resposta ao objetivo específico II, estimou-se o desempenho esperado

das IFES no Índice Geral de Cursos a partir dos Indicadores do TCU, comparando o

resultado estimado com o desempenho real, onde foi possível conhecer as

instituições com desempenho fora do previsto para o período. Mais uma vez

evidenciaram-se diferenças regionais, já que instituições do norte e nordeste apesar

de terem evoluído no IGC, não obtiveram o desempenho esperado de acordo com o

incremento ocorrido nos indicadores TCU nos três anos analisados, e instituições da

região sudeste conseguiram superar-se obtendo um desempenho no IGC além do

esperado, a partir dos indicadores TCU. Entende-se que no caso das universidades

com desempenho abaixo do esperado, o incremento observado em alguns dos

indicadores do TCU nestas universidades, ainda não tiveram seus resultados

plenamente revelados na qualidade medida pelo IGC, uma vez não houve tempo

suficiente para mensuração dos resultados destes investimentos, pois parte dos

elementos que compõem o IGC utilizam informações sobre alunos concluintes de

cursos criados ou ampliados a partir do programa REUNI, e portanto seus resultados

demoram pelo menos 4 ou 5 anos para serem refletidos.

Em atendimento ao objetivo específico III, foi possível relacionar os

indicadores de gestão estabelecidos pelo TCU e o desempenho obtido nas notas do

Índice Geral de Cursos calculadas pelo INEP, constatando a existência de relação

entre os indicadores. Os resultados mostraram que há relação entre estes

indicadores, com os indicadores do TCU explicando em média 76% do desempenho

verificado no IGC, mas sendo considerados significantes apenas os indicadores (7)

Conceito CAPES, (8) Índice de Qualificação do Corpo Docente e (9) Taxa de

Sucesso na Graduação. Isso pode ser explicado pela forma de cálculo do IGC, que

utiliza em seus cálculos elementos que tem relação direta com tais indicadores. Tal

resultado além de corroborar com a pesquisa de Barbosa (2011) que mostrou que

estes indicadores estão entre os considerados mais importantes pelos gestores das

IFES, mostram que a titulação do corpo docente, a nota fixada pela CAPES para a

pós-graduação e a quantidade de alunos que conseguem concluir seus cursos em

tempo regular, influenciam diretamente na qualidade do ensino nos cursos, medido

pelo IGC. Desta forma reforça-se a necessidade de que estas medidas sejam

108

priorizadas na gestão destas instituições e que façam parte de suas estratégias, de

maneira planejada e voltada para a busca da melhoria no ensino superior.

Apesar das dificuldades relatadas pelo TCU na utilização dos seus

indicadores, observa-se que a falta de padrões pré-estabelecidos ou um

planejamento com metas bem definidas, compromete as duas últimas etapas do

processo de controlar, que são monitorar, avaliar e melhorar as diversas atividades

que ocorrem dentro das organizações. Após medir o desempenho, a avaliação

consiste em comparar o desempenho medido com as metas e os padrões

previamente estabelecidos, e então, se estabelecem ações corretivas para melhoria

da gestão quando necessárias. Os indicadores do TCU, da mesma forma,

comprometem o processo de controle definido por Robbins (2000), que coloca que

após determinar o que será medido e como será medido, o próximo passo é a

comparação, que é a etapa que vai determinar o grau de variação entre o

desempenho real e o padrão, seguido do terceiro e último passo, que é a ação

gerencial. O não estabelecimento de padrões referenciais para estes indicadores,

contraria inclusive, o programa de Excelência em Gestão do próprio Governo

Federal, o GESPÚBLICA, que assevera que uma avaliação da gestão quando bem

sistematizada, permite identificar tanto os pontos fortes como os menos

desenvolvidos em relação ao referencial comparativo, funcionando como uma forma

de aprendizagem sobre a própria organização e como instrumento de melhoria de

práticas gerenciais.

Como foi observado em todo referencial conceitual deste trabalho, assim

como em seus resultados, percebe-se que existe em qualquer organização a

necessidade de serem construídos indicadores de desempenho como ferramenta de

uso efetivo para convalidar seu desenvolvimento, e essa necessidade vem sendo

cada vez mais reconhecida pelos gestores da administração pública.

Especificamente no Ensino Superior, muitas são as peculiaridades relatadas, como

a heterogeneidade das instituições, sejam de localização, tamanho ou idade,

contudo, um ponto central na missão de todas elas, é a produção de conhecimento

que se traduz no desenvolvimento da sociedade e do país, e apesar de se tratar de

algo tão intangível como é o conhecimento, faz-se necessário instituir um sistema

que avalie seu desempenho, através de medidas que consigam mensurar suas

109

ações e avaliar sua eficiência, principalmente ao tratar da aplicação de recursos

públicos.

Conclui-se que o objetivo geral deste trabalho foi alcançado, pois na análise

sobre a medição de desempenho nas Instituições Federais de Ensino Superior

constatou-se a existência de relação entre os indicadores de gestão definidos pelo

Tribunal de Contas da União e o desempenho obtido no Índice Geral de Cursos

calculado pelo INEP. Desta forma, espera-se que essa investigação possa contribuir

para o processo de melhoria da gestão das Universidades, levando a uma reflexão

sobre os indicadores utilizados, de forma a permitirem a implementação de

estratégias e a avaliação de resultados, que levem ao alcance de uma gestão

eficiente e possibilitem o oferecimento de um ensino de mais qualidade na formação

de profissionais e na evolução da ciência, como molas propulsoras do

desenvolvimento econômico e social do país.

Tem-se que reconhecer ainda as limitações deste trabalho, pois buscar

explicar o desempenho das Universidades apenas pelo conjunto de indicadores

definidos pelo TCU ou pelo INEP pode deixar lacunas que não demonstram o real

desempenho destas instituições, já que tais indicadores sozinhos não conseguem

retratar a enorme heterogeneidade do universo do ensino superior e da

subjetividade da geração do conhecimento. Assim, sugere-se que futuras pesquisas

nesta área, possam explorar outras variáveis que expliquem o desempenho das

Universidades, ou ainda, analisar a eficácia destes indicadores na tradução da

missão das IFES, bem como do atual Sistema de Avaliação do Ensino Superior, o

SINAES, inclusive estabelecendo a criação de novos indicadores que possam

retratar com mais confiabilidade a performance das instituições.

110

REFERÊNCIAS

ANSOFF, H. Igor; MCDONNEL, Edward J. Implantando a Administração

Estratégica. 2ª ed. São Paulo: Atlas, 1993.

ANSOFF, H. Igor. Administração Estratégica. São Paulo: Atlas, 1983.

BARBOSA, Glauber de Castro. Análise da associação entre os indicadores de gestão das Universidades Federais e o desempenho discente no ENADE. 117 f. Dissertação (Mestrado em Ciências Contábeis). Programa multiinstitucional e inter-regional da UNB, UFPB, UFRN, UFPE, Brasília - DF, 2011.

BERTOLIN, Julio César Godoy. Avaliação da Qualidade do Sistema de Educação Superior Brasileiro em Tempos de Mercantilização – Período 1994-2003. 282 f. Tese (Doutorado em Educação). Universidade Federal do Rio Grande do Sul. Porto Alegre, 2007.

BITTENCOURT, Hélio Radke. et. al. Sobre o Índice Geral de Cursos (IGC). Avaliação, Campinas; Sorocaba, SP, v. 14, n. 3, p. 667-682, nov. 2009.

BRASIL. Constituição da República Federativa do Brasil (1988). Brasília, DF, 5 de out. 1988.

BRASIL. Lei nº 10.172, de 9 de janeiro de 2001. Dispõe sobre o Plano Nacional de educação e dá outras providências. Diário Oficial da União, Brasília, DF, 9 de jan. 2001.

BRASIL. Lei nº. 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior – SINAES. Diário Oficial da União, Brasília, DF, 15 de abr. 2004.

CERTO, Samuel C. Administração Estratégica: planejamento e implementação da estratégia. 2. Ed. – São Paulo: Pearson Prentice Hall, 2005

CORRAR, Luiz J.; PAULO, Edilson; FILHO, José Maria Dias (Coord.). Análise multivariada – para os cursos de administração, ciências contábeis e economia. São Paulo: Atlas, 2009.

COUTINHO, André R. KALLÁS, David. (organizadores). Gestão da Estratégia: experiências e lições de empresas brasileiras – Rio de Janeiro: Elsevier, 2005.

DINIZ, Saulo Medeiros. Uma investigação sobre medidas de desempenho utilizadas pelas empresas de transporte urbano de passageiros na cidade do Natal/RN. 96 f. Dissertação (Mestrado Profissional em Administração). Universidade Potiguar. Natal, 2009.

111

FERNANDES, Bruno Henrique Rocha. BERTON, Luiz Hamilton. Administração Estratégica: da competência empreendedora à avaliação de desempenho. São Paulo: Saraiva, 2005.

FERNANDES, José Lúcio Tozetti. Indicadores para a avaliação da gestão das universidades federais brasileiras: Um estudo da influência dos gastos sobre a qualidade das atividades acadêmicas no período de 1998-2006. 2009, 117f. Dissertação (Mestrado em Ciências Contábeis). Programa multiinstitucional e inter-regional da UNB, UFPB, UFRN, UFPE, Brasília, 2009.

FERREIRA, André Ribeiro. Modelo de excelência em gestão pública no governo brasileiro: importância e aplicação. In: XIV CONGRESO INTERNACIONAL DEL CLAD SOBRE LA REFORMA DEL ESTADO Y DE LA ADMINISTRACIÓN PÚBLICA. 2009. Anais. Salvador, 30 out. 2009.

FEVORINI, Fabiana Bittencourt. A avaliação de desempenho organizacional na administração municipal. 2010, 106f. Dissertação (Mestrado em Administração). Universidade de São Paulo, 2010.

FIGUEIREDO, M. A. D. Sistemas de Medição de Desempenho Organizacional: um modelo para auxiliar a sua auto-avaliação. 2003. 274f. Tese (Doutorado em Engenharia de Produção) Universidade Federal do Rio de Janeiro, 2003.

FOWLER, Eliane D’Martin. Investigação sobre a utilização de programas de qualidade (GESPÚBLICA) nas Universidades Federais de Ensino Superior. 2008, 163f. Dissertação (Mestrado em Ciências em Engenharia de Produção). Universidade Federal de Itajubá. Itajubá, 2008.

GALVÃO, Lavínia de Lima. Medidas de desempenho organizacional em organizações públicas brasileiras. In: VII CONGRESO INTERNACIONAL DEL CLAD SOBRE LA REFORMA DEL ESTADO Y DE LA ADMINISTRACIÓN PÚBLICA. 2002. Anais. Lisboa, Portugal, 11 out. 2002.

HUNGER, J. David. WHEELEN, Thomas L. Gestão Estratégica: princípios e prática. Rio de Janeiro: Reichmann & Affonso Editores, 2002.

INEP. Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. 2. ed. Brasília. 2004. Disponível em: <http://www.publicacoes.inep.gov.br/arquivos/{B4E0C6B4-314B-4F70-9671-E33A4BA67C42}_Sinaes_da_concepção_à_regulamentação.pdf> Acesso em: 14 de outubro de 2011.

INEP. Nota técnica: cálculo do índice geral de cursos. Brasília: MEC/INEP, 2010. Disponível em: <http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2010/Nota_Tecnica_IGC_2010.pdf> Acesso em: 12 de nov. 2011.

http://www.publicacoes.inep.gov.br/arquivos/%7BB4E0C6B4-314B-4F70-9671-E33A4BA67C42%7D_Sinaes_da_concep%C3%A7%C3%A3o_%C3%A0_regulamenta%C3%A7%C3%A3o.pdf

http://www.publicacoes.inep.gov.br/arquivos/%7BB4E0C6B4-314B-4F70-9671-E33A4BA67C42%7D_Sinaes_da_concep%C3%A7%C3%A3o_%C3%A0_regulamenta%C3%A7%C3%A3o.pdf

http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2010/Nota_Tecnica_IGC_2010.pdf

http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2010/Nota_Tecnica_IGC_2010.pdf

112

INEP. Sistema Nacional de Avaliação da Educação Superior (SINAES). Disponível em: <http://portal.inep.gov.br/superior-sinaes> Acesso em: 24 de jan. 2011.

KAI, Jiang. A Critical Analysis of Accountability in Higher Education. Chinese education and society. vol. 42, nº. 2, abril de 2009, p. 39–51.

KAPLAN, Robert S.; NORTON, David P. A Estratégia em Ação: balanced scorecard. Rio de Janeiro: Elsevier, 1997.

LDB: Lei de Diretrizes e Bases da Educação Nacional : lei nº 9.394, de 20 de dezembro de 1996, que estabelece as diretrizes e bases da educação nacional. – 5. ed. – Brasília : Câmara dos Deputados, Coordenação Edições Câmara, 2010.

MARCHELLI, Paulo Sérgio. O sistema de avaliação externa dos padrões de qualidade da educação superior no Brasil: considerações sobre os indicadores. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 15, n. 56, p. 351-372, jul./set. 2007

MARCONI, Marina de Andrade. LAKATOS, Eva Maria. Fundamentos de Metodologia Científica. 6. Ed. São Paulo: Atlas, 2009.

MATIAS-PEREIRA, José. Manual de Gestão Pública Contemporânea. São Paulo: Atlas, 2007.

MATTAR, Fauze Najib. Pesquisa de Marketing. 4. Ed. São Paulo: Atlas, 2007.

MINISTÉRIO DA EDUCAÇÃO. Portaria Normativa nº 12, de 5 de setembro de 2008. Institui o Índice Geral de Cursos da Instituição de Educação Superior (IGC). Ministério da Educação. Diário Oficial da União, Brasília, DF, 08 de set. 2008.

MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃO. Programa da Qualidade no Serviço Público – PQSP: Instrumento de avaliação da gestão pública Ciclo 2008-2009. Brasília, DF: MP/Secretaria de Gestão, 2008.

MINISTÉRIO DO PLANEJAMENTO ORÇAMENTO E GESTÃO. Guia Referencial para Medição de Desempenho e Manual para Construção de Indicadores. Secretaria de Gestão. Brasília: 2009a.

MINISTÉRIO DO PLANEJAMENTO ORÇAMENTO E GESTÃO. Mapeamento Bibliográfico e do estado da arte sobre indicadores de gestão. Secretaria de Gestão. Brasília: 2009b.

NIVEN, Paul R. Balanced Scorecard passo-a-passo: elevando o desempenho e mantendo resultados. Rio de Janeiro: Qualitymark, 2005.

PANDOLFI, Marcos. Sistemas de Medição e Avaliação de Desempenho Organizacional: contribuição para a gestão de metas globais a partir de

http://portal.inep.gov.br/superior-sinaes

113

performances individuais. 279 f. Tese (Doutorado em Engenharia de Produção). Universidade de São Paulo. São Paulo, 2005.

PARRI, Janni. Quality in Higher Education. Vadyba management. 2006. n. 2. p. 107-111

POLIDOTI, Marlis Morosini. Políticas de Avaliação da Educação Superior Brasileira: Provão, SINAES, IDD, CPC, IGC e... outros índices. Avaliação, Campinas; Sorocaba, SP, v. 14, n. 2, p. 267-290, jul. 2009

RIBEIRO, Valdelúcio Pereira. Ações e Indicadores de Desempenho Educacional vistos sob a ótica do Balanced Scorecard: estudo de caso no Instituto Federal de Educação, Ciência e Tecnologia do Rio Grande do Norte. 2010, 118f. Dissertação (Mestrado Profissional em Administração) Universidade Potiguar. Natal, 2010.

ROBBINS, Stephen Paul. Administração: mudanças e perspectivas. São Paulo: Saraiva, 2000.

ROESCH, Silvia Maria Azevedo. Projeto de estágio e de pesquisa em administração. 3 ed. São Paulo: Atlas, 2006.

SCHLICKMANN, Raphael; MELO, Pedro Antônio de; PERSTEDT, Graziela Dias. Enfoques da Teoria Institucional nos Modelos de Avaliação Institucional Brasileiros. Revista Avaliação. Campinas, SP, n. 1, p. 153-168, mar. 2008.

SOARES. Yara Magali Albano. Uma análise dos indicadores de desempenho das Instituições Federais de Ensino Superior, na visão de diferentes usuários. 2007, 133f. Dissertação (Mestrado em Ciências Contábeis). Programa multiinstitucional e inter-regional da UNB, UFPB, UFRN, UFPE, Natal, 2007.

STEVENSON, William J. Estatística Aplicada à Administração. São Paulo: Harper & Row do Brasil, 1981.

TACHIZAWA, Takeshy. CRUZ JÚNIOR, João Benjamim da. ROCHA, José Antônio de Oliveira. Gestão de Negócios: visões e dimensões empresariais da organização. 3. Ed. São Paulo: Atlas, 2006.

TRIBUNAL DE CONTAS DA UNIÃO. Gabinete do Ministro. Decisão n.º 358, de 03 de maio de 2000. Plenário. Relatório Consolidado das auditorias operacionais realizadas em Universidades Federais com o objetivo de se obterem dados regionais como contribuição para a elaboração de um diagnóstico na área do ensino superior em nível nacional. Brasília, DF, 03 mai. 2000.

TRIBUNAL DE CONTAS DA UNIÃO. Gabinete do Ministro. Decisão n.º 408, de 24 de abril de 2002. Plenário. Relatório Consolidado das auditorias operacionais realizadas em Universidades Federais com o objetivo de se obterem dados regionais

114

como contribuição para a elaboração de um diagnóstico na área do ensino superior em nível nacional. Brasília, DF, 24 abr. 2002.

TRIBUNAL DE CONTAS DA UNIÃO. Secretaria de Educação Superior – SESu/MEC. Secretaria Federal de Controle Interno – SFC. Orientações para o cálculo dos indicadores de gestão: decisão TCU nº 408/2002 – plenário. Versão revisada em 2006.

VERGARA, Sylvia Cosntant. Projetos e Relatórios de Pesquisa em Administração. 7 ed. São Paulo: Atlas, 2006.

WRIGHT, P. L.; KROLL, M. J.; PARNELL, J. Administração Estratégica: conceitos. São Paulo: Atlas, 2000.

YOKOMIZO, C. A. A avaliação do desempenho organizacional: um estudo exploratório em empresas brasileiras de desenvolvimento de software. 2009. 175f. Dissertação (Mestrado em Administração). Universidade de São Paulo, 2009.

115

APÊNDICE

APÊNDICE A – Ranking das Universidades na Nota Final dos Indicadores TCU

REGIÃO IFES NF 2008 REGIÃO IFES NF 2009 REGIÃO IFES NF 2010

Sudeste UNIFESP 5,66 Sudeste UNIFESP 6,28 Sudeste UFMG 6,06

Distrito Federal UNB 5,43 Sudeste UFMG 5,66 Sul UFSC 5,79

Sudeste UFV 4,72 Distrito Federal UNB 5,34 Sudeste UNIFESP 5,60

Sudeste UFMG 4,53 Sudeste UFV 5,07 Sudeste UFRJ 5,46

Sudeste UFLA 4,39 Sudeste UFLA 5,01 Sudeste UFV 5,45

Nordeste UFPB 4,36 Sudeste UFRJ 4,86 Sudeste UFLA 5,33

Sul UFSC 4,36 Sul UFSC 4,85 Sul UFRGS 5,22

Sul UFRGS 4,22 Sudeste UFU 4,78 Sul UFCSPA 4,73

Sudeste UFTM 4,19 Sul UFRGS 4,71 Nordeste UFRN 4,68

Sudeste UFRJ 4,17 Centro-Oeste UFMS 4,20 Sul UFPR 4,67

Sudeste UFSCAR 4,16 Sudeste UFF 4,20 Distrito Federal UNB 4,51

Sudeste UFU 4,05 Sudeste UFSCAR 4,18 Sudeste UFU 4,48

Sudeste UFJF 3,79 Sudeste UFJF 4,15 Centro-Oeste UFMS 4,41

Centro-Oeste UFMS 3,74 Sul UFCSPA 4,08 Nordeste UFC 4,40

Norte UFRA 3,73 Sul UFPR 4,00 Sudeste UFSCAR 4,39

Sudeste UFF 3,67 Sudeste UFOP 3,98 Sudeste UFJF 4,38

Sul UFPR 3,67 Sudeste UNIFEI 3,96 Nordeste UFPE 4,35

Sul UFCSPA 3,61 Nordeste UFRN 3,86 Sudeste UFTM 4,27

Sudeste UNIFEI 3,61 Nordeste UFPE 3,84 Sudeste UNIRIO 4,23

Nordeste UFC 3,57 Sudeste UFTM 3,80 Sudeste UFF 4,19

Nordeste UFRN 3,55 Nordeste UFC 3,79 Sul UFPEL 4,16

Sudeste UFSJ 3,39 Centro-Oeste UFG 3,73 Norte UFPA 3,97

Centro-Oeste UFG 3,34 Norte UFPA 3,66 Nordeste UFBA 3,94

Centro-Oeste UFGD 3,33 Sul UFPEL 3,65 Sudeste UFES 3,92

Sudeste UFRRJ 3,33 Sudeste UFES 3,63 Sudeste UFOP 3,85

Nordeste UFAL 3,32 Sudeste UFRRJ 3,62 Nordeste UFPB 3,85

Sudeste UFES 3,31 Nordeste UFMA 3,57 Centro-Oeste UFG 3,77

Norte UNIR 3,23 Sudeste UFVJM 3,48 Sudeste UFRRJ 3,75

Sul FURG 3,17 Sul FURG 3,46 Norte UFAM 3,66

Nordeste UFPE 3,17 Sudeste UFSJ 3,44 Sul FURG 3,65

Sul UFPEL 3,16 Nordeste UFBA 3,42 Sudeste UNIFEI 3,63

Sudeste UFOP 3,13 Nordeste UFAL 3,31 Nordeste UFRPE 3,60

Nordeste UFERSA 3,06 Nordeste UFPB 3,20 Sudeste UFSJ 3,58

Nordeste UFCG 2,98 Norte UFRA 3,20 Centro-Oeste UFGD 3,46

Nordeste UFS 2,95 Nordeste UFPI 3,18 Norte UFRA 3,43

Sudeste UNIRIO 2,93 Norte UNIR 3,17 Sul UTFPR 3,31

Nordeste UFRPE 2,90 Nordeste UFERSA 3,15 Nordeste UFS 3,16

Norte UFPA 2,88 Sudeste UNIRIO 3,12 Nordeste UFAL 3,14

Sul UTFPR 2,86 Sul UTFPR 3,00 Sudeste UNIFAL 3,00

Norte UNIFAP 2,86 Nordeste UFRPE 2,91 Nordeste UFMA 2,94

Nordeste UFBA 2,78 Centro-Oeste UFGD 2,91 Nordeste UFPI 2,89

Nordeste UFMA 2,76 Nordeste UFCG 2,79 Centro-Oeste UFMT 2,84

Nordeste UFPI 2,73 Sudeste UNIFAL 2,58 Norte UFT 2,76

Norte UFAM 2,66 Nordeste UFS 2,42 Norte UNIR 2,74

Centro-Oeste UFMT 2,56 Norte UFT 2,40 Nordeste UFERSA 2,73

Sudeste UFVJM 2,52 Norte UFAM 2,26 Nordeste UFCG 2,72

Sudeste UNIFAL 2,38 Nordeste UFRB 2,21 Norte UNIFAP 2,64

Nordeste UFRB 2,33 Norte UNIFAP 2,20 Nordeste UFRB 2,51

Norte UFT 2,17 Norte UFAC 1,87 Sudeste UFVJM 2,43

Norte UFAC 2,17 Norte UFRR 1,86 Norte UFRR 2,34

Norte UFRR 1,87 Centro-Oeste UFMT 1,76 Norte UFAC 1,87

MÉDIA NORDESTE 3,31 MÉDIA NORDESTE 3,22 MÉDIA NORDESTE 3,66

MÉDIA NORTE 3,02 MÉDIA NORTE 2,99 MÉDIA NORTE 3,20

MÉDIA SUDESTE 3,51 MÉDIA SUDESTE 3,88 MÉDIA SUDESTE 3,93

MÉDIA SUL 3,47 MÉDIA SUL 3,74 MÉDIA SUL 4,29

MÉDIA CENTRO-OESTE 3,19 MÉDIA CENTRO-OESTE 3,27 MÉDIA CENTRO-OESTE 3,74

MÉDIA NACIONAL 3,40 MÉDIA NACIONAL 3,60 MÉDIA NACIONAL 3,86

NF 2008 NF 2009 NF 2010

Média 3,400458848 Média 3,602888705 Média 3,859602403

Erro padrão 0,111296346 Erro padrão 0,138444984 Erro padrão 0,136870568

Mediana 3,321822577 Mediana 3,616636232 Mediana 3,845801546

Modo #N/D Modo #N/D Modo #N/D

Desvio padrão 0,794814889 Desvio padrão 0,988694945 Desvio padrão 0,977451363

Variância da amostra 0,631730707 Variância da amostra 0,977517694 Variância da amostra 0,955411168

Curtose 0,609580346 Curtose 0,187849271 Curtose -0,445686295

Assimetria 0,657353207 Assimetria 0,344690121 Assimetria 0,253227869

Intervalo 3,792223523 Intervalo 4,518998244 Intervalo 4,190990267

Mínimo 1,871915015 Mínimo 1,762887218 Mínimo 1,866471462

Máximo 5,664138538 Máximo 6,281885462 Máximo 6,057461729

Soma 173,4234013 Soma 183,747324 Soma 196,8397225

Contagem 51 Contagem 51 Contagem 51

NOTA FINAL NOS INDICADORES TCU

RANKING 2008 RANKING 2009 RANKING 2010

116

REGIÃO IFES NF 2008 NF 2009 NF 2010 VARIAÇÃO

Sudeste UNIRIO 2,93 3,12 4,23 44,64%

Nordeste UFBA 2,78 3,42 3,94 41,81%

Norte UFAM 2,66 2,26 3,66 37,82%

Norte UFPA 2,88 3,66 3,97 37,64%

Nordeste UFPE 3,17 3,84 4,35 37,52%

Sudeste UFMG 4,53 5,66 6,06 33,63%

Sul UFSC 4,36 4,85 5,79 33,05%

Nordeste UFRN 3,55 3,86 4,68 32,00%

Sul UFPEL 3,16 3,65 4,16 31,65%

Sudeste UFRJ 4,17 4,86 5,46 31,05%

Sul UFCSPA 3,61 4,08 4,73 30,93%

Sul UFPR 3,67 4,00 4,67 27,24%

Norte UFT 2,17 2,40 2,76 26,90%

Sudeste UNIFAL 2,38 2,58 3,00 26,13%

Norte UFRR 1,87 1,86 2,34 24,96%

Nordeste UFRPE 2,90 2,91 3,60 24,25%

Sul UFRGS 4,22 4,71 5,22 23,60%

Nordeste UFC 3,57 3,79 4,40 23,18%

Sudeste UFOP 3,13 3,98 3,85 22,85%

Sudeste UFLA 4,39 5,01 5,33 21,28%

Sudeste UFES 3,31 3,63 3,92 18,44%

Centro-Oeste UFMS 3,74 4,20 4,41 18,15%

Sul UTFPR 2,86 3,00 3,31 15,56%

Sudeste UFJF 3,79 4,15 4,38 15,53%

Sudeste UFV 4,72 5,07 5,45 15,50%

Sul FURG 3,17 3,46 3,65 15,22%

Sudeste UFF 3,67 4,20 4,19 13,99%

Centro-Oeste UFG 3,34 3,73 3,77 12,74%

Sudeste UFRRJ 3,33 3,62 3,75 12,53%

Centro-Oeste UFMT 2,56 1,76 2,84 11,08%

Sudeste UFU 4,05 4,78 4,48 10,62%

Nordeste UFRB 2,33 2,21 2,51 7,94%

Nordeste UFS 2,95 2,42 3,16 7,11%

Nordeste UFMA 2,76 3,57 2,94 6,30%

Nordeste UFPI 2,73 3,18 2,89 5,68%

Sudeste UFSJ 3,39 3,44 3,58 5,49%

Sudeste UFSCAR 4,16 4,18 4,39 5,42%

Centro-Oeste UFGD 3,33 2,91 3,46 3,98%

Sudeste UFTM 4,19 3,80 4,27 2,02%

Sudeste UNIFEI 3,61 3,96 3,63 0,50%

Sudeste UNIFESP 5,66 6,28 5,60 -1,13%

Sudeste UFVJM 2,52 3,48 2,43 -3,43%

Nordeste UFAL 3,32 3,31 3,14 -5,37%

Norte UNIFAP 2,86 2,20 2,64 -7,59%

Norte UFRA 3,73 3,20 3,43 -7,94%

Nordeste UFCG 2,98 2,79 2,72 -8,84%

Nordeste UFERSA 3,06 3,15 2,73 -10,95%

Nordeste UFPB 4,36 3,20 3,85 -11,74%

Norte UFAC 2,17 1,87 1,87 -14,10%

Norte UNIR 3,23 3,17 2,74 -15,29%

Distrito Federal UNB 5,43 5,34 4,51 -16,93%

MÉDIA

NORDESTE 3,68

NORTE 3,61

SUDESTE 3,52

SUL 3,62

CENTRO-OESTE 3,33

NACIONAL 3,62

VARIAÇÃO NORDESTE 21,58% NF 2008

VARIAÇÃO NORTE 14,59%

VARIAÇÃO SUDESTE 9,75%

VARIAÇÃO SUL 13,97%

VARIAÇÃO CENTRO-OESTE 24,89%

VARIAÇÃO NACIONAL 13,97%

NOTA FINAL NOS INDICADORES TCU

117

APÊNDICE B – Ranking das Universidades na Nota IGC

REGIÃO IFES IGC 2008 REGIÃO IFES IGC 2009 REGIÃO IFES IGC 2010

Sudeste UNIFESP 439 Sudeste UNIFESP 440 Sudeste UFLA 431

Sul UFRGS 415 Sul UFRGS 422 Sul UFRGS 430

Sudeste UFMG 413 Sudeste UFLA 420 Sudeste UNIFESP 429

Sul UFCSPA 408 Sudeste UFMG 417 Sudeste UFMG 425

Sudeste UFLA 404 Sudeste UFV 410 Sudeste UFSCAR 416

Sudeste UFSCAR 403 Sudeste UFSCAR 406 Sudeste UFV 414

Sudeste UFTM 400 Sul UFCSPA 405 Sudeste UFRJ 401

Sudeste UFV 400 Sudeste UFTM 404 Sudeste UFTM 399

Sudeste UFRJ 390 Sudeste UFRJ 395 Sudeste UNIFEI 398

Distrito Federal UNB 389 Sudeste UNIFEI 394 Sul UFSC 394

Sudeste UNIFEI 389 Sul UFSC 386 Sul UFCSPA 392

Sul UFSC 372 Distrito Federal UNB 386 Distrito Federal UNB 391

Sudeste UNIFAL 372 Sudeste UNIFAL 374 Sudeste UNIFAL 381

Nordeste UFPE 356 Sudeste UFU 358 Sudeste UFU 375

Sudeste UFOP 350 Sudeste UFJF 357 Sul UFPR 371

Sudeste UFJF 349 Sudeste UFOP 351 Nordeste UFPE 369

Sudeste UFU 348 Nordeste UFPE 350 Sudeste UFJF 359

Centro-Oeste UFG 345 Sul UFPR 350 Centro-Oeste UFG 355

Sul UFPR 340 Centro-Oeste UFG 346 Sudeste UFVJM 355

Nordeste UFRN 340 Sudeste UFSJ 345 Nordeste UFERSA 350

Sudeste UFVJM 339 Sudeste UFF 344 Sudeste UFF 350

Sudeste UNIRIO 339 Centro-Oeste UFGD 341 Sul UFPEL 350

Sudeste UFSJ 334 Nordeste UFRN 341 Centro-Oeste UFGD 349

Centro-Oeste UFGD 333 Sudeste UFVJM 340 Nordeste UFRN 349

Nordeste UFC 329 Nordeste UFC 330 Sudeste UFOP 347

Sudeste UFF 327 Sul UFPEL 326 Sudeste UFSJ 345

Nordeste UFBA 325 Sudeste UNIRIO 326 Sudeste UFRRJ 344

Sudeste UFRRJ 320 Sudeste UFRRJ 321 Nordeste UFC 340

Sul UFPEL 315 Nordeste UFBA 319 Nordeste UFRPE 334

Centro-Oeste UFMS 314 Sul FURG 318 Sudeste UNIRIO 334

Sul FURG 313 Nordeste UFPB 313 Nordeste UFBA 333

Nordeste UFPB 305 Centro-Oeste UFMS 307 Nordeste UFPB 328

Sudeste UFES 304 Sul UTFPR 303 Sul FURG 325

Sul UTFPR 298 Sudeste UFES 301 Sudeste UFES 324

Nordeste UFCG 294 Nordeste UFRPE 298 Nordeste UFRB 322

Norte UNIR 292 Nordeste UFCG 297 Sul UTFPR 315

Nordeste UFRPE 286 Nordeste UFERSA 290 Centro-Oeste UFMS 314

Centro-Oeste UFMT 285 Centro-Oeste UFMT 289 Nordeste UFCG 309

Nordeste UFPI 282 Nordeste UFPI 281 Centro-Oeste UFMT 303

Nordeste UFERSA 278 Norte UNIR 273 Nordeste UFPI 283

Norte UFAM 276 Norte UFAC 269 Nordeste UFMA 280

Norte UFAC 274 Norte UFAM 265 Norte UNIR 277

Nordeste UFMA 266 Norte UFPA 263 Norte UFPA 276

Norte UFRR 263 Nordeste UFAL 262 Norte UFRA 275

Nordeste UFAL 258 Nordeste UFMA 259 Nordeste UFS 274

Nordeste UFS 256 Nordeste UFS 256 Nordeste UFAL 272

Norte UFPA 247 Norte UFRR 246 Norte UFAM 268

Norte UFT 242 Norte UFT 244 Norte UFRR 266

Norte UFRA 240 Norte UFRA 239 Norte UFAC 264

Norte UNIFAP 203 Nordeste UFRB 206 Norte UFT 259

Nordeste UFRB 197 Norte UNIFAP 205 Norte UNIFAP 206

MÉDIA NORDESTE 299 MÉDIA NORDESTE 299 MÉDIA NORDESTE 324

MÉDIA NORTE 263 MÉDIA NORTE 249 MÉDIA NORTE 264

MÉDIA SUDESTE 358 MÉDIA SUDESTE 360 MÉDIA SUDESTE 370

MÉDIA SUL 354 MÉDIA SUL 360 MÉDIA SUL 366

MÉDIA CENTRO-OESTE 318 MÉDIA CENTRO-OESTE 320 MÉDIA CENTRO-OESTE 335

MÉDIA NACIONAL 325 MÉDIA NACIONAL 327 MÉDIA NACIONAL 340

IGC 2008 IGC 2009 IGC 2010

Média 324,627451 Média 327,2156863 Média 340,1960784

Erro padrão 8,030869891 Erro padrão 8,273193836 Erro padrão 7,446753187

Mediana 327 Mediana 326 Mediana 345

Modo 340 Modo 341 Modo 350

Desvio padrão 57,35188254 Desvio padrão 59,08242166 Desvio padrão 53,18045491

Variância da amostra3289,238431 Variância da amostra 3490,732549 Variância da amostra 2828,160784

Curtose -0,54483072 Curtose -0,72568051 Curtose -0,500846567

Assimetria -0,082956104 Assimetria -0,050802445 Assimetria -0,175624373

Intervalo 242 Intervalo 235 Intervalo 225

Mínimo 197 Mínimo 205 Mínimo 206

Máximo 439 Máximo 440 Máximo 431

Soma 16556 Soma 16688 Soma 17350

Contagem 51 Contagem 51 Contagem 51

NOTAS DO ÍNIDCE GERAL DE CURSOS

RANKING 2008 RANKING 2009 RANKING 2010

118

REGIÃO IFES IGC 2008 IGC 2009 IGC 2010 VARIAÇÃO

Nordeste UFRB 197 206 322 63,45%

Nordeste UFERSA 278 290 350 25,90%

Nordeste UFRPE 286 298 334 16,78%

Norte UFRA 240 239 275 14,58%

Norte UFPA 247 263 276 11,74%

Sul UFPEL 315 326 350 11,11%

Sul UFPR 340 350 371 9,12%

Sudeste UFU 348 358 375 7,76%

Nordeste UFPB 305 313 328 7,54%

Sudeste UFRRJ 320 321 344 7,50%

Sudeste UFF 327 344 350 7,03%

Nordeste UFS 256 256 274 7,03%

Norte UFT 242 244 259 7,02%

Sudeste UFLA 404 420 431 6,68%

Sudeste UFES 304 301 324 6,58%

Centro-Oeste UFMT 285 289 303 6,32%

Sul UFSC 372 386 394 5,91%

Sul UTFPR 298 303 315 5,70%

Nordeste UFAL 258 262 272 5,43%

Nordeste UFMA 266 259 280 5,26%

Nordeste UFCG 294 297 309 5,10%

Centro-Oeste UFGD 333 341 349 4,80%

Sudeste UFVJM 339 340 355 4,72%

Sul FURG 313 318 325 3,83%

Nordeste UFPE 356 350 369 3,65%

Sul UFRGS 415 422 430 3,61%

Sudeste UFV 400 410 414 3,50%

Nordeste UFC 329 330 340 3,34%

Sudeste UFSJ 334 345 345 3,29%

Sudeste UFSCAR 403 406 416 3,23%

Sudeste UFMG 413 417 425 2,91%

Centro-Oeste UFG 345 346 355 2,90%

Sudeste UFJF 349 357 359 2,87%

Sudeste UFRJ 390 395 401 2,82%

Nordeste UFRN 340 341 349 2,65%

Nordeste UFBA 325 319 333 2,46%

Sudeste UNIFAL 372 374 381 2,42%

Sudeste UNIFEI 389 394 398 2,31%

Norte UNIFAP 203 205 206 1,48%

Norte UFRR 263 246 266 1,14%

Distrito Federal UNB 389 386 391 0,51%

Nordeste UFPI 282 281 283 0,35%

Centro-Oeste UFMS 314 307 314 0,00%

Sudeste UFTM 400 404 399 -0,25%

Sudeste UFOP 350 351 347 -0,86%

Sudeste UNIRIO 339 326 334 -1,47%

Sudeste UNIFESP 439 440 429 -2,28%

Norte UFAM 276 265 268 -2,90%

Norte UFAC 274 269 264 -3,65%

Sul UFCSPA 408 405 392 -3,92%

Norte UNIR 292 273 277 -5,14%

MÉDIA NORDESTE 334

MÉDIA NORTE 332

MÉDIA SUDESTE 338

MÉDIA SUL 331

MÉDIA CENTRO-OESTE 311

MÉDIA NACIONAL 331

VARIAÇÃO NORDESTE 6,13%

VARIAÇÃO NORTE 4,74%

VARIAÇÃO SUDESTE 2,90%

VARIAÇÃ SUL 5,53%

VARIAÇÃO CENTRO-OESTE 6,33%

NOTAS NO ÍNDICE GERAL DE CURSOS

UNIVERSIDADE POTIGUAR PROGRAMA DE PÓS-GRADUAÇÃO EM ... · de todas as Universidades Federais...

Documents

Transcript of UNIVERSIDADE POTIGUAR PROGRAMA DE PÓS-GRADUAÇÃO EM ... · de todas as Universidades Federais...