Impacto do Prouni sobre desempenho de seus alunos no Enade

abraes. INSTITUIÇÕES PARTICULARES DE ENSINO SUPERIOR E PROUNI:

O IMPACTO DO PROGRAMA DE INCLUSÃO SOBRE O DESEMPENHO DE SEUS ALUNOS NO ENADE

RESUMO

Este trabalho faz uma reflexão sobre as diferentes formas de acesso ao ensino superior, comparando-as em termos do impacto na qualidade da formação do aluno medida através de seu desempenho no ENADE.

Tendo em vista que os programas de inclusão são fruto de uma decisão de alocação de recursos públicos, foi realizada a análise do custo deste benefício comparado ao retorno que ele oferece à sociedade em termos de qualidade acadêmica do aluno formado.

O impacto na qualidade do aluno é mensurado objetivamente através do diferencial de resultados no Enade entre os alunos oriundos de cada programa e o aluno médio, tendo como base de informação as notas brutas dos concluintes disponíveis nos microdados divulgados pelo Inep para os ciclos de 2010, 2011 e 2012. A quantificação do custo por aluno utiliza informações relativas ao gasto público em cada programa, rateadas pelo número de alunos engajados em cada um.

A análise incluiu um processo de investigação extenso, considerando cerca de 1.386.466 dados, e 126 variáveis. Parte do cruzamento de cada um dos fatores socioeconômicos, demográficos, e regionais, constantes do questionário coletado no ENADE, com o desempenho acadêmico dos alunos, ganhando insigths sobre os dados e avaliando a significância das relações entre eles.

Por meio da identificação dos fatores de maior relevância é possível explicar as diferenças entre as notas dos alunos, e por fim, quantificar o impacto de cada variável quando controlados os efeitos de todas as demais.

Como resultado final obtemos que, do lado do desempenho acadêmico, a bolsa Prouni apresenta o maior impacto, produzindo um aumento médio de 10 pontos nos resultados do Enade em relação ao aluno típico médio; esse número é 4 pontos superior ao diferencial obtido pelos concluintes de universidades públicas. O custo destes programas também é bastante assimétrico, com o Prouni liderando no quesito eficiência, e a universidade pública liderando os níveis de investimento / aluno.

Ao longo da análise fica clara a associação de condições socioeconômicas mais favoráveis com desempenho acadêmico superior. Assim como a maior ocorrência dos alunos que reúnem estas condições na Universidade Pública. Porém os dados também revelam que (i) o tempo de dedicação ao curso fora da sala de aula, portanto o esforço dispendido pelo aluno e, (ii) programas de acesso como o Prouni, mais do que compensam essas diferenças sociais, permitindo que alunos bolsistas da rede particular de ensino superior estejam entre os melhores resultados nacionais do ENADE, em proporção substancialmente superior à média nacional.

abraes.

2

1. INTRODUÇÃO

1.1. Motivação e oportunidade de análise

O Enade hoje é feito de maneira censitária para todos os concluintes de ensino superior. Os microdados são divulgados na íntegra por concluinte que prestou o exame, com todas as informações constantes na ficha de inscrição e respostas do questionário sócio econômico, sem identificação do aluno.

Com base nestas informações, que incluem IES, curso, localidade, tipo de financiamento (próprio aluno, bolsa da IES, FIES, Prouni integral ou parcial, bolsa estadual/municipal, e outras), tempo de dedicação ao curso, e origem do ensino médio, é possível cruzar-se características socioeconômicas, raciais, regionais e demográficas de cada aluno com seu resultado no exame, e avaliar o impacto de cada uma delas no seu desempenho acadêmico.

A qualidade e abrangência da informação são ao mesmo tempo o ponto forte e o desafio da análise, uma vez que de um lado envolvem um instrumental estatístico e metodologia especializados para trabalhar com grande volume de dados, e de outro representam 100% da informação bruta disponível sobre o ENADE.

Até o presente momento esses dados foram pouco explorados no debate sobre políticas públicas voltadas para o acesso ao ensino superior.

Este trabalho traz resultados analíticos e empíricos inéditos que podem fundamentar posições importantes para a discussão sobre o Ensino Superior, fugindo do lugar comum e do debate político de cunho meramente ideológico.

1.2. Proposta de trabalho e abordagem metodológica

Este trabalho busca fazer uma descrição geral dos resultados dos últimos 3 ciclos do Enade, tanto olhando para as características socioeconômicas, quanto regionais, raciais e demográficas dos concluintes, e suas associações com os resultados brutos de desempenho de cada um no ENADE. Por resultados brutos definimos o percentual de acertos de questões de cada aluno, sem os ajustes de padronização feitos pela metodologia do Inep quando os padroniza para efeitos de agregação por curso, e para comparação regional.

Após avaliar a população total disponível, propusemos um recorte da amostra que considera os dados de maior confiabilidade, baseado nos alunos que se dedicaram em responder o que lhes era perguntado (ele pode ter deixado algumas questões em branco, mas não a seção inteira). Com isso, concentramos a análise em uma amostra que permite avaliar os efeitos de cada uma das variáveis disponíveis no desempenho acadêmico dos alunos no Enade, seja:

(i) pela análise descritiva da amostra, que constitui ponto de partida;

abraes.

3

(ii) pela identificação das dimensões relevantes por análise fatorial (iii) pelos agrupamentos e cruzamentos entre as variáveis-chave que as representam; (iv) pela análise de regressão, buscando quantificar os impactos de cada variável nos

resultados dos alunos, quando controlados os efeitos fixos relevantes.

1.3. Impactos e resultados a serem mapeados

A análise de regressão permite comparar os efeitos dos diferentes programas de acesso, levando em conta as diversas regiões, cursos, condições socioeconômicas e quaisquer outras características de interesse, diretamente sobre o desempenho dos alunos a partir de um processo de avaliação que segue a mesma metodologia há vários anos, é censitária, e feita com abrangência nacional.

O objetivo é quantificar os impactos do benefício;

(i) de cada um dos programas de acesso, e (ii) das características (sociais, demográficas, raciais, regionais etc) que colocam os alunos em

condições diferenciadas de aproveitamento de seus cursos.

Complementando o outro lado da análise, estes benefícios foram confrontados com os custos efetivos de cada programa, de forma a se estabelecer a eficiência relativa de alocação de recursos (públicos ou não) em cada um.

1.4. Implicações sobre as Políticas Públicas e sua eficiência relativa

A partir desses resultados, é possível avaliar a eficiência da aplicação dos recursos públicos em investimentos diretos do Governo Federal nas IESs públicas, vis-à-vis o acesso à rede particular via programas de inclusão, quando se comparam os impactos de cada programa sobre o desempenho dos alunos por unidade monetária.

Para se estabelecer conclusões sobre a eficiência relativa é suficiente aceitar o Enade como instrumento homogêneo (não necessariamente ideal) de avaliação da qualidade da formação do aluno e considerar o custo da renúncia fiscal por aluno em contraposição ao custo médio por aluno na rede pública de ensino superior.

abraes.

4

2. OS MICRODADOS DO ENADE

2.1. Disponibilidade de informações nos microdados.

O total de concluintes disponíveis por ciclo do Enade disponíveis nos microdados é:

Tabela 1: Total de alunos concluintes por ciclo de cursos no Enade

Ano Enade

Número de Respondentes % Total % Acumulado

2010 422.896 30,5 30,5

2011 376.219 27,1 57,6

2012 587.351 42,4 100,0

Total 1.386.466 100,0

Para esses dados estão disponíveis 126 variáveis, agrupadas nas seções:

a) variáveis de IES (3);, b) variáveis de curso (4); c) variáveis do inscrito (18); d) variáveis de presença (11); e) variáveis de prova (6); f) variáveis de desempenho (16); g) variáveis do questionário de participação da prova (11), e h) variáveis do questionário socioeconômico (56).

Algumas dessas varáveis foram recodificadas em novas para efeitos de modelagem estatística, porém todas das variáveis criadas se basearam em resultados das variáveis originais; isto é, 100% das informações utilizadas estão disponíveis nos 3 arquivos disponíveis no site do Inep com os microdados dos ciclos dos cursos avaliados em 2010, 2011 e 2012, totalizando os 1.386.466 alunos mostrados na tabela 1.

2.2. Limitações dos dados: Ausentes e Respostas em Branco

Desses alunos concluintes, existe um contingente considerável (19.2%) que não compareceu ao exame no dia da prova, como mostra a tabela 2.

Além disso, muitos alunos deixam parte significativa em branco, comprometendo os resultados das notas que as incorporam por introduzir viés negativo nas observações que não necessariamente correspondentes aos resultados dos Alunos (segundo suas características disponíveis na amostra).

abraes.

5

Tabela 2: Concluintes presentes na prova no dia do Exame


Ausentes 266.071 19,2 19,2

Repostas OK 1.117.227 80,6 99,8

Resultado desconsiderado por probl. administrativos 2.130 0,2 100,0

Aluno fora do cadastro 39 0,0 100,0

Total 1.385.467 99,9 N / D 999 0,1 Total Geral 1.386.466 100,0

A tabela 3, ilustrativa dessa questão, mostra a variável que descreve a presença do aluno na parte discursiva da prova de componente específico. Além dos ausentes na prova, podemos verificar 21% adicionais de concluintes que entregaram esta seção da prova em branco.

Tabela 3: Presença do aluno na parte discursiva da prova de componente específico

Número de

Respondentes % Total % Acumulado

Ausentes 266.071 19,2 19,2

Prova Objetiva e Discursiva em Branco 291.019 21,0 40,2

Protesto 3.195 0,2 40,4

Repostas OK 824.209 59,4 99,9

Resultado desconsiderado por probl. administrativos

468 0,0 100,0

Prova não realizada por probl. administrativos 505 0,0 100,0

Total 1.385.467 99,9 N / D 999 0,1 Total Geral 1.386.466 100,0

Este mesmo número para a parte discursiva de formação geral é de 12.5%, sendo que nem sempre os alunos que deixam em branco uma parte da prova, deixam também a outra.

Como não é possível estabelecer um critério que separe os potenciais “protestos”, os comportamentos negligentes, a falta de comprometimento com o propósito da avaliação, da real falta de conhecimento, optou-se pela forma mais objetiva.

Só foram consideradas na análise os resultados de Alunos que não deixaram nenhuma parte inteira da prova em branco. Mais especificamente: se o aluno deixou de responder apenas a uma ou mais

abraes.

6

questões, ele estará em nossa amostra. Porém se deixou de responder a todas as questões de um segmento da avaliação, suas informações simplesmente serão excluídas da amostra para a análise do desempenho das notas.

2.3. Universo de dados considerados válidos para este estudo

Ao aplicar-se o filtro de considerar apenas as notas de alunos que não deixaram nenhuma seção inteira da prova em branco, reduzimos nossa amostra para 787.470 concluintes, conforme a tabela 4.

Tabela 4: Concluintes que não deixaram nenhum segmento da prova em branco e estiveram presentes no exame do Enade, por ciclo de cursos

Ano Enade


2010 242.252 30,8 30,8

2011 213.236 27,1 57,8

2012 331.982 42,2 100,0

Total 787.470 100,0

Todas as informações estatísticas compiladas das seções seguintes permanecem restritas a este universo de alunos. A premissa é que os percentuais encontrados nesta amostra devam ser representativos do desempenho da população, por incluírem apenas as respostas de alunos que dedicaram atenção e se empenharam em preencher todas as seções da prova. E portanto cujas informações dos questionários apresentam maior fidedignidade.

2.4. Os dados brutos das notas como métrica de desempenho dos alunos

Existe uma longa discussão sobre se o Enade seria o melhor instrumento de avaliação para acessar adequadamente a assimilação de conhecimentos do aluno ao longo do seu curso. E ainda mais no que se refere a seus resultados agregados, padronizados pelo afastamento relativo de grupos como faz a metodologia do INEP, que os incorporam em suas métricas de avaliação institucional como o CPC e o IGC.

Não pertence ao escopo deste trabalho entrar nesta discussão, nem questionar a qualidades do Enade como instrumento de avaliação do aluno. Basta para nossos propósitos que se aceite que:

(i) Trata-se de um exame censitário; (ii) é aplicado a todos concluintes em igualdade de condições; (iii) a metodologia é estável nos 3 ciclos considerados, permitindo comparabilidade entre os

alunos, e (iv) a metodologia utilizada permite identificar os impactos das características individuais na

variabilidade de seus resultados.

abraes.

7

Os microdados contém, para cada aluno que fez a prova, o número de acertos em cada parte da prova, e o número bruto percentual de acertos para formação geral, formação específica, separados em questões discursivas e objetivas. Além da nota geral, que pondera 25% da nota de formação geral, com 75% do componente específico. Todos resultados mostraram que a nota geral é mais informativa do ponto de vista estatístico, por carregar as informações contidas em todas as demais variáveis de nota e minimizar possíveis distorções pelo formato de cada parte da prova.

O fato de a nota ser bruta, isto é, sem nenhum tipo de padronização pelo afastamento relativo de seu grupo, permite incorporar toda informação de variabilidade da população para a metodologia utilizada. E ao mesmo tempo controlar pelos efeitos fixos originais que afetam os resultados no nível do aluno, sem precisar introduzir qualquer tipo de heterogeneidade pela agregação por instituição e por curso.

Em outro trabalho, com escopo voltado para comparação de IES, é possível utilizar-se metodologia similar para obter as notas dos concluintes segmentadas por instituição e curso, dadas as características regionais, socioeconômicas, e demográficas, de seus alunos. A sutileza desta abordagem é entender que as notas observadas no Enade dizem muito mais respeito ao aluno incluindo seu esforço, condições e disposição de dedicação ao curso, e buscar posicionar o desempenho agregado da IES controlando os resultados, não só pelas características e contexto social de seus alunos.

Em outras palavras, a não consideração de alguns aspectos em nível individual do aluno, podem enviesar seriamente os resultados de algumas instituições por conta do perfil de seu alunado, devido a limitações na metodologia de agregação das notas do Enade.

3. DESCRIÇÃO DOS DADOS

O número de dimensões e variáveis contidas em microdados nos obrigam a fazer opções sobre o conjunto de análises a fazer, tabelas e relações a focar.

Nosso processo de trabalho e abordagem aos dados é top-down, ganhando insights a partir de um overview inicial dos resultados e descendo sucessivamente nos detalhes e no processo de quantificação dos impactos, de forma a seguir caminhos baseados em evidências, e cujos resultados e relações se mostraram significativos, permitindo conclusões inequívocas e reproduzíveis por outros pesquisadores.

3.1. Comportamento das Notas Gerais do Enade em função de variáveis selecionadas 3.1.1. Origem Racial

Diante da pergunta do questionário socioeconômico do Enade, que identificava: “Como você se considera?”, e seu cruzamento com os resultados na prova, observa-se a maior nota para os que se autodeclaram brancos (estatisticamente significativa), e inferior para as minorias negras e indígenas. Pardos e amarelos aparecem no grupo intermediário, ligeiramente abaixo da média nacional.

abraes.

8

3.1.2. Idade

No quesito idade, é facilmente verificável que quanto maior a idade, menor o desempenho na prova, colocando uma vantagem natural aos alunos mais jovens. Em particular a classe de 26 anos ou mais já apresenta desempenho abaixo da média nacional e concentra 44.3% da amostra de concluintes.

Tabela 5: Nota Geral no Enade segundo origem racial

Como você se considera? Número de Respondentes % Total

Nota Bruta (%acertos) da Prova

Erro-padrão da média

N / D 64.694 8,2% 39,07 0,05

Em branco 1.109 0,1% 40,67 0,41

Branco(a) 452.305 57,4% 44,07 0,02

Negro(a) 51.092 6,5% 42,28 0,06

Pardo(a) / Mulato(a) 200.674 25,5% 42,84 0,03

Amarelo(a) (de origem oriental) 13.053 1,7% 42,83 0,12

Indígena ou de origem indígena 4.543 0,6% 42,13 0,20

Total 787.470 100,0% 43,19 0,02

Tabela 6: Nota Geral no Enade por faixa de idade

Faixa de Idade Número de Respondentes % Total


Erro-padrão

da média

até 20a 57.490 7,3% 39,08 0,05

20a-23a 213.128 27,1% 44,63 0,03

23a-26a 168.119 21,3% 44,14 0,03

26a-30a 121.986 15,5% 42,82 0,04

30a-35a 93.509 11,9% 42,61 0,04

35a-40a 56.926 7,2% 42,58 0,06

40a-50a 59.089 7,5% 42,31 0,05

50a ou mais 17.223 2,2% 40,84 0,10

Total 787.470 100,0% 43,19 0,02

3.1.3. Ensino médio de origem público/privada

Os concluintes que tiveram oportunidade de ter cursado todo o ensino médio em escola privada, apresentam vantagem considerável em relação à média nacional (25.3% dos alunos). Ter estudado em escola pública o tempo todo ou em parte (60.3%) produz notas no Enade abaixo da média nacional, e o pior cenário é para aqueles que fizeram parte na escola pública e parte na privada.

abraes.

9

Tabela 7: Nota Geral no Enade segundo origem do Ensino Fundamental e Médio

Em que tipo de escola você cursou o ensino médio?

Número de Respondentes % Total


Erro-padrão

da média

N / D 64.694 8,2% 39,07 0,05

Em branco 3.448 0,4% 40,09 0,22

Todo em escola pública 437.183 55,5% 42,67 0,02 Todo em escola privada (particular) 198.839 25,3% 46,19 0,03

A maior parte em escola pública 37.627 4,8% 42,13 0,07

A maior parte em escola privada (particular) 28.160 3,6% 43,30 0,08

Metade em escola pública e metade em escola privada (particular)

17.519 2,2% 40,12 0,10

Total 787.470 100,0% 43,19 0,02

3.1.4. Região

Os alunos das regiões Norte (6.5%) e Centro-Oeste (9.7%) nitidamente apresentam desempenho pior do que o da média nacional do exame. Os alunos das regiões Sul e Sudeste apresentam resultados muito próximos das médias, talvez por representarem o maior contingente amostral e praticamente definirem juntos a média (68.2% dos alunos). Os alunos do Nordeste, apresentam resultados significativamente superiores (distância maior que 2 erros padrão acima da média nacional). A explicação deste fenômeno advém do maior percentual de concluintes em escolas públicas de ensino superior (38%, contra 14% da região sudeste, e 22% na média nacional), que em seu ingresso selecionam alunos com desempenho acadêmico superior, e com condições socioeconômicas em geral associadas a notas maiores no Enade. Veremos isso ao longo deste trabalho. Tabela 8: Nota Geral no Enade segundo Região de Funcionamento do Curso

Região de Funcionamento

do Curso Número de

Respondentes % Total Nota Bruta (%acertos) da Prova


Norte 51.197 6,5% 39,98 0,06

Nordeste 123.758 15,7% 44,04 0,04

Sudeste 357.954 45,5% 43,65 0,02

Sul 178.408 22,7% 43,35 0,03

Centro-Oeste 76.153 9,7% 41,51 0,05

Total 787.470 100,0% 43,19 0,02

abraes.

10

3.1.5. Renda

Do ponto de vista da renda, observa-se um claro aumento de desempenho na nota média dos alunos à medida que aumenta o nível de renda familiar. Um valor em torno de 5 salários mínimos é o ponto de corte aproximado a partir do qual uma maior renda está associada a notas acima da média nacional, e menor do que 5 salários, a um desempenho inferior à média nacional.

Tabela 9: Nota Geral do Enade segundo a Renda Média da Família

Somando a sua renda com a renda dos familiares que moram com você, quanto é, aproximadamente, a renda familiar? (Considere a renda de todos os seus familiares que moram na sua casa com você)



Erro-padrão

da média

N / D 64.694 8,2% 39,07 0,05

Em branco 1.425 0,2% 40,67 0,35

Nenhuma 17.927 2,3% 44,98 0,10 Até 1,5 salário mínimo (até R$ 697,50) 61.885 7,9% 41,12 0,05

Acima de 1,5 até 3 salários mínimos (R$ 697,51 a R$ 1.395,00) 178.904 22,7% 42,12 0,03

Acima de 3 até 4,5 salários mínimos (R$ 1.395,01 a R$ 2.092,50) 148.293 18,8% 43,01 0,03

Acima de 4,5 até 6 salários mínimos (R$ 2.092,51 a R$ 2.790,00) 99.595 12,6% 43,69 0,04

Acima de 6 até 10 salários mínimos (R$ 2.790,01 a R$ 4.650,00) 117.398 14,9% 44,90 0,04

Acima de 10 até 30 salários mínimos (R$ 4.650,01 a R$ 13.950,00) 80.083 10,2% 46,59 0,05

Acima de 30 salários mínimos (mais de R$ 13.950,01) 17.266 2,2% 46,86 0,11

Total 787.470 100,0% 43,19 0,02

3.1.6. Escolaridade do pai e da mãe

Da mesma forma que a renda familiar, o nível de escolaridade dos pais é diretamente associado ao desempenho médio nos resultados do Enade de seus filhos, sendo tanto maiores quanto maior o número de anos de estudo tanto do pai quanto da mãe. Este resultado é recorrente em trabalhos com dados de censo e em geral está associado ao fato de que um maior nível de escolaridade em geral se traduz em maior produtividade, e portanto maior nível salarial e de renda da família, que acaba por propiciar melhores condições de dedicação e estudo dos filhos.

Outro resultado que vale a pena ser citado é que o nível de ensino médio, tanto do pai quanto da mãe, é o primeiro nível a produzir resultados superiores à média nacional.

abraes.

11

Esse fato corrobora:

(i) o conhecido efeito concentrador de renda da educação: pais com maior nível educacional, produzem filhos com resultados superiores na prova do Enade, e portanto que apresentam condições melhores de aproveitar seus cursos, e

(ii) o fenômeno de que o ensino médio é o nível de escolaridade de maior impacto na adição de valor para condição econômica do indivíduo.

Tabela 10: Nota Geral do Enade segundo a Escolaridade da Mãe

Até que nível de ensino sua mãe estudou?




N / D 64.694 8,2% 39,07 0,05

Em branco 3.134 0,4% 39,27 0,23

Nenhuma escolaridade 33.286 4,2% 40,82 0,07

Ensino fundamental: 1º ao 5º ano (antiga 1ª à 4ª série) 200.786 25,5% 42,53 0,03

Ensino fundamental: 6º ao 9º ano (antiga 5ª à 8ª série) 100.933 12,8% 42,89 0,04

Ensino médio 214.175 27,2% 43,71 0,03

Ensino superior 113.588 14,4% 45,40 0,04

Pós-graduação 56.874 7,2% 46,05 0,06

Total 787.470 100,0% 43,19 0,02

abraes.

12

Tabela 11: Nota Geral do Enade segundo a Escolaridade do Pai

Até que nível seu pai estudou?




N / D 64.694 8,2% 39,07 0,05

Em branco 4.093 0,5% 40,96 0,21 Nenhuma escolaridade 42.023 5,3% 41,11 0,06

Ensino fundamental: 1º ao 5º ano (antiga 1ª à 4ª série)

231.800 29,4% 42,58 0,03

Ensino fundamental: 6º ao 9º ano (antiga 5ª à 8ª série)

99.233 12,6% 43,08 0,04

Ensino médio 200.648 25,5% 43,69 0,03

Ensino superior 106.506 13,5% 45,76 0,04

Pós-graduação 38.473 4,9% 46,95 0,07

Total 787.470 100,0% 43,19 0,02

3.1.7. Escola pública/privada

Alunos que estudam em escolas de ensino superior públicas apresentam na média um resultado no Enade substancialmente superior à média nacional. Reversamente aos alunos da rede privada que apresentam resultado inferior. Este resultado provavelmente está associado ao fato de que alunos com condições socioeconômicas superiores, como nível de renda familiar, e escolaridade dos pais, têm vantagem competitiva de desempenho no processo seletivo (vestibular + enem) nas universidades públicas. O que é mais um indício do conhecido efeito de concentração de renda do ensino superior gratuito.

Tabela 12: Concluintes que cursaram IESs públicas x privadas

Categoria Administrativa

IES Número de

Respondentes % Total Nota Bruta (%acertos) da Prova


Pública 172.587 21,9% 47,87 0,03

Privada 614.883 78,1% 41,88 0,02

Total 787.470 100,0% 43,19 0,02

abraes.

13

3.1.8. Tempo de estudo fora da sala de aula

Como não deveria deixar de se esperar, o tempo de dedicação do aluno fora de sala é determinante em seus resultados. Esta tabela tem a conclusão direta de que o empenho e esforço do aluno, independente de outras condições socioeconômicas e de acesso, é capaz de impactar significativamente o resultado do aluno. A partir de 4 horas de dedicação semanal, o resultado médio da nota do Enade dos alunos supera a média nacional. E a partir de 12 horas, supera os resultados médios dos alunos da universidade pública.

Tabela 13: Dedicação aos Estudos fora de sala de aula

Quantas horas por semana, aproximadamente, você dedica aos estudos, excetuando as horas de aula?



Erro-padrão

da média

N / D 64.694 8,2% 39,07 0,05

Em branco 4.397 0,6% 40,09 0,20

Nenhuma, apenas assisto às aulas 47.140 6,0% 40,26 0,06

Uma a três 364.569 46,3% 42,19 0,02

Quatro a sete 184.265 23,4% 44,79 0,03

Oito a doze 70.147 8,9% 46,54 0,05

Mais de doze 52.258 6,6% 48,10 0,06

Total 787.470 100,0% 43,19 0,02

abraes.

14

3.1.9. Situação de Trabalho

Diante da pergunta sobre a melhor descrição para a situação de trabalho, o fato mais marcante é a superioridade dos resultados dos alunos que não estavam trabalhando no momento. Que contrasta fortemente com o dos que afirmaram trabalhar em período integral, e que apresentaram resultado abaixo da média nacional. Vale observar que os alunos que disseram “trabalhar eventualmente” (constituem pouco menos de 5% da amostra, e têm a renda mais baixa entre os alunos que dizem trabalhar) exibiram notas significativamente abaixo da média nacional. E que os concluintes trabalhando em período parcial ficaram próximos da média geral.

Esses resultados corroboram os resultados da pergunta anterior que avaliava o tempo de dedicação do aluno fora de sala de aula, demonstrando que quanto maior a dedicação ao curso, melhores os resultados acadêmicos.

Tabela 14: Situação atual de trabalho

Indique a resposta que melhor descreve sua atual situação de trabalho. (Não contar estágio, bolsas de pesquisa ou monitoria)



Erro-padrão

da média

N / D 64.694 8,2% 39,07 0,05

Em branco 2.825 0,4% 39,82 0,24

Não estou trabalhando 255.594 32,5% 45,19 0,03

Trabalho eventualmente 38.296 4,9% 42,13 0,07

Trabalho até 20h / semana 45.984 5,8% 43,40 0,07

Trabalho mais de 20 e menos de 40h / semana 103.373 13,1% 43,51 0,04

Trabaho em tempo integral (40h ou mais) 276.704 35,1% 42,34 0,03

Total 787.470 100,0% 43,19 0,02

3.1.10. Nota Geral Média no Enade por Programa de Bolsas / Financiamento

Entre as variáveis que produzem diferenças significativas no desempenho dos alunos, o fato de pertencer ao Programa Prouni (com bolsa integral) é o que produz o maior impacto nas notas do Enade.

O segundo maior impacto advém dos alunos Prouni com bolsas parciais, e o terceiro vem das instituições privadas que oferecem bolsas próprias. Só daí segue-se o FIES, e então as demais alternativas de financiamento.

abraes.

15

Tabela 15: Concluintes por Bolsa ou Programa de Acesso

Que tipo de bolsa de estudos ou financiamento você recebe ou recebeu para custear as mensalidades do curso?



Erro-padrão

da média

N/D 64.694 8,2% 39,07 0,05

Em Branco 376.891 47,9% 43,39 0,02

Múltiplas respostas 123.245 15,7% 43,62 0,04

ProUni integral 44.868 5,7% 49,35 0,06

ProUni parcial 17.493 2,2% 43,91 0,10

FIES 28.093 3,6% 42,25 0,07

Prouni Parcial e FIES 2.029 0,3% 44,25 0,27

Outro tipo bolsa governo 30.244 3,8% 41,03 0,07

Bolsa própria instituição 61.317 7,8% 43,11 0,05

Bolsa outra empresa / ONG 20.537 2,6% 41,79 0,09

Financiamento própria inst. 10.313 1,3% 41,13 0,13

Financiamento outrra entidade 3.914 0,5% 41,42 0,21

Mais de um tipo bolsa 3.832 0,5% 44,09 0,22

Total 787.470 100,0% 43,19 ,02

4. SUMARIZAÇÃO E ANÁLISE DOS RESULTADOS

O número de diferentes variáveis disponíveis para análise é um desafio metodológico do ponto de vista de avaliação seus impactos individuais, dada a sobreposição de informações associadas que carregam, ou tecnicamente, a multicolinearidade presente nos dados.

Como forma de identificar mais do que variáveis, e sim diferentes dimensões relevantes de informações disponíveis nos dados, utilizamos de análise fatorial para buscar os conjuntos de variáveis que melhor descrevem a variabilidade da amostra, e separamos os resultados dos extremos dos concluintes em dois grupos, a fim de avaliar os pontos diferenciadores que melhor os caracterizem.

4.1. Principais Dimensões de informação presentes na amostra

A fim de identificar as principais dimensões nos dados, optou-se por aplicar uma análise de componentes principais às variáveis disponíveis na amostra. O objetivo desta metodologia é agrupar as variáveis com informações similares, e ordená-las segundo a contribuição de cada fator para explicar a variabilidade encontrada na amostra (diferença entre os alunos).

abraes.

16

A variância total explicada da amostra pelos 15 fatores abaixo é de 67.2%, tendo sido extraídos os fatores que apresentaram autovalores maiores do que 1.

Na tabela 16, observamos destacadas as variáveis que apresentaram cargas capazes de caracterizar mais fortemente cada um dos componentes extraídos, que estão em ordem de contribuição para a variância (primeiros contribuem mais).

Tabela 16: Matriz de cargas dos componentes principais extraídos da amostra considerada

Numa rápida análise verificamos que:

a. o primeiro fator reúne a escolaridade dos pais, o histórico em ensino médio privado e o nível de renda;

b. O segundo fator identifica aspectos regionais e raciais; c. O terceiro fator agrupa características da IES, como o fato de ser pública ou privada,

e de ser ou não universidade; d. O quarto fator inclui a idade e o estado civil.

abraes.

17

e. O quinto fator é a área de conhecimento do curso; f. No sexto fator aparecem novamente características regionais, em particular a

presença ou não dos alunos nas regiões sul ou sudeste; g. O sétimo fator é o período de trabalho integral ou parcial; h. O oitavo fator é a dedicação do aluno ao curso medido por horas de estudo fora da

sala de aula, e o estudo em período matutino, que contribui para a mesma dimensão;

i. O nono fator considera o fato de o do aluno cursar o ensino superior numa cidade diferente da que cursou ensino médio;

j. O décimo fator é a associação entre a região nordeste e a origem racial de minoria negra;

k. O décimo primeiro fator é o fato de o Alunos residir na Região Norte; l. O décimo segundo fator temos a mudança de Estado da Federação para cursar o

ensino superior, e m. O décimo terceiro, décimo quarto e décimo quinto fatores estão relacionados ao

tipo de bolsa ou financiamento com que o aluno conta. Importante ressaltar que a grande maioria não conta com nenhum.

É importante mencionar que esta metodologia não está avaliando o impacto de cada um desses fatores na nota do Enade, ou desempenho acadêmico do aluno, e sim caracterizando as principais dimensões de informação presentes na amostra, i.e. as características que melhor definem as diferenças entre os perfis de concluintes que fizeram a prova nos últimos 3 anos.

E depois de se observar o conjunto dos componentes extraídos, mais uma vez fica claro o papel de relevância dos fatores socioeconômicos, com destaque para escolaridade dos pais, nível de renda e acesso ao ensino médio privado; questões raciais e regionais, e oportunidade de fazer o ensino superior em IES pública.

Chama atenção o fato de logo na sequência aparecerem as condições de dedicação do aluno ao curso. Estes fatores iniciais “explicam” muito mais as diferenças entre os alunos do que “ter acesso a uma bolsa de estudos ou financiamento”, que acabam por cumprir o papel de “compensar” os níveis performance acadêmica nitidamente distintos dos alunos com condições socioeconômicas superiores.

4.2. O que diferencia o grupo dos alunos das IESs públicas e privadas? E dos alunos com Bolsa

Prouni?

Ao comparar a nota geral média dos alunos da rede de IES públicas com as escolas da rede privada, verificamos uma grande diferença do desempenho em favor das públicas. A tabela 17, mostra isso em sua primeira linha.

Porém uma análise mais atenta da mesma tabela demonstra que não só as notas de rede privada são inferiores, como as condições socioeconômicas dos seus alunos: menor escolaridade dos pais, menos tempo dedicado aos estudos fora de sala de aula, um percentual duas vezes menor de alunos estudando no período matutino, e o dobro de alunos que trabalham período integral, além de uma

abraes.

18

idade média mais elevada. Os alunos da rede privada também tiveram menos oportunidades de cursar ensino médio privado, ressaltando os efeitos concentradores de melhor acesso à educação.

O Prouni compensa as diferenças

O resultado impressionante advém do efeito do Prouni: apesar das condições muito inferiores dos alunos do programa (menos da metade da renda média da família, escolaridade dos pais substancialmente inferior, 5x menos alunos tiveram condições de fazer ensino médio privado, condições raciais com maior percentual de minorias, ocorrência de trabalho em período integral e de estudo em período matutino similares às médias nacionais), o desempenho de seus concluintes no Enade não só são superiores à média nacional, como significativamente superiores aos dos alunos das escolas públicas.

Além disso, o número de horas de estudo dedicadas fora de sala de aula chega a ser superior ao das escolas públicas. Em outras palavras, apesar das condições socioeconômicas menos favoráveis, dentro da estrutura de seleção e de incentivos do programa, o aluno bolsista Prouni na rede privada é capaz de compensar sua desvantagem com base no esforço individual, dedicando-se o programa e obtendo um resultado na média superior ao dos alunos da rede pública, e em muito superior à média nacional.

Tabela 17: Alunos de IESs Públicas x Alunos de IESs Privadas e o efeito da Bolsa Prouni Integral

Públicas Privadas

Total Total Não Prouni Prouni 100%

Nota Geral Enade

47,87 41,88 41,30 49,36 # casos

172.549 614.762 570.309 44.453

% casos

21,9% 78,1% 72,4% 5,6% cursou E.M. privado

37,2% 26,5% 28,1% 5,1%

Idade

26,68 28,76 28,92 26,70

Renda Média (em S.M.)

6,80 6,85 7,18 2,99 escolaridade do pai*

2,21 2,06 2,08 1,86

escolaridade da mãe*

2,45 2,21 2,22 2,11

# horas estudo fora sala

5,85 4,88 4,79 6,00 período matutino

54,3% 25,3% 25,5% 23,1%

trabalha integral

21,2% 39,1% 38,9% 40,8% trabalha parcial

23,6% 23,9% 24,0% 22,3%

sexo masculino

38,3% 35,4% 35,2% 38,3% casados

15,1% 23,9% 24,2% 19,9%

brancos

52,8% 58,7% 59,3% 51,8%

abraes.

19

negros

6,6% 6,5% 6,1% 11,5% pardos

28,3% 24,7% 23,9% 35,3%

Nas seções seguintes esse resultado será recorrente e ficará progressivamente mais claro, sendo quantificado conjuntamente na seção 5, em que os efeitos de todas as variáveis são controlados por meio de análise de regressão, de forma a se isolar as influências das condições socioeconômicas diferentes dos alunos de diferentes grupos, e do impacto do programa na nota do aluno.

4.3. O que diferencia o grupo dos alunos com as melhores notas dos alunos com as piores?

A fim de contrastar os dois grupos extremos de alunos, avaliando-se comportamentos mais distantes da média, optou-se por contrapor os alunos que estão entre as 10% melhores notas no Enade, com os 10% que possuem as piores notas. Para efeito de comparação computou-se os valores médios em cada grupo, e na amostra total, para variáveis selecionadas. E cada grupo foi dividido entre alunos Prouni e não Prouni a fim de se demonstrar o efeito “compensatório” do Prouni como política de acesso.

abraes.

20

Tabela 18: Os 10% melhores alunos contra os 10% piores, segundo variáveis selecionados

10% piores notas 10% melhores notas Total Não Prouni Prouni Não Prouni Prouni Não Prouni Prouni Geral

Nota Geral Enade 20,52 20,97 67,44 67,68 42,82 49,35 43,19 # casos 77.771 1.494 70.752 7.944 742.445 44.866 787.311 % casos 9,9% 0,2% 9,0% 1,0% 94,3% 5,7% 100,0%

Renda Média (em S.M.) 5,9 2,8 9,2 3,2 7,1 3,0 6,8 cursou E.M. privado 21% 4% 43% 5% 30% 5% 29%

Estuda em IES Pública 14% 2% 44% 1% 23% 1% 22% # horas estudo fora sala 4,0 5,1 6,4 6,6 5,0 6,0 5,1

brancos 51% 48% 64% 56% 58% 52% 57% negros 7% 13% 5% 10% 6% 11% 6% pardos 26% 37% 23% 33% 25% 35% 25%

sexo masculino 35% 40% 39% 38% 36% 38% 36%

escolaridade do pai* 1,84 1,79 2,49 1,90 2,11 1,86 2,10 escolaridade da mãe* 2,01 2,04 2,64 2,14 2,27 2,11 2,27

período matutino 22% 17% 48% 27% 32% 23% 32% trabalha integral 36% 45% 29% 36% 35% 41% 35% trabalha parcial 25% 23% 25% 24% 24% 22% 24%

(*) 0: nenhuma escularidade 1: cursou fundamental até 5o. ano 2: cursou fundamental até 9o. ano 3: cursos ensino médio 4: cursou ensino superior 5: cursou pós-graduação

A partir da tabela 18, é observa-se que os indivíduos do grupo com melhores notas possuem pais com maior escolaridade, trabalham em período integral em menor proporção, estudam em período matutino em maior frequência, tem maior participação de brancos, menor de negros, estudam mais frequentemente em IESs públicas, dedicam mais tempo ao estudo fora de sala de aula, cursaram mais o ensino médio privado, e possuem renda maior.

É nítido, portanto, que as condições socioeconômicas dos indivíduos de melhores notas, é superior aos das piores. Não por acaso, essas são as mesmas condições que permitem o maior acesso à Universidade Pública por estarem associadas ao maior desempenho acadêmico desde o ensino médio, levando ao ingresso de alunos com melhores resultados desde o processo seletivo. As notas superiores no Enade, acabam sendo consequência dessas condições iniciais de “vantagem” desses alunos.

abraes.

21

Prouni & Não Prouni

Por outro lado, o aluno que pertence ao programa Prouni, mais do que compensa essa diferença de condições. Alunos Prouni aparecem numa proporção 3 x menor do que a média no grupo das piores notas, e 2x maior do que a média no grupo das melhores notas. A nota geral dos alunos Prouni é em média 15% superior ao dos alunos não Prouni, quando se olha para o total da amostra.

Enquanto os alunos dos grupos das melhores notas estudam em 48% dos casos no período matutino, os alunos Prouni estudam de manhã em apenas 27% dos casos, e possuem uma renda em média 3x inferior aos alunos não Prouni. Neste mesmo grupo das melhores notas, apesar da “desvantagem” em praticamente todas as variáveis, esses alunos competem com as mesmas notas, e dedicam tempo de estudo fora de sala de aula semelhante ao dos alunos de IESs públicas.

Este é um resultado importante uma vez que reforça a conclusão de que políticas de inclusão com claros sistemas de incentivo (como a perda da bolsa em caso de mau resultado acadêmico) e corretamente direcionados a indivíduos em situação de fragilidade social, e baixas condições de acesso, produzem condições que compensam a desigualdade social da entrada no sistema.

No grupo das 10% piores notas, o efeito é o mesmo: apesar dos indicadores mostrarem menor escolaridade dos pais, menor renda, alunos que trabalham em maior frequência, e estudam em menor proporção no período da manhã, tendo tido menor oportunidade de fazer o ensino médio em colégios privados, ainda assim o fato de pertencer ao programa Prouni aumenta a dedicação de horas de estudo fora de sala de aula, e compensa a renda da família que é praticamente a metade da dos alunos não Prouni.

Na classe das melhores notas, os alunos fizeram ensino médio em escola privada numa frequência 2x superior ao dos alunos das piores notas, e estudam em IES públicas numa proporção 3x maior do que nas piores notas.

abraes.

22

4.4. Visualizações Gráficas

Talvez as duas visualizações gráficas que resumam os principais efeitos verificados na análise descritiva dos dados sejam as que selecionamos nos gráficos 1 e 2.

O Gráfico 1 mostra:

(i) a associação positiva entre renda da família e resultados de aproveitamento do curso dos indivíduos nelas inseridos;

(ii) a relação entre um maior nível de escolaridade e um desempenho superior dos alunos, para qualquer nível de renda. Gráfico 1: Nota Geral no Enade segundo a Renda Familiar e Escolaridade do Pai

abraes.

23

O Gráfico 2 mostra a associação entre os resultados das notas dos alunos e os diferentes níveis de renda familiar, comparando os concluintes oriundos das escolas públicas, com os programas de acesso ao ensino superior particular (Prouni, FIES, e bolsas das próprias instituições).

É fácil verificar que os alunos participantes do Programa Prouni com bolsa integral tem resultados superiores a todos os outros, incluindo os alunos de escolas públicas, exceto para rendas familiares acima de 30 salários mínimos, onde o resultado é praticamente ruído (são apenas 20 alunos nesta condição, em toda amostra dos 3 anos de concluintes)

A ordenação das curvas também chama bastante atenção, com alunos Prouni de bolsa integral em primeiro lugar, seguidos pelos alunos de escolas públicas, alunos de Prouni com bolsa parcial, alunos com bolsas das próprias instituições privadas onde estudam, e por último, os alunos do FIES.

Para todos os programas, a associação entre o nível de renda e as notas é positiva (cresce a renda, melhora o desempenho do aluno).

Vale ressaltar que os alunos Prouni de bolsa integral apresentam resultados menos sensíveis ao nível de renda familiar, mostrando resultado bastante uniforme do programa ao longo da curva.

Gráfico 2: Nota Geral no Enade em IES Pública x Privada, na presença de Programas de Bolsa

abraes.

24

5. QUANTIFICAÇÃO DOS IMPACTOS 5.1. Análise de Regressão: impacto dos efeitos fixos, controlados pelos principais fatores de

influência

Tendo como variável dependente a nota geral do Enade, e recodificando algumas das variáveis para que pudessem ser adequadamente modeladas, e ter seu impacto na nota geral verificado, obtivemos os resultados abaixo. Uma regressão altamente significativa, com p-value do teste F virtualmente zero, com valor da estatística F de 2250,9 para 90 graus de liberdade, e R2 de 0.235, o que constitui um resultado adequado para modelos com este volume de observações e dimensionalidade.

Tabela 19: Regressão da Nota Geral do Enade contra variáveis disponíveis

Área de Curso no Enade Beta Erro-padrão Estatística "t" p-value

Constante 30,744 0,092 334,888 0,000

IES_PUB 6,115 0,046 132,408 0,000

IES_CENTUNIV -0,16 0,046 -3,451 0,001

IES_UNIV 0,103 0,037 2,778 0,005

REG_SE 1,695 0,054 31,261 0,000

REG_S 1,553 0,059 26,32 0,000

REG_N -2,276 0,08 -28,537 0,000

REG_NE 1,156 0,064 18,166 0,000

SEXO_M 1,345 0,034 39,748 0,000

MATUTINO 1,147 0,039 29,752 0,000

CASADO -0,259 0,038 -6,74 0,000

BRANCO -0,701 0,073 -9,594 0,000

NEGRO -1,715 0,09 -19,047 0,000

PARDO -1,107 0,076 -14,638 0,000

ANOS_APOS_EM 0,047 0,003 17,713 0,000

ESTUDO_PAI 0,302 0,016 19,468 0,000

ESTUDO_MAE 0,301 0,015 19,932 0,000

TRAB_INTEGRAL -0,458 0,042 -10,989 0,000

TRAB_PARCIAL -1,307 0,041 -31,522 0,000

ESTUDO_FORA_SALA 0,32 0,004 82,899 0,000

ORIGEM_EM_PRIV 1,351 0,041 33,299 0,000

PESSOAS_EM_CASA -0,544 0,009 -62,236 0,000

MUDOU_CID -0,032 0,048 -0,671 0,502

MUDOU_EST -0,102 0,068 -1,508 0,131

RF_15_30SM 1,342 0,056 23,833 0,000

RF_30_45SM 2,821 0,059 47,461 0,000

RF_45_60SM 3,826 0,065 58,984 0,000

RF_60_100SM 4,831 0,064 75,073 0,000

RF_MAIS_10SM 5,799 0,071 82,053 0,000

abraes.

25

BOLSA_PROUNI100

10,046 0,066 151,73 0,000

BOLSA_PROUNI50 4,86 0,1 48,365 0,000

BOLSA_FIES 0,375 0,083 4,539 0,000

BOLSA_PROPRIA_INST 1,734 0,056 30,951 0,000

BOLSA_OUTRA_PRIV 1,129 0,091 12,453 0,000

BOLSA_OUTRA_PUBL -0,203 0,077 -2,641 0,008

O mesmo modelo de regressão inclui um efeito fixo para cada área de cursos do exame, permitindo controlar os resultados das notas gerais por área de conhecimento, temos os coeficientes:

Tabela 20: Efeitos Fixos por curso estimados na regressão

Área de Curso no Enade Beta Erro-padrão Estatística "t" p-value

DIREITO 4,402 0,06 73,86 0,000

ECONOMIA -6,442 0,183 -35,248 0,000

PSICOLOGIA 2,713 0,106 25,675 0,000

CIENCIAS_CONTABEIS 0,513 0,08 6,42 0,000

DESIGN 8,14 0,168 48,538 0,000

TURISMO 5,696 0,194 29,373 0,000

SECRETARIADO_EXECUTIVO 10,762 0,312 34,548 0,000

RELACOES_INTERNACIONAIS 6,655 0,244 27,255 0,000

TECNOLOGIA_NEGOCIOS 5,961 0,059 100,718 0,000

JORNALISMO 11,123 0,149 74,666 0,000

PUBLICIDADE_E_PROPAGANDA 1,422 0,124 11,485 0,000

ARQUITETURA_E_URBANISMO 6,699 0,153 43,794 0,000

TECNOLOGIA_INDUSTRIAL 5,888 0,207 28,414 0,000

TECNOLOGIA_ALIMENTOS 0,141 0,434 0,324 0,746

TECNOLOGIA_CONSTRUCAO 7,712 0,593 13,013 0,000

TECNOLOGIA_QUIMICA 4,587 0,691 6,634 0,000

TECNOLOGIA_SISTEMAS 4,223 0,15 28,104 0,000

TECNOLOGIA_AMBIENTAL 7,504 0,595 12,614 0,000

MATEMATICA -3,671 0,173 -21,191 0,000

LETRAS 8,599 0,098 87,937 0,000

FISICA -0,722 0,353 -2,047 0,041

QUIMICA 1,813 0,169 10,714 0,000

BIOLOGIA 8,366 0,108 77,815 0,000

PEDAGOGIA 13,98 0,064 219,704 0,000

HISTORIA 0,128 0,143 0,892 0,372

ARTES_VISUAIS 14,476 0,248 58,447 0,000

GEOGRAFIA 6,113 0,16 38,296 0,000

FILOSOFIA 4,285 0,229 18,748 0,000

COMPUTACAO 7,138 0,093 76,743 0,000

abraes.

26

MUSICA -1,992 0,43 -4,632 0,000

CIENCIAS_SOCIAIS 9,999 0,271 36,878 0,000

ENGENHARIA_1 6,271 0,161 38,835 0,000

ENGENHARIA_2 3,297 0,146 22,577 0,000

ENGENHARIA_3 -0,439 0,189 -2,328 0,020

ENGENHARIA_4 -2,412 0,251 -9,629 0,000

ENGENHARIA_5 9,607 0,441 21,76 0,000

ENGENHARIA_6 -1,885 0,152 -12,407 0,000

ENGENHARIA_7 3,062 0,203 15,051 0,000

ENGENHARIA_8 6,972 0,347 20,078 0,000

MEDICINA_VETERINARIA 9,193 0,185 49,573 0,000

ODONTOLOGIA 14,639 0,167 87,412 0,000

MEDICINA 16,881 0,134 125,684 0,000

AGRONOMIA 11,277 0,184 61,199 0,000

FARMACIA 8,293 0,132 63,007 0,000

ENFERMAGEM 13,552 0,09 151,24 0,000

FONOAUDIOLOGIA 13,488 0,373 36,123 0,000

NUTRICAO 9,761 0,16 61,193 0,000

EDUCACAO_FiSICA 6,532 0,132 49,417 0,000

FISIOTERAPIA 7,942 0,128 62,175 0,000

SERVICO_SOCIAL 1,365 0,11 12,457 0,000

ZOOTECNIA 10,662 0,332 32,102 0,000

TERAPIA_OCUPACIONAL 8,496 0,538 15,792 0,000

BIOMEDICINA 7,391 0,23 32,102 0,000

TECNOLOGIA_RADIOLOGIA 9,483 0,334 28,41 0,000

TECNOLOGIA_AGROINDUSTRIA 8,914 0,53 16,821 0,000

TECNOLOGIA_HOSPITALAR 7,568 0,615 12,308 0,000

5.2. Qual a sensibilidade dos fatores de interesse

A interpretação desses coeficientes é bem direta para a maior parte dos casos. Para os controles de curso, o valor do beta estimado é o que deve ser somado à nota para um curso deferente de Administração, que é o maior programa do país, e serve de referência.

Já as variáveis: IES_PUB (se estuda em IES pública=1), IES_CENTUNIV (se estuda em centro universitário=1), IES_UNIV (se estuda em universidade=1), REG_SE (se estuda na região sudeste=1), REG_S (se estuda na região sul=1), REG_N (se estuda na região norte=1), REG_NE (se estuda na região nordeste=1), SEXO_M (se é do sexo masculino=1), MATUTINO (se estuda em período matutino=1), CASADO (se é casada(o)=1), BRANCO (se estuda em IES pública=1), NEGRO (se estuda em IES pública=1), PARDO (se estuda em IES pública=1), TRAB_INTEGRAL (se trabalha em período integral=1), TRAB_PARCIAL (se trabalha em período parcial=1), ORIGEM_EM_PRIV (se fez ensino médio em escola privada=1), MUDOU_CID (se mudou de cidade para cursar o ensino superior=1), MUDOU_EST (se mudou de estado=1), RF_15_30SM (se a renda familiar é entre 1.5 e 3.0 s.m.=1), RF_30_45SM (se a renda familiar é entre 3.0 e 4.5 s.m.=1), RF_45_60SM (se a renda familiar é entre

abraes.

27

4.5 e 6.0 s.m.=1), RF_60_100SM (se a renda familiar é entre 6 e 10 s.m.=1), RF_MAIS_10SM (se a renda familiar é de 10 s.m. ou mais=1), BOLSA_PROUNI100 (se tem bolsa Prouni 100%=1), BOLSA_PROUNI50 (se tem bolsa Prouni 50%=1), BOLSA_FIES (se é bolsista FIES=1), BOLSA_PROPRIA_INST (se tem bolsa da própria IES=1), BOLSA_OUTRA_PRIV (se possui outro tipo de bolsa privada=1), BOLSA_OUTRA_PUBL (se possui outro tipo de bolsa privada =1), apresentam uma codificação zero ou um, permitindo que se associe diretamente impacto daquela característica (positiva ou negativa e dada pela magnitude do beta estimado) na nota geral do aluno.

Algumas outras variáveis como ESTUDO_PAI, ESTUDO_MAE, ESTUDO_FORA_SALA e PESSOAS_EM_CASA apresentam valores em escala. E neste caso seu efeito total na nota é o produto do beta pelo valor da variável. Por exemplo, com 4 pessoas em casa, a nota geral do aluno no Enade cai em média 2.18 pontos (-0.544 x 4). Ou com Pai e Mãe na última categoria em anos de estudo, ambos com pós-graduação, falamos em (5x0.302 + 5x0.301), o que produz um impacto total de 3 pontos na nota geral do aluno.

5.3. Quanto Custa um aluno no ensino superior?

5.3.1. No Prouni

A renúncia fiscal estimada para o programa Prouni e relatada no “Relatório de Parecer Prévio sobre as Contas do Governo da República”, feito pelo TCU, foi de R$ 824M para 2013. A Secretaria da Receita Federal estimou o mesmo número para 2013 em R$750.9M. Ela advém da isenção de pagamento do IRPJ, da CSLL e da COFINS para as IES que aderirem ao Prouni, na proporcionalidade das vagas ocupadas para as vagas exigidas pelo programa para 100% da isenção.

O total de bolsas ativas do Prouni em dezembro de 2013 foi de 500.263, sendo que aproximadamente 55.8%1 delas são integrais e o restante, parciais. Considerando o custo do aluno parcial a metade do aluno integral, teríamos cerca de 389.8mil alunos integrais equivalentes. E neste caso chegamos a um custo aproximado de R$ 1.926 por aluno, por ano, ou a cerca de R$161 por aluno equivalente / mês.

5.3.2. Numa IFES (Instituição Federal de Ensino Superior)

Segundo o “Relatório de Parecer Prévio sobre as Contas do Governo da República”, feito pelo TCU, o custo corrente por aluno equivalente é de R$ 13.996 por ano (ou R$16.054 quando incluídas as despesas com hospitais universitários). Supondo o número sem hospital universitário, estamos falando num custo mensal por aluno no programa de R$1.166.

1 Número estimado pelo autor com base em modelo de evasão ajustado pelos dados anuais de ingresso de alunos no Prouni, e que chega no número de bolsas Prouni ativas para dezembro de 2013 fornecido pelo Prof. Dilvo Ristoff, de 500.263 alunos.

abraes.

28

5.3.3. No Fies

Também para 2013, estimativas da equipe de análise do Credit Suisse, mostram o custo por aluno no FIES como algo na casa dos R$4.700 / ano, baseado num ticket médio no setor privado ao redor de R$600 / mês. Isto implicaria um custo do programa de cerca de R$390 por aluno por mês.

5.3.4. Com uma bolsa no setor privado

A partir do valor médio das mensalidades no Ensino Superior Privado estimado pela Hoper Educação, de um ticket médio de R$621/mês para 2013, e considerando uma bolsa/desconto médios oferecidos na casa dos 15%-25% do valor da mensalidade, estaríamos chegamos num custo dos programas estritamente privados da ordem de R124 / mês.

6. ANÁLISE BENEFÍCIO-CUSTO

Comparando o benefício advindo do aumento da nota geral no Enade com o custo por aluno entre programas, podemos ter uma boa ideia da efetividade do recurso público sendo alocado em cada um. Totalizando as matrículas da tabela 21, chegamos a 3.7M de alunos, ou 50.8% das matrículas do ensino superior em 20132, sem contar outros recursos públicos como escolas e bolsas mantidas por governos estaduais e municipais.

Como é patente ao longo de todo este trabalho, as disparidades de condições socioeconômicas influem seriamente nas notas dos concluintes. Como o ensino superior público tem um elevado nível de exigência acadêmica para ingresso, este acaba selecionando os alunos que tiveram mais oportunidades de estudar em escola privada no ensino médio, cuja renda familiar e escolaridade dos pais eram maiores.

2 Segundo o Censo da Educação Superior 2013, o número total de matrículas na Graduação foi de 7.305.977.

abraes.

29

Tabela 21: Custo por aluno e Incremento de nota por Programa de Acesso ao Ensino

Custo / Aluno

Nota Bruta

Média no Enade

Incremento na Nota

Bruta

# Alunos atualmente matriculados atingidos pelo

programa

Incremento de nota para cada R$1000 de

no aluno investimento

IFES (públicas) 13.996 47,87 6,1 1.137,9mil 0,4

Prouni 100% 1.926 49,35 10 279,4mil 5,2

Prouni 50% 963 43,91 4,9 220,9mil 5,1

FIES 4700 42,25 0,4 1.407mil 0,1

Bolsas das Próprias IES 1490 43,11 1,7 664mil 1,1

Ao controlar pelos efeitos fixos das demais variáveis na análise de regressão foi possível identificar a contribuição à nota do aluno, e entende-se, à sua produtividade futura. Portanto, esta é uma medida do benefício de cada programa, avaliado diretamente pelo desempenho do aluno. Dividindo-se este valor por cada R$1000 investidos por cada programa no aluno, obtém-se a última coluna, isto é o impacto de cada R$1.000 investidos por ano em cada indivíduo.

Fica clara a superioridade do Prouni e de esquemas mais exigentes para concessão e seleção de bolsas por mérito acadêmico, aumentando a eficiência dos programas e dos recursos públicos neles investidos.

Infelizmente, com os dados disponíveis no censo não é possível separar os efeitos do processo de ingresso inicial dos alunos, que se baseia no Enem, e que em tese pode introduzir um viés de seleção dos alunos de melhor desempenho, da exigência de desempenho acadêmico mínimo durante o curso, o que poderá eliminar os alunos de piores resultados, e implicaria notas médias maiores ao longo do tempo. Porém, qualquer que seja a causa, e provavelmente ambas são válidas em algum sentido, e a conclusão final permanece a mesma: os alunos Prouni apresentam desempenho significativamente superior à média, inclusive aos alunos de universidades públicas.

Fato é que o setor privado é capaz de produzir alunos tão bons ou melhores do que a universidade pública, a um custo 7 vezes menor no Prouni, recebendo alunos de desempenho acadêmico e situação social muito desfavoráveis em relação ao aluno médio das IFES. E se olharmos a razão entre o incremento de nota por R$1.000 investidos por aluno, chegamos a um número 13 vezes mais eficiente quando comparamos os bolsistas Prouni integrais da rede privada, com os alunos de universidades públicas.

abraes.

30

Tanto do ponto de vista acadêmico e pedagógico, quanto de políticas públicas, uma investigação mais detalhada a respeito da estrutura de incentivos que leva a resultados de desempenho superiores dos alunos do Prouni no Enade é fundamental para a melhoria da eficiência dos demais programas.

7. CONCLUSÕES

Entre as conclusões que podemos tirar a partir dos resultados apresentados, vale a pena destacar:

7.1. A qualidade aluno depende do ambiente de incentivos. Entre as restrições feitas aos alunos para a manutenção no programa Prouni está a aprovação em pelo menos 75% das disciplinas. Seja por este fato que ou descarta os alunos com notas muito baixas pelo caminho, ou impõe um maior nível de exigência aos que permanecem, ou até seja porque o processo seletivo de ingresso já faz uma seleção inicial, fato é que as notas dos alunos no Prouni são superiores ao dos demais programas de acesso. Isso por si só torna a alocação de recursos no programa mais eficiente, fazendo com que os gastos indiretos com a renúncia fiscal sejam investidos em alunos que apresentam melhores resultados. O que nos leva à importante questão de que os programas de bolsas, sejam públicos ou privados, deveriam exigir um nível mínimo de desempenho acadêmico para seus ingresso e manutenção, destinando recursos a alunos que de fato invistam energia em seu programa.

7.2. Programas públicos de acesso conferem chance a mais do que 50% dos alunos do Ensino

Superior hoje. Ao olhar para os números dos programas separadamente, só em IES públicas de um lado (26.4% dos alunos), ou apenas Fies ou Prouni nas privadas (26.1%), perde-se a dimensão da relevância da participação conjunta dessas iniciativas no acesso ao ensino superior. O debate em geral se restringe a cada programa ao invés de considerar o conjunto das políticas que alocam recursos públicos para permitir que mais alunos estudem e se qualifiquem.

7.3. O setor particular tem papel absolutamente central nas políticas de acesso ao ensino superior, e faz um bom trabalho se controlados outros fatores socioeconômicos, regionais e demográficos, que acabam impactando negativamente nos resultados dos alunos. Isso é corroborado pelo fato de que alunos oriundos do Prouni apresentam impacto na nota do Enade superior aos que pertençam à Universidade Pública. Em outras palavras, políticas de acesso como o Prouni mais do que compensam a desvantagem relativa que alunos vindos de estratos socioeconômicos mais baixos, produzindo resultados acadêmicos na média superiores aos alunos de IESs públicas, que carregam os alunos dos estratos superiores.

abraes.

31

7.4. Um número que normalmente não é destacado é o contingente de alunos que se forma recebendo bolsa ou ajuda da própria IES onde estudam. Esse número é significativo, tendo atingido nos ciclos 2010-2012 a participação de 32% dos programas de bolsa no ensino superior. O que é próximo em ordem de grandeza aos cerca de 40% de concluintes oriundos do Prouni e Fies somados.

7.5. Quando comparado ao Prouni, o ensino oferecido pela universidade pública é pouco eficiente e concentrador de renda. O custo por aluno de uma vaga de universidade pública é substancialmente superior, e apresenta impacto menor no resultado aos alunos se comparado ao Prouni. Além de em geral estar associado a um maior nível de renda da família do aluno, maior escolaridade dos pais, e estudo fundamental e médio cursado em escola privada. Existe uma questão importante de que a universidade pública tem um papel preponderante na pesquisa científica hoje no brasil, e que este custo estaria sendo contabilizado neste número. De toda forma, a expansão do sistema via expansão de vagas públicas não encontra suporte em termos de resultados de desempenho dos alunos, e representa um nível de gasto que poderia ser revisto com uma realocação mais eficiente de recursos públicos com maiores impactos para a sociedade.

7.6. Necessidade de estudos adicionais para traduzir/quantificar o desempenho no Enade, em melhor produtividade, salários e renda gerada na sociedade. É sabido que níveis superiores de educação estão fortemente associados a renda média mais alta. E a renda mais alta advém da maior produtividade deste indivíduo, que recebe salários mais elevados exatamente por oferecê-la à sociedade. Por este aspecto seria de se supor que notas superiores no Enade, de alguma forma se traduzissem em diferenciais de produtividade, e melhores condições de vida no futuro. De toda forma parece mais provável que um indivíduo do grupo com notas mais elevadas no Enade venha a se mostrar mais produtivo no futuro, do que um pertencente ao grupo das notas mais baixas.

7.7. Universidade Pública pode ser revista como política de expansão e modelo de organização para o ensino superior do país . É sabido que diferentes escolas públicas apresentam resultados e indicadores bastante heterogêneos. Uma das formas de aumentar a eficiência da rede de universidades públicas é exatamente gerenciar a alocação de recursos de forma a privilegiar as que apresentam melhores resultados acadêmicos no Enade, incentivando melhoria na gestão e obtenção de resultados de seu produto final, que é o aluno. Menos do que o volume de recursos destinados às Universidades Públicas, é a eficiência em sua aplicação ao obter resultados é que conta. Caso contrário a operação de algumas instituições federais por instituições privadas de resultado comprovado no desempenho do aluno não só aliviaria o orçamento público, liberando recursos para outros investimentos, como aumentaria a eficiência dos recursos por ela alocados, entenda-se professores e infraestrutura a serviço e em condições de produzir alunos melhor preparados.

abraes.

32

8. REFERÊNCIAS E FONTES DE DADOS

Credit Suisse Securities Research &Analytics. Brazil Education, Who Said Education Wasn’t Good In Brazil. February 27th, 2014.

Hoper Educação. Análise Setorial do Ensino Superior Privado. Brasil / 2014.

INEP Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. [portal do Inep na internet]. Microdados Enade 2010, 2011 e 2012 [acesso em 20 ago 2014]. Disponível em: http://portal.inep.gov.br

INEP Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. [portal do Inep na internet]. Sinopses Estatísticas da Educação Superior [acesso em 20 ago 2014]. Disponível em: http://portal.inep.gov.br

Ministério do Planejamento, Orçamento e Gestão. Secretaria de Orçamento Federal. [portal do orçamento federal na internet]. Orçamentos da União. Exercício Financeiro 2013. Projeto de Lei Orçamentária. [acesso em 26 set 2014]. Disponível em: http://www.orcamentofederal.gov.br

Prouni Programa Universidade para Todos. [portal Prouni na internet]. Dados e Estatísticas [acesso em 26 set 2014]. Disponível em: http://prouniportal.mec.gov.br

SRF Receita Federal. Demonstrativo dos Gastos Tributários 2013. Agosto 2012.

TCU Tribunal de Contas da União. Relatório e Parecer Prévio sobre as Contas do Governo da República. Exercício de 2012. Brasília. 2013.

TCU Tribunal de Contas da União. Relatório e Parecer Prévio sobre as Contas do Governo da República. Exercício de 2013. Brasília. 2014.

Impacto do Prouni sobre desempenho de seus alunos no Enade

News & Politics

Transcript of Impacto do Prouni sobre desempenho de seus alunos no Enade