Monitoramento do Plano de Desenvolvimento da Educação...

RSP

121

Leonardo Milhomem de Rezende e Paulo de Martino Jannuzzi

Revista do Serviço Público Brasília 59 (2): 121-150 Abr/Jun 2008

Monitoramento do Plano deDesenvolvimento da Educação:proposta de aprimoramento do

Ideb e de painel de indicadores*


Introdução

A qualidade da educação básica parece ter entrado na agenda formal das

políticas públicas do Estado brasileiro no ano 2000, depois de muito tempo

debatida em círculos acadêmicos e políticos mais restritos. Até então, a pauta

educacional dessa agenda estava claramente focada na necessidade de

promover o ingresso massivo das crianças nas escolas do ensino fundamental,

nas áreas mais pobres do País e, subsidiariamente, na melhoria do desempenho

escolar dos alunos. Tendo logrado nos últimos 15 anos (1992 a 2006) o aumento

significativo das taxas de cobertura no ensino fundamental, de 82% para 96%

entre crianças e jovens de 7 a 14 anos, o esforço governamental (em nível

federal e nos estados) concentra-se agora na busca de soluções para reverter o

quadro pouco alentador revelado pelas avaliações sistemáticas de proficiência

dos estudantes ao longo do ciclo escolar.

RSP

122

Monitoramento do Plano de Desenvolvimento da Educação: proposta de aprimoramento do Ideb e de painel de indicadores


Um fato revelador dessa preocupaçãocom a qualidade de ensino foi a propo-sição, pelo Ministério da Educação(MEC), no âmbito do Plano de Desenvol-vimento da Educação (PDE), de umamedida concreta e objetiva para monito-ramento e avaliação dos resultados dasações e programas voltados a essadimensão educacional: o Índice de Desen-volvimento da Educação Básica (Ideb).O Decreto no 6.094/2007, que dispõesobre o Plano de Metas CompromissoTodos pela Educação, legitima o Idebcomo instrumento de avaliação daqualidade educacional, medido pela profi-ciência dos alunos nos exames padroni-zados, como o Saeb e a Prova Brasil, doMEC, e pelo rendimento escolar, obtidopelo Censo Escolar. O Ideb passa a serconsiderado o indicador de avaliação parao PDE, inclusive com ampla divulgaçãoe o estabelecimento de metas bianuais deelevação de suas cifras para os municípiosde todo o País.

É certo que o acompanhamento daação governamental e da efetividade deseus programas não se resume à propo-sição e ao exame de um ou vários indi-cadores sociais mais gerais, exigindoinstrumentos e pesquisas de monitora-mento e de avaliação muito maiscomplexos e sistemáticos. Contudo, se asmensurações quantitativas propostas seinspirarem, de fato, nos pressupostos deelaboração de indicadores de políticas eguardarem, na sua construção, uma sériede propriedades metodológicas dese-jáveis (JANNUZZI, 2005), certamentepoderão trazer contribuições significativasao processo de avaliação da efetividadedos programas públicos. O uso desistemas de indicadores, ainda que longede ser suficiente para efetividade daspolíticas públicas, potencializa a chance de

sucesso, já que permite, em tese, aavaliação de resultados tecnicamente bemrespaldados e diagnósticos sociais abran-gentes e empiricamente referidos.

Além do respaldo técnico que o usode bons indicadores é capaz de fornecerà avaliação e ao monitoramento de polí-ticas públicas, é importante atentar parao fato de que os indicadores possibilitamum melhor acompanhamento, por parteda sociedade, dos resultados alcançados.Como assinalam Scandar Neto et al.(2006):

É cada vez mais evidente a neces-sidade de implementar um sistema deindicadores para monitoramento eavaliação baseado nas políticas,programas e ações. Tal sistema seriauma ferramenta poderosa de adminis-tração e gestão pública, não somentepara os formuladores de políticas, mastambém para aumentar o controlesocial e transparência das intervençõese das ações do setor público (SCANDAR

NETO et al. 2006 p. 9).

A relevância dos indicadores tem sidocada vez mais reconhecida pelo poderpúblico, como revelam as menções doTribunal de Contas da União (TCU) emseus relatórios de avaliação. Ilustrativas,nesse sentido, são as observações cons-tantes no Relatório de Avaliação dePrograma da Ação de Apoio à FormaçãoContinuada de Professores do EnsinoFundamental, elaborado pelo TCU em20061, em que aparecem trechosreferentes à necessidade de uso de indica-dores em diversas etapas do ciclo dapolítica em análise, como:

Quanto aos indicadores de desem-penho definidos para o gerenciamento

RSP

123



da ação, analisou-se, preliminarmente,aqueles constantes no PPA 2004/2007....

O modelo da ação lógica não previaavaliação de sua efetividade, tampoucoa construção de outros indicadores....

No sentido de minimizar essasdeficiências, apresenta-se uma sugestãode cesta de indicadores de desem-penho (TCU, 2006 p.73-75).

Nas últimas duas décadas, tem-seobservado um processo cada vez maisintenso de proposição de indicadoresde monitoramento e avaliação da açãogovernamental, assim como de indicadoressociais mais gerais, dentro e fora das orga-nizações públicas. No campo das políticaseducacionais vigoram, na realidade, já háalgum tempo, diversos indicadoresconstruídos para acompanhar e monitorara situação da educação, além de avaliar osresultados de intervenções governamentais.Exemplos são as taxas de analfabetismo,analfabetismo funcional, freqüência escolar,evasão, reprovação, coeficientes de alunospor professor e outras tantas medidasdisponíveis na compilação apresentada emMEC/Inep (2004).

O Ideb é mais uma dessas medidas,com objetivos e propriedades específicas,que, neste trabalho, se busca explorar,entender e discutir. Mais especificamente,o objetivo deste trabalho é analisar ascaracterísticas do Índice de Desenvolvi-mento da Educação Básica, as finalidadesda sua construção, seus usos e limitações etambém propor outros indicadores paraacompanhar os resultados e impactosdo PDE.

Este texto está organizado emcinco seções. Na primeira, discute-se opapel e o uso dos indicadores no ciclo de

políticas públicas, em especial no moni-toramento e na avaliação de programas.A seção seguinte tem caráter maismetodológico, tratando da construção deindicadores sintéticos, seus usos e limi-tações. Apresenta-se, então, o Ideb ese discute tanto suas característicase potencialidades quanto suas restriçõespara o acompanhamento da agenda dapolítica educacional. As duas últimaspartes são dedicadas à apresentação de

propostas alternativas de indicadores – oIdeb+ e o Painel Pideb+ – paramonitoramento do PDE.

O ciclo de políticas públicas,a avaliação de programas e osindicadores

Política pública é, na definiçãode Nascimento (1991), o conjunto de

“O uso de sistemasde indicadores, aindaque longe de sersuficiente paraefetividade daspolíticas públicas,potencializa a chancede sucesso ...”

RSP

124



decisões tomadas por aqueles que detêmcompetência legal para deliberar em nomeda coletividade, visando à solução de umproblema ou redirecionamento de umatendência a fim de orientar sua evolução aum fim estabelecido desejável. Para suaformatação e conseqüente operação, apolítica pública passaria por um ciclo devárias etapas, listadas pela autora comoformulação da política; administração ouimplementação da política e a avaliação.Para a autora, a etapa de formulação podeser subdividida em definição da agendapública, formulação e formalização.

A definição da agenda é a fase em queocorre a filtragem dos problemas ou dedemandas sociais a serem priorizadas, entreas diversas existentes em países com tantosdeficits sociais, como o Brasil. Váriosatores contribuem para a formação dessaagenda, em particular a burocracia pública.O processo é, no entanto, complexo, nãolinear. Certa demanda social pode serreconhecidamente importante para grandeparte da população de um determinadopaís, mas não entrar ou não ser priorizadana agenda por falta de interlocutoresformais com peso político. Fatoresambientais como desastres podem fazercom que alguns temas entrem imedia-tamente na agenda. O processo eleitoral éoutro mecanismo de atualização da agenda,tão mais efetivo quanto mais consistentese factíveis as propostas de ação constantesnas plataformas dos candidatos. Mas, emmuitas situações, as decisões sobre arelevância das questões sociais são avaliadasdentro dos órgãos de governo, com basena análise particular que seus técnicostêm da gravidade e dos reflexos de umdeterminado problema, da conjuntura edas circunstâncias favoráveis e desfavo-ráveis para o processo de implementaçãode um programa ou projeto.

Uma vez que se considera determi-nado objeto como relevante para a agendaformal de governo, passa-se à etapaseguinte: a formulação da política e de seusprogramas. Essa fase corresponde princi-palmente à aquisição de conhecimentossobre o tema a ser abordado e à elabo-ração de proposta(s) capaz(es) de resolvero problema ou atender à demanda que ooriginou.

Segue-se então a etapa de formalizaçãoou tomada de decisão, que corresponde àlegitimação da política pelas autoridadesconstituídas (NASCIMENTO, 1991). Deforma simples, esta pode ser entendidacomo o momento em que se prepara amáquina pública para a execução da polí-tica determinada. É nessa fase que tambémse reúnem tanto informações de inter-venções passadas quanto outras relevantespara determinar o rumo da intervençãoatual. É o momento ainda de decidir comose dará a otimização de recursos de formaa não inviabilizar essa ou outra política.

E é na etapa de implementação que apolítica pública começa a ser executada eos recursos alocados geram ações capazesde agir e mudar certa realidade. Aqui apolítica adquire uma concretude objetivamaior e, por isso, começa a revelar expli-citamente as dificuldades de sua introduçãoe operação pelos agentes encarregados de“pôr a mão na massa”. Essa fase possuialgumas dificuldades inerentes, como aexeqüibilidade teleológica, que respondepela adequação entre os meios e os fins; aadequação técnica dos meios empregadosà produção de resultados desejados; aefetividade econômica que considera adisponibilidade de recursos exigidos pelapolítica; e o apoio do governo e de setoresbeneficiados pela política no início e nodecorrer de sua implementação (JAGUARIBE

apud NASCIMENTO, 1991).

RSP

125



Seguindo o modelo do ciclo de polí-ticas públicas apresentado por Nascimento(1991), a fase subseqüente consiste naavaliação, quando, em tese, averigua-se nãosomente em que medida os resultadosestão sendo alcançados, mas a que custose executam os programas, seus impactosnegativos e positivos e a conveniência ounão de revisão parcial ou total da política(e sua relevância na agenda). Nas palavrasde Cohen & Franco (1999:76), “a avaliaçãoé uma atividade que tem como objetivomaximizar a eficácia dos programas naobtenção de seus fins e a eficiência naalocação de recursos para a consecuçãodeles”. Corresponde ao exame sistemáticodas intervenções planejadas na realidade,tendo por base procedimentos científicosde coleta e análise de informações sobre oconteúdo, estrutura, processos, resultadose/ou impactos de políticas, programas ouprojetos (RUA, 2004).

Este ciclo de formulação das políticaspúblicas, tal como descrito, é certamente ummodelo idealizado, com aderência bastantelimitada ao cotidiano brasileiro ou de outrospaíses. Ainda assim, ele se presta aos objetivosde evidenciar, ao longo do processo, ênfasesdiferenciadas no planejamento, na operaçãoou na avaliação dos programas. A última fase,por exemplo, não é totalmente destacada dasdemais ou realizada somente alguns anosdepois da implementação dos programas.Pelo contrário, a avaliação deve ser enten-dida como um processo que permeia todoo ciclo de uma política pública, sendoportanto mais adequado denominar esseconjunto de atividades como “Monitora-mento e Avaliação” (RUA, 2004). Como bemexpõe documento do Tribunal de Contasda União:

O monitoramento e avaliaçãodos programas de governo são

ferramentas essenciais para a boaprática gerencial. A avaliação é umprocedimento que deve ocorrer emtodas as etapas, permitindo ao gestorfederal o acompanhamento das açõese sua revisão e redirecionamentoquando necessário. Enquanto omonitoramento é uma atividadegerencial interna, que se realiza duranteo período de execução e operação, aavaliação pode ser realizada antes oudurante a implementação, como aoconcluir uma etapa ou projeto comoum todo, ou mesmo algum tempodepois, devendo se preocupar como impacto provocado pela inter-venção pública em seus beneficiários.(TCU, 2006, p. 75).

Para desenvolvimento adequado dasatividades de monitoramento e avaliação,do grau de cumprimento das metas eobjetivos da política, com objetividadee regularidade, é necessário que o gestordisponha de um sistema de informações epesquisas que lhe ofereça indicações dograu de implementação dos programas, deseus resultados e de eventuais impactos nasociedade, isto é, indicadores de monito-ramento e avaliação dos programas. Comoobservam Cohen e Franco (1999):

Uma instância central do processo deavaliação consiste em determinar emque grau foram alcançadas as finalidadesdo projeto. Isto requer dimensionar oobjetivo geral em subconjuntos deobjetivos específicos, os quais por suavez terão “metas”, cuja obtenção serámedida através de indicadores. Asvariações nos valores que serão veri-ficados nas unidades de análisepermitem quantificar este processo.(COHEN; FRANCO, 1999; p. 152).

RSP

126



Jannuzzi (2005) destaca que nocampo aplicado das políticas públicas, osindicadores sociais são medidas usadas parapermitir a operacionalização de umconceito abstrato ou demanda de interesseprogramático.

Os indicadores apontam, indicam,aproximam, traduzem em termosoperacionais as dimensões sociais deinteresse definidas a partir de escolhasteóricas ou políticas realizadas ante-riormente. Se prestam a subsidiar asatividades de planejamento público eformulação de políticas sociais nasdiferentes esferas de governo, possibi-litam o monitoramento das condiçõesde vida e bem-estar da população porparte do poder público e sociedadecivil e permitem aprofundamentoda investigação acadêmica sobre amudança social e sobre os determi-nantes dos diferentes fenômenossociais (JANNUZZI, 2005, p.138).

A construção de indicadores paramonitoramento e avaliação de programasdeveria ser pautada, segundo o autor, pelaaderência dos mesmos a um conjunto depropriedades desejáveis, ainda que sejadifícil garanti-las simultaneamente. Comoessas propriedades servirão de critérios deavaliação do Ideb mais à frente, é essencialuma exposição detalhada de algumas dessaspropriedades.

Uma propriedade fundamental paraqualquer indicador é a sua validade, isto é,sua capacidade de retratar o conceito ou oobjetivo para o qual a medida foi ideali-zada. Essa parece ser uma tautologia, masa realidade é que existem indicadores –em especial, indicadores sintéticos (discu-tidos mais à frente), nos quais a proxi-midade entre conceito e medida é bastante

discutível (JANNUZZI, 2002; GUIMARÃES &JANNUZZI, 2005).

Para uso na tomada de decisão empolíticas públicas, o indicador deve serconfiável, ou seja, computado a partir dedados de boa qualidade, provenientesde fontes e pesquisas consistentes e sujeitosa controle de qualidade e de tendenciosidade.Devem gozar de inteligibilidade, isto é,a transparência da metodologia de suaconstrução. Igualmente importante é acomunicabilidade do indicador, sua capaci-dade de “passar claramente o recado” porele aportado para diferentes públicos.

A sensibilidade e a especificidade sãopropriedades importantes para indicadoresde monitoramento e avaliação. Sensibilidadedo indicador corresponde à sua capacidadede refletir, de modo tempestivo, asmudanças a que ele se propõe retratar.Especificidade do indicador correspondeà sua propriedade de refletir alteraçõesestritamente decorrentes do programa ouação que ele se propõe a monitorar.

Naturalmente, a periodicidade é outrapropriedade fundamental para que umindicador seja útil no processo de monito-ramento das ações públicas. Afinal,somente com informações regularmenteproduzidas é que se pode avaliar os efeitosdos programas – ou ausência deles – ecorrigir eventuais distorções a tempo. Emalguns casos é extremamente caro realizarpesquisas e coleta de dados, o que remetea outra propriedade: a factibilidade dadisponibilidade do indicador. O custo e otempo para obtenção do indicador têmde ser compatíveis com as necessidades eos usos que se faz dele.

Séries históricas trazidas por um indi-cador são bastante relevantes por permi-tirem acompanhar tendências e comparareventuais efeitos e impactos dos programasao longo do tempo. Isso constitui a

RSP

127



historicidade de um indicador, outroatributo interessante para indicadores demonitoramento.

Os indicadores usados no monitora-mento e na avaliação de políticas públicaspodem ser classificados de várias formasdiferentes, como mostra o Quadro 1,elaborado por Ottoni (2006). Uma taxo-nomia importante e presente nesse quadroé a que diferencia os indicadores entreindicador-insumo, indicador-processo eindicador-resultado.

Como define Jannuzzi (2004), os indi-cadores-insumo correspondem às medidasassociadas à disponibilidade de recursoshumanos, financeiros ou equipamentosalocados para um processo ou programaque afeta uma das dimensões da realidadesocial. São tipicamente indicadores dealocação de recursos para políticas sociais,como número de escolas com laboratóriode ciências ou quadras de esportes,coeficiente técnico de professores por aluno,biblioteca pública por população de cincoanos ou mais ou, ainda, gasto monetárioper capita nas diversas áreas de política social.

Os indicadores-resultado são aquelespropriamente vinculados aos objetivosfinais dos programas públicos, quepermitem avaliar a eficácia no cumprimentodas metas especificadas, como a taxa deanalfabetismo, cuja diminuição se esperaverificar com a implementação de umprograma como o Educação de Jovens eAdultos (EJA). Parte desses resultados podeter efeitos e desdobramentos gerais, ante-cipados ou não, positivos ou não, quedecorrem da implantação dos programas.Um programa como o EJA, por exemplo,pode levar seus participantes a terem papelmais ativo na comunidade ou a buscaremmelhores empregos, por ampliarem seushorizontes de possibilidades e repertórioscognitivos. Nesses casos, costuma-se

denominar os indicadores que medem essasdimensões de indicadores de impacto.

Já os indicadores-processo ou fluxosão indicadores intermediários, quetraduzem em medidas quantitativas oesforço operacional de alocação derecursos humanos, físicos ou financeiros(indicadores-insumo) para obtençãode melhorias efetivas de bem-estar (indi-cadores-resultado e impacto), como ovolume de merendas escolares distribuídas

diariamente por alunos, os professorescapacitados em uma nova metodologia,ou ainda homens-hora dedicados a umprograma social.

Indicadores sintéticos:construção, usos e limitações

Desses vários tipos de indicadoresdispostos no Quadro 1, interessa destacar,

“... somente cominformaçõesregularmente produzidasé que se pode avaliar osefeitos dos programas –ou ausência deles – ecorrigir eventuaisdistorções a tempo.”

RSP

128



para os objetivos deste trabalho, os indi-cadores sintéticos, também denominadosde indicadores compostos ou índicessociais. A principal característica dos indi-cadores sintéticos é a de aglutinar dois oumais indicadores primários (ou simples),por meio de métodos aritméticos ou esta-tísticos, em uma única medida. Um dosindicadores sintéticos mais conhecidos é oÍndice de Desenvolvimento Humano(IDH), que compila três dimensões bemdistintas, como esperança de vida, PIB

per capita e indicador composto de taxa deanalfabetismo e de taxa bruta de freqüênciaescolar. O Índice de Desenvolvimento daEducação Básica (Ideb) – objeto de análisedeste trabalho – constitui outro exemploque, nesse caso, sintetiza duas dimensões:o desempenho de alunos em testespadronizados e o rendimento escolar(aprovação).

Esses indicadores sintéticos sãoconstruídos a partir de uma operaçãometodológica realizada em várias etapas

Quadro 1: Classificação, descrição e exemplos de indicadores.

Fonte: Ottoni, 2006.

RSP

129



sucessivas, como pode ser observado naFigura 1, baseada em Scandar Neto et al.(2006). O primeiro passo no processoconsiste em definir o marco ordenador,marco conceitual ou ainda marcoinstitucional, que orientará as demais etapas.Para garantir que a medida sintética finalseja, de fato, útil para o monitoramento ea avaliação dos programas, é fundamentalque os documentos propositivosda política pública específica sejam

exaustivamente usados na montagem dessemarco, explicitando as dimensões maisobjetivas e relevantes de acompanhamento.

Uma vez definido o marco conceituale suas dimensões, é necessário selecionaros indicadores primários que comporãoo índice. Os indicadores primários devemestar em consonância com o marcoordenador, referidos especificamente nasdimensões. Mas nem sempre é possíveldispor de indicadores com a periodicidaderequerida e muito menos com as proprie-dades desejáveis. Essa é uma etapa quetambém exige cuidado, a fim de evitar queo indicador sintético perca ao final suavalidade, especificidade e sensibilidade.

A etapa seguinte envolve o tratamentoquantitativo para combinar as medidas,expressas em diferentes escalas, de modoa produzir o indicador sintético. Existemvários métodos quantitativos – aritméticos,estatísticos, de pesquisa operacional –passíveis de serem empregados, cada umcom suas virtudes e limitações, conforme

se discute em Scandar Neto (2006). Asofisticação do método empregado nãoassegura, necessariamente, que o indicadorsintético produzido tenha maior validadeou sensibilidade que outro computado pormeio de algoritmos muito simples.

Uma vez computado, o índice deveser analisado quanto à sua real capacidadede expressar quantitativamente o que sepropugnava ao se estabelecer o marcoconceitual.

Um exemplo de indicador sintéticoconstruído no campo educacional, queprecedeu, inclusive, o Ideb, foi o IndicadorMunicipal de Desenvolvimentoda Educação (IMDE), proposto porCunha et al. (2001). Conforme ilustradona Figura 2, para construir esse indicadorforam usados diversos indicadores docenso escolar e outros fornecidos peloIBGE. Observa-se a utilização de váriostipos de indicadores com característicasmuito distintas, na tentativa de sintetizar emapenas um indicador a realidade dodesenvolvimento e da qualidade daeducação em nível municipal. No entanto,os próprios autores reconhecem as limi-tações de um indicador sintético nessesmoldes, pois seriam pouco reveladoresdas especificidades dos fenômenos quebuscam mensurar. Esse é um caso no quala medida-síntese parece não ter a utilidadeimaginada.

Há um debate polarizado na literaturaacerca da utilidade e pertinência do uso de

Figura 1: Etapas para a construção de um indicador sintético.

Fonte: Scandar Neto et. al. (2006) com adaptações.

RSP

130



indicadores sintéticos nas políticas públicas.Há quem os defenda, relacionandodiversos argumentos a favor: são medidasinteressantes por sintetizar conceitoscomplexos e multidimensionais e, portanto,auxiliam a tomada de decisões; oferecemuma visão geral do problema ou conceitoque procuram representar; permitem acomparabilidade e ranqueamento entrepaíses (ou municípios), possibilitando acom-panhar o desempenho deles; resumem emuma só medida o impacto de várias açõese programas governamentais; e ajudam achamar a atenção da população e da mídiapara questões sociais e para a efetividadeda ação governamental (como temocorrido com o IDH).

Os autores que criticam os indicadoressintéticos arrolam outros argumentoscontra: se forem construídos sem proce-dimentos metodológicos adequados,podem emitir mensagens políticas equivo-cadas; os gestores podem tomar decisõessimplistas devido à visão geral que oindicador apresenta; o processo de compi-lação dos dados pode fazer com quedados relevantes percam o sentidono cálculo do indicador, diminuindo asua sensibilidade em captar mudanças

importantes em uma de suas dimensões;em muitos casos, a medida acaba adqui-rindo mais importância do que o conceitoque a originou (o fetiche do indicador emdetrimento do constructo).

Guimarães & Jannuzzi (2005), críticosdo uso dos indicadores sintéticos,reconhecem que esses indicadoresacabaram conquistando legitimidadesocial, política, técnica e científica. Pareceser esse o caso do Ideb, analisado emseguida.

O PDE e o Índice de Desenvol-vimento da Educação Básica

O Plano de Desenvolvimento daEducação (PDE) pode ser entendido comoum conjunto de programas que objetivamdar conseqüência às metas quantitativasestabelecidas no Plano Nacional deEducação (PNE). O Plano compreendemais de 40 programas que podem serorganizados em torno de quatro eixosnorteadores: educação básica, educaçãosuperior, educação profissional e alfabeti-zação. No eixo da educação básica, umdocumento que merece destaque paraas finalidades deste trabalho é o Plano de

Figura 2: Variáveis selecionadas para construção do IMDE

Fonte: Cunha et al. (2001) com adaptações.

RSP

131



Quadro 2: Diretrizes e iniciativas do Plano de Metas Compromisso Todos pelaEducação

Fonte: Elaboração própria com base no Dec. 6.094, de 24 de abril de 2007.

RSP

132



Metas Compromisso Todos pela Educação(Dec. no 6.094, de 24 de abril de 2007),doravante denominado de Compromisso.Ao todo são 28 diretrizes (Quadro 2) aserem implementadas, com auxílio daUnião, nos estados, Distrito Federal e mu-nicípios que o assinarem.

Para acompanhar a efetividade dosprogramas, estabelecer metas concretas aperseguir e focalizar ações do MEC, foicriado o Índice de Desenvolvimento daEducação Básica (Ideb). Como citado emdocumento do MEC (2007):

A partir da criação do Ideb, calcula-do por escola, por rede e para o pró-prio país, foi possível fixar metas dedesenvolvimento educacional de médioprazo para cada uma dessas instâncias,como metas intermediárias de curtoprazo que possibilitam visualização eacompanhamento da reforma quali-tativa dos sistemas educacionais.

O Ideb permite identificar as redese as escolas públicas mais frágeis apartir de critérios objetivos e obriga aUnião a dar respostas imediatas paraos casos mais dramáticos ao organizaro repasse de transferências voluntáriascom base em critérios substantivos. Oescopo é atender imediatamente 1.242municípios e as 7.085 escolas com osmais baixos indicadores e, em curtoprazo, todos os que estejam abaixo damédia nacional (p. 22-23).

Sua proposição foi inspirada naconstatação de que a “indústria da apro-vação automática” é tão perniciosa quantoa “indústria da repetência”, o que levou seusproponentes a combinarem os resultadosde desempenho escolar (Prova Brasil) e osde rendimento escolar (fluxo apurado peloCenso Escolar) em um único indicador.

Mais precisamente, como apresentadoem Inep (2007), o Ideb é calculado comoo produto de dois indicadores (fórmula 1abaixo): a) a pontuação média dosestudantes em exames padronizados aofinal de cada etapa da educação básica(exames do Sistema de Avaliação da Edu-cação Básica ou Prova Brasil nas 4a e 8a

séries do ensino fundamental e 3o anodo ensino médio); b) taxa média deaprovação dos estudantes da corres-pondente etapa de ensino.

Onde:i = ano do exame (Saeb e Prova Brasil) e do CensoEscolar; j = unidade de referência (estado, escola, etc.)Nji = média da proficiência em Língua Portuguesae Matemática, padronizada para um indicadorentre 0 e 10, dos alunos da unidade j, obtida emdeterminada edição do exame realizado ao final daetapa de ensino;Pji = indicador de rendimento baseado na taxade aprovação da etapa de ensino dos alunosda unidade j.

A taxa de aprovação é calculada pelafórmula (2), a saber:

Onde:s = série do ensino fundamental ou ensino médio .Aprov = número de aprovados na série ou grupo deséries s;Ms = matrícula inicial na série ou grupo de séries s;AFs = afastados por abandono ou transferência nasérie ou grupo de séries s;ADs = admitidos por transferência na série ou grupode séries s;

RSP

133



RECs = Reclassificados para a série ou grupode séries s;DESs = alunos que saíram da série ou grupo deséries s, por reclassificação.

A média de proficiência padronizadados estudantes da unidade j, Nji é obtidaa partir das proficiências médias emLíngua Portuguesa e Matemática dosestudantes submetidos a determinadaedição do exame realizado ao final daetapa educacional considerada. Como aescala do Saeb ou Prova Brasil variaentre 0 e 500 pontos, é preciso usar ummétodo para que essa nota seja conver-tida para uma escala entre 0 e 10. No casodo Ideb, essa nota é convertida usandoum método denominado padronização(fórmula 3).

Onde:a = disciplina (Matemática ou Língua Portuguesa);naji = proficiência na disciplina á, obtida pela unidade j,no ano i, padronizada para valores entre 0 e 10;Saji = proficiência média (em Língua Portuguesaou Matemática) não padronizada dos alunos daunidade j obtida no exame do ano i;Sainf = limite inferior da média de proficiência(Língua Portuguesa ou Matemática) do Saeb 1997;Sasup = limite superior da média de proficiência(Língua Portuguesa ou Matemática) do Saeb 1997;

Para garantir a comparabilidade dosindicadores ao longo do tempo foram

adotados os limites inferior e superiorobservados nas provas de 1997, ano dedefinição da escala do Saeb. O limiteinferior considerado para a padronizaçãofoi a média subtraída de três vezes odesvio padrão, e o superior a médiaadicionada de três vezes o desvio padrão,levando à exclusão de notas excepcional-mente boas e ruins. As tabelas 1 e 2mostram a média e o desvio padrão daproficiência dos alunos de 4a e 8a sériesdo ensino fundamental e do 3o ano doensino médio, e os valores usados comolimites inferiores e superiores na padroni-zação, respectivamente.

Com base nessas fórmulas, o Inepcalculou o Ideb para o Brasil, estados, muni-cípios e, até mesmo, por escola, conformedisposto na Tabela 3. Como os dados daTabela 1 já permitiriam deduzir, pelos baixosníveis de proficiência, a escola pública noBrasil não estaria “passando de ano”: o Idebcalculado para 2005 estaria bem abaixo de5 nos diversos níveis de ensino e contextos.O índice médio para as escolas do País seriade 3,8 para os anos iniciais do ensinofundamental, com resultados significati-vamente piores na zona rural (2,7). Nasescolas particulares e federais (em geral,colégios de aplicação vinculados a univer-sidades federais), o desempenho é maisalentador, superior a 5,9.

Apresentado o indicador, passa-seagora à sua análise crítica, a partirdos aspectos descritos nas seçõesanteriores acerca das propriedadesdesejáveis de um indicador de monito-ramento e de avaliação, bem como desuas potencialidades.

Do ponto de vista conceitual, semdúvida, o aspecto mais relevante do Idebé a sua utilidade para o PDE. Por ser umindicador de resultados, pode-se entenderque contempla a sua designação de um

RSP

134



indicador de “avaliação” de resultadosobtidos pelos municípios que aderirem aoCompromisso. Se é fato que não goza daespecificidade que indicadores referidospara cada uma das 28 iniciativas do PDEdesfrutariam, por outro lado, permite que

o resultado sinérgico das mesmas sejaavaliado conjuntamente.

O indicador é dotado de validade, umavez que considera a combinação de doisindicadores referidos a dimensões asso-ciadas (desempenho no aprendizado e no

Tabela 3: Ideb computado para diversos contextos – Brasil 2005.

Fonte: Inep (2007b).

Tabela 2: Limites inferior e superior das proficiências no Saeb – Brasil 1997


Tabela 1: Proficiências médias e desvio padrão no Saeb – Brasil 1997


RSP

135



fluxo escolar). Como se pode observar nosgráficos a seguir (Gráficos 1a e 1b), há umacorrelação alta entre Ideb e taxa deaprovação, e o Ideb e a nota padronizada.Ou seja, o indicador final parece nãoter-se distanciado das dimensões queforam associadas para a sua construção,mantendo assim certa “fidedignidade”

Gráfico 1: Correlação entre o Ideb e seus indicadores componentesBrasil-Rede Estadual – Anos iniciais do ensino fundamental 2005.

com o conceito de qualidade de educaçãoa que ele se propõe a mensurar.

A consistência metodológica do indi-cador é outro fator que deve ser consi-derado como um aspecto positivo. Seusidealizadores tiveram a preocupação de usarduas dimensões com características seme-lhantes, ou seja, indicadores de resultado,

RSP

136



ao contrário do IMDE já referido. Naproposta de cômputo do IMDE, foramutilizadas dimensões como atendimento,progressão dos alunos, infra-estrutura eformação dos docentes, combinando-se12 indicadores de tipos diferentes, ou seja,de insumos, processos, resultados, o queacabou por gerar um indicador poucointeligível e com pouca consistênciametodológica.

Outra característica interessante noIdeb é a inteligibilidade de sua escala (de 0a 10). O modelo multiplicativo de cons-trução do Ideb facilita esse entendimentoe a análise da contribuição de cada um dosindicadores primários para o cálculo doindicador. Como se pode verificar nafórmula (4), a variação relativa do Idebpode ser decomposta em duas parcelas, avariação relativa da nota e a da aprovação.

IDEB = Nota + Tx Aprov IDEB Nota Tx Aprov

Vale atentar também para o fato de queos indicadores usados no Ideb afetam-semutuamente em sentidos opostos, ou seja,caso as escolas aumentem a taxa de apro-vação, isso poderá reduzir a qualidade doensino. Já o estabelecimento de padrõeselevados para aprovação tende a elevar asnotas nos testes padronizados, mas, porconseqüência, diminuir a taxa de aprovação.

Fernandes (2007) descarta essa carac-terística do Ideb ao afirmar que:

(...) não se pode descartar a possibi-lidade de as escolas e/ou redesde ensino adotarem medidas quemelhorem o fluxo e piorem o desem-penho nos exames padronizados evice-versa. Nesse caso, se a cobrançafor restringida apenas aos indicadoresde f luxo, ela pode incentivar os

professores, diretores de escolas egestores de rede a adotarem medidasque impliquem redução no desem-penho médio dos estudantes nos testespadronizados, como, por exemplo,reduzir o padrão de aprovação. Poroutro lado, se a cobrança for apenassobre os scores dos alunos, o incentivoé o oposto, como, por exemplo, elevaro padrão de aprovação (p.8).

A possibilidade de cômputo do Idebem nível de escolas, que remete à proprie-dade de desagregabilidade de um indi-cador, é outra característica importante damedida. É possível, dessa forma, avaliarem que medida a heterogeneidade socio-econômica estrutural presente nas cidadesbrasileiras afeta o desempenho educacionaldas crianças e adolescentes, mesmo quandosubmetidos, em tese, a iguais condições deoferta de serviços educacionais. Alunos deescolas de periferia mais pobre tenderiama ter desempenho pior do que aqueles deescolas mais centrais, situadas em bairrosde classe média, por não desfrutarem nemde condições materiais – alimentação,moradia etc. – nem do ambientesociocultural dessa classe, medido pelaescolaridade dos pais, pelas oportunida-des de acesso à rede de internet, jornais,cinema, TV a cabo, curso de inglês etc.Conhecer o diferencial do Ideb, entre essasescolas, é certamente importante paragestores públicos, não apenas da Educação,mas os ligados às pastas da Assistência eDesenvolvimento Social, da Cultura eEsportes, da Segurança Pública, já que asolução para a melhoria do desempenhoescolar só seria possível mediante o esforçoarticulado de ações mais específicas dosistema de ensino nessas escolas deperiferia, como aumento da jornadaescolar, promoção de atividades culturais,

(4)

RSP

137



incentivo para fixação de professores maisexperientes ou qualificados, além deprogramas públicos mais abrangentes e deimpacto do ponto de vista social – maiorcobertura do Bolsa Família, obras de infra-estrutura urbana, policiamento, cursos dequalificação profissional para os pais etc.

Em que pesem os aspectos positivosacima relacionados, como todo indicadorsintético, o Ideb também tem suas limitações.A primeira crítica a se fazer é em relação àpadronização dos escores de proficiência.Entende-se que essa padronização é umatécnica amplamente utilizada, dotada devalidade científica e imprescindível para aconstrução do indicador segundo suafórmula multiplicativa. No entanto, nãodeve passar despercebido que a utilizaçãoda padronização acarreta uma perda relativade comensurabilidade das medidasoriginais, já que as escalas do Saeb e da ProvaBrasil deixam de ser referência para o seuentendimento. Se, por exemplo, a média dasnotas dos alunos de 4a série de uma determi-nada escola é 169,2 pontos em LínguaPortuguesa, pela escala estabelecida do Saebinfere-se que esses estudantes ainda não sãocapazes de “interpretar histórias emquadrinhos mais complexas, reconhecendoa ordem dos fatos” ou “inferir o sentidode uma expressão metafórica ou de umaonomatopéia em anedotas”. Quando essamesma nota é padronizada, transfor-mando-se em uma medida entre 0 e 10,perde-se a possibilidade de fazer taisinferências, ainda que se ganhe eminteligibilidade para a sociedade em geral,como comentado acima.

A combinação das notas padronizadasde Português e Matemática, para o côm-puto de uma nota média, é outra críticaque se pode fazer, pois acarreta perda deespecificidade dos indicadores. Se, porexemplo, a nota padronizada em Português

é 2,5 e a de Matemática é 7,5, a nota média(5,0) não indica em que disciplina se deveinvestir mais especificamente. Obviamenteque os dados básicos podem ser buscadose analisados, mas, de fato, o Ideb, por sisó, não é específico para programas deensino em nenhuma das duas áreas.

Outro ponto que merece atenção é ofato de que não há ponderação explícitados dois indicadores, o que não significaque tenham pesos iguais. Na realidade, a

nota padronizada acaba assumindo umpeso maior na definição do Ideb, comosugere o fato de ter um coeficiente devariação um pouco maior que a taxa deaprovação e uma correlação mais fortecom o Ideb, como se pode verificar nosGráficos 1a e 1b.

Outra limitação a ser apontada, acercadesse índice, não está relacionada à formacomo foi definido, mas ao modo como

“... talvez a maiorlimitação do Ideb sejanão incorporar, em seucômputo, a dimensãodo abandono escolar.”

RSP

138



está sendo usado. Como já foi mencio-nado, uma das ações do PDE é darassistência, prioritariamente, a 1.242 muni-cípios com os mais baixos Índices deDesenvolvimento da Educação Básica.Entende-se que o Ideb até pode ser usadocomo um dos critérios para a seleção deum determinado público, mas não comoo único. Suponha que um município A, queestá entre os priorizados, possua escolascom uma estrutura física razoável sob umcerto padrão. Pressuponha agora que, foradessas 1.242 localidades, exista outromunicípio B com escolas em condiçõesprecárias de infra-estrutura. Ora, como oIdeb foi o fator preponderante de seleção,não contemplando a dimensão de infra-estrutura, o município B continuará comuma infra-estrutura precária no quedepender de apoio financeiro do MEC,ao menos momentaneamente, se o Idebfor o único indicador de priorização. Porser um indicador essencialmente de resul-tados, pode ser considerado ainda válidopara medir efeitos e impactos de ações eprogramas educacionais. Parece questio-nável, porém, a sua utilização como indi-cador para a priorização de públicos-alvo.

Mas talvez a maior limitação do Idebseja não incorporar, em seu cômputo, adimensão do abandono escolar. Emboraconsiderado como um problema jásolucionado em estados do Sul e Sudeste,o abandono ainda está presente em estadosmais pobres. Enquanto que, por exemplo,a taxa de abandono para a primeiraetapa do ensino fundamental da redeestadual de Santa Catarina situava-se abaixode 1%, no Piauí alcançava a cifra de 13,5%em 2005.

Fernandes (2007) justifica a ausência dadimensão “abandono escolar” no Idebexplicando que, por um lado, a presençade evasão durante a etapa de ensino2

elevaria a nota padronizada, uma vez queaqueles que abandonam tendem a possuirum desempenho inferior. Por outro, comoo exame padronizado é geralmenteaplicado antes de se determinar quem é,ou não, aprovado naquele ano, haveriauma subestimação da proficiência média,pois se estaria aplicando o exame paraalunos que não serão concluintes daquelaetapa de ensino, por terem sido repro-vados. Na realidade, pelo fato de os examesserem aplicados entre o final de outubro eo começo de novembro, muitos daquelesque seriam reprovados talvez não maisfreqüentassem as aulas, não prejudicandotanto assim a proficiência média. A hipó-tese apresentada por Fernandes (2007) éque esses vieses acabam compensando-se,garantindo que o Ideb, tal como compu-tado, constitua uma boa medida.

A hipótese é interessante, mas há dese ponderar que, na sua forma atual, oIdeb não captaria situações em que ossistemas de ensino estivessem elevando ospadrões de aprovação e mantendo aproficiência média, mas gerando tambémabandono dos alunos com dificuldadesde aprendizado durante o ano letivo. Emtese, um gestor diligente com as metasdo Ideb, mas mal intencionado emtermos dos compromissos educacionaismais abrangentes do PDE, poderia atépromover a dispensa de alunos commaiores dificuldades de aprendizadodevido a problemas associados à pobreza,ao trabalho infantil etc., para garantir quenão viessem a ser reprovados e/ou obterum mau desempenho no exame deproficiência.

Entendendo a necessidade de seenglobar a taxa de abandono no cômputode um indicador sintético do PDE,apresenta-se na seção seguinte uma medidaalternativa, o IDEB+.

RSP

139



Ideb+, uma proposta deaprimoramento do Ideb paraconsiderar os efeitos da taxade abandono

É inquestionável a pertinência dos doisindicadores que compõem o Ideb, poissão capazes de sinalizar aos gestoreseducacionais a necessidade de garantir aprogressividade dos alunos no sistemaescolar segundo a idade esperada, semprejuízo de que estes dominem osconhecimentos e habilidades requeridos.No entanto, como preconiza a quintadiretriz do Plano de Metas CompromissoTodos pela Educação, apresentado noQuadro 2, os gestores de escolas nosmunicípios e estados devem também“combater a evasão pelo acompanhamentoindividual das razões da não-freqüênciado educando3 e sua superação”. Assim,considera-se fundamental que a dimensão“abandono” também seja abordadaao se avaliar o desenvolvimento daeducação. Afinal, o abandono parece serainda mais prejudicial para o aluno,para sua família e para o País, do que areprovação ou uma nota baixa emexames padronizados.

Dessa forma, propõe-se um aprimo-ramento do Ideb, o Ideb+, com a incor-poração de mais um indicador de rendi-mento, a Taxa de Permanência (M), medidacomplementar da taxa de abandono, nafórmula original da medida (5).

IDEB+ji = Nji x Pji x Mji (5)

Com

M = 100 - Afasts Ms – AFs + ADs + RECs - DESs

Onde:

s = série do ensino fundamental ou ensino médio.Afast = número de afastados por abandono na

série ou grupo de séries s;Ms = matrícula inicial na série ou grupo de

séries s;AFs = afastados por abandono ou transferência

na série ou grupo de séries s;ADs = admitidos por transferência na série ou

grupo de séries s;RECs = Reclassificados para a série ou grupo

de séries s;DESs = alunos que saíram da série ou grupo de

séries s, por reclassificação.

Vale observar que o uso da Taxa dePermanência, tal como definida acima nocômputo do Ideb+, é uma opção meto-dológica pragmática para inserir o grau deatendimento escolar nos municípios ou nasáreas de abrangência das escolas. Ao seadotar as fórmulas – (5) e (6) – o que seacompanha no Ideb+ é o abandono dealunos já integrados ao sistema escolar, enão a falta de atendimento ou a nãofreqüência escolar de crianças em uma dadaregião ou localidade. Para tanto, idealmente,a cobertura e o esforço da universalizaçãodo ensino deveriam ser medidos pela taxade atendimento escolar ou taxa deescolarização líquida. Contudo, comoapresentado em Inep (2004), essas medidasrequerem, no denominador, estimativas depúblico-alvo nas idades normativas paraos níveis de ensino, algo extremamentecomplexo para se computar em nível deescola para áreas de abrangência dasmesmas se for desejável que o Ideb+, talcomo o indicador original, seja calculadopara esse nível de detalhamento de unidadede prestação de serviço. Certamente que,em nível municipal, é possível dispor dessasestimativas, mas a precisão delas tende apiorar quanto mais distantes estão doscensos demográficos4.

(6)

RSP

140



Assim, em detrimento da validade doIdeb+ de captar, de fato, o grau deatendimento escolar, mas procurandopreservar sua desagregabilidade em nívelde escolas e garantir maior confiabilidade(de modo a não carregar possíveis errossistemáticos de medida, decorrentes dasestimativas menos precisas de populaçãoem idade escolar no período intercensitário),optou-se por usar a taxa de permanênciadefinida em (6)5. Como observado ante-riormente, nem sempre é possível garantirtodas as propriedades desejáveis parao indicador construído. Em situaçõesconcretas, talvez mais valha dispor de umindicador imperfeito com bom grau deconfiabilidade e comparabilidade no tempoe no território do que um supostamenteperfeito, com maior validade de constructo,mas com problemas de mensuração, cujodimensionamento nem se sabe precisar.

Um dos aspectos interessantes doIdeb+ é que, tendo preservado o modelomultiplicativo na sua construção, o aumentoou a diminuição do indicador pode serinterpretado a partir da variação relativados seus componentes (9), assim como noIdeb original.

IDEB = Nota + Tx Aprov + Tx Perm IDEB Nota Tx Aprov Tx Perm

O cômputo do Ideb+ de 1999 a 2005revela que, embora seja menor que o Ideboriginal, já que M < 100%, ele aponta umaevolução mais positiva para o ensinofundamental no período – Tabela 4 eGráficos 2a e 2b. Enquanto o aumentodo Ideb entre 1999 e 2005 foi de 5,9%, ado Ideb+ foi de 11,2%, como conse-qüência do aumento de 5,0 pontospercentuais da taxa de permanência, alémdo aumento da taxa de aprovação de 4,6pp no período, o que afetou os dois indi-cadores indistintamente. Isso mostra aimportância da inclusão do abandonoescolar como mais uma dimensão a seravaliada. Assim, com base no Ideb+,poderia-se dizer que houve uma melhorasignificativa da educação básica nasprimeiras séries do ensino fundamental,como resultado do aumento da taxa depermanência e da taxa de aprovação e,de maneira tímida, do aumento dodesempenho dos alunos no Saeb.

Como era de se esperar, assim comoa medida original, o Ideb+ está fortementecorrelacionado com seus indicadorescomponentes. Também no Ideb+acorrelação mais intensa é com a notapadronizada (0,85), seguida da taxa deaprovação (0,78) e, por fim, a taxa depermanência (0,74) – Gráfico 3.

(9)

Tabela 4: Evolução do Ideb+ e seus componentesBrasil – Rede Estadual – Anos iniciais do ensino fundamental – 1999 a 2005.

Fonte: Elaboração própria com informações de Inep (2007a) e Edudata Brasil.

RSP

141



Mesmo considerando que o Ideb+represente melhor a agenda de programase ações do PDE, o fato é que elecompartilha das limitações apontadasanteriormente para o Ideb. Além disso,as duas medidas só podem oferecer umavisão geral e sumária dos resultados eimpactos das 28 iniciativas do Plano deMetas Compromisso Todos pela Edu-cação. Para se obter uma visão mais com-pleta e importante do PDE, e poderacompanhar seus programas, é preciso

dispor não apenas de um indicador-síntese, mas de um painel de indicadoresde monitoramento e avaliação, queretratem dimensões de como os insumosda política se processam em resultados eimpactos, isto é, de como os programas-meio e iniciativas de natureza político-organizacional ou didático-pedagógicaestão se desenvolvendo e, eventualmente,produzindo efeitos de médio alcance,captáveis por indicadores de processos.É o que se procura ilustrar a seguir.

Gráfico 2: Evolução do Ideb e Ideb+ e seus componentes segundo níveis deensino – Brasil – Rede Estadual - 1999 a 2005.

Gráfico 3: Correlação entre o Ideb+ e seus componentesBrasil – Rede Estadual - Anos iniciais do ensino fundamental 2005.

RSP

142



Para além de um indicador-síntese, um Painel de Indicadoresde Monitoramento doDesenvolvimento da EducaçãoBásica – Pideb+

Como o PDE abrange uma série deprogramas, que vão da educação infantil àeducação superior, seu monitoramento nãopode ser realizado apenas com base emum indicador. Monitorar ou avaliar oestágio de “desenvolvimento da educação”requer indicadores de outras dimensões daeducação, como indicadores de oferta,de atendimento, de acesso e participação,de eficiência, de rendimento e até mesmode financiamento.

Para atender a essa necessidade,propõe-se, nesta seção do trabalho, a cons-trução de um Painel de Indicadores deMonitoramento do Desenvolvimento daEducação Básica – (Pideb+), comodemonstrado no Quadro 3. Optou-se pornão propor um sistema exaustivo deindicadores, mas um conjunto reduzido demedidas de acompanhamento, quepermitisse monitorar as ações maisimportantes nas distintas fases do ciclo deimplementação dos programas. Ou seja, oPainel de Indicadores é uma propostaintermediária entre o “caos informacional”de um sistema exaustivo de medidasde acompanhamento e a “pobreza infor-macional” trazida por apenas uma medida-síntese. A idéia é que o Painel seja umaproposta mais efetiva de monitoramentoao priorizar as dimensões de importânciagerencial ao gestor, para quem foi ideali-zado. No caso em questão, o painelproposto tem como foco os gestoresfederais, mais especificamente os doMinistério da Educação. Naturalmente, essepainel deve ser ajustado às necessidades deacompanhamento para outros gestores, de

acordo com o escopo de sua função e deseu papel dentro do conjunto de ações eprogramas do PDE.

Para a construção do Pideb+ foramutilizados indicadores com característicascomo inteligibilidade, validade, relevância,confiabilidade, sensibilidade, desagrega-bilidade e, também, historicidade. Asinformações utilizadas foram basicamenteas do censo escolar, disponibilizadasanualmente pelo Inep, e outras disponi-bilizadas pelo IBGE. É desejável que sepossa dispor de alguns indicadores em basesemestral (abandono, por exemplo),trimestral (professores capacitados) ou, atémesmo, mensal (como recursos financeirosalocados ou transferidos). Para isso, seránecessário desenvolver rotinas de coleta dedados primários ou, em alguns casos,disponibilizar informações de controle jáexistentes em departamentos e programas.

Foi realizada uma seleção de umconjunto manejável de indicadores, referidosaos compromissos e ações do PDE – paraa educação básica e, em especial, para oensino fundamental – segundo uma lógicade insumo, processo, resultado e impacto.Na dimensão insumo deu-se prioridade aosindicadores voltados para o financiamentoda educação, já que no PDE é mencionadoo apoio financeiro, além do técnico, doGoverno Federal aos estados e municípiosque assinarem o termo do Compromisso.Além disso, o PDE prevê o aumento derecursos do PDDE6 para as escolas quecumprirem as metas do Ideb.

Para a dimensão “processo” foramdefinidos indicadores que pudessem serproduzidos com certa regularidade e queestivessem relacionados ao processo deensino-aprendizagem, principalmente nafigura do professor. Justifica-se o usode indicadores com foco nos docentespor causa da preocupação do PDE com

RSP

143



questões como a formação continuada deprofessores, implementação de planosde carreira e piso salarial dos profissionaisdo magistério. A inclusão de indicadoresde acesso de alunos a laboratórios deinformática se justifica pela necessidadede monitorar uma ação, presente no PDE,de instalar um laboratório de informáticaem todas as escolas públicas do Brasil.

Para a escolha dos indicadores deresultado foram selecionados indicadoresmencionados no PDE, assim como outrosdiscutidos anteriormente, como a taxa deabandono e o Ideb+. Já os indicadoresde impacto devem ser entendidos comoalguns dos exemplos dos impactos que aeducação tem na vida dos estudantes amédio e longo prazos. Vale ressaltar que

Quadro 3: Painel de indicadores sugeridos para Monitoramentodo Desenvolvimento da Educação Básica, definidos para gestoresdo MEC

RSP

144



estes não dependem exclusivamente dasações, programas ou projetos do PDE,mas também de outras ações governa-mentais, como programas de transferênciade renda, investimentos em infra-estruturaurbana, crescimento econômico e doemprego etc.

Na Figura 3, descreve-se um dospossíveis formatos de apresentação e deorganização dos indicadores do PIdeb+,passível de implementação em softwaresespecíficos de DataWarehouse e aplicativosmais simples, como o Monit 7.

Considerações finais

A criação do Índice de Desenvol-vimento da Educação Básica (Ideb) paraavaliar as ações do PDE constitui,certamente, uma proposta inovadora,vindo ao encontro de uma tendência nosetor público de utilização de indicadorespara auxílio de gestores na tomada de de-cisões. Os indicadores auxiliam a tomadade decisões nas diversas fases do ciclo daspolíticas públicas, assim como asseguram,em muitos casos, maior transparência eaccountability das ações do governo.

O Ideb foi construído com umametodologia consistente que usa duasdimensões semelhantes, compostas porindicadores de resultado que se afetammutuamente em sentidos opostos. Esseíndice é de alta relevância para o PDEpor ser constituído por dimensões queintegram o foco do Plano, ou seja, a qua-lidade da educação básica. Sua escala demensuração é de fácil compreensão nãosomente para os gestores, como paratoda a população. Por ser elaboradono Brasil, esse instrumento se adéqua àrealidade nacional, contemplando asdimensões consideradas relevantes parao desenvolvimento da educação. O Ideb

goza tanto de forte legitimidade política,devido aos decretos que o colocam naagenda formal de governo, quanto delegitimidade técnica a partir das caracte-rísticas metodológicas de sua construçãoe fontes de dados usadas.

Como todo indicador, o Idebtambém possui limitações, como a perdade referência provocada pela padronizaçãodas notas dos exames padronizados e abaixa especificidade para programas dedeterminadas áreas, como Português ouMatemática.Também deixa de considerar,em seu cômputo, uma relevante dimensão:o abandono escolar.

A alternativa apresentada neste estudo,que considera a dimensão do abandonoescolar, mantendo o modelo multiplicativo(Ideb+), parece configurar uma propostapromissora, ao revelar, pela série histórica,os efeitos da redução do abandono comouma das dimensões importantes dodesenvolvimento educacional nos últimos10 anos. Devido à multiplicidade deprogramas e ações do PDE, a propostade painel de indicadores que considere asdimensões mais relevantes e convergentesde seus programas e ações é certamente aalternativa mais consistente para omonitoramento e avaliação do Plano.

Há muito por fazer para que o PDEpossa produzir os efeitos esperados namelhoria da qualidade da educação noBrasil. A proposta de indicadores aquiapresentada é uma modesta contribuiçãopara que os técnicos e gestores encarre-gados dos programas possam desenvolverseus sistemas de acompanhamento,indicadores de monitoramento e medidasde desempenho organizacional que asse-gurem maior objetividade, transparência eefetividade às suas ações.

(Artigo recebido em de junho de 2008. Versãofinal em de julho de 2008).

RSP

145



Figura 3: Ilustração de um Painel de Indicadores de Monitoramento do PDE

RSP

146



Notas

* Este texto corresponde a uma extração revisada da monografia “Índice de Desenvolvimentoda Educação Básica – IDEB: usos, limitações e alternativas”, apresentada ao Curso de Especializaçãoem Políticas Públicas da Educação com Ênfase em Monitoramento e Avaliação – MPA, em fevereirode 2008 (REZENDE, 2008).

1 TRIBUNAL DE CONTAS DA UNIÃO. Relatório de avaliação de programas: Ação Apoio à FormaçãoContinuada de Professores do Ensino Fundamental. Brasília: TCU, 2006.

2 A expressão “evasão durante a etapa” deve ser entendida como abandono, pois para o Dicio-nário de Indicadores Educacionais (MEC/INEP, 2004) a evasão é quando um aluno, antes matricu-lado em um determinado ano, não aparece nas matrículas do ano seguinte; já o abandono ocorredurante um mesmo ano letivo (etapa de ensino).

3 Note-se que a não freqüência do educando está mais relacionada a abandono do que à evasãoescolar.

4 O IBGE não disponibiliza ainda estimativas de população por faixas etárias ou em idadeescolar em nível municipal para os anos intercensitários, mas somente os totais populacionais. ODatasus (www.datasus.gov.br) dispõe de informações populacionais dessa natureza, mas há proble-mas de precisão para anos afastados do censo demográfico.

5 Tal como definido, a taxa de permanência poderia ser a soma da taxa de aprovação e da taxa derepetência. Assim, quanto menor for a variabilidade das taxas de evasão escolar, por construção,maior a correlação entre a taxa de permanência e suas duas parcelas.

6 Programa Dinheiro Direto na Escola do MEC/FNDE.7 Aplicativo desenvolvido como plataforma de disseminação dos resultados do Projeto de

Indicadores de Direitos Humanos, ENCE/IBGE, 2008.8 Fundo de Manutenção e Desenvolvimento da Educação Básica e de Valorização dos Profissi-

onais da Educação.9 Avaliação de alfabetização que avaliará alunos de seis a oito anos de idade.10 Acredita-se que são inúmeros os impactos que podem ser produzidos pelo PDE, no entanto,

selecionamos apenas algumas dimensões mensuráveis periodicamente.

Referências bibliográficas

BRASIL. Decreto no 6.094, de 24 de abril de 2007. Dispõe sobre a implementação doPlano de Metas Compromisso Todos pela Educação, pela União Federal, em regime decolaboração com Municípios, Distrito Federal e Estados, e a participação das famílias eda comunidade, mediante programas e ações de assistência técnica e financeira, visandoà mobilização social pela melhoria da qualidade da educação básica. Diário Oficial daUnião de 25 abr. 2007.COHEN, Ernesto; FRANCO, Rolando. Avaliação de projetos sociais. Petrópolis, RJ: Vozes, 1999.

RSP

147



CUNHA, José et al. Proposta metodológica de elaboração de indicador educacional sintéticopara os municípios. Revista Brasileira de Estudos de População, [S. l.: s. n.] v.18, no 1/2,p. 131-159, jan./dez. 2001.FERNANDES, Reynaldo. Índice de Desenvolvimento da Educação Básica (Ideb). SérieDocumental. Textos para Discussão. Brasília, n 26: Inep, 2007.GUIMARÃES, José & JANNUZZI, Paulo. IDH, Indicadores sintéticos e suas aplicações empolíticas públicas: uma análise crítica. Revista Brasileira. Est. Urbanos e Regionais, Salvador7 (1): p. 73-89, 2005.INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Dicionáriode indicadores educacionais: fórmulas de cálculo. Brasília: [s. n.], 2004.

. Consulta ao Índice de Desenvolvimento da Educação Básica – IDEB. 2007.Disponível em: http://ideb.inep.gov.br/Site/. Acesso em 4 de fev. 2007.

. Nota técnica. Índice de Desenvolvimento da Educação Básica. [ca. 2007].Disponível em: http://ideb.inep.gov.br/Files/Site/Download/Nota_Tecnica_IDEB.pdf. Acesso em 4 de fev. 2007.JANNUZZI, Paulo. Considerações sobre o uso, mau uso e abuso dos indicadores sociaisna formulação e avaliação de políticas públicas municipais. Revista de Administração Pública,Rio de Janeiro 36 (1): p. 51-72. Jan/Fev. 2002.

. Indicadores sociais no Brasil: conceitos, fonte de dados e aplicações. Campinas: Alínea,2004.

. Indicadores para diagnóstico, monitoramento e avaliação de programassociais no Brasil. Revista do Serviço Público, Brasília 56 (2): p. 137-160. Abr./Jun. 2005.MINISTÉRIO DA EDUCAÇÃO. O plano de desenvolvimento da educação, razões, princípios e programas.[S. l. : s. n.], [2007?]. [Download de: http://portal.mec.gov.br/arquivos/pdf/livromiolov4.pdf] Acesso em: 25 Nov 2007.NASCIMENTO, Beatrice. A reforma universitária de 1968: origem, processo e resultados de umapolítica para o ensino superior. Tese de Doutorado, UFRJ, 1991.OTTONI, Cristiano. Indicadores sociais na formulação de políticas públicas federais brasileiras: teoria eprática. Brasília, UnB, 2006 (Dissertação de Mestrado em Gestão Social e Trabalho).REZENDE, Leonardo. Índice de Desenvolvimento da Educação Básica – IDEB: usos, limitações ealternativas. Brasilia, ENAP, 2008 (Monografia apresentada ao Curso de Especializaçãoem Políticas Públicas da Educação com Ênfase em Monitoramento e Avaliação – MPA,para servidores do Ministério da Educação).RUA, Maria. A avaliação no ciclo da gestão pública. Apostila do curso de Especialização emPolíticas Públicas da Educação com Ênfase em Monitoramento e Avaliação – MPA.ENAP. MIMEO, 2004.SCANDAR NETO, Wadih et al. Sistemas de indicadores ou indicadores sintéticos : do queprecisam os gestores de programas sociais In: HENRIQUES,R. et al (Org). Educação nadiversidade : como indicar as diferenças? (Coleção Educação para Todos, Série Avaliação).Brasília, MEC/Unesco, n. 8, v. 25, p. 16-34. 2006.

. Síntese que organiza o olhar: uma proposta para construção e representação deindicadores de desenvolvimento sustentável e sua aplicação para os municípios fluminenses. ENCE/

RSP

148



IBGE, Rio de Janeiro, 2006. (Dissertação de Mestrado em Estudos Populacionais ePesquisas Sociais).TRIBUNAL DE CONTAS DA UNIÃO. Relatório de avaliação de programas: Ação Apoio à FormaçãoContinuada de Professores do Ensino Fundamental. Brasília: TCU, 2006.

RSP

149



Resumo – Resumen – Abstract

Monitoramento do Plano de Desenvolvimento da Educação: proposta de aprimora-mento do Ideb e de painel de indicadoresLeonardo Milhomem de Rezende e Paulo de Martino JannuzziNas últimas duas décadas, tem-se observado um processo cada vez mais intenso de proposição

de indicadores de monitoramento e avaliação da ação governamental, assim como de indicadoressociais gerais, dentro e fora das organizações públicas. No campo das políticas educacionais, especi-ficamente, sob os auspícios do Plano de Desenvolvimento da Educação (PDE), propôs-se maisuma dessas medidas, o Índice de Desenvolvimento da Educação Básica (Ideb). O objetivo destetrabalho é analisar seus usos, características e limitações, além de propor medidas alternativas ecomplementares para acompanhar os resultados e impactos do PDE. O texto está organizado emcinco seções. Na primeira seção discute-se o papel e o uso dos indicadores no ciclo de políticaspúblicas, em especial no monitoramento e avaliação de programas. A seção seguinte tem caráter maismetodológico, tratando da construção de indicadores sintéticos, seus usos e limitações. Apresenta-se, então, o Ideb e se discute suas características, potencialidades e restrições para acompanhamentoda agenda da política educacional. As duas últimas seções são dedicadas à apresentação de umaproposta de indicador alternativo – o Ideb+ e o Painel PIdeb+ – para monitoramento do PDE.

Palavras-chave: Indicadores educacionais, Ideb, Plano de Desenvolvimento da Educação.

Monitorización del Plan de Desarrollo de la Educación: propuesta de perfeccionamientodel Ideb y el panel de indicadoresLeonardo Milhomen de Rezende y Paulo de Martino JannuzziEn las dos últimas décadas se ha observado un proceso, cada vez más intenso, de proposición

de indicadores de monitorización y evaluación de la acción gubernamental, y también de indicadoressociales generales que hay en las organizaciones públicas e fuera de ellas. En el campo de las políticaseducacionales, específicamente bajo los auspicios del Plan de Desarrollo de la Educación (PDE), seha propuesto una más de estas medidas: el Índice de Desarrollo de la Educación Básica (Ideb). Elobjeto de este trabajo es hacer el análisis de sus características, usos y limitaciones; incluso proponermedidas alternativas y complementarias para seguir los resultados y los impactos del PDE. El textoestá compaginado en cinco secciones. En la primera de ellas, se discuten el papel y los usos deindicadores en el ciclo de políticas públicas, especialmente la monitorización y evaluación de progra-mas. La sección siguiente tiene un carácter metodológico al tratar de la construcción de indicadoressintéticos, sus usos y limitaciones. Entonces, se presenta el Ideb y se discute sus características,potencialidades y restricciones para seguir la agenda de política educacional. Las dos últimas seccionesse dedican a la presentación de una propuesta de indicador alternativo ( Ideb+) y el panel (PIDEB+)para monitorización del PDE.

Palabras clave: Indicadores Educacionales, Ideb, Plan de Desarrollo de la Educación

Monitoring the National Educational Plan: a proposal to improve Ideb and the panel ofindicatorsLeonardo Milhomem de Rezende and Paulo de Martino JannuzziIn the last two decades there has been a growing interest on monitoring and evaluation indicators

of governmental programs and also on broad social indicators, in and outside public agencies. Oneducational matters, more precisely, moved by the National Education Plan (PDE), it has been

RSP

150



proposed the Ideb – Indicator of basic Education Development. This paper aims to analyze itsmain aspects, its uses and limitations and also propose other different measures to follow up thePDE´s results and impacts. The paper is divided in five sections. In the first section it is discussedthe role and application of indicators in the policy cycle, more precisely on program monitoring andevaluation. The next section is concerned on methodological matters of building composite indicators,its uses and weakness. Then, Ideb is presented and discussed as a tool to follow up the educationalagenda. The last sections are dedicated to the presentation of Ideb+ and PIdeb+ panel, differentindicators that can be used to evaluate PDE.

Key words: Educational Indicators, Ideb, National Education Plan.

Leonardo Milhomem de RezendeServidor do Ministério da Educação, Especialista em Políticas Públicas da Educação com Ênfase em Monitoramentoe Avaliação pela ENAP.Contato: [email protected]

Paulo de Martino JannuzziProfessor da Escola Nacional de Ciências Estatísticas do IBGE e colaborador da Escola Nacional de AdministraçãoPública e PUC– Campinas. Pesquisador do CNPq no Projeto “Informação estatística no ciclo de formulação,monitoramento e avaliação de políticas públicas no Brasil” (Proc. 307101/2004-5).Contato: [email protected]

Monitoramento do Plano de Desenvolvimento da Educação...

Documents

Transcript of Monitoramento do Plano de Desenvolvimento da Educação...