Transcrição do Diálogo “O uso de indicadores educacionais na avaliação de iniciativas sociais: o caso do Índice de Desenvolvimento da Educação Básica - IDEB” Data: 26 de novembro de 2013, das 9h às 12h30. Local: Ação Educativa – Rua General Jardim, 660. Vila Buarque. São Paulo (SP). Realização: Instituto Fonte para o Desenvolvimento Social Apoio: Fundação Itaú Social Martina Rillo Otero, Instituto Fonte Bom dia, esse é o terceiro Diálogo do Projeto Avaliação em 2013, sendo um no Rio de Janeiro e dois em São Paulo. Meu nome é Martina, sou consultora do Instituto Fonte, organização que lidera o Projeto Avaliação, que tem como objetivo o fortalecimento do campo de avaliação no Brasil. A gente faz isso através de várias estratégias: pesquisas no campo (sobre o campo mesmo de atuação; com avaliadores; com ONGs; com atores que trabalham nesse campo). A gente também faz sistematização de casos e de práticas. O projeto tem um pouco essa marca, de produzir conhecimento a partir da prática. E a gente também promove esses diálogos. Nesses diálogos, normalmente a gente tem uma pessoa que traz uma contribuição mais conceitual sobre o tema que a gente está tratando. E vêm gestores que lidam no drama da vida cotidiana com aquele mesmo tema. Pela relevância do tema deste Diálogo, faremos uma gravação e se alguém não quiser de jeito nenhum sair na televisão ou ser gravado, fale agora ou cale-se para sempre. A gente transcreve também o conteúdo do Diálogo e publica em: www.institutofonte.org.br/projeto-avaliacao. Ali também tem um monte de materiais sobre outros diálogos que a gente realizou. Antes de entrarmos no tema desse diálogo, queria convidar o Antônio, da Fundação Itaú Social, que apoia o Projeto Avaliação, para dar boas-vindas. Antonio Bara Bresolin, Fundação Itaú Social Pessoal, bom dia. Não vou me estender aqui. A Martina já me apresentou, sou Antônio, trabalho na Fundação Itaú Social com o programa de Avaliação Econômica de Projetos Sociais. Acho que a gente tem algumas pessoas aqui que já passaram pelo curso. A gente dissemina uma metodologia de avaliação específica quantitativa, com a análise de dados usando técnicas de estatística, mas a gente também apoia, a gente tem parcerias com outras organizações, com outros institutos, como é o caso aqui com o Fonte, para trabalhar o tema da avaliação de uma maneira mais geral, pensando em diferentes formas e diferentes maneiras de se avaliar os projetos sociais e políticas públicas. A gente entende a importância de apoiar essas diferentes iniciativas e também dialogar

com elas, a partir das contribuições que a metodologia que o programa de avaliação econômica se propõe a fazer. Acho que a discussão aqui hoje vai ser bastante interessante. A gente está trabalhando com um tema que é muito comum para a gente na Fundação. O uso de dados e como que isso contribui para gestão dos projetos. E tenho certeza que a manhã vai ser muito bacana, com a participação da Elaine, da Patrícia, de outros convidados, para trazerem as experiências e compartilharem com vocês um pouco sobre este assunto. Martina Rillo Otero, Instituto Fonte Só queria dar uma introduzida no tema. Desde 2008 a gente faz esses encontros. Todos os diálogos que a gente promove tendo como tema algo relacionado com indicadores sempre causa frisson. Então a gente percebe que os indicadores são, de fato, um grande tema mobilizador no campo da avaliação, tanto no setor público quanto no setor social privado. Para esse encontro, a gente queria trazer mais uma vez um tema relacionado com o uso de indicadores e a gente pensou no IDEB. Por que o IDEB? Na verdade, o IDEB é um pretexto para falar sobre isso. Então o uso desses indicadores oficiais, secundários, produzidos por institutos de pesquisa, em avaliações tanto no setor público quanto no setor privado. O pano de fundo para essa conversa é esse. Então, como esses indicadores estão sendo utilizados para avaliar, para monitorar as políticas públicas e projetos sociais realizados por ONGs? E especificamente o IDEB, enfim, a gente vê que por uma série de razões, tem sido muito utilizado. Tanto ONGs quanto secretarias têm pensado e têm trazido como o IDEB pode ser utilizado para monitorar e avaliar suas ações. E, na prática, a gente vê tanto grandes conquistas e grandes avanços nesse sentido como limitações no uso desse indicador. É isso que a gente quer conversar aqui hoje. As perguntas que a gente mandou no convite e que a gente também mandou para nossas queridas convidadas, que são todas mulheres, são essas daqui, que pautarão a nossa conversa: - Quais os conceitos por trás do IDEB? O IDEB é um índice, é um indicador. O que tem por trás dele? - Quais os seus potenciais uso em avaliações de iniciativas sociais e educacionais públicas e privadas? -Quais os limites de sua utilização? -O que as experiências com o IDEB dizem sobre a utilização de dados secundários na avaliação de projetos não governamentais? Acho que isso é uma questão bem particular dentro do Terceiro Setor. Como funcionam esses indicadores que falam de resultados macro, de resultados abrangentes, de resultados que demoram a serem evidentes? Como que as ONGs podem utilizar ou como elas não podem, ou não devem utilizar? Para ter essa conversa, teremos quatro convidadas, sendo a primeira a Elaine. Já, já eu leio o super currículo dela. Depois a gente vai escutar o pessoal da Comunidade

Educativa CEDAC, Patrícia e a Carol. E, finalmente, outra Patricia, da Fundação Itaú Social. Cada uma vai trazer suas contribuições específicas para essa conversa. Quem vai começar é a Elaine, que possui graduação em Economia pela FEA- USP; mestrado em Economia pela PUC-RIO; doutorado em Economia pela FEA-USP. Foi diretora do INEP, do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira entre os anos de 2008 e 2011. Atualmente é professora do Departamento de Economia e faz algumas consultorias para a Fundação Itaú Social. Muito Obrigada a todas. Eu vou trazer depois o currículo de cada convidada no momento adequado. Obrigada. Elaine Toldo Pazello, Departamento de Economia da FEA-RP/USP Bom dia a todos. Primeiro agradecer o convite do Antônio e da Martina para estar aqui hoje, conversando com vocês sobre IDEB, o Índice de Desenvolvimento da Educação Básica, que começa a ser divulgado em 2007 mais ou menos. Falar um pouquinho o que eu pensei para a minha fala. Escrever um pouquinho do cálculo do IDEB, dos elementos que leva em consideração, procurando destacar as ideias por trás do indicador. E depois, relacionar o IDEB com a temática de avaliação de larga escala, que é onde o IDEB na verdade está inserido. Algumas das coisas que eu vou apresentar aqui são coisas que eu trouxe do INEP dessa passagem que eu tive por lá. Eu não trabalhava propriamente em fazer essas bases de dados, em coletar essas bases de dados, mas eu trabalhava em usar mesmo essas bases de dados; era a diretoria de estudos educacionais no INEP, onde a gente tentava usar os dados que eram produzidos lá dentro. Então muitas das coisas são da minha época de lá mesmo, do INEP. Até se tiver alguém do INEP, eu peço licença porque eu vou usar os dados do INEP, no sentido da gente aumentar a nossa discussão. A gente colocar: Qual é o conceito? O que o IDEB está medindo? Para depois a gente falar mais um pouco sobre ele. A minha fala é nesse sentido, pensar um pouco nos detalhes do cálculo, procurando destacar as ideias por trás do indicador, depois relacionar o IDEB com a avaliação em larga escala. Quais são os ingredientes básicos do IDEB? Na verdade, o IDEB mistura duas coisas. A primeira delas é a proficiência ou a nota dos alunos nessas avaliações. Vou falar um pouquinho sobre elas. E a outra é uma medida de fluxo escolar, que tem a ver com a taxa de aprovação. Então ele tem duas medidas, combina essas duas medidas. Uma medida de proficiência e uma medida de fluxo, vamos dizer assim, que a taxa de aprovação. Vou começar falando da Prova Brasil. O que sai de lá que compõe o IDEB? A Prova Brasil, na verdade, vem expandir a avaliação que já era realizada pelo INEP desde 1995. Em 1995, a gente tem primeiro o SAEB, que usa a teoria da resposta ao item que é uma ideia que permite que a gente compare os resultados ao longo do tempo. Mas a Prova Brasil vem expandir essa avaliação que já é feita. Aqui tem um detalhe do que é o SAEB, o que é a Prova Brasil.

Peguei isso ontem no site do INEP que eu acho que ajuda a gente. Eles estão definindo como Sistema de Avaliação da Educação Básica (SAEB) como se fosse formado por estas três avaliações. Essa primeira aqui, ANEB, Avaliação Nacional da Educação Básica, é como a gente conhece na verdade o SAEB. A gente chama SAEB, mas se você entra no site do INEP, ele está descrito dessa forma. Isto é copiado e colado de lá. Então essa daqui é na verdade o SAEB, Avaliação Nacional da Educação Básica, como a gente conhece a avaliação, que é a avaliação feita que começa lá em 95, que é amostral. Na verdade, qual é a ideia? A ideia é que não são todos os alunos que fazem a avaliação, mas apenas uma amostra. O INEP desenha uma amostra de forma que os resultados sejam representativos por estado, por unidade da federação, mas os resultados não são representativos, por exemplo, para município. Do SAEB não posso falar nota, proficiência de Matemática para os alunos de Ribeirão Preto. Não posso. Eu posso falar as notas dos alunos do estado de São Paulo, da rede estadual, da rede municipal, que seja. Mas eu não posso falar nada em nível de município, não posso falar nada em nível de escola, menos ainda de escola. Então é uma avaliação amostral. O que ela tem aqui que ela cobre também o 3º ano do Ensino Médio, que não vai aparecer aqui na Prova Brasil. E cobre também as escolas privadas, que também não vai ser coberta aqui na Prova Brasil. Se você começa com essa a avaliação amostral para diagnóstico, para dar uma ideia para a gente de como anda a educação. O que acontece em 2005, quando vem a Prova Brasil? O pessoal começa a sentir necessidade de você ter um indicador mais próximo, mais próximo da escola. Que eu chegue ao nível da escola. Que o diretor da escola saiba, consiga ver a nota para a escola dele. É aí que vem em uma unidade um pouco maior falar do município. Falar da rede, das escolas municipais de cada um dos municípios. É quando surge a Prova Brasil. Que tem a grande diferença, na verdade, que ela é censitária. A ideia é que todos os alunos das séries avaliadas vão fazer a prova e não só uma amostra de alunos. Esta é a grande diferença entre as duas: o SAEB é amostral e a Prova Brasil é censitária. Ela vai cobrir só os alunos do final do primeiro ciclo e final do segundo ciclo do Fundamental, 4ª série ou 5º ano, 8ª série ou 9º ano. Ela não vai cobrir mais o 3º ano do Ensino Médio. E vai ser, na verdade, censitária para os alunos das escolas públicas. Tem um recorte rural e urbano, daqui a pouco eu coloco em detalhes, mas escolas públicas. Aqui não tem mais, não é censitária para escolas privadas, mas apenas para escolas públicas. E essa outra aqui, que é a Provinha Brasil, como ficou conhecida, tem mais a ver com nível de alfabetização. Você começa só com alfabetização e depois entra Matemática. Essa aqui é 3º ano do Ensino Fundamental. Bom, então é daqui da Prova Brasil, na verdade eles chamam ANRESC, Avaliação Nacional do Rendimento Escolar, mas que a gente conhece como Prova Brasil. No primeiro ano especificamente da Prova Brasil, em 2005, você vai ter ao mesmo tempo duas avaliações. Você vai ter em um campo, a Prova Brasil e SAEB. Você vai ter duas vezes, as pessoas vão duas vezes ao campo, para fazer avaliação. A partir de 2007, essas avaliações já são integradas. E é aí, eu posso dizer assim, a gente só tem o SAEB. Sendo que um dos extratos do SAEB é justamente das escolas públicas e nesse caso não tem amostragem. A gente faz prova para todo mundo. Então, a partir de

2007, você só vai uma vez ao campo. Só vai uma vez aplicar a prova para as crianças. Sendo que em 2005, você foi duas vezes. A ideia é você pensar que agora tem o SAEB, como se pegasse o Brasil como um todo. Um dos extratos do SAEB é das escolas públicas. E nesse caso não tem amostragem. A ideia é que todos os alunos façam a prova. Para ter uma ideia de como a gente junta essas duas coisas. Enfim, como eu coloquei, a Prova Brasil vem com o objetivo de auxiliar os governantes nas decisões e no direcionamento de recursos técnicos, pedagógicos e financeiros. Ou seja, a ideia é que era de chegar mais perto do gestor, ele ter uma medida de desempenho, que ficasse mais perto dele. Estado é muito longe, então preciso saber como estão as escolas do meu município. Nesse sentido, como direcionar recursos, como pensar, tem duas escolas no mesmo município, uma está muito bem, a outra não está muito bem… como é que eu faço, como é que eu comparo? Eu precisava de um indicador mais próximo. E a outra coisa também era no sentido de buscar, envolver a comunidade, o IDEB vai ter um papel bastante forte neste sentido. As pessoas precisam saber qual é o IDEB da escola do filho dele. Precisa saber por que o IDEB da escola do filho dele é diferente do vizinho que estuda em uma escola próxima. Você precisa envolver a comunidade, em um sentido de pressionar para uma maior qualidade de ensino. A ideia é trazer esta avaliação que estava muito longe para mais perto do gestor. Resumindo: você começa com o SAEB, é uma amostra de escolas públicas e privadas. Os resultados são agregados por estado, regiões e Brasil. A partir de 2005, você tem Prova Brasil. Aí são todas as escolas públicas urbanas com mais de 30 alunos matriculados. Em 2005, ainda não tem escola rural. Em 2009, você entra com as escolas rurais, aí com mais de 20 alunos. Como está hoje? Em 2013, eles estão em campo agora, coletando Prova Brasil, se não me falha a memória. Novembro agora, eles estão aplicando as provas. Estão no 12º ciclo de avaliação. A questão é que é universal, ela não é mais amostral. Como o SAEB utiliza a teoria da resposta ao item, a ideia desta teoria é que eu tenha uma prova que é comparável ao longo do tempo. Então não preciso ficar preocupada que em um ano a prova foi mais difícil que do outro ano. Não tem isso, as provas são comparáveis, de forma que se eu olhar para a evolução das notas ao longo do tempo, a ideia que se aumentou, é porque está melhorando a qualidade de ensino, não é porque a prova ficou mais fácil, por exemplo. Permite também que se compare entre grupos diferentes, diferentes alunos. Os alunos também, quando fazem essas avaliações, eles respondem um questionário, diversas informações sobre a família dele etc. Os professores também respondem, os diretores também respondem e a ideia de que essas variáveis de alguma forma te possibilitam uma análise de fatores associados, que são os determinantes da qualidade de ensino. Vou pegar mais nos quesitos que formam o IDEB. Você tem a prova de Língua Portuguesa, de Matemática. Os itens são elaborados com bases na matriz de referência, que foi desenvolvida com base nos PCNs (Parâmetros Curriculares Nacionais) e na realidade das redes públicas.

O que é avaliado? As competências e habilidades que os alunos deveriam ter desenvolvido ao final de um ciclo de aprendizado. Final do primeiro ciclo do Fundamental, segundo ciclo do Fundamental. Trouxe só um exemplo bem rapidinho para a gente ter uma ideia. Bom, Matriz de Referência. O que deveria ser cobrado? Quais são os conteúdos que deveriam ser cobrados? Quais as competências e habilidades que deveriam ser avaliadas? Ela é referência, essa Matriz, para a construção dos itens, das questões que vão compor a prova. Os itens são questões de múltipla escolha. Trouxe só exemplo. Não quero entrar, tenho certeza que vocês sabem muito melhor que eu. Nível 125. Por exemplo, se um aluno tira 125 na nota do SAEB ou da Prova Brasil, o que isso significa? Significa que ele sabe, ele tem essas habilidades, digamos assim. Tem as diversas habilidades aqui: - Localizam informações explícitas que completam literalmente o enunciado da questão; - Inferem informações implícitas; - Reconhecem elementos como personagem principal. Enfim, tem um monte de habilidades. Em cima disso que eles vão fazer os itens. Eu trouxe um exemplo de item que é da prova para 4ª série ou 5º ano do Ensino Fundamental. A ideia é tentar inferir se os alunos conseguem detectar uma informação implícita no texto. É um quadrinho da (Turma da) Mônica e aí tem a respostinha. Mas a ideia é essa. Você tem uma Matriz de Referência que foi construída com base nos PCNs. Cada nível tem um significado do que as crianças devem saber se elas tiram aquela nota. E os itens são construídos em cima dessa matriz. Você tem para Português e para Matemática. Eles fizeram depois a mesma coisa um pouco para o Enem. Aí a gente tem a outra ponte, que é o Censo Escolar, outra avaliação que é feita pelo INEP. Mas aqui sob uma ótica diferente, digamos assim. Enquanto que na Prova Brasil ou no SAEB, as esquipes vão até as escolas, são feitas as provas, são coletados os dados, o Censo Escolar é diferente porque, na verdade, ele usa uma outra estrutura. A fonte são as escolas, na verdade, o censo é feito em parceria mesmo pelo INEP e as diversas Secretarias das escolas. Coletam-se informações todos os anos. Aqui está a data de referência do Censo Escolar. Uma informação bastante importante que o Censo levanta é o número de matrículas que vai servir de base para distribuição dos recursos do FUNDEP. Então se vocês entram hoje no site do INEP, já tem lá a publicação de matrículas que vão servir de base para distribuição de recursos do FUNDEP. Tem diversas outras informações além de matrículas, coleta informações sobre as escolas, infraestrutura, equipamentos, enfim, diversos aspectos. A partir de 2007… vou passar rapidinho, só para dar ideia de que o Censo Escolar coleta informação das escolas, coleta informação dos professores, coleta informação dos alunos. Os alunos dentro da escola formam uma turma, você tem informações para a turma. Quando você junta a turma com os professores, você tem as informações daquela disciplina que a turma tem aula. As escolas informam no começo do ano todos os alunos que estão matriculados. A partir de 2007, o Censo passa a ser assim. Informações individualizadas, antes a gente só tinha

informação agregada. Números de alunos da 4ª série, números de alunos da 5ª série. Agora não, você tem aluno por aluno. Quem são os alunos da 4ª série? A Ana, o Arnaldo e assim por diante. Aluno por aluno. As escolas informam no começo de ano os alunos que estão matriculados e depois no início do outro ano, ela tem que dizer o que aconteceu com cada aluno. É daí, na verdade, que vem a nossa outra unidade de medida que vai formar o IDEB, que é a Taxa de Aprovação. Um exemplo: no início do ano identifiquei 500 matrículas. No decorrer do ano, eu recebi mais 25 alunos, cinco foram transferidos e teve dois falecimentos. No final, tenho 518 matrículas. Eu tenho que saber o que aconteceu com esses 518. Eles podem ter sido aprovados, reprovados, ou podem ter abandonado a escola. A taxa de aprovação vai ser esses 400 divididos por 518. É esse o outro indicador que vai formar o IDEB. São essas duas medidas: proficiência da Prova Brasil e a Taxa de Aprovação que vem do Censo Escolar. Passei rapidinho, mas acho que só para a gente ter uma ideia do tamanho que é o Censo Escolar, um negócio muito grande. São 50 milhões de alunos, 2 milhões de professores, quase 200 mil escolas. Só para a gente ter uma ideia da diferença, esse seria do Censo da Educação Superior, que também é feito pelo INEP. Aqui é de 2011 e aqui é de 2012. Só para a gente ter uma diferença dos números. Para a gente ver aqui como o negócio é grande. Bom, então aqui vem a Taxa de Rendimento. Falei que usei tudo do INEP. E aí eu vou formar o IDEB, que nada mais é do que essa multiplicação entre a nota que obtive na Prova Brasil e a Aprovação. E a ideia de tentar combinar essas duas coisas aqui é pensar o seguinte: quanto maior a nota na Prova Brasil e quanto maior a taxa de aprovação, maior é o IDEB, melhor é a qualidade de ensino. Essa que é a ideia. Essa é a frase do Reinaldo, ele falava muito isso: “Quero que os alunos aprendam e aprendam na idade correta.” Então, de alguma forma o que eu quero captar aqui, que tipo de distorção. Olha, eu tenho uma escola, na verdade, que ela tem notas excelentes, mas ela também segura muito os alunos, tem uma taxa de reprovação muito alta, ou uma taxa de aprovação muito baixa. Então ela, na verdade, seleciona os melhores alunos e quando eu olho lá tem uma notona. Também não quero isso, quero que todo mundo fique na escola. Não só uma parte dos alunos, mas eu quero que todos os alunos aprendam. E por outro lado também não quero que comece a não me preocupar muito em inflar aqui a taxa de aprovação em detrimento da qualidade de ensino, detrimento do aprendizado. Também não é essa ideia. Quero que os alunos fiquem na escola e que aprendam. É um pouco desses dois elementos, que o indicador está pegando. Ele vai de 0 a 10. É calculado para cada escola, cada rede, cada estado e para o país, e todos têm metas. Vou falar um pouquinho das metas. A periodicidade é de 2 anos e o indicador vai de 0 a 10. Como é que sai dessa nota aqui e chega a uma nota de 0 a 10? Na verdade é só uma padronização que é feita com base nos valores lá de 97 do SAEB e a gente consegue pegar essa nota aqui que está entre, sei lá, 0 e 500, não tem definição dessa forma, mas mais ou menos isso e jogar aqui em uma nota que vai de 0 a 10. E aí eu estou fazendo a multiplicação dessa nota, que é uma média das notas de Português e de Matemática e da aprovação. Se eu estou olhando 4ª série, se eu estou olhando o IDEB de 4ª série ou 5º ano, eu vou olhar as notas na Prova Brasil da 4ª série, 5º ano e os indicadores de

aprovação durante todo o primeiro ciclo do Ensino Fundamental. Então é uma média para cada uma das séries. E aí, eu faço a conta. Uma coisa que o Moreno gosta de explicar: “Imagine esse IDEB 4.2. Aqui a nota 4.86. Se todo mundo tivesse sido aprovado, no sentido que você tivesse uma taxa de aprovação de 100%, a ideia é que 4.86 seria o seu IDEB. Como você tem alguma reprovação, é como se eu tivesse tirando um pouquinho desse valor. Então, quando eu multiplico pelo 0.86, eu perco um pouquinho dessa nota. Na primeira vez que se calculou o IDEB, foi construída também uma meta. Primeiro eles construíram uma meta procurando olhar para 2021, que era o ano da Independência... Quantos anos de Independência? 1822, faz a continha. Olharam para 2021, pensando nesse aniversário, digamos assim. Fala assim: “Olha, em 2021 eu quero atingir a nota 6 de IDEB.” De onde vem esse 6, foi com base nos estudos, olhando para as notas dos países desenvolvidos, do PISA, enfim, chegaram nesse 6. Eu quero chegar nos 6 em 2021. Para eu chegar nos 6 em 2021, quanto eu tenho que crescer por ano? Eu tenho que crescer isso daqui por ano. Beleza, calculei esse tamanho. Isso daqui é quanto o IDEB tem que crescer, digamos assim. Só que aí eu tinha que identificar as metas para as escolas. E qual foi a ideia de olhar as metas para as escolas, isso que eu acho interessante. Pensou-se o seguinte: “Eu quero acabar com a desigualdade em termos educacionais. Eu quero ver, se o IDEB continuar a crescer esse tanto aqui, quanto tempo vai demorar para o IDEB chegar nos 10?” Que é o maior valor, que é o 9.99 que está aqui. Aí, fez essa conta, e o tempo falou: “Vou demorar 91 anos… para o Brasil chegar nos 10.” Tem gente que vai estar com nota muito mais alta, tem vai ter gente com nota muito mais baixa, ou seja, a média é 6. Mas quando eu chegar nos 10, a ideia é que todo mundo esteja no 10. Então, não tem mais diferença em termos de aprendizagem. Aí pegou-se se esse 91 aqui e falou-se o seguinte: “Esse seria o tempo de convergência.” Porque eu acho isso legal, porque tem duas coisas aqui. Uma coisa é uma meta Brasil, que é o 2021 que a gente lembra, mas as metas para as escolas foram calculadas olhando outra coisa, que era pensar em uma situação ideal, onde você não tivesse mais diferenças entre notas, entre os diversos entes, como se não tivesse mais desigualdade em termos de aprendizado. Então o que eu fiz? Peguei o IDEB de cada escola. Para cada escola eu consigo calcular isso. A meta, só que aí é a meta 2095 é o 10. Eu tenho o tempo, que são o tanto de anos, e aí eu tenho o esforço necessário. Quanto você vai ter que crescer por ano para você chegar lá na frente, em 2095, e ter um IDEB de 10. E com isso, você vai identificando as notas para cada uma das escolas. Como elas teriam que crescer? Quer dizer, você está olhando para a escola, para falar como tem que ser o comportamento dela. Para chegar lá na frente e não ter mais diferenças com outras. Então, nesse sentido as trajetórias, por isso que a gente diz que as trajetórias devem contribuir para reduzir a desigualdade de nota. É nesse sentido. Se todo mundo estiver caminhando, seguindo, e alcançando para atingir suas metas, a ideia é que em 2090... Esqueci o número, mas acho que é 2095, todo mundo tenha 10. Uma das críticas que se faz, inclusive, que precisaria rever essas metas. Só para terminar essa parte das metas: como os resultados chegam para as escolas? Eu

não sei se está assim ainda, mas eu acredito que não deva ser muito diferente disso. As escolas recebem um cartazinho desse, onde tem os dados da sua escola em comparação com as escolas do município dela, em comparação com as escolas do estado dela, enfim. E a ideia é que a escola colocasse isso na porta para todos os pais verem. Esse é um cartaz, é muito bonitinho porque tem a escadinha onde você está no nível de conhecimento. E é legal porque se você for olhar o que isso significa, te dá uma mensagem... Para finalizar a minha apresentação, tentando relacionar o IDEB com a avaliação de larga escala. Como a gente está falando de IDEB, a gente está falando de Prova Brasil, a gente está pensando em uma avaliação de rendimento, uma avaliação de aprendizado e uma avaliação externa. Não uma avaliação dentro da sala de aula que o professor faz, mas avaliação externa. Que é feita por uma entidade externa à escola, por exemplo, o INEP. Avalia as escolas como um todo e serve para acompanhar a evolução da aprendizagem. Quais são as funções dessa avaliação de larga escala? Que é bastante da apresentação do Reinaldo, que na época era o Presidente do INEP. Ele coloca funções: - Autoavaliação. - Credenciamento. - Diagnóstico. – Transparência / Prestação de Contas. O que eu acho que o SAEB fazia, estava bem mais aqui em Diagnóstico. Tinha uma coisa mais na ponta. Mais do alto, digamos assim, mais de longe. Eu acho que o que o IDEB, a Prova Brasil e aí o IDEB trouxe, é essa função aqui, no sentido de Transparência e Prestação de Contas. Eu acho que a Prova Brasil e o IDEB contribuem bastante neste aspecto aqui, da avaliação de larga escala, que é a questão da prestação de contas. Pensando aqui, por que isso é importante? A prestação de contas? Gera um sistema de incentivos para a melhoria da qualidade de ensino. À medida que você divulga, à medida que as pessoas conhecem, as pessoas passam a pressionar mais, passam a exigir mais a melhoria da qualidade de ensino. À medida que você abre, você desfaz percepções equivocadas a respeito, que às vezes você tinha a respeito do desempenho da sua escola. Não é mentira, o Reinaldo conta várias histórias de prefeitos que chegavam para conversar e falavam: “Não sabia que era assim. Não achava que era ruim assim.” Então serve para você conhecer mais de perto o resultado da sua escola. E serve para essa questão aqui de identificação e difusão de boas práticas. À medida que você tem a informação, você fala: “Poxa, por que esse...” Tem vários estudos que fazem isso. “Por que essa escola vai tão bem, se ela tem os mesmos recursos que essa outra aqui? O que será que ela faz de diferente?” Você consegue identificar essas boas práticas. Então alguns argumentos são a favor aqui. Argumentos contra, para a gente até já estar colocando para o debate: - Distorção de incentivos: À medida que você coloca a nota de Português e de Matemática, você pode tirar a atenção para outras disciplinas que são igualmente importantes.

- Gaming: Isso daqui é uma coisa que muita gente fala. As pessoas começam a jogar com a regra do IDEB. Com a regra do jogo e na verdade, você tem uma melhoria no indicador que não tem nada a ver com qualidade. É outra coisa. Eles aprendem a fazer a prova, por exemplo. E você nota que o indicador melhorou, mas não significa melhoria de qualidade, tem problemas. E as medidas estão sujeitas a erro. E aí a gente tem erros sistemáticos. Olha, foi aplicar prova naquela escola, estava tendo uma obra do lado, as crianças não conseguiam se concentrar e foram mal tudo na prova. O aluno naquele dia não estava bem. Então, as medidas na verdade, são medidas do aprendizado, mas elas têm problemas. E agora pensando já no IDEB. É um indicador sintético, simples, as pessoas entendem, as pessoas compreendem, de 0 a 10. Ficou mais fácil. A Prova Brasil, a dificuldade dela era aquele número, 135, o isso significa? Estimula a prestação de contas por parte das escolas e das redes. Estimula o acompanhamento por parte dos pais. Permite comparação. Promove a redução das desigualdades. E aqui as desvantagens. Uma das coisas que a gente sempre fala que quando a gente olha para essa avaliação ou olha para os resultados das provas, na verdade você tem duas coisas ali. Você tem o esforço da escola e você tem na verdade outro reflexo que é o perfil de alunos que você recebe. Você tem o efeito do aluno e você tem o efeito da escola. A gente gostaria de saber só qual é o efeito da escola, livre do efeito do aluno, de forma que eu pudesse comparar duas escolas, esse seria o ideal. Então a gente tem que tomar cuidado quando a gente compara de qualquer jeito os IDEBs, porque a gente pode estar olhando para escolas que são completamente diferentes. Às vezes aquela escola que teve o IDEB menor talvez até tenha um esforço maior do que a outra que teve maior nota, mas ela tem alunos piores. Então fica complicado. Quando a gente for comparar, a gente tem que tentar olhar escolas que são parecidas, de forma que eu esteja, na verdade, tentando tirar o que é efeito da escola. Acho que a principal dificuldade é que todo mundo, às vezes, tem até a ideia de você tentar divulgar junto com o IDEB alguma medida socioeconômica na escola para que pudesse comparar melhor, mas a gente fala assim: “Olha, talvez o secretário saiba melhor comparar; talvez o gestor que trabalha com as escolas saiba comparar.” A ideia é essa, para a gente tentar não confundir as coisas quando está comparando. Martina Rillo Otero, Instituto Fonte A gente vai escutar agora as meninas da Comunidade Educativa CEDAC. A Patrícia Diaz é graduada em Pedagogia pela Faculdade de Educação da USP. Foi professora e coordenadora pedagógica do Ensino Fundamental I e formadora de professores e coordenadores pedagógicos dos programas Escola Que Vale e Encontros de Leitura pela Comunidade Educativa, projetos do CEDAC. Atualmente acompanha a Diretoria de Desenvolvimento Educacional da Comunidade Educativa CEDAC. A Carol Glycerio é jornalista, formada pela PUC-SP, com extensão em Gestão e Investimento Social Privado pela ESPM. Já trabalhou no Jornal da Tarde com editoriais de turismo e internacional. Foi repórter na divisão brasileira da BBC em Londres e em Miami onde acumulou experiência em reportagens sobre temas relacionados ao

desenvolvimento humano. Está na Comunidade Educativa CEDAC desde 2009, tendo atuado na área de Comunicação e Gestão de Projetos. Atualmente é Coordenadora do Projeto Parceria Votorantim pela Educação que abrange as áreas de Mobilização Social e Gestão Educacional. Carolina Glycerio, Comunidade Educativa CEDAC Em nome da Comunidade Educativa CEDAC, agradeço o convite. A gente vem trabalhando com o Instituto Fonte no projeto Parceiro pela Educação. E foi uma parceria muito bacana, justamente para pensar os usos de indicadores na avaliação de projetos. A gente veio juntas para essa fala, eu e a Patrícia, porque acho que tem olhares e experiências complementares nesse diálogo que a gente tem com parceiros públicos e privados em torno do uso de indicadores secundários e outros que a gente queria para monitorar e acompanhar a nossa prática. A Patrícia tem uma experiência pedagógica muito forte, de formação e de acompanhamento da prática didática muito próxima mesmo. Eu tenho outra relação, mais de interface com os parceiros, mais de como a gente consegue articular um espaço de diálogo comum entre parceiros públicos e privados para a gente pensar em como avaliar essa nossa ação no contexto em vez de rede social privada. Vou contar um pouco de quem a gente é, porque não se se todo mundo aqui conhece a Comunidade Educativa CEDAC. A gente é uma Oscip que já tem 16 anos de atuação. As pessoas que trabalham com a gente são professoras, vieram da sala de aula e desenvolveram uma prática de formação de educadores. E a gente foi cada vez mais desenvolvendo, ao longo desses 16 anos, uma perspectiva de atuação que a gente considera sistêmica mesmo, pegando desde a prática em sala de aula até a gestão da Secretaria de Educação. Temos uma prática de formação de professores, de coordenadores que são formadores desses professores, de diretores e das equipes das Secretarias. A gente trabalha bastante nesse modelo da parceria público-privada, com fundações e institutos empresariais e Secretarias Municipais de Educação. E nas áreas de atuação, só para a gente dá um pouco o escopo da nossa atuação, a gente atua bastante no segmento de Educação Infantil e Fundamental I e II nas áreas de Língua, Matemática, Educação Ambiental, Artes Visuais, Mobilização Social, Gestão Escolar Educacional e com projetos com diferentes formatos, alguns mais com foco municipal, outros com projetos mais regionais que articulam diversas Secretarias e estabelecem uma pauta comum regional de avanço na Educação. A gente tem uma abrangência de atuação que acho dá um repertório bem bacana para a gente pensar em como essas diferentes realidades, como a Elaine colocou, como cada escola funciona, no Pará, no Rio Grande do Sul. A gente trabalha bastante com essa diversidade de condições e a gente procura sempre nos diálogos com as Secretarias ajustar a intervenção ao que faça sentido mesmo para aquele contexto. Daí algumas ponderações iniciais que a gente quer trazer antes de começar, no uso que a gente faz do IDEB nesses projetos é uma questão que eu acho que a Elaine já comentou. Só para a gente alinhar que quando a gente está falando do IDEB, a gente fala do indicador que é importantíssimo porque ele sintetiza e articula duas dimensões, são

básicas para o conceito de qualidade de Educação. Acho que tem uma discussão que a gente não vai entrar aqui, se ele dá conta da complexidade do conceito de qualidade de Educação, acho que a gente teria que pensar em outros indicadores para compor esse debate, , mas ele é sem dúvida um indicador bastante importante para a gente garantir o mínimo que não está garantido ainda para os direitos de aprendizagem dos alunos brasileiros. Depois tem outra questão que é sutil, mas que eu acho que vale a pena pontuar. Se a gente está falando de um uso para o monitoramento ou se é para gestão do sistema de ensino das políticas educacionais. A gente está falando basicamente de indicadores que mostram como que os alunos ou como aquele conjunto de alunos está ao final de um ciclo de aprendizagem. A gente tem outras avaliações, que até a Patrícia vai detalhar depois, que são as avaliações internas institucionais, que dão mais conta do processo de aprendizagem e que permitem intervenções mais ao longo do processo. De acompanhar como está sendo feita a formação desses professores, como é a avaliação institucional naquela escola, tem outros elementos que ampliam esse olhar para direcionar a gestão. O IDEB, do nosso ponto de vista, ajuda a gente a monitorar que resultado esse processo produziu ao final de um ciclo, mas ele não pode ser o orientador de uma política de gestão. Não sei se ficou claro. Depois tem uma questão que é desse esforço que a Elaine citou que está sendo feito nacionalmente que de fato está produzindo um resultado, se é insuficiente, mas ele está acontecendo. O fôlego disso, se a gente vai conseguir manter o ritmo de crescimento, para chegar em 2022 na meta, ou enfim. E avançar para além disso é outra questão, mas agora nesses primeiros anos de acompanhamento, a gente tem de fato um avanço que tem fatores difusos. Acho que uns dos desafios aqui é a gente conseguir identificar qual é a contribuição do investimento social privado e o terceiro setor, neste contexto que envolve vários atores e que tem que ter investimento de público bastante grande, inclusive em termos de recursos bem maior do que iniciativa privada investe hoje. Bom, falando então já de como a gente na nossa prática trabalha com o IDEB. Com os usos bem instrumentais que a gente faz dele no primeiro contato com o parceiro financiador. Tem um interesse desse parceiro em atuar em uma região, um território que é de atuação dele e tal. A gente vai ter um primeiro cheiro do que está rolando naquele contexto. A primeira coisa que a gente faz é abrir o portal do IDEB, e acessar esses indicadores de proficiência e fluxo. Desde 2007, a gente consegue fazer com muitos mais elementos do que até então, quando a gente ía a campo muito mais desinformado do que era a realidade daquele município. Isso permite que a gente levante hipóteses sobre o que é mais crítico, do que é mais prioritário naquele contexto e depois afine esse plano de ação in loco, em diálogo com o parceiro e com a Secretaria… define escopo, define uma série de coisas que vão dar corpo e legitimidade para o projeto. Com uma primeira leitura dessa realidade, os dados que compõem o IDEB ajudam bastante a gente a se guiar nesse estudo de intervenção. Além disso, tem um potencial de alinhamento com a política pública que a gente tem os municípios com IDEBs prioritários, que até se saber que tinha um IDEB muito baixo, abaixo da média, não recebiam tantos recursos do MEC, passaram a receber porque isso teve uma visibilidade do próprio MEC do quanto esses municípios estavam expostos à

própria sorte. A gente consegue, então, compor com esses diferentes atores, com o MEC, com o poder municipal, com poder estadual, uma intervenção que de fato apoie esses municípios que precisam mais. Um ponto que a Elaine também comentou, mas tem uma questão também que é bastante importante é a gente discutir em toda formação que é a questão da desigualdade ou da equidade. Ao abrir os dados de cada escola, a gente percebe que existe uma diferença entre um IDEB e outro e a gente vai buscar as razões dessa diferença. Que contexto aquela comunidade está? Se está em zona rural, se está em zona urbana. Qual é o transporte, como é a chegada da merenda? Tem coisas que estão nos questionários da Prova Brasil, que são os micro-dados, e tem uma questão que a gente levanta em campo mesmo, que a gente provoca a Secretaria, os diretores, os atores daquele município para olhar para a realidade daquela escola e daí pensar qual a intervenção que cabe para aquele contexto. Todo mundo fala hoje que as crianças estão na escola e não aprendem. É senso comum, que a gente precisa fazer alguma coisa para mudar, mas que não tinha essa clareza. A escola era igual à aprendizagem, a gente não entendia muito bem onde que isso acontecia. Se localizou em um número muito objetivo, que existe uma questão de não-aprendizagem que precisa ser atacada e é o que a gente está tentando fazer. Dá um parâmetro objetivo para essas duas dimensões básicas do sucesso da permanência e o que a gente tenta ainda fazer nessa questão da equidade é estabelecer uma cultura de colaboração no município, de equidade no município em oposição à uma mania de “ranqueamento” que existe não só na mídia, mas acaba passando também para esses atores. A gente fala aqui da formação dos atores porque passa a ser de fato um conteúdo de formação, uma estratégia formativa com as equipes locais. A ideia é dar vida a esses números, muitas vezes a gente fala que a gente não pode se pautar só pelo IDEB, mas muitas vezes informações são muito pouco exploradas ainda. Elas ficam engavetadas, você faz a lição de casa, os dados existem, mas eles estão ali parados, mortos e tal. Então tem um investimento mesmo em tirar esses dados, olhar para eles, entender o que eles dizem. Tem Secretarias que ainda trabalham com porcentagem. A gente fala que uma taxa de reprovação de 20%, numa rede de 400 alunos, não é pouca coisa. Tem uma coisa de trazer vida a esses números e olhar o que a gente pode fazer a partir deles. E isso acontece desde o diálogo com os diretores e com a Secretaria até os professores. No caso dos professores, a Patrícia vai detalhar mais um pouco adiante porque a gente focou na Prova Brasil da proficiência porque é lá que a gente foca a discussão mesmo das aprendizagens esperadas. A gente trouxe, só como exercício mesmo, os dados de um município X para a gente olhar, resgatar qual o exercício que a gente faz, quando a gente tem um convite, uma provocação para atuar em um contexto que a gente não conhece. Você tem, por exemplo, no Fundamental I, o número de matrículas, a aprovação, a reprovação em 20%, por exemplo. E você tem esses dados de aprendizagem da Prova Brasil. E daí nesse município específico, a gente vê que tem uma questão de baixa aprendizagem nas áreas de Língua Portuguesa que só vai piorando ao longo do Fundamental.

Então pegando esse município como base e dizendo que há quatro escolas, a gente olha só para os IDEBs, em uma situação real, a gente decomporia isso, enfim, só para ilustrar a diferença que existe em uma mesma rede, de um IDEB de 1 e 9 até 2 e 3, pode até ser bem maior a diferença em algumas redes. O que a gente começa a formular e a discutir internamente, antes de levar uma proposta a um financiador para a gente conseguir se orientar nessa proposta? É bastante óbvio pelo o que a gente acabou de ver, mas tem uma questão de baixa aprendizagem de Língua Portuguesa e Matemática, e o que aponto é que necessidade de apoio à prática de ensino nessas áreas, nesse município. Ou seja, uma intervenção que no nosso repertório de ação, na nossa prática, exige uma atuação na formação desses professores. Tem também uma questão da taxa de reprovação, de abandono, que está lá em 3 a 4%, mas você pensa nisso em ciclo a ciclo. Então uma necessidade de intervir, para dar um apoio a esses alunos que estão deixando de aprender o que eles têm que aprender, e tendem a serem reprovados e abandonam as escolas mais adiante. Há uma necessidade de melhorar essa prática de sala de aula, mas também de dar um apoio a esses alunos que mais precisam. A gente na Comunidade Educativa CEDAC trabalha muito com estratégia de grupo de apoio, que são aulas complementares. A gente tem uma formação específica para o professor, não é exatamente aceleração, é outro conceito, não perde o que ele tem na sala regular. Ele passa a ter um apoio extra para ele conseguir de fato depois se integrar ao resto da turma. A ideia é que não fique ali no grupo de apoio para sempre, mas é um grupo de apoio com foco na aprendizagem específica que está sendo mais crítica naquele contexto. Essa variação significativa entre os IDEBs, então, permite que a gente fale com as Secretarias de uma ideia de gestão de rede. Que a Secretaria olhe para aquele conjunto com responsabilidade por cada escola e por garantir que cada escola garanta aquele mínimo de aprendizado. Depois disso, a gente vai então pensar no tempo de disposição de investimento do parceiro, na Secretaria, que tempo ela tem para receber a gente, qual é o tamanho dessa rede, quanto tempo a gente pretende ficar lá, qual vai ser o números de encontros. A gente começa a fechar um pouco no diálogo, in loco, qual vai ser a cara dessa intervenção. A primeira expectativa é que a gente tem que fazer, porque dependendo do recorte que você fizer e da disposição de investimento, de recursos, de tempo que você fizer, você consegue atacar ou aquele conjunto de necessidades ou você vai focar nesses dados mais específicos. Acho que está claro que o IDEB é útil para conduzir, para saber se é uma referência comum nesse diálogo. Mas algumas coisas que a gente ainda enfrenta e acha que é um processo que ainda está melhorando, esse diálogo, mas que ainda estão presentes. Essa falta de clareza, ou às vezes super expectativa em relação ao resultado de impacto, impacto que se dê no resultado e não no processo que gera nesse resultado o tempo de atuação do projeto, que é um tempo que a gente acha que tem que ser de pelo menos de 3 a 4 anos. O tempo de apropriação dos atores locais do que a gente está propondo, que são os professores. O tempo de repercutir na ação do aluno, da ação do aluno em repercutir nos resultados da aprendizagem, e isso de fato ser reivindicado pelo projeto

que é uma das intervenções, um conjunto de intervenções, é uma questão complexa, porque é um processo difuso e tem uma expectativa linear de que eu faço isso e colho aquilo. Então procuramos fazer esse diálogo o tempo todo com o parceiro, falando mais do parceiro privado, que tem outra lógica de atuação, mais pautada em processos que estão mais sobre controle que outra ação social. Então tem uma expectativa, tem uma abordagem direcionada exclusiva para o IDEB, como se isso fosse gerar um resultado específico imediato. E uma tensão com outros parâmetros que são menos mensuráveis, indicadores que não tem a mesma objetividade, a mesma força que o IDEB, mas que na nossa prática são igualmente importantes para a gente acompanhar de fato a nossa contribuição nesse contexto. Não vou passar por todos, mas só para citar alguns, de como a gente acompanha este trabalho junto com os municípios. A gente busca implementar uma cultura de formação continuada na rede. Para isso a gente observa e a gente comenta se estão sendo garantidas as condições para que esses professores estejam em permanente formação mesmo. A gente busca desenvolver um quadro local de formadores que assumam essa formação quando a gente sai do município. Acho que é uma questão básica de autonomia. E que essa formação não seja uma coisa muito teórica, que é uma queixa bem frequente dos professores, mas que seja pautada pela prática. Uma prática de leitura pelo professor diária, prática de leitura pelo próprio aluno, a gestão dos espaços dentro dos centros escolares com foco na aprendizagem, a autonomia… são indicadores que parecem que são mais qualitativos e menos objetivos em termos de expressão que eles têm para compartilhamento com os parceiros, mas que tem importância de fato para a gente conseguir acompanhar a evolução dessa rede. Patrícia Diaz, Comunidade Educativa CEDAC A gente trouxe um diagrama que resume um pouco esse percurso que a Carol apresentou. Como a gente coloca mesmo a aprendizagem como centro de toda a nossa atuação como fonte de sentido para todas as nossas etapas, algumas delas já descritas pela Carol. Não vamos esgotar essa discussão, ela é bastante complexa, mas eu acho que uma das provocações que eu quero deixar para o debate é trazer à tona quantas variáveis estão presentes nesse processo. A gente está falando de IDEB, que traz duas variáveis importantíssimas, mas para a gente impactar nessas duas, tem uma porção de outras envolvidas nesse processo. Tendo aprendizagem central e fonte de sentido para toda ação educativa, a gente tem uma série de atores envolvidos nesse processo. A gente selecionou alguns importantes, com os quais procuramos interagir quando vamos a campo fazer uma intervenção. Esse núcleo são os alunos. Para que os alunos aprendam, a gente tem os pais próximos a eles, ou não tão próximos, e que essa relação entre onde estão os alunos no período escolar e os seus pais precisa ser fomentada. Então esse amarelinho representa os pais. A gente tem os professores que precisam fazer uma ação, vou pegar alguns exemplos de algumas coisas que estão listadas para mostrar um percurso. Eles precisam, por exemplo,

planejar as aulas que serão desenvolvidas com esses alunos. Esse laranjinha representa os coordenadores pedagógicos, que na nossa visão são os parceiros desses professores que são esses azuizinhos para esse planejamento. O coordenador pedagógico nas nossas intervenções tem uma reflexão para assumir o papel de formador permanente desse professor e o espaço de formação é o planejamento da própria formação desses alunos. Uma formação em serviço, uma formação no contexto de trabalho desses professores. Essa outra cor que aparece aí são os funcionários da escola, que também têm interação com os alunos e também têm a garantia de transformar essa interação em espaços e relações educativas que vão compor as condições para que a aprendizagem aconteça. Nessa outra esfera aparecem os diretores, os gestores escolares, que precisam, por exemplo, garantir o espaço de formação permanente que os coordenadores vão interagir com os professores para que os planejamentos aconteçam da melhor forma e as atividades com os alunos tenham sucesso. Essa outra esfera traz o Conselho Municipal e Estadual de Educação, que também tem aí a sua contribuição e a sua ação para definir diretrizes, para acompanhar a implantação desse trabalho das escolas, das redes municipais e estaduais. Bem, como o Conselho Nacional de Educação também. Um dos exemplos que tem sido bastante discutido e que o Conselho Nacional tem uma importante contribuição é a discussão da base curricular comum, por exemplo, nacional que tem um impacto bem grande dentro desse ciclo. Irá ajudar, inclusive, que não aconteça o estreitamento curricular para realização da Prova Brasil. Trabalhar só com os conteúdos que são avaliados pela prova, mas ampliar esse leque para a gente não simplificar. E, por fim, a esfera do MEC que tem que indicar políticas... Acompanhar todo esse processo nesse diagrama todo. Esse é um diagrama que não se esgota. Tem uma série de coisas que ficam de fora, mas a gente procura na formação com os diferentes atores, construir alguns percursos. E a Carol, quando apresentou um exemplo de um município, quando a gente avalia na porta de entrada dessa avaliação pelo IDEB, pelas aprendizagens, e depois com um diagnóstico local, e com a conversa com o município e com o parceiro financiador, a gente vai definir juntos que pedaço dessa esfera vai ser possível trabalhado em cada projeto. E, a partir daí, a gente vê que muitas coisas vão ficar de fora, muitas coisas vamos ter que fazer parceria, a fim de conseguir unir todos os esforços necessários para o centro do diagrama ser bem sucedido. Tem algumas reflexões muito semelhantes ao que a Eliana trouxe e eu vou destacar o que eu acho que ainda não foi falado, que é essa intervenção na formação. Quando a gente fala de Prova Brasil, que avalia alunos no final dos ciclos, da 4ª série, do 5º ano e do 9º ano, a gente está falando de um trabalho que está sendo avaliado que envolve toda equipe pedagógica da escola, e não só os professores daqueles alunos, daquela série, naquele ano. Então isso também tem uma implicação importante para se considerar. Quando a gente fala do Ensino Fundamental II, a gente não está falando só de avaliar um trabalho que foi feito pelo professor de Língua Portuguesa e de Matemática, mas a gente está falando de um trabalho que é ou deveria ser de responsabilidade de todos os professores, de todas as áreas daquele segmento.

A Eliane já colocou esses dois primeiros itens. Aqui eu trago uma discussão a respeito de um desvio, que vem acontecendo muito, que são os simulados, os treinos específicos para realização da Prova Brasil. E como isso, por exemplo, no exemplo de Língua Portuguesa é bastante complicado, já que a leitura é um conhecimento que você não aprende somando habilidades, mas tem um contexto muito maior que precisa acontecer. Apesar de a gente não descartar o uso dessas avaliações para que os alunos conheçam esse instrumento, possam controlar o seu tempo de execução dessas avaliações. Apesar de ser um aprendizado importante, não serve para ensinar os conteúdos da Língua. Martina Rillo Otero, Instituto Fonte Muito interessante, acho que a fala de vocês revela um desafio que a gente tem na lida com indicadores de modo geral… que eles medem uma coisa, mas esse fenômeno não é alto determinado, ele está relacionado com outros processos. Agora vou convidar a Patricia Mota Guedes, da Fundação Itaú Social, que possui graduação em Ciências Políticas e Alemão pela Universidade do Arizona. Mestrado em Administração Pública pela Universidade Massachusetts e em Políticas Públicas pela Universidade de Princeton. Coordenou programa de educação e saúde com foco em crianças e adolescentes pelo governo do estado de Massachusetts e, desde 2001, atua no Brasil como pesquisadora e gestora de projetos educacionais. Atualmente é gerente de educação da Fundação Itaú Social e coordena o projeto Avaliação e Aprendizagem. A Patricia trouxe para distribuir nesse Diálogo uma publicação chamada “Avaliações Externas – Perspectivas para Ação Pedagógica e a Gestão do Ensino”. Os interessados podem pegar um exemplar e também baixar gratuitamente no site da Fundação Itaú Social: http://www.fundacaoitausocial.org.br/_arquivosestaticos/FIS/pdf/avaliacao_e_aprendizagem.pdf Patricia Mota Guedes, Fundação Itaú Social A verdade é que a Elaine, a Patrícia e a Carol fizeram um trabalho incrível de mapear as principais questões para as Secretarias de Educação e para as escolas e também para investimento social privado, pensando em IDEB, pensando em Prova Brasil e também em dados de fluxos. Para essa reflexão aqui, eu vou focar um pouco mais as minhas reflexões nas organizações sociais. Naquelas organizações sociais de diferentes tamanhos, de diferentes portes, que realizam atividades socioeducativas no seu território. E aí, às vezes, com alunos que frequentem uma escola ou um grupo de escolas, no caso de pequenos municípios, organizações sociais até que têm uma maior interação com sua Secretaria Municipal de Educação. Por que isso? Acho que a Martina nos provocou quando a gente estava conversando e as colegas também para tentar pensar: “Ok, para além da escola e da Secretaria de Educação, o que mais ocorre no território junto às crianças e adolescentes que pode contribuir para ampliação da aprendizagem? E será que

indicadores educacionais, avaliações externas têm alguma contribuição? Para aprimorar esse trabalho?” Eu vou arriscar dizer que é muito possível. É possível, sim. Inclusive é possível que o IDEB e avaliações de larga escala possam servir como catalisadores e como subsídios, não sozinhos, mas podem contribuir como subsídio para planejamento, para construção da parceria ONG-Escola, em iniciativa social junto as crianças e adolescentes. Quero contextualizar que parte das reflexões que eu trago aqui, um pouco do diagrama que eu apresentarei, reforça vários pontos que o pessoal do CEDAC trouxe, vem de uma trajetória de um programa específico da Fundação Itaú Social que é o Avaliação e Aprendizagem de 2011 a 2013, um programa realizado em parceria com o Cenpec. Vejo a Heloísa, lá no finalzinho da plateia que, aliás, é coautora da publicação que a gente está distribuindo. Ao longo desse período de três anos, nós fizemos um trabalho intenso de formação de técnicos e gestores de Secretarias Municipais e Estaduais, um trabalho de produção de conteúdo, e aí também muito com essa perspectiva já apresentada pela Carol e pela Patrícia, de trazer as avaliações de larga escala, avaliações externas para dialogar com esse diagrama, sempre com foco na aprendizagem do aluno. Fazer com que a avaliação em larga escala seja subsídio para que possa dialogar com a avaliação feita pelas escolas, ou seja, um olhar conjunto com as escolas. Como é que nossos alunos estão aprendendo? Quais ações coletivas nós fazemos? Com os nossos professores, com os nossos alunos, com as famílias, com os funcionários para alavancar os resultados de aprendizagem. E a avaliação da aprendizagem feita lá no dia a dia na sala de aula, pelo professor. Sempre lembrando, uma perspectiva que não é só professor de Língua Portuguesa e Matemática. São os professores daquela escola que estão trabalhando com habilidades, competências e conteúdos com daqueles alunos. Por que eu trouxe esse diagrama para pensar um pouco nessa relação com as iniciativas sociais, com as organizações sociais? Essa reflexão também vem muito, não só de avaliação e aprendizagem, mas da trajetória que na Fundação a gente tem tido, em um trabalho de educação integral, seja um trabalho mais direto, de formação com ONGS. No Brasil inteiro que trabalham para ampliação de conteúdo, realizam ações com crianças e adolescentes pelo prêmio Itaú-Unicef, programa de formação... então essas experiências locais das ONGs, mas também um trabalho que a gente vem realizando com Secretarias de Educação, para assessorá-las na implementação do seu plano de educação integral. A formação de suas equipes que realizam educação integral, e como se entende educação integral para além só de tempo, mas ampliação também de espaço e conteúdos da aprendizagem. Então essa reflexão, inclusive da parceria ONG-Escola, essa ampliação vem muito dessa experiência também. Vou fazer o exercício com vocês, que eu espero que no debate a gente possa aprofundar mais. Vamos colocar no lugar daquela organização social. E eu acho que aqui tem várias organizações, ou representantes, ou parceiros de organizações sociais que estão realizando o trabalho, seu diário com as crianças e jovens da comunidade. A Elaine mencionou, Novembro, mês de Prova Brasil. Quem trabalha lá no campo sabe. As escolas estão correndo, está todo mundo ansioso. Se você vai apresentar um projeto para uma diretora de escola, a primeira coisa que ela vai falar é: “Depois de Novembro.

Porque eu estou aplicando Prova Brasil.” Se ela tem ciclo de alfabetização, agora estou com avaliação externa do ano, avaliação externa da alfabetização, se bobear, se essa escola estadual ou municipal participando de uma avaliação externa estadual, eu também estou aplicando, se for aqui em São Paulo, SARESP, se for no Espírito Santo, PAESB, em cada estado vai mudando, mas é anual e é uma tendência, a grande maioria dos estados estão adotando seu sistema de avaliação externa. E ela vai falar: “Olha, não venha me falar do seu projeto social. Eu estou aplicando Prova Brasil. E depois do Prova Brasil, quando vier o resultado do IDEB, se você vai apresentar e conversar sobre seu projeto social, você ainda pode vir. Desculpa. Mas eu preciso aumentar o meu IDEB. Desculpa, mas eu preciso aumentar a Prova Brasil.” Estou trazendo isso, claro que estou fazendo um grande exagero, mas é talvez para pontuar a importância que organizações sociais também compreendam cada vez mais as possibilidades e os limites do uso de indicadores, de avaliações para poderem colaborar com as escolas nessa reflexão em como planejar ações e como contribuir, como pensar em estratégias. Então esse é um ponto importante. Quando então a gente pensa nesse recorte que eu trouxe aqui, Avaliação e Aprendizagem, temos trabalhado muito com ele, pensando na formação das equipes de Secretarias. Se vocês forem lembrar daquele diagrama, avaliação larga escala, avaliação institucional da escola, avaliação da sala de aula, tem aqui um eixo de uso que está no âmbito da Secretaria da Educação, as tomadas de decisão que elas fazem para além de simplesmente reportar o diagnóstico e ir à escola e falar: “Você tem que melhorar.” Mas, de fato, pensar em quanto Secretaria, que ações sistêmicas precisam ser feitas, que apoio é feito para escolas para que elas consigam melhorar os seus resultados, a gestão no âmbito das escolas? O que a escola enquanto coletivo precisa fazer e o trabalho pedagógico da sala de aula? As possibilidades de aprofundamento, parceria ONG-Escola, podem acontecer nesses três níveis. É possível. Eu trago de forma muito forte. É fundamental a qualificação das equipes de Secretarias, é fundamental a qualificação das equipes das escolas, é fundamental a qualificação das equipes de organizações sociais que realizam esses trabalhos quando chegam para apresentar o seu projeto e para construir juntos estratégias com a escola. A gente vai ver que isso para política de educação integral vai ser incrível e eu vou trazer um resultado bem concreto para finalizar minha fala. Se eu separar o que eu falei educação integral… Quando a Carol, a Patrícia e a Elaine também pontuaram… Esse perigo de estreitamento do currículo, estreitamento do que é feito, do que é desenvolvido com os alunos, com a ilusão de que treinamento ou esse estreitamento vai garantir resultados, primeiro tema que me vem é o conceito de educação integral. A gente sabe que a ampliação de repertório, a ampliação de espaço de conteúdo e tempos, é a base do conceito de educação integral que hoje já está no nosso debate público, já está no plano nacional de educação, já está no horizonte de política educacional. Por isso, em 2008, a Fundação foi uma parceria importante que a gente fez com a nossa área de Avaliação Econômica, coordenada pelo Antônio, muito fruto dessa nossa trajetória em educação integral. Será que há impactos, e se há impactos, quais são os impactos, da ampliação de jornada, com atividades educacionais diversificadas para a vida da criança, adolescente, jovem? E ela traz resultados de aprendizagem? O que a gente vivia na época? Uma polêmica muito grande de mais

Português e Matemática, nada de diversificar atividades. E ainda havia alguns que diziam: “Essa coisa de música e capoeira e batucada e circulação pelo território. Que absurdo, tem que ter mais tempo de Português e Matemática, mais reforço.” Quem se lembra, quem já ouviu isso, quem continua ouvindo isso? Alguém? Certo. Acho que a gente tem que entender que isso faz parte do debate. Agora a gente também precisa se municiar de evidências que possam mostrar outro jeito de pensar e outro jeito, inclusive, de utilizar indicadores educacionais, então não mais como um vilão, mas vamos utilizá-lo para compor avaliações e reflexões que a gente precisa fazer sobre este trabalho. A nossa pergunta era nesse sentido. Qual foi a parceria estratégica que a gente fez para realizar, para investigar esta questão? Na verdade essa não era só uma questão nossa da Fundação, era para a prefeitura de Belo Horizonte que vinha realizando uma política de educação integral, escola integrada que prevê a parceria ONG-Escola, na oferta dessa ampliação do tempo e de conteúdos. As ONGs fazem parte do desenho da política, as crianças circulam, realizam parte das atividades fora e é uma matriz curricular bem diversificada. Então a Secretaria e a prefeitura também tinham essa pergunta. Será que está trazendo resultados? Que resultados? Para finalizar, eu acho que era muito mais para fazer uma provocação. Então, as organizações sociais compõem esse desenho, assim como universidades, então tem diferentes atores, uma coordenação pedagógica com intencionalidade. Acho que tem uma série de detalhes dessa política que eu não vou entrar aqui. A gente tem mais detalhes no site da Fundação Itaú Social, o estudo detalhado, mas acho que é importante que a organização social nesse desenho da política é ativa. E eu não estou falando só, muitas organizações que participam desse desenho são pequenas. Elas atuam junto ao jovem daquele bairro, daquela escola. Mas tem uma intencionalidade muito forte, uma articulação muito clara. Quais os resultados que a gente viu nessa avaliação e aí foi uma avaliação que teve um recorte de metodologia. Uma avaliação econométrica, uma metodologia econométrica, deu para a gente ter grupo controle e grupo de tratamento porque em um primeiro momento, BH não implementou em todas a suas escolas a política. A cada ano o número de escola que aderiram ía sendo maior, mas a gente conseguiu, digamos, ter essa possibilidade de comparar escolas parecidas, com alunos muito parecidos, em comunidades muito parecidas, mas ao longo do tempo fazer essa comparação. Ela incluiu pesquisas de campo, questionários aplicados, famílias dos alunos, mas também incluiu no seu recorte e aí a gente queria muito, Elaine, na época, trabalhar com os micro-dados do Prova Brasil, e a gente não conseguiu em tempo hábil. Mas eu trouxe de qualquer forma, porque se a gente tivesse conseguido, a gente teria feito e de qualquer forma, a gente usou os dados da avaliação externa de BH que avalia e que seguem a mesma matriz do SAEB, da avaliação externa, enfim, a gente decidiu que a gente precisava acompanhar. A gente fez um acompanhamento do corte de alunos, então não foi só a fotografia da escola, mas na verdade o acompanhamento dos alunos ao longo do tempo e aqui chamando a atenção, alguns resultados que provocam muito a reflexão sobre a educação integral e sobre essa ideia do papel das organizações sociais que foi: nós observamos resultados positivos em Língua Portuguesa e Matemática. E aí utilizando dados da avaliação externa, então não eram provas dos professores. Eram avaliações que acompanhavam os alunos ao longo dos anos.

A gente também observou que aqueles alunos que começaram em um nível mais baixo de proficiência, eram os que tinham resultados maiores de avanço. Então na ideia de você poder acompanhar o avanço ao longo do tempo. E um terceiro ponto que também foi muito importante que essa parte a gente reforça o efeito equitativo. No sentido que a política é, esse estudo dá pistas que ela consegue ter um efeito equitativo grande. E outro ponto que também foi incrível para se pensar em implementação da política e do fortalecimento gradual das organizações sociais dentro dessa política, é que quanto mais longa a duração do programa na escola, melhores os resultados. A gente sabe, política pública demora a ser implementada, seja escola, seja organização social, elas também vão aprendendo no processo, então tempo de implementação na avaliação ficou claramente como decisivo também para gerar melhores resultados. Fechando esse exemplo, a gente resolveu trazer aqui, porque a gente falou bastante sobre o potencial de uso de indicadores educacionais de avaliações de larga escala para o trabalho pedagógico das Secretarias de Educação das escolas, das equipes escolares. Para complementar o nosso debate, experiências como essas e de outras organizações sociais, Secretarias que já começam a pensar políticas de educação com essa modalidade ONG-Escola, aponta para um papel importante de organizações sociais e por isso uma necessidade cada vez maior de que organizações sociais no seu território se apropriem desse entendimento e na construção das suas parcerias com as escolas e/ou Secretarias, possam trazer essa compreensão e essa reflexão. Isso só reforça a importância de debates como esse que vocês organizaram hoje. Obrigada.

Sessão de perguntas e respostas Martina Rillo Otero, Instituto Fonte A gente costuma escutar algumas perguntas e aí o pessoal da mesa vai respondendo em blocos. A gente pede para quando a pessoa for fazer a pergunta, que ela se apresente, dizendo o nome e organização ao qual pertence. Bruno José Daniel Filho, Fundap Eu queria perguntar se é possível ter ideia quantitativa do Gaming, separando as possíveis estratégias diferentes do Gaming. Fraude é meio difícil de quantificar, mas enfim, há uma série de ações concretas e eventualmente é possível fazer alguma estimativa, mesmo que embrionária delas? Ou das estratégias de preparação para prova ou convidar os alunos de pior desempenho a ficarem em casa no dia do exame? Eduardo Barbosa, Letra e Ponto Editora Eu sou Eduardo Barbosa e trabalho na Editora Letra e Ponto, que é quem formula e opera o programa chamado “Programa Ciência Hoje de Apoio a Educação de Alfabetização Científica”. A minha pergunta vai na esteira do Bruno. A gente visita muitas prefeituras.

Nosso público-alvo são as redes públicas de ensino. Nós trabalhamos só com as redes públicas. E a gente observa essa instrumentalização, que agora tem um nome chamado Gaming, que eu não sabia. Muito obrigado pelo conhecimento. Existe alguma possibilidade de colocar um deflator nesse IDEB, nos índices, de modo a diminuir essa prática, ou pelo menos, considerá-la menos? Eu digo isso porque eu venho da Universidade de São Paulo e a gente observava todo começo de ano reclamações dos professores, dos docentes, que os alunos eram mal preparados. E na Universidade de São Paulo, quem entra lá precisa fazer um cursinho, imagino eu, está certo? Então o cursinho é uma conclusão que estou chegando agora, me desculpem não sou especialista em educação, não fixa o conhecimento, só treina, um pouco isso. Como combater esse tipo de coisa para que a gente tenha uns indicadores mais confiáveis, mais consistentes? Rodrigo Travitzki, Colégio Equipe Bom dia, acabei de defender uma tese sobre o Enem. Eu teria uma pergunta mais técnica em relação ao IDEB que é quando a gente olha um pouco por cima, parece que o desempenho e o fluxo têm papéis, impactos semelhantes no IDEB e quando você vê os números, eu não cheguei a fazer os cálculos, mas o desempenho, pelo o que eu entendi, é de nota de 0 a 10, o fluxo é um número de 0 a 1. Então me parece que o desempenho na verdade tem um impacto maior no IDEB. Eu queria saber se confere isso? Tenho outra pergunta, tem uma coisa muito interessante que a gente, quando busca limites e possibilidades, acaba muitas vezes entrando em uma contradição que é oque a gente vê… Quando a gente está olhando os limites, a gente vê o quanto o indicador é limitado e logo depois a gente acaba usando para alguma coisa. E isso é uma dificuldade um pouco inerente desse tipo de estudo e tal. E eu queria saber se vocês conhecem outros tipos de indicadores de qualidade educacional, escolar? Que não sejam necessariamente baseados em testes ou em fluxos. Joyce Menasce Rosset, Compasso Consultoria Formativa Eu queria colocar que se essas questões da gente avaliar a educação dessa forma, se a gente não está indo na contramão do que a gente vem observando no mundo com relação de educação. A gente acabou desenvolvendo uma série de indicadores de avaliação para educação que estão indo no detalhe da disciplinaridade que já está sendo questionada e levantada no mundo inteiro. E a gente está fazendo um monte de discussões em cima do fundamento que está indo contra o que é o conhecimento hoje em dia. Quer dizer, será que essas discussões são pertinentes? Vale a pena a gente ficar valorizando esses indicadores que estão discutindo educação que já não existe mais no resto do mundo e o quanto a gente vai avançar pensando em educação dessa forma para esse nosso país? Martina Rillo Otero, Instituto Fonte Temos quatro perguntas, acho que vocês podem comentar o que vocês desejarem em relação às quatro perguntas. Elaine Toldo Pazello, Departamento de Economia da FEA-RP/USP

Eu vou começar falando sobre a questão do Gaming que o Bruno e o Eduardo colocaram. A ideia de Gaming é de você, na verdade, tentar enganar, vamos dizer assim, o indicador. Você observa, por exemplo, um aumento daquele indicador que não está relacionado com qualidade. Uma das coisas que inclusive o Bruno colocou como exemplo é convidar os alunos mais fracos a não irem aquele dia na aula. O que o pessoal do INEP começou a fazer? Acho que isso está vindo informado agora… Eu acho, não tenho certeza. Acho que o Enem eu tenho certeza, agora com a Prova Brasil eu não sei, mas eles queriam começar a colocar é o indicador que diz quantos por centos dos alunos daquela escola fizeram a prova. Que é uma das formas de você de alguma forma balizar o número de pessoas que está fazendo a prova. Por exemplo, para o Enem inclusive, para algumas escolas as informações não são nem divulgadas porque não tem o número mínimo de alunos que tenham feito a prova. Com a Prova Brasil também. Se não tem um número, eu não sei dizer que número que é, peço desculpas, mas tem um número mínimo, tantos por centos dos alunos têm que ter feito a prova para aquela escola ter um IDEB. Acho que de alguma forma de levar em conta esta questão do Gaming. Pelo menos a informação está ali para você ler com o devido cuidado. Em termos de separar assim, em termos dos estudos que já tenham visto isso, eu conheço alguns trabalhos que tentam estimar ou tentam medir se de fato isso existe. Se, por exemplo, a nota de Português e de Matemática, por exemplo, o SARESP tem prova de outras disciplinas que não Português e Matemática, então comparar as notas das outras disciplinas com a nota de Português e Matemática, aí não sei se é muito Gaming, ou se é mais estreitamento de currículo, enfim. Ou até comparar com essas outras notas, como se nessas provas não estão tão interessados assim, porque não está no IDEB, então eu vou olhar se a nota nessa prova é diferente da outra. Se for muito diferente, tem alguma coisa errada porque as crianças vão tão bem em Português e Matemática, e em História não vão? Tem alguma coisa... Então eu conheço estudos desse tipo, que tentam ver se tem algum impacto. Em termos de deflator, como o Eduardo colocou, eu acho que essa ideia, acho que é a coisa mais limpa que eu conheço, que eu consigo imaginar como forma de dar mais robustez ao indicador, por exemplo, seria essa. Quantos por cento dos alunos daquela escola fizeram a prova? Deflator é um redutor… Vou dar uma diminuída no indicador que teve problemas, vamos dizer assim. Martina: É um índice para reduzir... Elaine: Isso. Com relação à questão que o Rodrigo colocou, não tem peso diferente. Os indicadores estão entrando na mesma proporção. Poderia inclusive discutir, já teve isso, se deveria ter pesos diferentes, enfim, mas eles têm pesos iguais, não tem problema a questão dos números. Eu tentei ficar pensando aqui em outros indicadores, mas como eu respondi primeiro eu vou deixar... E eu não sei, Joyce. Posso estar equivocada, me perdoe, não acho que a gente está na contramão, na verdade. Eu acho que o Brasil, é um dos poucos países que tem um

sistema, que está melhorando um sistema de accountability, de responsabilização, de transparência, muito bom. Eu acho que os indicadores educacionais estão começando a melhorar agora, mas se a gente tem outros indicadores, o IBGE é referência no Brasil. Acho que coletar dados, trazer informação para a gente conhecer a nossa realidade, pode até ser como vocês colocaram. Olha, eu chego para cuidar daquele município, daquela rede, eu pego o IDEB. Então vou enxergar como que estão as coisas com os devidos cuidados, levando em conta os problemas que existem, mas ele me dá uma fotografia de cenário. Martina Rillo Otero, Instituto Fonte Eu queria aproveitar a pergunta da Joyce para fazer uma pergunta... Que conceito de qualidade de educação o IDEB traz implícito? Porque eu acho que é isso. Ela estava contrapondo com outro conceito, com outros conceitos de qualidade de educação. Talvez a gente possa focar mais no que ele traz e no que ele não traz. Elaine Toldo Pazello, Departamento de Economia da FEA-RP/USP Você me deu uma luz. Na verdade, nos Estados Unidos, a gente morre de inveja porque eles não só têm as avaliações para crianças de 4ª série ou 5º ano, mas eles têm para todas as séries e eles ainda têm acompanhamentos individuais. Consigo seguir o aluno ao longo do tempo. Eles seguem os alunos ao longo do tempo. Uma coisa que a gente consegue fazer hoje, por exemplo, com alguma dificuldade, mas que está começando acontecer com o Censo Escolar, que você já tem uma ideia de você criar uma identificação para o aluno de forma que você consiga seguir o aluno entre as escolas, enfim, mas pelo fato até da periocidade da ação, a gente não tem isso tão bem feito para... Não tem isso para as provas. Se tem é pequena ainda, é um painel selecionado. Não é uma coisa direitinha ainda, mas nos outros países, você tem para todas as séries em nível individual, então eu diria talvez não na contramão. Nesse sentido a gente está atrasado. Carolina Glycerio, Comunidade Educativa CEDAC Eu concordo que eu definiria mais como um atraso do que uma contramão porque a gente não garantiu o que é mínimo. Acho que a gente ainda está em discussão do mínimo. Aprender a interpretar texto e a resolver problemas de Matemática são... Acho que é o mais elementar que a gente deveria ter garantido para esses alunos. Eles já não estão sendo atendidos no direito que é básico para eles escolherem estudar o que eles bem entenderem. Mas, enfim... A Patrícia pode complementar, eu acho que até tem questões, tem um olhar mais amplo que o meu na questão, mas acho que não se reduz ao IDEB de forma alguma. Em relação aos limites e possibilidades que o Rodrigo colocou, que a gente se contradiz, colocar os limites e depois retomar o IDEB como um indicador que é válido porque eu acho que é o primeiro contato com a realidade. É uma primeira aproximação com o que está acontecendo com aquele município. E, de fato, se 12% dos alunos estão aprendendo o que é adequado de Língua Portuguesa no 5º ano e isso é independente de qualquer

coisa, isso por si só já é muito preocupante. Isso a gente já está abandonando estes alunos à própria sorte. A gente não tem o direito de fazer isso como sistema público. Acho que a educação começa de uma dimensão que é mínima mesmo, isso não está garantido, infelizmente não está. A gente tem que trazer outros indicadores para essa discussão, que amplie o conceito de qualidade de educação. Agora existe o indicador, o único que sintetiza o quadro da educação, nessa complexidade que você trouxe. A gente vai pensar em um conjunto de indicadores… Então não vai ser o IDEB, a gente vai pegar outro, e a gente vai de novo engessar ou a gente vai olhar para essa dimensão mínima e pensar em outros que também deem conta de falar em educação integral e dá autonomia desse aluno, de uma cultura de participação na escola e na vida. Que outros elementos que a gente pode trazer, de Arte, de Ciências... Para o CEDAC, pelo menos, está muito claro que está muito longe de resolver a questão da qualidade de educação, mas é hoje a primeira pista que a gente tem para questão do que é mais elementar e básico que não está garantida hoje. Acho que é mais uma noção de descompasso, de atraso, infelizmente, de uma dívida social que a gente tem em relação ao sistema público de educação do que de ampliar, mas não jogar fora essa discussão que precisa ser feita. O problema é se reduzir a ela, que a gente tende a fazer que é uma pena. Agora acho que é isso. Patrícia Diaz, Comunidade Educativa CEDAC Em relação às duas primeiras perguntas, eu não tenho conhecimento estatístico suficiente para falar de gaming. Eu posso falar um pouquinho, que talvez fuja da pergunta de vocês, mas a gente lida com essa questão quando trabalha com os gestores educacionais nas Secretarias, nos municípios... como parceiros nas discussões para melhorar a qualidade do ensino das redes. A gente coloca em cima da mesa essas estratégias também e a serviço do que elas estão e como elas podem, inclusive, reverter negativamente para o próprio município. Então tem de fato muitas vezes questões políticas, partidárias do prefeito, do secretário que muitas vezes não é uma pessoa da educação que quer ver o índice aumentando. E exerce uma série de pressões para as equipes técnicas das Secretarias e dessas para os diretores e desses para os professores. A gente lida nos espaços de formação com esse problema. A gente coloca em cima da mesa e discute com todo mundo. Como é que a gente vai lidar com isso? Então nos espaços de formação do miudinho das redes a gente coloca isso para discutir com todo mundo e para encontrar melhores saídas do que tentar escapar por estas estratégias. Uma delas é ajudar o secretário de educação muitas vezes a entender tudo isso, a entender o que está em jogo para que ele possa argumentar os espaços políticos e conseguir as condições necessárias para, de fato, melhorar o sistema daquela rede e não para buscar esses atalhos possíveis para melhorar o número, o índice. Em relação à pergunta do Rodrigo sobre os limites e as possibilidades, eu concordo com você que talvez, enfim, não foi isso que você falou, mas talvez o caminho fosse a gente não somar a ideia do IDEB e por outros indicadores, ou como a Carol comentou, por uma

cesta de indicadores que compusessem melhor o que é a qualidade da educação. Mas a gente tem uma responsabilidade de ajudar a Secretaria de Educação com as quais a gente trabalha, dialogando com o que está dado pela política pública. Dialogando com ela pelo o que ela tem que responder e se responsabilizar oficialmente e todos os recursos e os programas do governo que ela precisa conseguir, o diálogo que ela precisa fazer com isso. Então, seria irresponsável da nossa parte entrar na contramão e não ajudar essa Secretaria deixar de fragmentar as ações que muitas vezes ela fragmenta, então a gente costuma chegar a alguns territórios e ver várias ONGs fazendo projetos diversos e a Secretaria muitas vezes se sobrecarregando com todos esses projetos que vai muitas vezes cada para um lado, cada um com um indicador, cada um com uma intervenção. E ela não consegue muitas vezes colocar a discussão sobre uma meta comum, como unir aqueles diversos esforços daquelas parcerias que foram estabelecidas ali para o resultado central que é a aprendizagem dos alunos melhorarem. A gente toma o caminho de conversar com as Secretarias de Educação - com o que está dado como oficial na política governamental - e qualificar essa discussão. Ampliando, enfim, desvendando, desmembrando todos os indicadores necessários que precisam avançar. Em relação à pergunta da Joyce, também concordo com o que as colegas já disseram e eu acho que a gente tem uma história de ter começado a fazer avaliações sem antes avançar nas discussões do que os alunos brasileiros precisam aprender. Então a gente tem a história dos PCNs, a gente tem história de outras diretrizes que estão colocadas, mas isso ainda não traz um ponto de partida firme para que quem faz a educação dentro da sala de aula consiga ter certeza que está garantido o mínimo para inserção social de cada um dos alunos de forma adequada dentro de uma política nacional. A gente avalia todos por uma mesma matriz, como a Elaine mostrou um pouquinho os indicadores e quando a gente vai discutir com o professor a didática, como se ensina, seja dentro de uma disciplina, seja nessa visão mais integral, faltam elementos para ele de fato saber o que ele tem que ensinar, em que momento, em que progressão, enfim. Acho que é um desajuste que a gente vai precisar encarar e que o MEC, o Conselho Nacional, várias redes já vêm discutindo, que é como que a gente põe em discussão e todo mundo foge dessa discussão porque ela é muito polêmica, a diversidade do nosso país nos traz muitos desafios para colocar essa discussão na agenda, que é qual é a base comum curricular nacional? E como interpretá-la? Não como vamos garantir esse mínimo e esse mínimo basta… e esse mínimo está enquadrado e concordo com você de dentro de cada disciplina, mas essa discussão do que precisa ser assegurado precisa acontecer. Não foi assim historicamente e acho que traz benefícios porque, de fato, a gente falou aqui uma série de benefícios que essas avaliações externas podem trazer se bem trabalhadas, se bem discutidas, mas deixa esse descompasso entre o que de fato um professor lá dentro da sala de aula pode se basear para ter certeza que ele está fazendo o melhor trabalho que ele pode, ele está garantindo tudo o que precisa garantir para cada um dos alunos. Patricia Mota Guedes, Fundação Itaú Social Acho que vou focar em duas perguntas. Primeiro aquela de como combater aquele treinamento, o estreitamento curricular… aí realmente puxando um pouco das nossas existências diretas de formação com técnicos de Secretarias de Educação. O que a gente

tem observado? Tem alguns momentos de “Aha!”. Tipo, “Nossa Mãe!”. Que é quando? Que é quando os próprios técnicos responsáveis por acompanhar as escolas na hora de, por exemplo, se debruçar sobre as questões do Prova Brasil, as questões de Língua Portuguesa, Matemática, percebem que primeiro, que as questão estão testando, avaliando, buscando avaliar habilidades e competências que não são só desenvolvidas pelo professor de Língua Portuguesa ou de Matemática. E mais, aquelas questões envolvem conteúdos que podem e devem ter sido trazidos por outros professores ou mesmo no caso das séries iniciais, forem do mesmo professor, mas de disciplinas, por exemplo, como Ciências. Aí eu vou pegar um exemplo meio que inspirado pela sua pergunta, pelo seu trabalho com iniciação científica. E aqui um caso que eu sei que a Heloísa, e aqui repito, porque foi emblemático e foi um dos primeiros que testemunhei. Nesse trabalho de análise e reflexão, competência, leitura e interpretação de texto, esse grupo de técnicos de Secretaria, então não era de escola, eram técnicos responsáveis por dar orientações e suporte. Eles olhavam, a gente via que era uma questão que tinha três textos, uma espécie de conto, trecho de um conto, o segundo era um poema, e o terceiro era um texto científico. E os três estavam tratando do mesmo tema. Vamos dizer para simplificar o tema era água. Na hora de analisar a porcentagem de erros e acertos, e os distratores também, quais foram as questões marcadas, a porcentagem marcada em cada questão, o que vinha em um primeiro momento dos técnicos era: “Eles têm que praticar mais leitura. Têm que ler com mais atenção.” A gente demorou para chegar, puxando e instigando, a levantar hipóteses um pouco mais sofisticadas, tipo: “Que interessante, tem muito mais dificuldade nesse texto científico. Será que isso pode...” De novo, levantar hipóteses para depois voltar e ver o que está acontecendo: “Será que pode ter a ver com o nível de exposição que as crianças estão tendo desta escola, enfim. Há textos científicos na iniciação científica?” Estou trazendo este exemplo porque eu acho que, às vezes, as próprias questões das avaliações não são conhecidas e elas podem servir de subsídio de um trabalho de formação e reflexão. Você sair dessa armadilha…até porque por mais treinamento e operação mirabolante de treinamento e simuladinhos, simuladão, “Vamos pegar o 9º ano e vamos trabalhar esse ano”… por mais que isso até ajude em uma medida aos alunos se familiarizarem com, por exemplo, múltipla escolha, a gente ouve isso das escolas. Os alunos no primeiro momento, não sabiam fazer múltipla escolha, o simulado ajudou. Mas essa repetição só vai até certo ponto. Então os ganhos também não são mirabolantes. E é na formação que você consegue ajudar os profissionais a verem visualizar isso. E aí voltar para o trabalho mais diário, do dia a dia. O segundo ponto, e aí Joyce, todo mundo se lembra do seu nome, porque acho que a polêmica assim… eu acho que indicadores como o IDEB nos ajudaram muito. Ainda não superamos. A gente sim está na contramão, por exemplo, de uma tendência, que é a tendência à repetência. As escolas e os sistemas ainda repetem muito os alunos. Quando, acho que foi a Elaine que mostrou aquele quadro, acho que foi de 2007. Quando você vê criança do 1º ano de uma rede, 50% reprovadas, 60%, 30%, o que é isso? O nosso país sim está atrasadíssimo e na contramão, é um dos países que mais repete criança e adolescente, e a gente sabe que isso não está dando resultado. Nesse sentido, o IDEB, por exemplo, tem ajudado sim em algumas discussões com redes, na nossa experiência pelo menos, para elas se olharem e falarem: “Hum. Então não está adiantando. O que

está acontecendo? Que negócio de fluxo é esse? Como assim?” Então esse é um ponto. Ao mesmo tempo, pegando a provocação da Joyce sobre singularidades, acho que não adianta a gente desenvolver ferramentas que tratem de singularidades se a gente não prepara os profissionais para saberem lidar com elas. Eu vou dar um exemplo que a gente já tem hoje várias trajetórias, vários anos já que é o Provinha Brasil. Não vamos entrar em detalhe aqui, acho que a maioria do pessoal conhece o Provinha Brasil. Ele tem avaliação diagnóstica, você consegue ter dados por aluno e é aplicado pelo professor. Teste 1 e teste 2 no mesmo ano. Você consegue olhar como meu aluno está no início, como ele está em Novembro, como ele está em Maio ou Abril, como ele está em Novembro, e a gente vê uma grande dificuldade do professor saber interpretar resultados, levantar hipóteses, olhar para além do: “Quantos alunos estão no nível 1, 2, 3 ou 4”. O que isso quer dizer? E como eu replanejo a minha aula? E como eu trabalho com meus colegas, além de mim, eu isolada, como o meu coordenador pedagógico sabe me ajudar? Ou ele só vai ficar reclamando que eu tenho que melhorar?” São essas perguntas que a gente precisa fazer para aprimorar para além da ferramenta que tenha ou não a singularidade. E aí, por último, acho que pode ser um tema de próximos debates, não é para cá, mas eu acho que a gente vê uma tendência. Tem algumas avaliações internacionais que estão consolidadas, a gente não consegue imaginar o final do PISA, por exemplo. E como ela tem ajudado países a se compararem e se autoavaliarem, se olharem ao longo do tempo. Mas a gente também começa observar países como Coréia, Cingapura, repensando, querendo agregar as suas avaliações dos seus sistemas educacionais, por exemplo, habilidades não cognitivas. E são coisas que a gente faria antes com Coréia, que é olhar criatividade e cooperação, nos seus alunos? E quer colocar isso nos seus sistemas, a gente pode, às vezes, questionar se estão fazendo de um jeito, se estão fazendo de outro, mas eu acho que essa é uma provocação importante, válida, mas que ainda tem muito percurso para a gente fazer. Gabriela Albornoz, FICAS Eu tive por um bom tempo uma experiência de assessoria com um município aqui de São Paulo, também na área de educação. Eu estava retomando o nome do encontro, “Usos de Indicadores Educacionais na Avaliação de Iniciativas Sociais”. A gente está pegando o IDEB, e eu acho que, dentro das polêmicas, é um que já está construído. E acho, não sei se retomo a questão dele, mas pensando até nisso, o que vocês estão vendo de inovação nessa tentativa de construir outros indicadores e até mesmo no âmbito mais micro, tanto quanto as organizações sócias como da gestão da escola, de um município… sistema de avaliação sejam mais inovadores, que também busquem ampliar um pouco essa fotografia. O IDEB dá uma parte, o que mais está sendo trabalhado para ampliar? Antonio Bara Bresolin, Fundação Itaú Social Só queria fazer, acho que é uma provocação, mesmo porque aproveitando a leitura que ela fez do título do encontro, a gente está pensando no uso do IDEB ou de dados de

provas em larga escala para trabalhos de organizações não governamentais. E a princípio ele não foi o IDEB especificamente, as provas não são pensadas para esse uso, mas ela também pode ser usada com esse caráter. A minha primeira pergunta é: O quanto que as próprias escolas, professores, diretores, coordenadores pedagógicos se apropriam da fotografia que o IDEB dá? E como que eles conseguem? Quais as dificuldades, quais as facilidades que eles têm para se apropriar dessa informação? E para além da escola, das organizações que trabalham em parceria, como que se dá a apropriação delas em relação ao uso desses dados? A lidar com as informações. Faz parte, não faz? É a prática, não é? Onde estão os pontos de dificuldade, ou de atenção, ou de facilidade do uso das informações pelas organizações não governamentais? Bruno José Daniel Filho, Fundap Queria ampliar um pouquinho a questão do Antônio. E perguntar a respeito da apropriação dos diversos órgãos participativos que foram criados a partir da Constituição de 88. Como é que eles têm se apropriado dos resultados do IDEB e de eventualmente outros mecanismos de avaliação? E se a resposta for tem se apropriado muito pouco, seria o caso de repensar esses Conselhos? Sua estrutura é adequada? Há manipulações na escolha dos conselheiros? E assim por diante. Cecilia Ferrari França, Fundação Tide Setubal Aproveitando também essas duas perguntas últimas, a Elaine coloca que o IDEB tem uma expectativa de envolver a comunidade. E eu queria saber também se vocês têm algum relato de como as famílias são envolvidas, de como que as famílias têm se apropriado dessa informação? E talvez como que as iniciativas sociais têm trabalhado com isso, enfim. Pensar na questão da família. Edna Aoki, Cenpec A gente tem lidado com financiadores sociais que procuram ou propõem que a melhoria do IDEB nos municípios onde o projeto atue, sirva como resultado referência resultado do projeto. Até que ponto vocês consideram válido? Martina Rillo Otero, Instituto Fonte Na verdade eu só queria perguntar se o que nas experiências de vocês, aí vou abandonar um pouco o nome indicadores porque acho que a gente fica um pouco bitolado quando a gente pensa só em indicadores, mas que outros critérios devem complementar a leitura sobre qualidade de educação, sobre a realidade educacional, que deveriam acompanhar sempre o IDEB? Ah, o IDEB vai falar, disso, disso e disso. E que outros critérios com certeza devem complementar nossa leitura sobre isso? Sobre o fenômeno? Patricia Mota Guedes, Fundação Itaú Social Acho que vou começar pelo último e indo lá para o início. Acho que essa questão, Edna, que você fez sobre IDEB como medidor principal de projetos… Eu acho que vou responder

meio que compartilhando entendimento que a gente tem enquanto Fundação. E uma Fundação que avalia todos os projetos que realiza, como projetos de parceiros e projetos de políticas como a de BH que eu mostrei de forma super breve, não fiz justiça aqui, mas o tempo era curto. A gente sempre trabalha primeiro em uma, com uma necessidade de construir uma matriz da avaliação para aquele projeto social e que vai incluir, e assim quando trabalha com a educação, não tem jeito, você vai querer olhar resultados de aprendizagem medidos por algum tipo de avaliação externa. Às vezes não dá para fazer Prova Brasil, às vezes não é nem a Prova Brasil dá conta. Você quer ver alguma avaliação externa que possa ser anual, você quer estar acompanhando ao longo de um período... Mas nessa matriz é inevitável que você queira também incluir algo sobre fluxos, sobre a repetência, a evasão escolar que também são dados que compõem o IDEB. Mas uma matriz de avaliação precisa ser mais completa que isso, então, no nosso entendimento. E aí, como você viu, a própria avaliação de BH que a gente fez, deu para ver que a gente foi atrás dos dados das avaliações externas, mas a matriz de avaliação olhava para hábitos, o que a gente costuma dizer que são condições que favorecem a aprendizagem. Então, por exemplo, lá a gente tinha hábitos de leitura, hábitos de lazer diversificado, redução de tempo na televisão, relações interpessoais com família-escola, isso compõem uma matriz de avaliação. Então é esse o nosso entendimento. Acho que há muito diálogo mesmo para ser feito entre investidores sociais. Acho que é importante, quanto Fundação, acho que tinha que reforçar isso. O segundo ponto que eu acho que vou focar aqui. Alguém perguntou sobre as famílias. Como envolver as famílias na compreensão do IDEB. A gente nota, primeiro, a dificuldade de compreensão começa com equipes de Secretarias e equipes escolares. Então não dá para você falar para o diretor da escola que ele tem que envolver mais a família, se ele não consegue refletir, conversar e dialogar com aqueles diferentes tipos de avaliação, como é que ele vai conversar com as famílias? Esse é um ponto. Entretanto, o que gente observa? Quando a gente pensa no que compõe o IDEB, quando você tem equipes escolares que vão, e aí apoiadas por uma Secretaria, isso faz toda diferença, que está preocupada com os índices de evasão, a gente observa já experiências, por exemplo, envolvendo as famílias para o problema da repetência, para o problema de evasão escolar. A gente vê muita rede, muita escola, com alta evasão, por problemas de absenteísmo. Aí entra um pouco da pergunta do Antônio. Como envolver organizações sociais? Esse é um exemplo micro, mas isso que é legal... Uma coisa é o indicador e outra coisa é o que compõe, aí dá para você pensar em planos de ação. Como explicar que aquele jovem que não está indo à escola e vai repetir o ano por falta, ele não perde as ações na ONG. Ele está lá todo dia, toda semana. Então como é que essas equipes se conversam e junto com a família tentam pensar em estratégias para reverter esse problema? Eu acho que tem que ser pensado nesse nível micro e algo muito prático para que a família possa colaborar e não simplesmente uma grande palestra sobre o IDEB, “Olha como a escola está boa. Olha como está ruim.” Ou como eu já testemunhei em outra vida, não nesse programa, mas uma diretora berrando: “Vocês têm que trabalhar com os seus filhos para melhorar os resultados. Olha o que saiu na nossa avaliação.” Vocês sabem que isso acontece. Alguém pode dizer: “Não é por mal, ela estava desesperada.” Ok, muitas vezes ela estava desesperada... Não porque também sem apoio da Secretaria, acho que

liga com aquele diagrama complexo. Se eu estou sem apoio, eu te cobro, aí você cobra para quem está mais próximo. E enfim, por aí vai. Então eu acho que o trabalho com a família tem que ter muito cuidado e sempre nessa perspectiva de parceria. E uma parceria intencional, enfim... Com Conselhos… a gente tem uma experiência muito focada com Conselhos de Direito de Crianças e Adolescentes, na nossa experiência a dificuldade dos Conselhos é, inclusive, em construir diagnósticos de seus municípios. Então lá na Fundação a gente tem trabalhado com os Conselhos até para qualificar esta habilidade técnica mesmo, de olhar, então sem dúvida acho que tem muito caminho para ser avançado ai. E eu acho que vou parar por aqui... Antonio (Fundação Itaú Social): A fragilidade institucional. Patricia: Exato, tem a fragilidade institucional e tem também essa questão técnica mesmo, de como eles podem compor e o entendimento. E por final, a pergunta de inovação, eu acho que não dá para demorar aqui. Acho que é outro debate, mas é importante sim a gente olhar, e lá na Fundação a gente vai começar um mapeamento para entender o que está dentro e fora do Brasil, pensando em habilidades não cognitivas, mas não para destruir o percurso do que está sendo feito, no outro. Mas é muito mais olhar o que pode compor, para se ter esse retrato com estratégias. Patrícia Diaz, Comunidade Educativa CEDAC Acho que as várias perguntas foram me remetendo à nossa experiência de construção de uma teoria de transformação em cada um dos municípios em que a gente atua. Então, independentemente da gente iniciar e incluir o IDEB na discussão, de quem somos, de que diagnóstico temos da nossa rede hoje. Para realizar um processo de um, dois, três anos de parceria com os municípios, com os parceiros financiadores, a gente coloca todo mundo para pensar que educação queremos, onde queremos chegar nesse município e quais são as transformações necessárias para que o centro daquele diagrama tenha sucesso. E nisso vários indicadores entram em jogo, muitas variáveis entram em jogo. Então, a pergunta da Edna, me identifico completamente com ela, porque a gente recebe muitos potenciais financiadores com esse destino do investimento social privado voltado para o IDEB como resultado. E o que a gente tem feito é essa discussão, de falar: "Ok“ onde está o IDEB nesse percurso? Onde a gente localiza? Como ele pode nos ajudar?” E tem uma coisa que parece óbvia, mas que não é, que é mostrar para esses financiadores que o tempo, o recurso e a amplitude da intervenção deles pode nem chegar... É delicado dizer isso, mas é verdade. A gente, às vezes, tem que colocar na mesa. Qual é o tempo da sua intervenção? Qual é o recurso? Com quem você vai intervir? E a distância disso no impacto desse índice. Tem redes que a gente trabalha que tem uma tradição imensa na repetência e transformar o pensamento de todo mundo para isso é um trabalho árduo, longo, de articular o pensamento de um com o outro, de ir para dentro da sala de aula, pensar junto com esses atores o que está acontecendo ali. Então é um desafio mostrar para os investidores como que é que todas essas variáveis precisam ser transformadas junto com os atores.

Acho que também teve uma pergunta também nesse sentido. De como é que as escolas vão se apropriando disso? Então a gente tem uma premissa de atuação que é não criar dependência onde a gente atua dessa intervenção externa da nossa instituição e para isso a gente já tem que chegar e constituir juntos indicadores daquela intervenção com aqueles atores. Então construir um sistema de avaliação da intervenção junto com eles, que conjugue o IDEB, que conjugue muitas vezes uma avaliação que o próprio município, ou que o município responde a uma avaliação do estado. O que você tem aqui? Qual é o mapa desse município? E como a gente vai compor essa transformação e até onde a gente pode chegar? Esse diagrama que eu mostrei nos ajuda muito a circunscrever com todos os atores que estão em jogo, tanto nos municípios quanto os financiadores, qual é a intensidade da nossa intervenção e onde a gente pode chegar? E daí a gente estabelece então os indicadores de processo. Quais os indicadores intermediários? Um deles, por exemplo, é a própria cultura de formação na rede. Então é muito comum a gente encontrar municípios que fazem cursos de formação pontual para seus professores que não tem relação com o trabalho que esses professores exercem no seu dia a dia. Então, reverter essa concepção de que tipo de formação a minha rede precisa e como eu crio um quadro meu, sustentável dentro da minha rede? Que faça essa roda da formação girar sem a dependência de um agente externo é um dos resultados intermediários que julgamos extremamente necessário para posteriormente reverter no IDEB, reverter em uma série de outros resultados de impacto, de alcance. Outra coisa que também é essencial como resultado, é a estrutura funcional das redes de ensino. Então, muitas vezes a gente se depara com organizações e funcionamento das redes da própria Secretaria de Educação e da sua equipe que não ajuda, que chegue na sala de aula uma estrutura que facilite o professor a realizar seu trabalho, que facilite a escola a conversar com a família, então um exemplo desses são setores dentro das Secretarias da Educação muito fragmentados. Então cada um desenvolvendo um programa diferente, sobrecarregando muitas vezes os professores de informações que vão para diversos lados e... Carolina Glycerio: Com sistemas de avaliação… Patrícia Diaz: Com sistemas de avaliação e patamares de avaliação diferentes e que não contribuem. Então a gente discute com essa Secretaria de Educação como que ela precisa se articular melhor para que o impacto da ação dela nas escolas também vá direcionando essas convergências de ação para o que mais importa que é a aprendizagem dos meninos. Então isso, quando a gente consegue ao longo de dois anos de intervenção. Refletir junto com a Secretaria de Educação e mudar as forma de organização deles, isso a longo prazo vai dar um impacto muito bacana. Então citei esses dois exemplos. Tem outros de conquistas intermediárias que no nosso alcance, na nossa intervenção, são muito importantes.

Carolina Glycerio, Comunidade Educativa CEDAC

Eu não vou nem comentar cada uma das questões que acho que estão super bem respondidas pelas Patrícias, mas tem alguns pontos que eu acho que são meio transversais e eu sinto vontade de colocar na mesa assim. Uma é que eu acho que a gente espera da avaliação respostas que estão em uma discussão que são anteriores a avaliação. Que tem a ver com a base curricular nacional, tem a ver com uma matriz, tem a ver com uma concepção do que tem que estar dentro de educação formal, quais são os diálogos que a educação formal para construir com outras parcerias que a escola construir para dar conta de formar um cidadão, indivíduo no mundo de hoje, Brasil de hoje e tudo mais. Então, acho que a gente fica tão incomodado com a avaliação porque a gente não amadureceu o debate que é o que a gente está avaliando afinal? O que a gente quer avaliar? Língua Portuguesa e Matemática? Unidades específicas de Língua Portuguesa e Matemática são poucas mesmo, mas se a gente vai criar um indicador para cada área, a gente tende a “disciplinarizar” o conhecimento que é uma coisa, que aí sim, está na contramão de um mundo cada vez mais de conhecimentos mais articulados e fluídos. Então acho que isso é uma questão que para mim vem o tempo todo. Quando a gente pergunta, a gente espera da avaliação uma coisa que é anterior a ela. E também o limite dela. A Finlândia, por exemplo, que a gente cita o tempo todo como referência de sistema de ensino, soube pelo PISA que é o melhor sistema de ensino do mundo. Porque eles não ficavam o tempo todo atrás disso, não tinham um sistema de avaliação interna, porque eles sabem, eles têm uma concepção do que fazer, eles têm um acordo nacional do que é um currículo e da autonomia das escolas que permite esse diálogo. Então isso para mim é uma questão bem central nessa discussão. Então acho que tem que inovar, tem que pensar em indicadores de educação integral e tal, mas precisa pensar do que a gente está falando antes da gente avaliar. E outra coisa em relação ao envolvimento da comunidade, eu vou me segurar para não falar porque trabalho no projeto de mobilização então dá vontade de falar bastante, e a expectativa da participação da família. A família, além de ser informada, precisa participar. Acho que ela precisa ter uma coautoria nesse projeto educacional, senão ela fica de novo sendo culpabilizada, fica esse jogo de culpa de família ou escola que também não sai do lugar. Então acho que a gente está ainda aprendendo como trabalhar com os Conselhos e dando uma atuação de fato a esses Conselhos, e como a gente chega às famílias. Não pode simplesmente informando e dizendo o que fazer. E eu acho que a gente ainda não conseguiu também achar essa medida do diálogo entre escola e família e é por isso que a gente não sabe comunicar essas coisas. Elaine Toldo Pazello, Departamento de Economia da FEA-RP/USP Acho que grande parte das questões já foram abordadas. Eu vou só tomar o ponto da Edna que colocou até que ponto o IDEB pode ser referência para os resultados dos projetos. Acho que a gente ainda tem que discutir com o avaliador e falar assim para ele: “Na verdade, eu tenho que escolher indicadores de impacto que estão relacionados com as ações do meu projeto. Ou seja, que as ações do meu projeto podem influenciar aquele resultado. Olha, eu posso olhar para o IDEB da escola? Posso, mas os alunos que participam do meu projeto, estão naquela escola? Eu vou olhar o resultado de uma escola, mas eu estou olhando os resultados dos alunos que participaram do meu

projeto?” Eu olho o IDEB porque é um indicador que está disponível para todas as escolas públicas do país. E isso é uma coisa muito legal. Acho que por isso que essa coisa: “Põe no IDEB, põe no IDEB”, mas acho que tem coisa que dá, o projeto de educação integral de BH poderia ter feito usando os resultados da Prova Brasil, mas não foram, mas poderiam ter disso feito, eu já dei aula várias vezes nesse curso de avaliação econômica de projetos sociais que a Fundação oferece e lá dentro os alunos tem que se organizar e fazer as avaliações, tinham, não sei se tem mais. A avaliação, não tem. Eles tinham que fazer um trabalho olhando para os projetos deles. Que eles trabalhavam e tinha que organizar uma avaliação do projeto ao longo do curso. A gente já usou o IDEB, lá dentro. Por quê? Porque era a organização, desculpa não vou lembrar o nome, ela atuava em um bairro … os alunos frequentavam aquelas escolas, os alunos deles. Então era uma coisa assim, olhar para aquelas escolas, fazia sentido. E a intervenção era de contraturno, então fazia todo sentido do mundo usar as notas. A gente usou separado ou só proficiência, mas dava para usar. Então naquele caso fazia sentido, então acho que esse é a principal coisa... as ações do projeto, vou usar indicadores para avaliar o impacto do meu projeto que tenham a ver com as ações do meu projeto. Acho que eu iria nessa direção. Só colocar a questão da comunidade. Quando eu trabalhava no INEP, uns dos projetos de pesquisa dentro de um projeto maior chamado Observatório da Educação, era olhar em uma rede, uma cidade muito rica, Maringá, no Paraná. O que eles queriam ver? Se as escolas eram só isso. Logo depois que saiu os primeiros resultados de IDEB, assim em 2008... Eu estava no INEP. O que eles queriam ver? Se as escolas colocavam o papelzinho que eles recebiam do INEP dos resultados da escola. Eles iam na escola e queriam ver se estava lá. Não estava. Quer dizer, para a comunidade poder se envolver, ela tem que ter informação. Isso naquela época, está bem, gente? Isso é 2009. Não sei como isso está hoje, não saberia falar se as escolas colocam hoje. Mas naquela época, em uma cidade relativamente bem, não era uma cidade... A gente não está falando nada, enfim... As escolas não punham. E perguntavam: “Mas não recebeu?” Às vezes, sei lá, guardado na gaveta, atrás da geladeira, na cozinha, umas coisas assim. Acho que em termos de indicadores, em pensar em qualidade, mas aí foge um pouco porque acho que a visão não é na escola, mas olhar no município, pensar como um todo, que tem a ver com fluxo que são as crianças que estão fora da escola. Quando a gente está olhando para essas avaliações, a gente está olhando quem está na escola. Tem que olhar quem está fora da escola. Tem vários trabalhos hoje querendo olhar, principalmente para adolescentes que não terminam o ensino médio, mas também que não trabalham, onde eles estão? Não estudam e não trabalham. Tem um monte de gente preocupada com isso, que são essas pessoas que é um indicador importante. Acho que pensar para escola isso não faz muito sentido porque a escola é uma unidade maior, mas para o município é bastante importante, que acho que é um indicador que também deveria ser olhado. Martina Rillo Otero, Instituto Fonte Essa questão do uso IDEB reflete uma cultura dos indicadores que está presente na nossa sociedade. O que a gente faz? Nenhum indicador sozinho diz tudo. Mas, ao mesmo

tempo, a gente usa e quando a gente usa, a gente esquece que ele é parcial. Então me parece que tem sim uma questão que se expande para área de avaliação de modo geral que é: como é que você sustenta parcialidade do indicador? Como é que você usa e ao mesmo tem consciência que ele é parcial? Que ele não está dizendo tudo? Isso é realmente andar em cima da navalha. A gente escorrega para um lado, escorrega para o outro. Mas para mim é uma questão muito importante. Como que na prática a gente pode sustentar isso. Sobre a mesma coisa o IDEB. Na intermediação, na mesa de negociação com o financiador, que eu acho que tem uma questão que o campo social de modo geral está vivendo que é: de quem é o critério? Então a gente vai avaliar os nossos projetos e de quem a gente vai usar o critério? O meu, o teu? Como é que a gente constrói as avaliações de forma que elas respondam a critérios que não sejam só do financiador? E acho que tem muito para madurecer dentro do campo social sobre como é que a gente tem estabelecido conversas com os nossos financiadores. E aí não é só uma questão técnica. Claro que o uso do indicador depende da sua questão de avaliação. O que você quer avaliar? Essa é uma questão técnica. E aí escolhe o indicador. Mas para além disso está a nossa capacidade de sentar junto com os financiadores e dizer: “Olha, eu também preciso ter os meus critérios. Como é que a gente conversa sobre isso sem ser uma imposição?”. Eu já vou me despedir e agradecer a todos pela presença. Carolina Glycerio, Comunidade Educativa CEDAC Eu vou fazer um comentário rápido, só para esclarecer, caso não tenha ficado claro. Pelo menos na nossa concepção, a Patrícia disse discordar, o IDEB é um ponto de partida, não é um ponto de chegada. Por isso a distinção de monitoramento e gestão. Mas ele de alguma forma pauta a discussão… ele pode pautar se ele for ampliado, do que está garantido de direito de aprendizagem para os alunos. Então, daí tem todas as discussões e questões que a gente colocou aqui. Mas é ponto de partida e concepção de direito. E de direito que seja construído com esses alunos também porque a gente está muito aquém do que eles têm hoje de possibilidade, a gente está totalmente ultrapassado por eles… Ensino Fundamental II, Ensino Médio, a gente pensar bastante também. Mas como um ponto de partida.

Patrícia Diaz, Comunidade Educativa CEDAC Queria agradecer ao Instituto Fonte e a Fundação Itaú Social, a Elaine e todas as perguntas. O público foi muito agradável, foi muito produtivo. Faz a gente pensar um montão. A gente tem uma prática na Comunidade que todo evento que a gente vai quando a gente volta, a gente faz uma roda de conversa com a equipe lá dentro, contando. E eu já estou ansiosa para compartilhar com a equipe tudo que a gente pensou aqui. Queria dizer que hoje a gente está trabalhando com a questão do IDEB com muito mais tranquilidade. Nem sempre foi assim, porque acho que no começo a gente também sentia essa pressão e essa crença de que então vamos todos nos direcionar para o IDEB. Como é que a gente faz? Para a gente é um pouco contraditório. Se eu vou lá e discuto

com o professor como ensinar melhor, por que isso não gera o IDEB imediatamente melhor? É esse conflito nos perseguiu um pouco no início. E agora com histórico, com a gente se grudando e pensando sobre ele, não se afastando, dizendo: “Não quero saber sobre o IDEB, ele não me interessa.” Foi o que a gente conseguiu construir argumentos para o financiador, para os municípios, como lidar com ele de uma forma mais tranquila. Tem algumas organizações que também passaram por esse percurso e tentaram... A gente também fez um pouco, outras organizações tentaram relacionar a melhoria do IDEB dos municípios e a sua intervenção. E isso é uma relação que é possível de ser feita. E como há uma tendência de melhora de IDEB em muitos municípios, muitas vezes a gente pode se enganar de que aquela melhoria é atribuída diretamente à intervenção de um projeto. Mas a gente avançou nisso, fugiu dessa tentação de querer puxar os avanços do IDEB diretamente para nossa intervenção e ampliou esse debate para olhar isso de uma forma muito mais ampla e formativa para todo mundo, ao invés de cair na tentação de querer bater uma meta e querer reduzir o olhar para um número. Muito obrigada. Patricia Mota Guedes, Fundação Itaú Social Pensando no foco das organizações sociais do debate de hoje, acho que organizações sociais como CEDAC, Cenpec e alguns outros que trabalham com formação e vinham trabalhando ao longo desses anos em formação de profissionais da educação, vem se apropriando de indicadores educacionais como o IDEB, qualificando e compondo com outros, acho que a gente tem avançado muito. E acho que para investimento social, a gente tem tido alguns avanços, mas acho que ouvindo um pouco dos comentários daqui e da plateia, acho que talvez tenha mais caminho para fazer também de forma mais ampla com esse grupo. Agora eu não queria perder o foco da organização social que não está trabalhando de forma tão específica como vocês, em formação de profissionais da educação, que é a ONG que trabalho com projetos sociais. Por quê? E eu já vou fazer mea culpa que avaliação é o tema. Eu fiquei pensado, ouvindo vocês participando. Quando eu voltei para o Brasil fui trabalhar em uma ONG, em uma periferia daqui de São Paulo. Tinha parceria com a escola, era uma perspectiva de contraturno. Vocês acham que eu parei para tentar entender avaliações externas? Não. Se alguém me perguntasse: “Meu, eu tenho muita coisa para olhar. Eu tenho que cuidar dos jovens. O ritmo é pesado. Se vocês vissem as escolas que eles estudam. Não dá. Eu tenho muita coisa.” Eu achava: “Não é comigo.” É mea culpa, mesmo. Acho que porque esse é um exercício para organizações sociais que precisa ser mais feito e acho que eu levo para Fundação essa reflexão para a gente ver como é que a gente pode provocar mais esse trabalho nessa frente porque de fato as organizações sociais trazem reflexões importantes para colaborar com as equipes de escolas e Secretarias, a não só pensar nos diagnósticos, mas a pensar no planejamento, estratégias e acompanhamento das ações. Então, digamos, é um protagonista importante também nesse pedaço e acho que temos muito para avançar ainda. Valeu, obrigada.

Contato das palestrantes Martina Rillo Otero – martina@institutofonte.org.br Elaine Pazello – epazello@usp.br Carolina Glycerio - carolina.glycerio@comunidadeeducativa.org.br Patrícia Diaz – patricia.diaz@comunidadeeducativa.org.br Patricia Mota Guedes - patricia.mota-guedes@itau-unibanco.com.br