Post on 09-Nov-2018
AVALIA MACEIÓ 2015
Oficina de Apropriação de Resultados
• Promover a compreensão e a interpretação de resultados da avaliação educacional externa, com foco na escola.
OBJETIVO
PARTE 1
Objetivos Específicos
1. Apresentar as características – fundamentos e metodologias – da avaliação educacional externa.
2. Apresentar o desenho e os instrumentos do AVALIA MACEIÓ.
3. Apresentar os aspectos contextuais da avaliação.
Sensibilização
• Qual a sua expectativa em relação à Oficina de Apropriação de Resultados?
PENSE A RESPEITO
Sensibilização
• Para começar, reflita sobre o tema. Este momento propõe conhecimento abrangente, a fim de prepará-lo para o usos dos resultados, identificando as possibilidades e os limites no contexto de trabalho.
O que é avaliar?
COLETAR
Dados e informações sobre determinada realidade.
DIAGNOSTICAR
Produzir algum julgamento sobre a realidade.
DECIDIR
Tomar decisão para alcançar determinado objetivo.
AGIR
Traçar estratégias de ação sobre o objeto avaliado.
Tipos de Avaliação
AVALIAÇÃO
Diagnóstica
Interna ESCOLA
Externa SISTEMA
Formativa
Interna ESCOLA
Externa SISTEMA
Somativa
Interna ESCOLA
Externa SISTEMA
Pequena escala Larga escala
Tipos de Avaliação
Critério Tipo de AvaliaçãoDiagnósticaSomativaFormativaInternaExternaEm pequena escalaEm larga escalaCensitáriaAmostralTransversalLongitudinal
Objetivo
Subjetivo
Abrangência
Metodológico
Temporal
Linha do Tempo da Avaliação
Características dos Sistemas Próprios
Características dos Sistemas Próprios
Saeb(TCT)1990
1995Saeb(TRI)
Matrizes de Referência e Escalas de Proficiência
1997
2001Reformulação
Matrizes (baseada nos PCNs)
Prova Brasil2005
2007IDEB
Avalia Maceió
2015
2013ANA
PNE2014
2015BCN
Vantagens dos Sistemas Próprios
Desenho próprio, adequado às necessidades da rede.
Alinhamento entre currículo, ensino e avaliação
Definição das etapas e componentes curriculares.
Menor periodicidade entre os ciclos avaliados e a divulgação de resultados.
Vantagens dos Sistemas Próprios
Diagnóstico confiável e específico da rede
Construção de base de dados com série histórica
Monitoramento da qualidade da educação
Monitoramento da equidade
Monitoramento da efetividade de políticas públicas
Vantagens dos Sistemas Próprios
Questionamento de aspectos educacionais
Identificação de alunos em situação de risco pedagógico
Indicação de caminhos para o trabalho
Identificação de fatores intra e extraescolares
Indicação de possibilidades de ação a partir do contexto
Possibilidades dos Sistemas Próprios
• Entendendo que a avaliação educacional em larga escala subsidia informações sofisticadas para o diagnóstico, por meio da metodologia adotada, reflita sobre quais são as possibilidades dos sistemas próprios.
Possibilidades dos Sistemas Próprios
Subsídio para tomada de decisão
Servir como fonte para planejamento político-pedagógico
Utilização dos resultados, como foco na escola.
Estabelecimento de Padrões de Desempenho e Metas.
Desenvolvimento de planos de ação.
Prestação de contas.
Discussões acadêmico-pedagógicas.
Contextualização
Por que implementar o sistema próprio de
avaliação?
Por que há dúvidas sobre o diagnóstico externo?
Quais são as vantagens da avaliação educacional
externa?
Qual o lugar do profissional de educação
nesse contexto?
Por que avaliar?
Contextualização
• Para que diagnósticos sejam estabelecidos, é preciso avaliar. Não há melhoria na qualidade da educação possível sem que processos avaliativos acompanhem, continuamente, os efeitos das políticas educacionais propostas para tal fim.
Contextualização
EVOLUÇÃO DA PROFICIÊNCIA MÉDIA EM MATEMÁTICA Rede Estadual – Minas Gerais
196,5205,2
218,2226,2
235,1246,3250,9 255,8
261,4
268,9274,7 282,4 282,2284,0
290,6
175,0
200,0
225,0
250,0
275,0
300,0
2006 2007 2008 2009 2010
5º ano EF 9º ano EF 3º ano EM
Fonte: Proeb 2006/2010
Contextualização
EVOLUÇÃO DA DISTRIBUIÇÃO POR PADRÕES EM MATEMÁTICARede Estadual – Minas Gerais
13,1%
14,1%
11,8%
17,5%
19,1%
17,3%
59,5%
60,2%
54,8%
27,0%
28,8%
28,8%
59,4%
59,7%
56,9%
36,7%
36,2%
41,1%
60,0%
57,1%
59,4%
23,2%
21,2%
25,8%
3,8%
3,7%
4,1%
2012
2011
2010
2012
2011
2010
2012
2011
2010
5EF
9EF
3EM
Baixo Intermediário Recomendado
Fonte: Proeb 2010/2012
Contextualização
MAPA DA ALFABETIZAÇÃOCeará (SPAECE ALFA 2007)
Fonte: Spaece-Alfa 2007
Contextualização
MAPA DA ALFABETIZAÇÃOCeará (SPAECE ALFA 2008)
Fonte: Spaece-Alfa 2008
Contextualização
MAPA DA ALFABETIZAÇÃOCeará (SPAECE ALFA 2009)
Fonte: Spaece-Alfa 2009
Contextualização
MAPA DA ALFABETIZAÇÃOCeará (SPAECE ALFA 2010)
Fonte: Spaece-Alfa 2010
Contextualização
MAPA DA ALFABETIZAÇÃOCeará (SPAECE ALFA 2011)
Fonte: Spaece-Alfa 2011
Contextualização
• Para ajudar as redes de ensino a organizarem-se, a fim de caminharem rumo à melhoria da qualidade, implanta-se sistemas próprios de avaliação, em que uma das vantagens, como vimos, reside na menor periodicidade entre a aplicação dos testes – mais frequentes – e a divulgação dos resultados, em relação às avaliações nacionais.
• Isso implica desenvolvimento de ações em prol da melhoria em curto/médio prazo.
Contextualização
É possível estipular metas e elaborar ações, utilizando
diagnósticos “mais próximos”. O acompanhamento regular pode ser
mais eficaz.
Contextualização
• Com isso, identificamos os avanços.
Avanços dos Sistemas Próprios
Maior transparência no processo de avaliação e divulgação dos resultados.
Ampliação das oportunidades educacionais e o reconhecimento do direito de aprender.
Debate sobre as responsabilidades.
Atenção especial aos alunos de baixo desempenho.
Avanços dos Sistemas Próprios
Discussão sobre a construção de propostas curriculares inovadoras, bem desenhadas e de fácil compreensão por diferentes públicos.
Contextualização
• E também identificamos os desafios, observáveis a partir dos resultados transversais ou longitudinais.
Desafios dos Sistemas Próprios
Município
Região
Escola
Turma
Aluno
Desafios dos Sistemas Próprios
• DA REDE– Planejamento e execução de políticas públicas– Criação de metas de qualidade e equidade educacionais– Implementação de medidas de responsabilização– Políticas de incentivos diretos ou indiretos– Ações de formação continuada de professores
• DA ESCOLA– Elaboração do projeto da escola– Monitoramento da qualidade de ensino– Subsídio para avaliação institucional
USO DOS RESULTADOS PELO GESTOR
Desafios dos Sistemas Próprios
• Projetos de intervenção pedagógica• Elaboração de projetos especiais• Foco nos alunos com dificuldades• Ações de reforço escolar• Planejamento das ações de sala de aula• Visão proativa quanto ao desenvolvimento de
habilidades e competências ao longo da educação básica
USO DOS RESULTADOS PELO PROFESSOR
Desafios dos Sistemas Próprios
• Acompanhamento individual do desempenho escolar pelos alunos e seus familiares
• Informações sobre a qualidade dos serviços educacionais oferecidos
USO DOS RESULTADOS PELO ALUNO E FAMILIARES
Desafios dos Sistemas Próprios
Resistência
Abrangência
Comunicação e engajamento
Divulgação
Penetração nos atores educacionais
Limites da Avaliação
• É sempre importante lembrar que a avaliação é uma ferramenta de apoio, mas não é capaz de agir em prol de todas as mudanças necessárias. Ela possui alguns limites.
Limites da Avaliação
Avaliação é meio, não fim
Interrompe sua contribuição na etapa do diagnóstico
É submetida ao uso que lhe é atribuído
Dados isolados não detectam realidade
Depende da apropriação dos resultados
Possibilidades relacionadas ao esforço empenhado
Etapas da Avaliação
• Para compreender a avaliação educacional em larga escala, seus limites e possibilidades, e utilizar, de maneira eficaz, os resultados produzidos por ela, é importante conhecer e entender a metodologia.
Metodologia
• A produção da medida de desempenho dos estudantes, na avaliação educacional em larga escala, pode ser feita de duas formas:
– Teoria Clássica dos Testes (TCT).– Teoria da Resposta ao Item (TRI).
Metodologia
• Teoria Clássica dos Testes:
– É calculada de uma forma muito próxima das notas dadas pelas avaliações realizadas pelo professor.
– Consiste, basicamente, no percentual de acertos em relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado.
Metodologia
• Teoria de Resposta ao Item:
– Produz uma medida mais robusta do desempenho dos estudantes porque leva em consideração características importantes dos itens que compõem o teste e que são medidas antes dele, nos chamados pré-testes.
– A TRI é, portanto, um conjunto de modelos estatísticos capazes de determinar um valor/peso diferenciado para cada item que o estudante respondeu no teste de proficiência.
Metodologia
Parâmetro “a”DISCRIMINAÇÃOÉ a capacidade do item de discriminar os alunos que desenvolveram habilidades daqueles que não desenvolveram.
Parâmetro “b” DIFICULDADE Está relacionado ao percentual de alunos que responde corretamente ao item. Assim quanto menor o percentual de acerto, maior a dificuldade do item.
Parâmetro “c”PROBABILIDADE DE ACERTO AO ACASOLeva em consideração a probabilidade de o aluno “chutar” e acertar o item.
Parâmetros da TRI
Impactos do Sistema
• Tomemos como exemplo a definição dos Padrões de Desempenho, para definirmos possíveis intervenções.
Padrões de Desempenho
PADRÕES DE DESEMPENHO ESTUDANTIL
Estabelecimento e monitoramento das metas de qualidade
educacional
Caracterização do desempenho escolar
Grau de realização das ações
educacionais
Políticas públicas voltadas à promoção
da equidade
Identificação do percentual de alunos em risco pedagógico (evasão, reprovação
ou abandono)
Padrões de Desempenho
PADRÕES DESCRIÇÕES
BAIXO
Os alunos que se encontram neste Padrão de Desempenho demonstram um desenvolvimento ainda incipiente das principais habilidades associadas à sua etapa de escolaridade, de acordo com a Matriz de Referência. Nos testes de proficiência, tendem a acertar apenas aqueles itens que avaliam as habilidades consideradas basilares, respondidos corretamente pela maior parte dos estudantes e, portanto, com maior percentual de acertos. A localização neste padrão indica carência de aprendizagem em relação ao que é previsto pela Matriz de Referência e aponta, à equipe pedagógica, para a necessidade de planejar um processo de recuperação com esses estudantes, a fim de que se desenvolvam em condições de avançar aos padrões seguintes.
BÁSICO
Neste Padrão de Desempenho, os alunos ainda não demonstram desenvolvimento considerado apropriado das habilidades básicas avaliadas pela Matriz de Referência, para a etapa de escolaridade em que se encontram. Contudo, respondem itens com menor percentual de acerto e que avaliam habilidades mais complexas, quando comparados com o verificado no padrão anterior. A equipe pedagógica deve elaborar um planejamento em caráter de reforço para os estudantes que se encontram neste padrão, de modo a consolidar aquilo que eles já aprenderam, sistematizando esse conhecimento e dando suporte para uma aprendizagem mais ampla e densa.
Padrões de Desempenho
PADRÕES DESCRIÇÕES
ADEQUADO
As habilidades básicas e essenciais para a etapa de escolaridade avaliada, baseadas na Matriz de Referência, são demonstradas pelos alunos que se encontram neste Padrão de Desempenho. Esses estudantes demonstram atender às condições mínimas para que avancem em seu processo de escolarização, ao responder aos itens que exigem maior domínio quantitativo e qualitativo de competências, em consonância com o seu período escolar. É preciso estimular atividades de aprofundamento com esses estudantes, para que possam avançar ainda mais em seus conhecimentos.
AVANÇADO
Quando o estudante demonstra, nos testes de proficiência, ir além do que é considerado básico para a sua etapa escolar, como ocorre com os alunos que se encontram neste Padrão de Desempenho, é necessário proporcionar desafios a esse público, para manter seu interesse pela escola e auxiliá-lo a aprimorar cada vez mais seus conhecimentos. Esses estudantes costumam responder corretamente, com base na Matriz de Referência, a um maior quantitativo de itens, englobando aqueles que avaliam as habilidades consideradasmais complexas e, portanto, com menor percentual de acertos, o que sugere a sistematização do processo de aprendizagem de forma consolidada para aquela etapa de escolaridade. Entretanto, há que se considerar que o desenvolvimento cognitivo é contínuo, permitindo aprendizagens constantes, conforme os estímulos recebidos.
Possíveis intervenções
BAIXO Recuperação
BÁSICO Reforço
ADEQUADO Aprofundamento
AVANÇADO Desafio
Impactos do Sistema
REFLITA: Em relação ao contexto de trabalho, de que maneira você relaciona-se/lida com a avaliação externa, no caso o AVALIA MACEIÓ?
Impactos do Sistema
• Para responder, você precisa saber mais sobre o sistema próprio.
Características do AVALIA MACEIÓ
LÍNGUA PORTUGUESAMATEMÁTICA
Características do AVALIA MACEIÓ
EDIÇÃO ETAPA AVALIADA COMPONENTE CURRICULAR
2015
3º ano do Ensino Fundamental
Língua Portuguesa - Leitura
Língua Portuguesa - Escrita
Matemática
5º ano do Ensino Fundamental
Língua Portuguesa
Matemática
9º ano do Ensino Fundamental
Língua Portuguesa
Matemática
Características do Avalia Maceió
• Atualmente, com AVALIA MACEIÓ, avalia-se o desempenho e o contexto. Outras avaliações, como o PISA, buscam observar também as competências socioemocionais.
Fatores Associados ao Desempenho
• Antes de abordarmos dados sobre o desempenho (Parte 2) , vamos falar sobre o contexto (Parte 1).
Fatores Associados ao Desempenho
FATORES EXTRAESCOLARES
Fatores socioeconômicos
Fatores familliares
Fatores individuais
FATORES INTRAESCOLARES
Gestão e administração
Prática pedagógica
Condições de infraestrutura
Qualificação de profissionais
Fatores Associados ao Desempenho
Por que considerá-los? Investigação dos fatores intra e
extraescolares específicos de cada sistema.
Avaliação do impacto do programa implementado pela Secretaria.
Estudos de casos de sucesso (escolas eficazes).
Correções entre fatores de desigualdades educacionais.
Fatores Associados ao Desempenho
Estudantes com poucas aspirações sobre seu
próprio futuro refletem, mesmo que de forma
inconsciente, essa posição em seu desempenho
escolar.
Aqueles com mais aspirações acabam por ser
mais ambiciosos e mais cientes da necessidade de
superar eventuais dificuldades nos estudos
para atingir seus objetivos.
O mesmo vale para expectativas - aqueles
estudantes que não têm expectativas positivas
sobre seu futuro tendem a apresentar menor ímpeto para a realização de suas
aspirações.
58
Por que as Expectativas e Aspirações são importantes para o desempenho dos alunos?
Fatores Associados ao Desempenho
59
Por que falar de Clima Escolar é importante?
A percepção do clima escolar positivo mostra uma qualidade da vida escolar, que está associada a melhores resultados de desempenho dos alunos nos testes.
Há uma relação significativa entre a percepção do clima escolar e o desenvolvimento emocional e social dos estudantes, dos professores e da gestão.
A aprendizagem dos estudantes depende das condições geradas no ambiente escolar.
Fatores Associados ao Desempenho
60
O que indica um bom de clima escolar?
Sensação de bem-estar geral na escola.
Sensação de confiança nas próprias
habilidades para realizar o trabalho
escolar.
Crença na importância do que se aprende na
escola.
Identificação, por parte dos agentes, com a
escola em que estudam ou trabalham.
Qualidade e frequência com que se estabelecem relações
uns com outros nesse ambiente, entre outros
aspectos.
• Condições socioeconômicas dos alunos em uma escola influenciam o desempenho apresentado nos testes, assim como o clima escolar.
• Precisamos observar, simultaneamente, as características socioeconômicas e de clima escolar, para entender melhor o que afeta os resultadosescolares.
Fatores Associados ao Desempenho
61
Como estabelecemos a conexão entre o Clima Escolar e o Desempenho dos Alunos?
• Para observar as condições socioeconômicas na escola, criamos o Índice Socioeconômico (ISE), considerando a escolaridade dos pais dos alunos, posse de bens e conforto no domicílio.
• Assim como o ICE, o ISE é calculado no nível dos alunos, mas o conjunto de seus valores dentro da escola é nossa referência para a análise.
Fatores Associados ao Desempenho
62
Como estabelecemos a conexão entre o Clima Escolar e o Desempenho dos Alunos?
Algumas Reflexões