Oficina de Apropriação de Resultados de 2012Sistema Baiano de Avaliação Educacional (Sabe)

Avalie AlfaAlfabetização

Acácia Bedim

Realizar a análise pedagógica dos resultados das avaliações de desempenho, aplicadas na Bahia no SABE – Avalie Alfa para o (re) planejamento de ações pedagógicas.

Objetivo

Seção 1

Matriz de Referência

Matriz de Referência para Avaliação

Elemento base de origem dos testes utilizados no AVALIE.Garante legitimidade e transparência à avaliação.

É formada por um conjunto de descritores que, agrupados emtópicos/temas, apresentam as habilidades consideradas básicas epossíveis de serem aferidas por meio do instrumento utilizado emavaliações em larga escala.

Não abarca todo currículo escolar. Por isso, não pode serconfundida com parâmetros curriculares, Base Curricular Comum -BCC, procedimentos ou estratégias de ensino ou OrientaçõesTeórico-Metodológicas - OTM, nem com o conteúdo a sertrabalhado pelo professor em sala de aula.

Como a Matriz de Referência dá origem aos testes?

• Constitui um parâmetro de orientação;

• Apresenta o objeto da avaliação;

• Caráter de universalidade;

• Orienta a elaboração de itens.

Algumas interpretações teóricas

Competências e Habilidades

Competências referem-se às diferentes modalidades estruturais dainteligência que compreendem determinadas operações que o sujeitoutiliza para estabelecer relações com e entre os objetosfísicos, conceitos, situações, fenômenos e pessoas.

As habilidades instrumentais referem-se especificamente ao planodo saber fazer e decorrem, diretamente, do nível estrutural dascompetências já adquiridas e que se transformam em habilidades.

PERRENOUD, P. Práticas pedagógicas, profissão docente e formação. Lisboa: Dom Quixote, 1993

A Matriz de Alfabetização em Língua Portuguesa está

estruturada em Eixos:

I − Apropriação do sistema da escrita;

II – Leitura;

III – Procedimentos de escrita.

A Matriz de Matemática para o 2º ano está

estruturada em Domínios:

I − Espaço e forma;II – Grandezas e Medidas;III – Números e operações/ Álgebra e funções;IV – Tratamento da informação.

Aspectos a considerar sobre Descritores

•Os descritores têm origem na associação entre osconteúdos curriculares e as operações mentaisdesenvolvidas pelo aluno que se traduzem em certashabilidades.

• Constituem uma sumária “descrição” dashabilidades esperadas ao final de cada períodoescolar avaliado.

•Descreve cada uma das habilidades da Matriz

• Avalia apenas uma única habilidade

• Representa uma subdivisão de acordo com o conteúdo, competências de área e habilidades.

• Agrupa as habilidades passíveis de avaliação em um teste de proficiência.

MatrizEixo/

Domínio

DescritorItem

Das Matrizes aos itens dos testes de proficiência

O QUE É UM ITEM?

• É uma questão do teste de larga escala.

• Avalia uma única habilidade, portanto o item é unidimensional.

• Obtém um resultado por estudante, que permite avaliar as hipóteses levantadas por ele.

Considerar

Grau de Dificuldade – diz respeitoà adequação entre a formulaçãodo item e a capacidade deresposta do estudante.

Discriminação – capacidade doitem de distinguir estudantescom diferentes níveis dehabilidade.

O ITEM E SUAS PARTES

Comando

Gabarito

Suporte

Enunciado

Distrator

Distrator

Distrator

Comando

Enunciado

Distrator

Distrator

Distrator

Gabarito

- enfocar uma única situação-problema;- incluir no enunciado uma figura, um

recorte de jornal ou revista, uma fotografia,ua elaboração;

- redigir o enunciado de forma direta e afirmativa;

- utilizar vocabulário adequado ao nível de escolaridade do estudante;

- excluir qualquer referência discriminatória quanto a etnia; religião, gênero ou orientação

sexual;- observar as normas da ABNT na apresentação de

textos e figuras;- não utilizar “pegadinhas” nem “dicas”;

- não utilizar termos como “sempre”, “nunca”, “todo”,

“totalmente”.

estar diretamente relacionada a um único descritor da Matriz de Referência;

formular de maneira positiva;

a tarefa desejada em conexão com o problema proposto.

Quanto à Redação

Enunciado: deve ser claro, preciso e conciso.

Gabarito: exclusivamente um.

Distratores: devem ser plausíveis.

Suportes: devem conter informações relevantes.

Atividade 1: Os Itens do Teste

1) Resolvam os itens.2) Elaborem hipóteses cognitivas para os distratores (alternativas erradas).3) Identifiquem a habilidade avaliadapelo item em análise.4) Identifiquem o domínio(Mat)/eixo(LP)

Apresentem os itens!

• Vamos montar a nossa matriz!

Matriz de Referência

• Agora vamos relacionar a nossa matriz com a matriz de Avaliação do SABE!

• Percebem as semelhanças?

Resultado do percentual de acerto por descritor

49,7 47,1

9,7

29,4

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0

100,0

D15 D16 D17 D18

Escrita - LP - 2° EFEstadual

Vamos olhar para cada descritor e observar o percentual de acerto!

Questões:

• Os resultados encontrados correspondem ao que observamos na sala de aula?

• Os menores percentuais são de descritores referente a conteúdos que os alunos tem mais dificuldades em sala de aula?

Vamos olhar para cada descritor e observar o percentual de acerto!

Questões:

• Podemos relacionar o percentual de acerto de um descritor com outro um descritor? Ou seja, podemos dizer que se algum descritor tem percentual baixo, logo o outro também terá? Podemos dizer que se um descritor tem percentual baixo porque o percentual de acerto de um outro descritor também foi baixo? Tente identificar!

• Podemos dizer que um percentual de acerto de um descritor foi alto porque a habilidade é mais simples?

Vamos olhar para cada descritor e observar o percentual de acerto!

• Vamos observar os percentuais de acerto para Leitura e Matemática.

• Como fizemos anteriormente, tentem levantar interpretações pedagógicas que auxiliem o trabalho do professor na sala de aula.

Resultado do percentual de acerto por descritor

77,782,8

57,6

34,2

59,3

50,3

77,382,6

54,6

39,947,9

34,1

50,5

40,0

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0

100,0

D01 D02 D03 D04 D05 D06 D07 D08 D09 D10 D11 D12 D13 D14

Leitura – LP – 2° anoEstadual

Resultado do percentual de acerto por descritor

63,1

78,8

95,4

81,9

93,8

63,768,1

50,655,1

93,987,8

59,766,1 66,6

37,6

75,4 73,6

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0

100,0

D01 D02 D03 D04 D05 D06 D07 D08 D09 D10 D11 D12 D13 D14 D15 D16 D17

Matemática – 2° EFEstadual

Seção

Interpretação Pedagógica dos Resultados

Resultados Avalia BH EJA

Proficiência média – médias comparadas

Participação

Distribuição do percentual de alunos por nível de proficiência e Padrão de Desempenho

Percentual de acerto por descritor

• Vejamos a interpretação de um resultado (fictício) de Escrita.

• Vamos ver cada uma dessas partes!

Resultado de participação

Participação

• De que forma você acha que a participação pode interferir nos resultados?

Participação

• Quando o percentual de participação está acima de 80%, podemos generalizar este resultado para toda a turma/ou município/ ou projeto.

• Quando o percentual estiver abaixo de 80%, vamos considerar apenas os alunos que efetivamente realizaram o teste.

Resultado de desempenho

Vamos pensar nos resultados de

Bahia, DIREC e Escola, quais as

primeiras considerações extraídas desse

resultado?

Tente comparar estes resultados.

Resultado de Padrão de Desempenho

• No slide anterior, vamos pensar nos resultados dos Padrões de Desempenho, mas o que são esses Padrões?

Padrões de desempenho

Padrões de Desempenho

Padrões de desempenho

estudantil

Estabelecimento e monitoramento das metas de qualidade

educacional

Caracterização do desempenho escolar

Grau de realização das ações

educacionais

Políticas públicas voltadas à promoção

da equidade

Identificação do percentual de

alunos em risco pedagógico

(evasão, reprovação ou abandono)

• Agora vamos relacionar as características dos padrões com os resultados encontrados!

Resultado de Padrões de Desempenho

• E se relacionarmos o percentual com o número de estudantes em cada padrão?

• Veja como realizar este cálculo:

• 100% dos alunos são 8804 alunos que realizaram a avaliação.

• Então, 13,9% (Padrão Inicial) são quantos alunos?

100% - 8804

13,9 % – X

100X = 8804*13,9

X = 1224

• Aproximadamente 1224 alunos do estado estão no Padrão Inicial.

Vamos realizar o cálculo para os demais Padrões?

• Padrão Intermediário:

• Padrão Básico:

• Padrão Avançado:

Podemos, ainda, comparar os resultados de 2011 e 2012

Vejam, por outra representação, a distribuição dos alunos por padrão

de desempenho

Atividade PráticaEm grupos, analisem os resultados de

Matemática e LP - Leitura:

- Identifique as proficiências médias.

- Compare as proficiências médias do ano atual com as proficiências da avaliação do ano anterior. O que podemos dizer dessa comparação?

- Compare a proficiência média da escola com a proficiência da Bahia e da Direc.

Atividade Prática- Identifique o percentual de participação e

interprete esse resultado.

- Identifique o percentual de alunos em cada padrão de desempenho.

- Identifique o padrão de desempenho o qual representa a proficiência média da escola.

- Calcule o número de alunos em cada padrão de desempenho.

- O que mais podemos interpretar nesses resultados?

Resultados Leitura

Matemática

Uso dos resultados