AVALIAÇÃO ESTADUALComparada às Nacionais:

SAEB e ENEM

Março/2010

O QUE É SADEAM?É o Sistema de Avaliação do Desempenho Educacional

do Amazonas, que nos dois primeiros anos avaliou os

alunos do 5º e 9º anos do Ensino Fundamental e 3ª série

do Ensino Médio e EJA médio, mas, também pretende

avaliar:

• Coordenadores;

• Gestores;

• Professores;

• Seduc-sede.

OBJETIVOS Diagnosticar o nível de aprendizagem dos alunos dos anos

iniciais e finais do ensino fundamental em língua portuguesa e matemática, bem como suas competências e habilidades descritas na matriz do SAEB;

Diagnosticar o nível de aprendizagem dos alunos do ensino médio (regular e EJA) nas competências e habilidades descritas na matriz do ENEM;

Identificar os fatores intervenientes no processo ensino-aprendizagem, como ambiente físico, gestão administrativa e participativa, gestão pedagógica e gestão do pedagogo.

Compor o Índice de Desenvolvimento Educacional do Amazonas - IDEAM;

Orientar ações para melhoria do ensino.

CARACTERÍSTICAS DAS AVALIAÇÕES

SAEB ANTIGO ENEM NOVO ENEM

Pesquisa por amostra Avaliação por adesão Avaliação por adesão

Matriz de referência construída a partir das respostas nos item - TRI

Matriz baseada em 5 grandes competências- TCT

Matriz de referência em 4 áreas de conhecimento, construída a partir das respostas dos alunos - TRI

Resultados refletem o desempenho da rede de ensino

Resultado reflete apenas o resultado do aluno

Resultado pode refletir o desempenho da escola

Quando se desenvolve um teste objetiva-se, utilizando esse instrumento, obter uma amostra de comportamentos (que representem algo latente, não passível de observação direta).

TEORIA DA MEDIDA

Ao se fazer uso de um teste o comportamento é quantificado de alguma forma a fim de que se obtenha um escore numérico (Lord,1980).

Na teoria da medida o significado de uma mensuração, incluindo um escore em um teste, requer a especificação de uma comparação.

TEORIA DA MEDIDA

Por exemplo, a mensuração de altura envolve a comparação entre o comprimento de uma pessoa e o comprimento de uma medida, como uma escala métrica (Embretson & Reise, 2000)

Uma comparação tem duas características que devem ser especificadas: (a) o padrão com o qual um escore é comparado e (b) a base numérica da comparação (ordem, diferença, relação, etc.).

Para a medida de altura: o padrão com o qual uma pessoa é comparada é uma escala métrica e a base numérica é uma relação

TEORIA DA MEDIDA

Na TCT o padrão para comparações entre escores é outra pessoa (ou seja, a distribuição dos escores) e a base numérica da comparação é ordinal.

Na TRI os níveis do traço latente têm significado em comparação com itens. Pessoas e itens são colocados em uma escala comum nos modelos da TRI (Embretson & Reise, 2000).

TCT – TEORIA CLÁSSICA DOS TESTES

Preocupação: explicar o resultado final total, isto é, a soma das respostas dadas a uma série de itens, expressa no escore total (T).

Interesse: produzir testes de qualidade.

O foco é o comportamento (escore num teste – conjunto de comportamentos).

TCT – TEORIA CLÁSSICA DOS TESTESEXEMPLO

Sujeito Item 1 Item 2 Item 3 Item 4 Item 5 Escore total

1 1 1 0 0 0 2

2 0 1 1 0 0 2

3 1 1 0 1 0 3

4 1 1 1 0 0 3

5 1 0 1 0 1 3

6 1 1 1 1 0 4

7 1 1 1 0 1 4

8 1 1 0 1 1 4

LIMITAÇÕES DA TCT

Talvez a falha mais importante da TCT é que as características dos examinandos e as características do teste não podem ser separadas: cada um só pode ser interpretado no contexto do outro.

A habilidade de um examinando é definida somente em termos de um teste particular.

Quando o teste é “difícil” o examinando parecerá ter baixa habilidade; quando o teste é “fácil” o examinando parecerá ser mais habilidoso.

LIMITAÇÕES DA TCT

Se um item é difícil ou fácil, depende da habilidade dos examinandos que estão sendo testados, e a habilidade dos examinandos depende se os itens do teste são fáceis ou difíceis!

Assim, é muito difícil comparar examinandos que fizeram testes diferentes e muito difícil comparar itens cujas características foram obtidas usando diferentes grupos de examinandos.

LIMITAÇÕES DA TCT

Quais as conseqüências práticas de características do item dependerem do grupo de examinandos do qual elas foram obtidas, isto é, são grupo-dependentes?

Quais são as conseqüências dos escores dos examinandos serem dependentes de um conjunto particular de itens administrado, isto é, são teste-dependentes?

LIMITAÇÕES DA TCT

É difícil comparar examinandos que fazem testes diferentes: os escores nos dois testes estão em escalas diferentes e não existe relação funcional entre as escalas.

Quando os examinandos são de habilidades diferentes (i. é., o teste é mais difícil para um grupo do que para outro), seus escores no teste contêm diferentes quantidades de erro.

TRI – TEORIA DE RESPOSTA AO ITEM

As características desejáveis de uma teoria de teste

alternativa incluiriam:

(a) características dos itens não grupo-dependentes,

(b) escores dos examinandos não teste-dependentes,

(c) modelo expresso no nível do item ao invés do teste,

(d) modelo que não requer formas de teste estritamente

paralelas para avaliar a fidedignidade,

(e) modelo que provê uma medida da precisão para cada

escore.

CARACTERÍSTICA DA TRIEstimativas da habilidade dos examinandos não

são teste-dependentes.

Os índices dos itens não são grupo-dependentes.

As estimativas das habilidades obtidas de diferentes conjuntos de itens serão as mesmas (exceto por erros amostrais).

Na TRI os parâmetros dos itens e a habilidade são invariantes.

POSTULADOS DA TRI A TRI baseia-se em dois postulados:

I. O desempenho de um examinando em um item pode ser predito (ou explicado) por um conjunto de

fatores chamados traços latentes ou habilidade;

II. A relação entre o desempenho de um examinando em um item e o conjunto de traços presentes pode ser descrita por uma função monotônica crescente: Função Característica do Item ou Curva Característica do Item (CCI).

TCT versus TRI

TCT TRI

A fidedignidade tem prioridade na construção dos testes

A função de informação tem prioridade na construção dos testes

A dificuldade dos itens não tem papel decisivo na construção dos testes

A dificuldade dos itens tem papel decisivo na construção dos testes

O teste é avaliado como um todo

Os itens são as unidades de análise

PARÂMETROS

valor de a discriminação

0 nenhuma

0.01 a 0.34 muito baixa

0.35 a 0.64 Baixa

0.65 a 1.34 Moderada

1.35 a 1.69 alta

> 1.7 muito alta

+ perfeita

classificação do item quanto à dificuldade

muito fácil

fácil

médio

díficil

muito díficil

SADEAM 2008Como foi realizado?

Elaboração de Item

Matriz ENEM

Divulgação dos Resultados e Oficina com as Escolas

Pré – testagem dos itens Análise dos Itens

Construção das Provas

Encaminhamento do Material Aplicação

Retorno e conferência

Processamento e constituição

das bases de dados

Análise dos dados

Desempenho – Prova

+ Fluxo EscolaIDEAM

Fatores Contextuais – Questionários

Indicadores de Qualidade da Escola

Fatores Associados

SADEAM 2008Resultados

Desempenho 3º ano

SADEAM 2008Resultados

Competências ENEMI. Dominar a norma culta da Língua Portuguesa e fazer uso das linguagens matemática, artística e científica.

II. Construir e aplicar conceitos das várias áreas do conhecimento para a compreensão de fenômenos naturais, de processos histórico-geográficos, da produção tecnológica e das manifestações artísticas.

III. Selecionar, organizar, relacionar, interpretar dados e informações representados de diferentes formas, para tomar decisões e enfrentar situações-problema.

IV. Relacionar informações, representadas em diferentes formas, e conhecimentos disponíveis em situações concretas, para construir argumentação consistente.

V. Recorrer aos conhecimentos desenvolvidos na escola para elaboração de propostas de intervenção solidária na realidade, respeitando os valores humanos e considerando a diversidade sociocultural.

SADEAM 2008Resultados

SADEAM 2008Resultados

SADEAM 2008Indicadores de Qualidade

• Foram definidos seis indicadores de qualidade que abordam três dimensões: Gestão Escolar, Práticas Pedagógicas e Ambiente Físico.

• Os indicadores de qualidade são numéricos e individuais para cada instituição e município.

• Os indicadores ainda pretendem evidenciar características das escolas /municípios e indicar possíveis ações internas que buscam garantir bons resultados escolares.

SADEAM 2008Indicadores de Qualidade

Escola

Diretor

Práticas Pedagógicas

Ambiente

Coordenador

Professor

Aluno

Gestão

Perfil

Gestão do Pedagogo

Gestão Administrativa Participativa

Práticas de Ensino

Práticas de incentivo ao uso da Biblioteca

Gestão Política

SADEAM 2008Indicadores de Qualidade

ESPECIFICAÇÃO

1ª SÉRIE (AP%)

2ª SÉRIE (AP%)

3ª SÉRIE (AP%)

TOTAL

Número de

séries

T=Tempo Médio

para concluir 1 série

P = 1/TN= Nota padroniz

adaN*P

ESCOLA X 75,0 78,0 89,0 80,7

ESPERADO 100,0 100,0 100,0 100,0

TEMPO PARA CONCLUIR 1,3 1,3 1,1 3,7 3 1,2460,802 5,0 4,01

COMPOSIÇÃO DO IDEAM- Ens. Médio

IDEAM - Médio = N x P onde:N = Nota obtida na prova objetiva com equivalência de 0 a 10 pontos. P = inverso do tempo médio de conclusão na etapa de ensino (aferido através da taxa de aprovação de cada série da etapa de ensino).Sendo que: N ~ 0 a 10 e P ~ 0 a 1

O IDEAM - Médio, utiliza metodologia específica do estado, portanto, NÃO PODE SER COMPARADO AO IDEB_Médio.

Menos de 2 pontos

De 2,0 a 2,5 pontos

De 2,6 a 3,0 pontos

De3,1 a 4,0 pontos

Mais de 4,0 pontos

ENS. MÉDIO REGULAR- IDEAM REDE ESTADUAL - MÉDIA POR MUNICÍPIO

ÍNDICE DE DESENVOLVIMENTO DA EDUCAÇÃO DO AMAZONAS

ENSINO MÉDIO- 2008

LOCAL MÉDIO REGULAR EJA

CAPITAL 2,0 1,7

INTERIOR 2,4 2,0

ESTADO 2,2 1,9Fonte: CESPE- UnB/SEDUC/DEPLAN/GEPIE

“...escola eficaz é aquela que viabiliza que seus alunos apresentem

desempenho educacional além do esperado, face à origem social dos

alunos e à composição social do corpo discente da escola.”

Mortimore, P.

Obrigada!