A valiação e Q ualidade dos R ecursos E lectrónicos Dra. Maria Pinto Universidade de Granada...

Avaliação e Qualidade

dos Recursos Electrónicos

Dra. Maria PintoUniversidade de Granada

Qualidade e Avaliação dos Recursos Educativos na Internet. CRIE. Lisboa. 2005 Maria Pinto

Economia do Conhecimento

• Paradigma emergente: o conhecimento considera-se o recurso chave de uma organização

• A nova fonte de riqueza é, e será, o saber e o conhecimento humano, individual e colectivo

• Desenvolve-se a organização inteligente, baseada em “sistemas que aprendem”

• A criação de novos ambientes de aprendizagem e o acesso eficaz às fontes virtuais de saber demandam uma atenção especial à produção e utilização de conteúdos digitais

• A inovação será uma boa estratégia de mudança


• O ensino tradicional dá lugar a um ensino virtual e a uma grande infraestrutura de aprendizagem global, onde milhares de estudantes interactuam numa ampla rede de provedores integrados por instituições educativas e profissionais

• A socialização do conhecimento terá como resultado o facto de que será tão importante encontrar informação como validar esta mesma informação e utilizá-la.


Socialização do Conhecimento

Algumas Reflexões • O impacto das tecnologias de informação e comunicação, a gestão do conhecimento e a tendência para a globalização são elementos que necessitam de um contexto educativo distinto. • O novo modelo educativo, centrado na alfabetização digital, deve integrar as tecnologias de informação, comunicação e a aprendizagem e-learning.


O Contexto Europeu

• A economia europeia, apoiada na sociedade de conhecimento, será dinâmica e competitiva e garantirá um crescimento económico sustentado e uma maior coesão social. • Desta forma, fomenta-se tanto a promoção do conhecimento como a inovação dos sistemas educativos. • Trata-se de levar os cidadãos a adquirir competências genéricas de uso das TIC e de apostar na sua aplicação para inovar e melhorar os processos de aprendizagem.


Conceitos Emergentes

• Gestão de Qualidade Total• Avaliação dos serviços• Satisfação do usuário e dos grupos de

interesse• Melhora para a qualidade

Em definitivo, a avaliação, a qualidade e a inovação são elementos básicos para este novo milénio


Qualidade da Informacão• A qualidade é o conjunto de atributos, características e

propriedades de um produto ou serviço.• A qualidade já não é só uma meta, mas um requisito

mínimo para a subsistência.• A informação é a matéria prima para os processos de

aprendizagem e aquisição de conhecimento• A capacidade de seleccionar informação de qualidade

determinará o êxito do indivíduo neste novo contexto da sociedade do conhecimento.

• A qualidade da informação de um recurso será determinada pela sua capacidade de satisfazer as necessidades de informacão da pessoa que o usa.


Dimensões da Qualidade da Informação

Refere-se à qualidade da informação em si, ao seu valor objectivo. Consideram-se os seguintes aspectos:

rigor científicointegridadeobjectividade precisão


QUALIDADE INTRINSECA


Está relacionada com o contexto em que se acede à informação e com a adequação às necessidades do sistema e do usuário.

– Relevância: dimensão de avaliação subjectiva condicionada pelo tipo de utilizador.

– Valor acrescentado.

– Actualidade da informação

– Quantidade de informação proporcionada

– Utilidade

– Adequação ao usuário.


QUALIDADE CONTEXTUAL


Refere-se à estrutura e aos restantes aspectos técnicos: – Tipo de formato – Claridade– Concisão– Compatibilidade– Design – Flexibilidade


Consideram-se os seguintes aspectos, referentes ao acesso à informação:

Tempo de esperaNavegação

QUALIDADE REPRESENTACIONAL

QUALIDADE DO ACESSO

Os novos Recursos Electrónicos

• A criação de novos ambientes de aprendizagem e o

acesso eficaz às fontes digitais exigem uma atenção especial no uso e produção dos conteúdos e instrumentos multimédia.

• Estimular o mercado das entidades públicas na criação de novos materiais que viabilizem e enriqueçam o uso formativo das TIC é um objectivo europeu


Avaliar Recursos Electrónicos

• É necessário abordar a qualidade e a acessiblidade das TIC com fins pedagógicos e de aprendizagem. • Deve apostar-se na inovação, na avaliação e formação como elementos estructurais de uma intervenção tecnológica que contribua para a informação enquanto factor de desenvolvimento e melhoria das práticas educativas


Necessidade de avaliar Recursos Electrónicos

• A maior parte da informação criada hoje em dia é produzida sobre a forma de recurso electrónico.

• O crescimento exponencial de tais recursos exige a criação de um sistema de filtração que retenha apenas aqueles que garantem um nível mínimo de qualidade.

• Qualquer sistema de avaliação contribui significativamente para este efeito.


Necessidade de Avaliar

• O aumento da quantidade materiais pedagógicos em suporte informático leva-nos a reflectir acerca da qualidade técnica e pedagógica desses materiais, assim como acerca das suas condições de uso.

• A melhoria de aprendizagem encontra-se significativamente relacionada com as características dos recursos educativos utilizados e seus níveis de qualidade.


A Avaliação é um Valor Social

• Tem algumas características– PUBLICIDADE, no sentido de difundir os

dados seleccionados– DIÁLOGO com os usuários– AUTONOMIA dos agentes– DEMOCRATIZAÇÃO da avaliação dos

especialistas


Valores Sociais e Institucionais que inspirem

Critérios de Avaliação

• Equidade • Eficácia• Conservação • Excelência• Cidadania• Liberdade• Legitimidade

SOCIAIS INSTITUCIONAIS

• MissãoFunção principal da institução

• ObjectivosResultados desejados

• Prioridades

Classificação de preferências


Porquê Avaliar

• crescimento exponencial de recursos electrónicos educativos

• ausência de práticas regulares de avaliação• exigência de avaliação e certificação dos recursos

educativos• preocupações quanto à qualidade pedagógica de

muitos recursos • necessidade de credibilidade académica, científica e

comercial


Instrumentos de Avaliação

• É necessário conhecer as características que definem a qualidade dos recursos electrónicos para poder avaliá-los e utilizá-los

• Neste sentido, empregam-se alguns métodos:- Lista de verificação e controlo- Opinião do usuário- Opinião do especialista- Supervisão e controlos prévios


Métodos de Avaliação

• BASEADO NO ESPECIALISTA: guias, análises de conteúdo AGÊNCIAS DE AVALIAÇÃO: bibliotecas digitais, listas de verificação e controlo

• CENTRADO NO DESIGN: “painel de especialistas”, entrevistas e inquéritos, utilização em contexto

• CENTRADO NO USUÁRIO: listas de verificação e controlo, mostras de observação…

• A TENDÊNCIA ACTUAL É QUE PARA CADA MOMENTO EXISTA UM TIPO DE AVALIAÇÃO APROPRIADA, AINDA QUE SE TENDA PARA MODELOS MISTOS


Porquê Certificar • Para identificar os produtos educativos de qualidade

e de reconhecido valor segundo determinadas dimensões de análise

• Para orientar o professor na selecção de recursos electrónicos de apoio à aprendizagem.

• Para establecer selos de qualidade, que deverão ser, posteriormente, uma referência para as instituições educativas


BIBLIOTECAS E CENTROS DE DOCUMENTAÇÃOSERVIÇOS UNIVERSITÁRIOS

SÍTIOS VIRTUAIS ACADÉMICOSRECURSOS ELECTRÓNICOSPROJECTOS EDUCATIVOS


A nossa experiência como avaliadora

Modelos de Avaliação Empregues

SOSIG Internet Catalogue, 2004ALEXANDER & TATE, 2003URFIST, 2002CHAO, 2001SMALL&ARNONE, 1999 (WebMAC)DESIRE, Project, 1998NIELSEN, J. 1997 SMITH, A. G, 1997


Modelos de Avaliação Empregues

STUFFLEBEAN, D. 2001-05 (Michigan University)ELAR (Electronic Learning Assessment Resource), California Learning Resource NetworkGuía TEEM, 2005Guía SACAUSEF, 2005KEC (Key Evaluation Checklist) Scriven, 2005Columbia University Electronic Resources, 2004Interactive Content Development Guide (Canadá) 2004U-FE (Utilization-Focused ), Patton, 2002Guía RIP (Francia) 1999


VISIWEB Avaliação de Sítios Virtuais Académicos

• Projecto financiado pelo Ministério de Educação e Ciência http://wwwn.mec.es/univ/html/informes/estudios_analisis/resultados_2003/EA2003-0012/VISIWEB.pdf

• Participaram especialistas de 5 universidades• Método de avaliação por especialistas• Design de checklists: literatura em uso • Análise individual/colectiva• Análise transversal • Elaboração de relatório de síntese avaliado• Proposta de recomendações


http://wwwn.mec.es/univ/html/informes/estudios_analisis/resultados_2003/EA2003-0012/VISIWEB.pdf











Critérios de Avaliação

• Autoridade• Actualização• Conteúdo• Estrutura• Acessibilidade• Navegabilidade• Funcionalidade• Interacção• Design


Autoridade

• Reconhecimento social do autor

• Declaração de princípios e propósito do sítio virtual

• Competência no domínio

INDICADORES

CRITÉRIO


Actualização

• Grau de actualização

• Actualidade da informação

• Existência de links obsoletos

INDICADORES

CRITÉRIO


Conteúdo

• Exaustividade• Consistência • Pertinência • Objectividade

INDICADORES

CRITÉRIO


Estrutura

• Claridade conceptual • Presença de elementos descritivos e

identificativos • Consistência organizativa • Hierarquização da informação • Identificação das novidades

• Serviços de valor acrescentado

INDICADORES

CRITÉRIO


Acessibilidade

• Design compatível com diferentes navegadores e resoluções de ecrã

• Versões alternativas de visualização • Cumprimento da normativa WAI • Ajuda para a navegação e

compreensão de conteúdos • Versões em outras línguas

INDICADORES

CRITÉRIO


Navegabilidade

• Visibilidade de menu de conteúdos

• Existência de mapa do sítio

• Permeabilidade interna (existência de links internos)

INDICADORES

CRITÉRIO


Funcionalidade

• Pertinência dos títulos e adequação entre estes e as secções a que correspondem

• Sistema próprio de busca de conteúdos• Velocidade de descarga das várias páginas• Existência de mapa com links

INDICADORES

CRITÉRIO


Interacção

• Existência de correio de sugestões • Existência de inquérito para o usuário

sobre o sítio virtual• Alusão ao tempo de resposta às

perguntas do usuário • Sistema de ajuda para o usuário

INDICADORES

CRITÉRIO


Design

• Homogeneidade visual entre páginas

• Simplicidade de design

• Tipografia textual adequada (estilos e formatos)

INDICADORES

CRITÉRIO


Pautas para a análise dos dados

• Atribuição de valor às respostas: 1 (nada), 2 (pouco), 3 (bastante) e 4 (muito)

• Para cada critério calculamos o valor em percentagem sobre o máximo possível

• Atribui-se uma pontuação a cada critério segundo a seguinte escala de equivalências:

Percentagem Pontuação

Entre 0-19 1 Não aceitável

Entre 20-39 2 Regular

Entre 40-59 3 Aceitável

Entre 60-79 4 Boa

Entre 80-100 5 Muito boa


Avaliação prévia da importância relativa de cada critério

1 No 2 Poco 3 Bastante 4 Mucho 1 2 3 4 1 2 3 4

Autoridad 10% Navegabilidad 10%

Reconocimiento social autoria Visibilidad del menu de contenidosDeclaracion de principios y propositos del sitio web Existencia del mapa del sitioEvaluacion externa Permeabilidad interna

Valoracion Valoracion

Actualizacion 5% Diseño 10%

Grado de actualizacion Homogeneidad visual entre paginasActualidad de la informacion Sencillez de diseñoExistencia de enlaces obsoletos Tipologia textual adecuada


Contenido 30% Funcionalidad 10%

Exhaustividad Pertinencia y adecuacion de titulosConsistencia Sistema propio de busqueda de contenidosPertinencia Velocidad de cargaObjetividad Existencia de mapas con enlaces


Estructura 10%

Claridad estructuralPresencia de elementos descriptivos e identificativos Interaccion 5%Consistencia organizativa Existencia de buzon de sugerenciasJerarquizacion de la informacion Encuestas de satisfaccion del usuarioIdentificacion de las novedades Tiempo de respuesta a las preguntasServicios de valor añadido Sistema de ayuda al usuario


Accesibilidad 10% Valoracion TOTAL

Diseño compatible con diferentes versionesVersiones alternativas de visualizacionCumplimiento normativa WAIAyuda navegacion y comprensionVersiones otras lenguas

Valoracion

PLANTILLA DE EVALUACION DE UN SITIO WEB

Qualidade e Avalaiação dos Recursos Educativos na Internet. CRIE. Lisboa. 2005 Maria Pinto

Qualidade e Avalaiação dos Recursos Educativos na Internet. CRIE. Lisboa. 2005 Maria Pinto

• Projecto financiado pela Direcção Geral de Universidades, 2000-05

• Domínio temático: análise e tratamento de informação

Objectivos– Directório avaliado de recursos digitais – Repositório documental


• Metas– Ser uma guia de recursos digitais

avaliados para a aprendizagem– Orientar os usuários de Internet na eleição

dos recursos de qualidade produzidos nos últimos vinte anos

– Ser uma ferramenta para profissionais, com vocação de subject gateway especializado


• Metodologia

Avaliação mista: especialistas/alunos– Selecção de recursos– Categorização– Avaliação e ponderação– Recomendação– Revisão/Actualização


• Design da lista de verificação• Definição do conteúdo do domínio e tipos de recursos• Revisão da investigação relevante e uso da experiência• Elaboração de uma lista candidata de aspectos a avaliar • Definição breve de cada aspecto• Definição dos critérios• Design da versão inicial da checklist e ponderação• Implicação dos alunos na revisão e crítica da lista• Listagem dos aspectos que necessitam atenção• Revisão do conteúdo da checklist• Validação da checklist• Aplicação da checklist• Revisão e melhoria em intervalos apropriados


Processo de avaliação• Análise individual

(especialistas)/colectiva• Análise individual alunos/contraste e

validação • Elaboração de relatório de síntese com

avaliação• Proposta de recomendação


CIBERABSTRACTS: Critérios

• DIMENSÕES– Identificação– Autoridade (QUEM)– Conteúdos (QUÊ)– Pedagógicos (POR QUÊ)– Técnicos (COMO)– Funcionais (PARA QUÊ)



AUTORIDADE QUEM (30%)

Credibilidade e licença

Informação de contacto (organismo e afiliação)

Identificação e credibilidade da fuente



IdentificaçãoTítulo do recurso

Fonte (data)

URL

Tipo de recurso

Categoria



CONTEÚDOS O QUÊ (40%)

Organização (categorização, estrutura, coerência)

Pertinência

Adequação dos conteúdos

Aspectos pedagógicos



Pedagógicos POR QUÊ

Motivação e interesse

Potencialidade pedagógica

Relevância para a aprendizagem



CRITÉRIOS TÉCNICOS COMO (15%)

Actualização

Actualidade

Modalidade de acesso (links, ergonomia, interactividade…)



ACESSIBILIDADE COMO (15%)

Facilidade para descarregar e imprimir. Disponibilidade

Visualização/legibilidade/idioma

Capacidade de navegação



Funcionalidade PARA QUÊ

Destinatários

Conhecimento prévio

Finalidade do recurso

Opções de formação


Ciberabstracts


Software

Este recurso se valoró con 5 estrellas

• Excelente: autoría, contenido y accesibilidad

• Bueno: actualización


Software

Se valoró globalmente con 3 estrellas:

• Muy bueno: actualización

• Bueno: autoría, contenido, accesibilidad


Artículo


• Excelente: accesibilidad

• Muy bueno: contenido

• Bueno: autoría, actualización


Pagina web


• Muy bueno: contenido, accesibilidad, actualización

• Bueno: autoría


Portales educativos


Portales Educativos• Sítios virtuais de instituções académicas ou pessoal académico que

oferecem diversos serviços aos membros da comunidade científica: informação, conteúdos, instrumentos para a busca de dados, recursos didácticos, formação, ferramentas para a comunicação

• A nossa experiência centrou-se no disign e desenvolvimento de portais sobre alfabetização digital, com a finalidade de auxiliar o aluno a adquirir habilidades e competências em gestão, tratamento, avaliação e utilização de informação.

• Os nossos sítios:

– E-COMS: http://www.mariapinto.es/e-coms

– IMATEC: http://www.mariapinto.es/imatec

– ALFIN-eees: http://www.mariapinto.es/alfineees

– ALFAMEDIA (en desenvolvimento)


http://www.mariapinto.es/e-coms

http://www.mariapinto.es/imatec

http://www.mariapinto.es/alfineees

Portal e-COMS


Objetivos específicosObjetivos específicos

Ser un portal formativo e informativo de referencia para los estudiantes del área de biblioteconomía y documentación, de psicopedagogía, …

Portal accesible para cualquier estudiante con discapacidad (normativa WAI)

Se propone favorecer el conocimiento, las habilidades y competencias en el manejo, análisis, filtración, organización de la información, evaluación de la calidad, iniciación a la investigación…, apostando por el desarrollo de entre otras, estas competencias:

- Tecnológica - Documental

- Procedimental - Investigadora


ContextoContexto

• Adecuarse a la filosofía de integración del sistema universitario español en el espacio europeo de enseñanza superior

• Cumplir con los objetivos del Programa e-Europe 2005

• Diseñar un recurso pedagógico amigable, riguroso y útil, que proporcione a los alumnos un catálogo de habilidades y destrezas para la gestión, análisis y evaluación de los contenidos electrónicos, usando ejemplos, tutoriales y recursos digitales


PropiedadesPropiedades

• Portal intuitivo y fácil de usar accesible según normativa WAI

• Lenguaje web, estructurado en categorías claves y enlaces, para favorecer la navegación.

• Estrategias para la selección, análisis, categorización y sistematización de los recursos.

• Se incluyen los mejores recursos web educativos para fomentar las aptitudes, habilidades y destrezas de los estudiantes.


• Avaliação dos dossiers electrónicos

• Avaliação de recursos, tais como revistas, dicionários, software...

• Utilizamos os siguintes critérios:– Conteúdo– Actualização/actualidade– Autoridade– Acessibilidade


Ejemplos de dossier electrónico

Se presenta bajo la forma de una referencia electrónica


Ejemplos de recursos

Se recoge el título y resumen de los contenidos


• Construir um portal interactivo para aprender a aprender.• Proporcionar un espaço virtual de apoio al aprendizagem.• Ajudar os estudiantes no desenvolvimento da capacidade de

análise e síntese.• Oferecer técnicas básicas para a busca, recuperação e avaliação

da informação: aprender a fazer.• Ensinar a apresentar e organizar a informação.• Promover uma atitude de aprendizagem permanente e o trabalho

em equipa.• Oferecer recursos avaliados de qualidade para a

autoaprendizagem

Objectivos


6 competencias genéricas

APRENDER A APRENDER

CAPACIDAD PARA APRENDER

APRENDER A BUSCAR Y EVALUAR LA INFORMACIÓN

APRENDIZAJE AUTÓNOMO

APRENDER A BUSCAR

APRENDER A EVALUAR

APRENDER A COMUNICAR

APRENDER A PRESENTAR

APRENDER A CITAR

APRENDER A ESCRIBIR

APRENDER A ANALIZAR Y SINTETIZAR

APRENDER A ANALIZAR

APRENDER A SINTETIZAR

LEER PARA APRENDER

APRENDER A SEGMENTAR

APRENDER A RESUMIR

APRENDER A ESQUEMATIZAR

1

2

3

APRENDER A GENERAR CONOCIMIENTO

INNOVACIÓN Y CREATIVIDAD

HABILIDADES DE INVESTIGACIÓN

GESTIÓN DE PROYECTOS

APRENDER A TRABAJAR JUNTOS

ÉTICA

APRENDER A TRABAJAR EN EQUIPO

APRENDER A TOMAR DECISIONES

USAR LA TECNOLOGÍA PARA APRENDER

SISTEMAS OPERATIVOS

APLICACIONES OFIMÁTICAS

HERRAMIENTAS DE COMUNICACIÓN

ENTORNOS DE APRENDIZAJE

4

5

6

Considerações finais

• As instâncias institucionais devem promover a construção e desenvolvimento de produtos e recursos digitais de qualidade.

• Há que instigar a reflexão social e a implicação de todos os agentes implicados nos processos de avaliação dos produtos educativos digitais.

• Devem estabelecer-se critérios, indicadores claros, rigorosos e adequados para assegurar que os produtos tenham um nível mínimo de qualidade que legitime o seu uso.

• Há que consciencializar a comunidade educativa da conveniência de certificar os recursos digitais.

• Deve apostar-se na melhoria contínua da qualidade dos novos modos de formação e aprendizagem.


Obrigada

Maria Pinto

[email protected]


A valiação e Q ualidade dos R ecursos E lectrónicos Dra. Maria Pinto Universidade de Granada...

Documents

Transcript of A valiação e Q ualidade dos R ecursos E lectrónicos Dra. Maria Pinto Universidade de Granada...