CRISTIANE CAMILO HERNANDEZ ESTUDO DA APLICABILIDADE … · Ao Prof. Dr. Carlos Alberto Longui, meu...
122
CRISTIANE CAMILO HERNANDEZ ESTUDO DA APLICABILIDADE DE UM SISTEMA COMPUTACIONAL DE ENSINO E AVALIAÇÃO DE APRENDIZAGEM NA RESIDÊNCIA MÉDICA BASEADO EM CASOS CLÍNICOS Tese apresentada ao curso de Pós Graduação da Faculdade de Ciências Médicas da Santa Casa de São Paulo para obtenção do título de Doutora em Ciências da Saúde. SÃO PAULO 2014
Transcript of CRISTIANE CAMILO HERNANDEZ ESTUDO DA APLICABILIDADE … · Ao Prof. Dr. Carlos Alberto Longui, meu...
CRISTIANE CAMILO HERNANDEZ
ESTUDO DA APLICABILIDADE DE UM SISTEMA
COMPUTACIONAL DE ENSINO E AVALIAÇÃO DE
APRENDIZAGEM NA RESIDÊNCIA MÉDICA BASEADO
EM CASOS CLÍNICOS
Tese apresentada ao curso de Pós Graduação
da Faculdade de Ciências Médicas da Santa
Casa de São Paulo para obtenção do título de
Doutora em Ciências da Saúde.
SÃO PAULO
2014
CRISTIANE CAMILO HERNANDEZ
ESTUDO DA APLICABILIDADE DE UM SISTEMA
COMPUTACIONAL DE ENSINO E AVALIAÇÃO DE
APRENDIZAGEM NA RESIDÊNCIA MÉDICA BASEADO EM
CASOS CLÍNICOS
Tese apresentada ao curso de Pós Graduação da
Faculdade de Ciências Médicas da Santa Casa de
São Paulo para obtenção do título de Doutora em
Ciências da Saúde.
Área de Concentração: Ciências da Saúde
Orientador: Prof. Dr. Carlos Alberto Longui
Co-orientador: Prof. Dr. Ismar Frango Silveira
Versão corrigida
SÃO PAULO
2014
FICHA CATALOGRÁFICA
Preparada pela Biblioteca Central da Faculdade de Ciências Médicas da Santa Casa de São Paulo
Hernandez, Cristiane Camilo Estudo da aplicabilidade de um sistema computacional de ensino e avaliação de aprendizagem na residência médica baseado em casos clínicos./ Cristiane Camilo Hernandez. São Paulo, 2014.
Tese de Doutorado. Faculdade de Ciências Médicas da Santa Casa de São Paulo – Curso de Pós-Graduação em Ciências da Saúde.
Área de Concentração: Ciências da Saúde Orientador: Carlos Alberto Longui Co-Orientador: Ismar Frango Silveira 1. Sistemas de computação 2. Educação médica 3. Avaliação
educacional/métodos 4.Internato e Residência 5. Aprendizagem 6. Tecnologia educacional
BC-FCMSCSP/22-14
DEDICATÓRIA
Aos meus filhos Polianna e Eduardo,
aos meus pais Neusa e Renato (in memoriam) e meu marido Alexandre.
PÁGINA DE CITAÇÃO
“Os dias correm, somem
E com o tempo não vão voltar
Só há uma chance para viver
Não perca a força, e o sonho
Não deixe nunca de acreditar
Que tudo vai acontecer...”
Eduardo Faro e Guilherme de Sá – Rosa de Saron
6
AGRADECIMENTOS
À Faculdade de Ciências Médicas da Santa Casa de São Paulo pela
colaboração em minha formação e pelo auxílio financeiro na realização deste
trabalho;
Ao Prof. Dr. Carlos Alberto Longui, meu orientador pelos ensinamentos,
incentivo e motivação;
Ao Prof. Dr. Ismar Frango Silveira, meu co-orientador pelos ensinamentos e
por aceitar este desafio.
À Prof. Dra. Cristiane Kochi pela atenção e disposição em ajudar com os
dados e aplicação das avaliações.
As professoras de estatística da Pós-Graduação da FCMSCSP, Ting Hui
Ching e Erika Tiemi Fukunaga, que muito me ensinaram e também contribuíram
para a concretização deste trabalho.
À Profa. Ana Paula Galvão Damasceno Carrare, pela amizade e por estar
presente em todos os momentos, ajudando e incentivando sempre que preciso.
À minha família que sempre apoiou e acreditou em mim.
A todos os amigos de trabalho pela ajuda e compreensão nos momentos
importantes do desenvolvimento deste trabalho.
A todos os professores que contribuíram para minha formação.
7
Abreviaturas e símbolos
ACGME - Accreditation Council for Graduate Medical Education
ACSI - American Customer Satisfaction Index
CBL - Case Based Learning
CEVL - Computer Enhanced Visual Learning
CNRM - Comissão Nacional de Residência Médica
CSCL - Computer Supported Collaborative Learning
ISCMSP - Irmandade da Santa Casa de Misericórdia de São Paulo
MDFluxo - Modelo Digital de Fluxogramas em Oftalmologia
MEC - Ministério da Educação
MedCC - Medical Clinical Case
NeTWoRM - Netbased Training in Work-Related Machine
NIH - National Institute of Health
OH - Occupational Health
RM - Residência Médica
ReAQ - Resident Assessment Questionnaire
SPSS - Statistical Package for Social Sciences
TIC’s - Tecnologias da Informação e Comunicação
8
Sumário
1. INTRODUÇÃO ................................................................................................ 10
1.1. Revisão de Literatura .................................................................................... 12
1.1.1. Ensino e Aprendizagem na Residência Médica ............................................. 15
1.1.2. Avaliação de Aprendizagem na Residência Médica ...................................... 23
1.1.3. Avaliação de Aprendizagem Baseada em Casos .......................................... 30
2. OBJETIVOS .................................................................................................... 40
3. CASUÍSTICA E MÉTODOS ............................................................................ 41
3.1. Método de avaliação de aprendizagem manual baseada em casos .............. 41
3.2. Método de avaliação de aprendizagem informatizado baseada em casos .... 46
3.2.1 Cenários de uso do Avaliador ............................................................................ 49
3.2.2 Cenários de uso do Avaliado .............................................................................. 57
3.3. Aplicação dos métodos de avaliação ............................................................ 59
4. RESULTADOS ............................................................................................... 63
4.1. Análise das notas .......................................................................................... 63
4.2. Análise dos tempos ....................................................................................... 66
4.3. Análise do questionário de satisfação do sistema ......................................... 71
5. DISCUSSÃO ................................................................................................... 75
6. CONCLUSÕES ............................................................................................... 83
7. ANEXOS ......................................................................................................... 84
8. REFERÊNCIAS BIBLIOGRÁFICAS ............................................................. 105
FONTES CONSULTADAS ...................................................................................... 112
9
RESUMO................................................................................................................. 113
ABSTRACT ............................................................................................................. 114
LISTAS E APÊNDICES ........................................................................................... 115
Apêndice 1: Parecer do Comitê de Ética e Pesquisa .............................................. 115
Apêndice 2: Termo de consentimento livre e esclarecido ....................................... 116
Lista de Tabelas ..................................................................................................... 117
Lista de Quadros .................................................................................................... 118
Lista de Figuras ...................................................................................................... 119
10
1. Introdução
O processo de ensino e aprendizagem na medicina vem sofrendo mudanças
nos últimos anos, assim como acontece em outras áreas. É uma questão de grande
interesse, que exige frequente reestruturação e reorganização, pois tem à
disposição novos meios de comunicação e novas ferramentas para ensino e
avaliação do estudante. Existem ferramentas, tais como computadores, dispositivos
móveis e ambientes virtuais de aprendizagem, que podem melhorar a interação
entre professor e aluno e facilitar o processo de aprendizagem, além de avaliar o
aprendizado, se utilizadas de forma adequada (Weintraub et al, 2011).
Tais mudanças na educação médica, tanto nos níveis de graduação e nos
programas de residência, levam à valorização de processos de ensino e
aprendizagem que buscam explorar as experiências práticas, fundamentadas pelos
conceitos teóricos e científicos. Segundo Botti e Rego (2010), a combinação de
diversas formas de aquisição de conhecimento é fundamental para o
desenvolvimento do raciocínio diagnóstico e de atitudes profissionais, sendo mais
importante do que qualquer habilidade ou tarefa mental isolada, ou seja, a principal
característica de um bom profissional está baseada na aquisição constante de novos
conhecimentos e aperfeiçoamento de habilidades clínicas.
Na residência, o profissional busca a aquisição de novos conhecimentos e
aprimoramento dos já adquiridos. Novos conhecimentos podem ser adquiridos por
meio da experiência na prática clínica, leitura, palestras, apresentações gravadas,
podcasts, módulos de aprendizagem online, discussões em pequenos grupos,
discussões baseadas em casos, dentre outros (Mahan e Ferris, 2010). A
aprendizagem através da experiência clínica proporciona ao aluno formação
suficiente em situações clínicas complexas em um ambiente profissional realista e
verdadeiro (Dussart et al, 2008).
Neste contexto, surgem várias propostas metodológicas que defendem o uso
de evidências, problemas e casos clínicos como meio de levar os alunos ao universo
da prática médica, ao mesmo tempo em que estes recebem referências teóricas
para fomentar seu raciocínio e remetê-los a aquisição de conhecimento. Estas
metodologias permitem que em dado momento, conforme o nível que o aluno se
encontra em sua formação, sejam apresentadas a ele situações (casos) propondo
11
que o mesmo se posicione a respeito delas (Goldwasser, 2006; Savaris, 2009). De
acordo com Popil (2011), os métodos baseados em casos promovem a
aprendizagem ativa, na qual o aluno é engajado a buscar por informações que
facilite o seu aprendizado, proporcionam a oportunidade de relacionar teoria à
prática, incentivam o desenvolvimento de habilidades de pensamento crítico e
podem ser utilizados em um processo avaliativo de aprendizagem.
A avaliação é um dos componentes do processo de ensino e aprendizagem e
devido a sua importância, sempre foi muito discutida. Atualmente têm sido propostas
formas diferenciadas de realizá-la, buscando diagnosticar e solucionar eventuais
falhas na aprendizagem (Perrenoud, 1999). Uma das finalidades da avaliação é
mapear o processo de ensino e aprendizagem do estudante (Luckesi, 2002).
As ferramentas computacionais buscam tornar o processo mais ativo,
dinâmico e personalizado. Uma questão amplamente discutida na área da educação
é como melhor avaliar a aprendizagem do estudante e aproveitar o potencial destas
ferramentas, pois muitas apresentam a possibilidade de avaliar a aprendizagem,
porém fornecem notas individuais ou médias gerais, métricas convencionais para
mensuração e que não indicam de forma precisa o nível de conhecimento do
estudante (Pereira, 2007; Piton-Gonçalves et al, 2009; Louzada et al, 2011).
O método tradicional de ensino nas escolas médicas do Brasil utiliza a
avaliação somativa no final do curso, que permite mensurar a aprendizagem por
meio de questões, em sua maioria do tipo múltipla escolha, que de alguma forma
induz e facilita a resposta correta e dificulta a inferência sobre a competência clínica
(Savaris, 2009).
Este método não oferece um retorno útil ao aluno ou ao professor, por esta
razão, muitas escolas de medicina optam por ampliar e diversificar os métodos
tradicionais de ensino e avaliação, adicionando métodos complementares que
melhor se ajustem à sua estrutura e objetivos (Stephenson, 2001; Goldwasser,
2006; Rezaie, 2009). Muitos destes métodos utilizam recursos, como animações
gráficas, vídeos e áudios digitais online, leituras, simulações clínicas interativas e
testes, que caracterizam as ferramentas computacionais. Embora tais ferramentas
ofereçam diversas vantagens, ainda é pouco explorada sua aplicabilidade no
processo de ensino e aprendizagem baseada em casos clínicos.
Neste trabalho buscamos a resposta da seguinte pergunta:
12
É viável aplicar um sistema computacional de avaliação de aprendizagem
baseado em casos clínicos na residência médica a partir em um método de
avaliação manual?
Assim, apresenta-se aqui a revisão de literatura dos processos de ensino e
aprendizagem e avaliação nos programas de residência e, de forma geral, como a
avaliação de aprendizagem baseada em casos clínicos vem sendo aplicada nos
programas de ensino da área da saúde. Em seguida, são apresentados os objetivos
do trabalho, seguidos da casuística e métodos da pesquisa, composta pela
descrição do método de avaliação manual baseada em casos e seu correspondente
método informatizado, bem como a descrição detalhada da aplicação destes
métodos nos sujeitos da pesquisa. Após, é feita a análise dos resultados
encontrados na aplicação destes métodos de avaliação. Por fim, são apresentadas a
discussão e as conclusões do trabalho.
1.1. Revisão de Literatura
Foi realizada uma revisão sistemática a partir de levantamento bibliográfico
eletrônico de artigos publicados entre 2008 e 2013, nas seguintes bases de dados:
PubMed (da National Library of Medicine – www.pubmed.org), ScienceDirect (da
Elsevier - http://www.sciencedirect.com) e Scielo (Scientific Eletronic Library OnLine
– www.scielo.br), estas foram escolhidas devido ao grande número de artigos
médicos disponíveis. O objetivo desta revisão sistemática foi obter a revisão de
literatura do processo de ensino e aprendizagem nos programas de residência em
diferentes áreas e especialidades, como e quais métodos de avaliação são
utilizados e especificamente, como as avaliações de aprendizagem baseada em
casos são empregadas na área da saúde.
Em um primeiro momento foi realizada a revisão com a palavra-chave:
resident education, porém o número de trabalhos retornados foi 618 artigos,
considerando as três bases consultadas. Estes abordavam diferentes tópicos da
educação médica, o que fez surgir a necessidade de especificar a busca, para isso,
primeiro foi definido os temas da revisão e depois as palavras-chave. Assim, os três
temas definidos e suas respectivas palavras-chave são mostrados no Quadro 1:
13
QUADRO 1. Temas e as respectivas palavras-chave utilizadas na revisão de literatura.
Temas Ensino e Aprendizagem na
Residência Médica
Avaliação de
Aprendizagem na
Residência Médica
Avaliação de
Aprendizagem Baseada em
Casos
Palavras-
chave
resident learning resident evaluation case-based learning
teaching-learning process
and medical residency residency evaluation
clinical case-based learning
case-based evaluation
A pesquisa foi realizada também com as palavras-chave em português. Os
artigos obtidos foram analisados inicialmente de acordo com seus títulos e em
seguida por seus resumos e separados quando versavam sobre um dos temas da
revisão e estavam disponíveis no formato completo.
Considerando os 3 temas, encontramos um total de 873 artigos, os primeiros
critérios de exclusão foram o título e o resumo, permitindo a pré-seleção de 80
artigos, sendo a seguir considerados 23 artigos por se enquadrarem nos tópicos de
interesse da pesquisa. A Tabela 1 mostra as palavras-chave utilizadas, as bases de
dados consultadas e a quantidade de artigos considerados, conforme os critérios
acima mencionados.
14
TABELA 1. Quantidade de artigos encontrados, pré-selecionados e considerados na base de dados PubMed, Science Direct e Scielo .
Palavras-chave e Temas PubMed Science Direct Scielo
E P C E P C E P C
ENSINO E APRENDIZAGEM NA RESIDÊNCIA MÉDICA
resident learning 23 11 3 51 11 3 15 5 0
teaching-learning process and medical residency 70 5 2 57 2 1 24 1 0
AVALIAÇÃO DE APRENDIZAGEM NA RESIDÊNCIA MÉDICA
resident evaluation 31 9 3 41 4 0 20 1 1
residency evaluation 3 2 0 82 0 0 34 2 0
AVALIAÇÃO DE APRENDIZAGEM BASEADA EM CASOS
case-based learning 56 2 0 38 4 1 0 0 0
clinical case-based learning 96 2 1 22 2 0 28 2 2
case-based evaluation 100 11 5 52 3 0 30 1 1
TOTAL 379 42 14 343 26 5 151 12 4
Legenda: E = Encontrados; P = Pré-selecionados; C = Considerados.
15
14
1.1.1. Ensino e Aprendizagem na Residência Médica
Neste capítulo são descritos os conceitos básicos sobre o processo de ensino
e aprendizagem na residência médica, incluindo a sua história e como este processo
acontece nos programas de residência.
1.1.1.1. Fundamentação Teórica
O sistema de especialização em medicina, baseado na Residência Médica foi
reconhecida pela Associação Médica Americana em 1848 (Michel et al, 2011) e
iniciou as suas atividades em 1889 no hospital da Universidade Johns Hopkins, onde
o cirurgião William Halsted convocou para treinamento em cirurgia quatro alunos
graduados. O treinamento consistia de aquisição progressiva de responsabilidades
pelos atos médicos, na execução de cirurgias e nos estudos de cuidados pré e pós-
operatórios. Para cuidar dos pacientes em tempo integral, os médicos participantes
residiam no hospital, o que deu origem ao termo “Residência” No Brasil, o Hospital
das Clínicas da Universidade de São Paulo implantou em 1944, seguindo o modelo
norte-americano, o primeiro programa de residência, na especialidade de Ortopedia,
tendo se tornado obrigatória a partir de 1983 (Simões, 2012).
Atualmente, após a conclusão do curso de graduação em medicina, os
egressos buscam programas de RM de acordo com a especialidade pretendida.
Alguns são aprovados e iniciam o treinamento, outros ingressam em cursos de
especialização ou estágios na especialidade escolhida. Segundo Velho et al (2012),
a RM complementa a formação do profissional de medicina e facilita a inserção do
médico no mercado de trabalho, cada vez mais exigente.
De acordo com o Ministério da Educação (MEC), a RM foi regulamentada
pelo Decreto nº 80.281, de 5 de setembro de 1977, e constitui uma modalidade de
ensino de pós-graduação destinada a médicos, sob a forma de curso de
especialização, funcionando em instituições de saúde, sob a orientação de
profissionais médicos de elevada qualificação ética e profissional, sendo
considerada o "padrão ouro" da especialização médica. O mesmo decreto criou a
Comissão Nacional de Residência Médica (CNRM) e determinou algumas
providências complementares (Brasil, 1977). Em 1979, pela Resolução nº 05/79, a
16
14
CNRM especifica as normas que um programa de RM deve seguir, dentre as quais a
duração e carga horária total do programa, possibilidade de complementação,
proporções da carga horária destinada ao treinamento em serviço e atividades
teóricas e práticas, locais de trabalho e carga horária em cada uma das quatro
grandes áreas (Clínica Médica, Cirurgia Geral, Pediatria e Ginecologia-Obstetrícia),
seleção de candidatos, avaliação, promoção do candidato dentro do programa e
obtenção do certificado de conclusão do programa (Brasil, 1979; Wuillaume, 2000).
Assim, a institucionalização da RM criou a estrutura de ensino que expõe o
jovem médico selecionado a inúmeros serviços e supervisores, cujo objetivo
principal é torná-lo apto ao desempenho da especialidade escolhida. A base da RM
é o treinamento em serviço submetido à supervisão contínua, permitindo aquisições
cognitivas, obtidas simultaneamente ao desenvolvimento de habilidades e atitudes,
elementos estes essenciais à prática médica. Por isso a RM é considerada a melhor
forma de aperfeiçoamento e de especialização em Medicina (Degenszajn, 2005).
Segundo Teunissen et al (2007), a aprendizagem dos residentes tem como
base a participação dos mesmos em atividades relacionadas ao trabalho, pois a
informação que se tornará conhecimento está incorporada nestas atividades, ou
seja, aprender a ser um médico especialista significa trabalhar e agir como um.
Para isso, o primeiro passo no processo de ensino e aprendizagem da residência é
determinar o que deve ser compreendido e o que o residente deve ser capaz de
fazer com o que entendeu. O segundo é oferecer diferentes experiências que
permitam ao residente aprender a obter informações importantes diante das
situações e a buscar, na memória, as ações corretas, efetivas e relevantes para
serem utilizadas em situações posteriores. Diante destas diversas formas de adquirir
conhecimento, o residente desenvolve a habilidade de utilizá-los na resolução de um
caso clínico, o que aprimora sua prática profissional.
De acordo com Leone et al (1995), os programas de RM devem ter o
planejamento centrado no treinamento em serviço, com as atividades dirigidas ao
paciente ocupando grande parte da carga horária durante o processo de ensino e
aprendizagem. O objetivo é que ao longo do programa, o residente busque
aprimorar o raciocínio clínico em suas atividades de rotina, ao final do programa o
mesmo possuirá competências para realizar diagnósticos precisos e adotar condutas
mais adequadas a cada paciente atendido. Por isso, mesmo que nem sempre de
maneira consciente, o residente associa no atendimento, atitudes características de
17
14
um pesquisador, ou seja, formula hipóteses diagnósticas e busca, por meio da
propedêutica clínica ou laboratorial, elementos que confirmem ou não suas
possibilidades diagnósticas.
Segundo Grijpink-Van Den Biggelaar et al (2010), competência e
desempenho clínico devem ser desenvolvidos durante a residência, e embora a
aprendizagem baseada no trabalho seja útil o residente vai enfrentar alguns
desafios. Primeiro, existe um desenvolvimento rápido da expertise médica, criando a
necessidade para todos os médicos e residentes se manterem atualizados.
Segundo, como resultado da complexidade do sistema hospitalar e das rotações
frequentes entre os alunos durante a residência, torna-se difícil a organização e
monitoramento da aprendizagem, além disso, no hospital os alunos aprendem, mas
não há garantia de que os objetivos de aprendizagem sejam cumpridos. Terceiro,
cada aluno aprende de uma maneira e esta variação está relacionada ao grau de
autonomia e dependência do estudante e aos estilos de aprendizagem individuais
(Kolb et al, 2009), caso o professor pressuponha que todos os alunos aprendam da
mesma maneira, pode haver dificuldade na aprendizagem. Quarto, embora os
professores se mantenham dedicados aos residentes, a maioria deles não
apresentam habilidades educacionais que atendam às características dos alunos
dentro e fora do hospital. Outros desafios apontados por Velho et al (2012) referem-
se ao excesso de carga de trabalho, falta de preceptoria adequada (médico
responsável pelo preparo profissional, ético e humanista do residente e pela
supervisão no atendimento prestado ao paciente), estresse físico e emocional
produzido pela atividade desenvolvida, condições impróprias dos hospitais e baixa
remuneração.
Para Botti e Rego (2010), a RM representa mais que uma busca de
aperfeiçoamento da competência profissional adquirida na graduação, consideram
como um treinamento em serviço, num momento específico da formação
profissional. Ao ingressar, o aluno busca por treinamento em alguma especialidade
através da aquisição progressiva de responsabilidades, desenvolvimento da
capacidade de iniciativa, julgamento e avaliação, representando um marco profundo
no perfil profissional. Para que a formação profissional tenha sucesso, o processo de
ensino e aprendizagem deve ser significativo, com seus objetivos bem explícitos,
permitindo de acordo com Ten Cate e Fedde (2007), que o residente execute suas
atividades de maneira independente, sem auxílio de um preceptor.
18
14
Wuillaume (2000) acredita que é no contexto do construtivismo que o
processo de construção de aquisição de conhecimento esteja inserido na RM, ou
seja, o residente participa de forma ativa e consciente na construção do seu
conhecimento e o preceptor atua como guia neste processo complexo e dinâmico. E
para Jones et al (2009), as oportunidades de aprendizagem dos residentes devem
ser mais flexíveis, isso inclui, escolha de disciplinas eletivas voltadas para a
variedade de opções de carreira disponíveis e o aprendizado deve ser contínuo,
começando na faculdade de medicina e continuando ao longo da carreira.
Diante das afirmativas apresentadas, foi realizada a revisão sistemática sobre
o processo de ensino e aprendizagem na RM e os artigos obtidos foram analisados
e observou-se que poucos estudos discutem e relatam sobre o processo de ensino e
aprendizagem dos residentes, o conteúdo dos programas de RM, o que eles
aprendem e como são avaliados. Os autores estão mais preocupados com a
titulação do corpo docente, as condições de trabalho dos residentes e a organização
dos programas (Baker, 2010; Schmitz et al, 2010; Takayesu et al, 2010; Ethnasios
et al, 2011; Phelps et al, 2011; Evaniew et al, 2013) e ainda discutem e relatam
experiências na utilização de tecnologia da informação no ensino e aprendizagem e
em rotinas administrativas, mas não a sua utilização como metodologia de ensino
(Kalarickal, 2009; Grijpink-Van Den Biggelaar et al , 2010; Skye et al, 2011; Carvalho
et al, 2012; Chu et al, 2012; Tanaka et al, 2012; George et al, 2013).
1.1.1.2. Estudos Correlatos
Considerando o ensino e aprendizagem na residência, foi realizada a leitura
dos artigos pré-selecionados obtidos na revisão sistemática com as palavras-chave:
resident learning e teaching-learning process and medical residency, aqueles nos
quais os autores relatam sobre a utilização ou propõe uma metodologia de ensino
em programas de RM foram considerados e seus objetivos e resultados descritos a
seguir.
Com o objetivo de fornecer uma orientação aos educadores da área de
residência em radiologia, quanto às metodologias adequadas para o treinamento
eficaz dos residentes, Arogundade (2011) realizou uma revisão da literatura sobre as
várias teorias de aprendizagem para adultos, o papel da motivação na
19
14
aprendizagem, os métodos de prática de ensino e a influência que as teorias de
aprendizagem podem ter sobre a prática. O autor concluiu que as teorias de
aprendizagem construtivistas influenciam no ensino, na definição do currículo e na
avaliação dos residentes. Para estes autores, o ensino está centrado na resolução
de problemas complexos pelos alunos, o currículo é composto pelos resultados de
aprendizagem esperados e a avaliação dá maior ênfase ao progresso do aluno.
O trabalho de Vollmer et al (2011) discute como são vistas as técnicas de
aprendizagem de adultos pelos residentes e professores no ensino de cirurgia. Na
sala de cirurgia, a aquisição de conhecimentos e habilidades são fundamentais,
porém os métodos de ensino e aprendizagem e o processo de como os residentes
são treinados são escassos. Assim, entender qual a melhor forma de ensinar os
residentes em cirurgia é muito importante. Para isso, os autores desenvolveram uma
pesquisa sobre eficácia do ensino cirúrgico, com elementos quantitativos e
qualitativos, comparando perspectivas de alunos e corpo docente sobre experiências
educacionais dentro da sala de cirurgia, podendo assim definir áreas a serem
melhoradas no ensino. Foi solicitado aos entrevistados classificar as melhores
práticas de ensino e usando perguntas abertas, identificar outras abordagens
educativas eficazes, dentro de quatro domínios do ensino operatório, que incluem: a
autonomia do aluno graduado (ambiente de aprendizagem), discussão do caso no
pré-operatório com o aluno (avaliação pré-operatória), fornecer feedback imediato ao
aluno (ensino intra-operatório), e fornecer exemplos específicos do que o aluno fez
bem e/ou precisa melhorar (análise pós-operatório).
Na análise quantitativa, os autores observaram que houve discordância
significativa entre residentes e docentes com relação às técnicas de ensino para
adultos, porém concordaram na identificação das estratégias de ensino mais
eficazes. Já na análise qualitativa, os autores observaram que ambos apontaram
problemas na comunicação, pressões com relação ao tempo, otimização do
ambiente de trabalho/aprendizagem, envolvimento dos professores, autonomia e
feedback.
Na Faculdade de Medicina e Ciências Biomédicas de Yaoundé, Bediang et al
(2013), utilizaram as ferramentas computacionais: Tecnologias da Informação e
Comunicação (TIC’s) e e-learning, com o objetivo de investigar como podem
contribuir para o processo de ensino e aprendizagem dos alunos. É pouco explorado
na literatura como estas ferramentas podem melhorar o processo, principalmente em
20
14
Camarões, país com recursos limitados. Para isso, foi realizado um estudo
transversal com três grupos distintos de indivíduos, 307 participantes responderam o
questionário, destes 218 estudantes, 57 residentes e 32 professores.
O questionário utilizado pelos autores do trabalho é uma versão adaptada,
desenvolvido e validado em um estudo anterior semelhante da Unidade de Pesquisa
e Desenvolvimento em Educação Médica da Faculdade de Medicina da
Universidade de Genebra. Após a análise estatística dos dados, os autores
observaram que cerca de dois terços dos alunos não estão familiarizados com e-
learning e mesmo assim mostraram interesse. A maioria apontou o e-learning como
tendo potencial na melhoria do ensino e aprendizagem e são a favor de sua
utilização, o que aumenta a necessidade de discussão sobre o tipo de metodologia
de ensino a ser adotada que permita aos alunos serem mais ativos em sua
formação. O sucesso depende de diversos fatores, entre eles os autores citam a
definição de uma estratégia de e-learning e a atuação mais ativa e participativa da
área pedagógica, apoio este necessário para aumentar a eficácia do e-learning.
Para Nuthalapaty et al (2012), a metodologia de ensino para a educação
médica deve envolver a escolha das melhores ações educativas e estas devem ser
baseadas em evidências, pois há a integração da experiência clínica com a
capacidade de analisar e aplicar a informação científica adquirida ao cuidar de
pacientes. Com a utilização desta metodologia, os autores afirmam que é possível
melhorar a competência do aluno, bem como beneficiar diretamente o atendimento
dos pacientes. Esta ligação, entre a assistência ao paciente e educação médica, é
importante para conduzir e discutir pesquisas de educação médica de qualidade. Os
autores propõem, para os educadores da área clínica, tanto do nível de graduação
quanto de residência médica, uma estrutura de metodologia educacional na área
clínica baseada em evidências e discutem as diferenças e semelhanças entre a
investigação clínica e educação baseada em evidências.
De acordo com Maizels et al (2008) e McQuiston et al (2010), os programas
de residência devem constantemente reestruturar o ensino e a avaliação de
habilidades cirúrgicas dos alunos. Para melhorar o ensino e documentar o
desempenho de residentes, os autores desenvolveram uma ferramenta de
aprendizagem assistida por computador, conhecida como Aprendizagem Visual
Apoiada por Computador (Computer Enhanced Visual Learning - CEVL), o qual
inclui currículo educacional e relatórios administrativos. O currículo é composto pelo
21
14
estudo de um tutorial passo-a-passo sobre cirurgia com recursos computacionais
avançados, estes mostram as habilidades cirúrgicas esperadas para um cirurgião e
uma ferramenta para avaliar o desempenho do residente pelo cirurgião responsável,
o feedback pós-operatório é registrado e utilizado para estruturar a prática na sala
de cirurgia, pois sugere aos residentes formas de melhora-la.
O estudo da aplicabilidade do método foi realizado com 24 residentes em
urologia de diferentes anos, e os autores verificaram que o método foi inovador e
aumentou a aprendizagem dos residentes, pois fornece um feedbak construtivo.
O processo de ensino na residência auxiliado por um médico pesquisador
(residente recém-formado) e o impacto de sua presença na educação do residente
em pediatria são explorados no trabalho de Backes et al (2011), cujo objetivo foi
implementar um método prático o qual envolve os médicos pesquisadores na
educação do residente, avalia a experiência dos pesquisadores e o impacto do
método em um programa de residência.
O estudo foi realizado em uma unidade de terapia intensiva neonatal, na qual
os médicos pesquisadores foram responsáveis em conduzir sessões de ensino
diárias. O impacto do método na educação dos residentes foi mensurado por
avaliações online anônimas respondidas por 105 residentes e o potencial do método
para os pesquisadores também foi avaliado através de uma pesquisa anônima. Os
resultados mostraram que o método contribuiu positivamente para aprendizagem
dos residentes e estes apontaram como favorável a presença dos médicos
pesquisadores. E o método propicia uma oportunidade de aprimorar as habilidades
para o ensino dos médicos pesquisadores.
Obura et al (2011) propõem a utilização de tutoria online e comunidades de
aprendizagem, com o objetivo de melhorar a aprendizagem de residentes. A tutoria
online é um método de ensino, muito utilizada na graduação, na qual o mentor atua
como facilitador no processo de ensino e aprendizagem do aluno e utiliza como
principal meio de comunicação as tecnologias virtuais. As comunidades de
aprendizagem são organizadas para realização de reuniões regulares, por meio de
conferências pela internet com a ferramenta WebEx*1. Neste trabalho, o tutor estava
localizado em Virginia, nos Estados Unidos, e o mesmo desenvolveu o projeto
instrucional, ajudou na interatividade do aluno e ensinou residentes localizados em
1 *http://www.webex.com
22
14
Nairóbi, no Quênia. Após as sessões de ensino baseadas em casos pela Internet, os
residentes foram convidados a formar uma comunidade online de alunos para
discutir por uma hora a cada semana as informações apresentadas nos casos.
A análise quantitativa foi realizada nos resultados obtidos a partir da pesquisa
feita com um questionário, já a análise qualitativa foi realizada a partir das
entrevistas transcritas na integra. A análise dos resultados revelou grande
entusiasmo e aceitação dos residentes com relação às experiências de
aprendizagem pela Internet, o que indica que estas metodologias podem ser
utilizadas em programas de residência médica em países em desenvolvimento.
Com o objetivo de maximizar a experiência educacional, Kirton et al (2012)
apresentaram a proposta de um currículo para o ensino na residência baseado em
competências, ou seja, centrado em objetivos educacionais específicos, neste
utilizou materiais de ensino, livros online e palestras interativas desenvolvidas pelo
corpo docente e disponibilizados no portal SCORE*2, para áreas do programa que
precisavam de melhorarias (apontadas anteriormente pelos residentes). Esta
proposta surgiu devido às restrições de horas de serviço dos residentes, menor
tempo de dedicação do corpo docente ao ensino clínico e pelo aumento dos
requisitos educacionais exigidos pelo Accreditation Council for Graduate Medical
Education (ACGME).
A avaliação do novo currículo foi realizada buscando as opiniões dos
residentes sobre o conteúdo das conferências, a qualidade das apresentações e dos
materiais didáticos complementares. Os resultados demonstraram que o currículo
proposto e adotado pelo corpo docente com abordagem colaborativa pode aumentar
a satisfação do residente e melhorar a sua capacidade em compreender as
principais competências.
O Quadro 2 apresenta um resumo sobre a metodologia adotada, a tecnologia
utilizada (quando apresentada) e em qual programa de residência foi aplicada.
2 *http://www.surgicalcore.org
23
14
QUADRO 2. Artigos selecionados sobre ensino e aprendizagem na residência médica.
Autores Metodologia Tecnologia RM
Arogundade, 2011 Aprendizagem para
adultos Não utiliza
Radiologia
Vollmer et al, 2011 Cirurgia
Bediang et al, 2013 e-learning Tecnologias da Informação
e Comunicação - TIC’s Não informado
Nuthalapaty et al, 2012 Baseada em evidências Não utiliza
Backes et al, 2011 Médico pesquisador Pediatria
Maizels et al, 2008
McQuiston et al ,2010 e-learning
Computer Enhanced Visual
Learning - CEVL Urologia
Obura et al, 2011 Tutorias e Comunidades
online WebEx Radiologia
Kirton et al, 2012 Aprendizagem baseada
em competências Portal SCORE Cirurgia
Com o objetivo de verificar como está sendo realizada a avaliação de
aprendizagem dos residentes, na próxima seção apresentamos o conceito de
avaliação e como ela está sendo aplicada nos programas de residência.
1.1.2. Avaliação de Aprendizagem na Residência Médica
Este capítulo apresenta os objetivos e os tipos de avaliação de aprendizagem
e de que maneira a avaliação da aprendizagem é realizada na residência médica.
1.1.2.1 Fundamentação Teórica
De acordo com Perrenoud (1999) a avaliação surgiu por volta do século XVII
e é inseparável do processo de ensino que conhecemos desde o século XIX e
exerce um papel importante no processo de ensino e aprendizagem, pois permite
conhecer os alunos, bem como determinar se os objetivos previstos para tal
processo foram ou não atingidos (Garcia e Cunha, 2000).
A função principal da avaliação é ajudar o aluno a aprender e ao professor,
ensinar (Perrenoud, 1999) e isso abrange desde um diagnóstico em torno do aluno
até o feedback de todo o processo, permitindo assim conhecer os alunos, determinar
se os objetivos previstos para o processo de ensino e aprendizagem foram ou não
24
14
atingidos, aperfeiçoar o processo, diagnosticar as dificuldades de aprendizagem,
promover, motivar e dar retorno aos alunos sobre seu progresso.
Segundo Zeferino e Passeri (2007) há três tipos de avaliação: diagnóstica,
formativa e somativa. Para garantir a eficiência do sistema de avaliação e a eficácia
do processo de ensino e aprendizagem, recomendam que o professor faça uso
destas três modalidades juntas.
A avaliação diagnóstica é realizada no início do processo de aprendizagem e
pretende identificar o nível de conhecimento dos alunos e as deficiências em termos
de pré-requisitos, estas informações refletem no planejamento das atividades
educacionais.
A avaliação formativa é realizada ao longo do processo, permite o
acompanhamento progressivo do aluno e, deste modo, fornece informações que
orientam os professores na correção das distorções no processo de ensino e na
identificação de obstáculos que estão a comprometer a aprendizagem. Este tipo de
avaliação orienta o estudo do aluno e o trabalho do professor. Nesta avaliação têm-
se vários instrumentos que podem ser utilizados, tais como, a prova escrita,
questões de testes, dissertativas, prova oral, portfólio, prova prática, discussão de
casos, avaliação por pares e autoavaliação.
A somativa ocorre no final do processo, tem como finalidade identificar se o
aluno adquiriu as competências necessárias para novas etapas do processo de
aprendizagem. Frequentemente é empregada com o propósito de aprovação do
estudante ou, ainda, de emitir parecer formal sobre a competência individual para o
exercício de atividades profissionais.
Para Perrenoud (1999), competência é a capacidade de mobilizar e integrar o
conjunto de conhecimentos especializados e saberes, recursos e habilidades para a
resolução de problemas num contexto profissional determinado. Para Fernandes et
al (2012) competência é a síntese de conhecimentos, habilidades e atitudes que,
integrados, facilita o aprimoramento do indivíduo para diagnosticar e tratar o
paciente, o que é fundamental para um bom desempenho profissional frente às
constantes mudanças que ocorrem durante a prática.
Avaliação de aprendizagem na residência médica
Segundo Megale et al (2009), competência na educação médica, envolve
conhecimentos e habilidades, pois o estudante, além de adquirir um conjunto de
25
14
conhecimentos fundamentais, necessita, também, dominar uma série de habilidades
de complexidade variável, que nem sempre são fácies de avaliar e isso exige
métodos e instrumentos diversificados de avaliação. Quanto à avaliação de
competências, esta deve ser confiável e válida, contendo instrumentos variados,
incluindo testes escritos e observação do comportamento profissional em cenários
de prática e tem como objetivo identificar, em um dado momento, o desempenho do
estudante para julgar se a competência requerida foi ou não adquirida, pois o
estudante a adquire num processo contínuo, de modo que a avaliação representa o
feedback construtivo para o avaliador. Esse retorno é muito útil para identificar as
deficiências e fornecer ao estudante orientações e sugestões adequadas de como
agir para alcançar o desempenho esperado (Fernandes et al, 2012).
Nos programas de RM a avaliação é um grande desafio, pois se refere à
avaliação da aprendizagem em serviço, algo que inclui outras habilidades, além das
competências e dos conhecimentos teóricos (Borgli e Lima, 2011). Devido a sua
complexidade, a CNRM, publicou dois artigos referentes a avaliação. Assim, a
CNRM no uso de sua atribuição prevista no art. 2º, alínea "a" e "c" do Decreto nº
80.281, de 5 de setembro de 1977, e considerando o disposto no art. 1º, do
Regimento Interno, publicado no D.O.U. de 25/08/79, resolve sobre o sistema de
avaliação (Brasil, 1979):
Art.8º
A avaliação do aproveitamento do residente utilizará os seguintes mecanismos:
1. Avaliação periódica através de provas escritas e/ou práticas.
2. Avaliação periódica do desempenho profissional por escala de atitudes que
incluam atributos tais como: comportamento ético, relacionamento com equipe
de saúde e cliente, interesse pelas atividades, e outros.
Parágrafo único: será dado conhecimento ao residente do resultado desta
avaliação.
Art. 9º
A promoção para o 2º ano, assim como a obtenção do certificado de conclusão
do Programa deve depender de:
1. Cumprimento integral da carga horária prevista no programa;
2. Aprovação na avaliação final do aproveitamento;
3. Desempenho profissional satisfatório, medido por escala de atitudes.
26
14
Os programas de RM buscam formar profissionais capazes de compreender
por completo os pacientes, seus aspectos físicos, emocionais e sociais. Assim, a
avaliação do processo de ensino deve incluir esses diferentes aspectos, que
compreendem a observação do comportamento do residente nas diferentes
situações às quais será exposto, frente ao paciente, família e à própria equipe de
saúde com a qual deverá ser capaz de interagir, incluindo as avaliações da
aquisição de conhecimento e de capacidade de realizar procedimentos.
Tanto na graduação quanto na residência, conhecimentos e habilidades
isolados não tornam um médico competente, e sim a capacidade de usar esses
atributos juntos em situações clínicas, pois para um bom desempenho na medicina,
é necessária, além de competências técnicas, também a satisfação profissional e
dos pacientes. Isso exige comportamentos, atitudes, conhecimentos e princípios
cientificamente comprovados, que podem e devem ser aprimorados e avaliados
durante a residência (Botti e Rego, 2010).
Segundo Van Der Leeuw et al (2011) e Da Dalt et al (2013), o processo de
avaliação é um elemento essencial no desenvolvimento e na implementação de
qualquer atividade de treinamento, inclusive os de competência médica. Um
currículo educacional de qualidade prevê a avaliação formativa, a fim de documentar
o progresso do residente ao longo do processo de aprendizagem. Além disso,
quando devidamente planejada e implementada é o feedback para os residentes
sobre o seu nível de amadurecimento profissional, e serve para identificar se os
médicos residentes estão ou não preparados para a prática em um nível
independente, além de indicar os pontos fortes e fracos do programa de formação.
Assim, avaliar a aprendizagem na residência é verificar o conhecimento
médico do estudante a partir de competências já estabelecidas, de acordo com o
programa em que o estudante está inserido. Porém, esta avaliação não pode ser
realizada utilizando apenas um instrumento, por exemplo, questões de múltipla
escolha, pois são limitadas e não abrangem a avaliação de todas as competências
médicas que se espera que o estudante tenha adquirido ou aprimorado durante o
programa. Por esta razão, diferentes instrumentos de avaliação têm sido propostos.
Com o objetivo de analisar como a avaliação do ensino e aprendizagem
ocorre nos programas de residência médica foi realizada uma revisão de literatura
sobre o tema e os artigos encontrados são apresentados a seguir.
27
14
1.1.2.2 Estudos Correlatos
Para analisar e descrever quais instrumentos de avaliação de aprendizagem
estão sendo utilizados nos programas de RM, foi realizada a leitura dos artigos pré-
selecionados com as palavras-chave: resident evaluation e residency evaluation e
aqueles que relatavam sobre o assunto foram considerados e descritos a seguir.
Conforme Da Dalt et al (2013), com o objetivo de avaliar o desempenho do
residente durante o treinamento, o Comitê do Programa de Residência em Pediatria
da Universidade de Pádua na Itália, país no qual as escolas médicas têm autonomia
em relação aos métodos e padrões de avaliação, convidaram os residentes e o
corpo docente para preencherem um questionário de avaliação (Resident
Assessment Questionnaire - ReAQ). O corpo docente e os residentes receberam
instruções breves sobre o preenchimento do questionário. Para compor o
questionário e validá-lo, os autores utilizaram como base as seis competências
listadas pelo ACGME (profissionalismo, assistência ao paciente, habilidades
interpessoais e comunicação, conhecimento médico, aprendizagem baseada na
prática e aperfeiçoamento, prática baseada em sistemas) e criaram um questionário
com 20 itens, cada item em uma escala de 1 ("ruim") a 5 ("excelente"). A avaliação
foi realizada tanto para o corpo docente que avaliou os residentes, quanto para os
residentes que se auto-avaliaram. O resultado é uma medida unidimensional da
competência, embora o instrumento de avaliação seja composto de itens de
diferentes aspectos, todos contribuem para a definição do perfil de competências
dos residentes.
De acordo com os autores, no final de cada ano letivo, os residentes
preencheram o ReAQ e os resultados apresentados mostraram que o questionário
proposto forneceu uma avaliação confiável, pois permitiu classificar os residentes
em diferentes níveis de desempenho, ou seja, o instrumento foi válido para distinguir
os residentes em diferentes níveis de formação. O resultado da aplicação do
questionário foi comunicado para cada residente em reuniões individuais.
O método para avaliar o desempenho clínico, muito utilizado nos programas
de residência, é a observação direta. De acordo com Ryan et al (2010), este tipo de
avaliação geralmente é usada para avaliar cada uma das competências básicas. As
ferramentas que permitem coletar dados de observação direta são projetadas para
capturar a interação entre residente e paciente e fornece um valor para o docente
28
14
que representa a interação. Outro instrumento é a avaliação global, utilizado pelos
professores e baseada no desempenho do residente durante o período de avaliação.
O objetivo do trabalho foi comparar os resultados de avaliação de residentes a partir
de avaliações globais trimestrais com avaliações de observação direta realizados
durante o mesmo período. Para isso, os autores realizaram um estudo de coorte
observacional em um programa de residência que utiliza um sistema de avaliação
online para preenchimento das avaliações globais e de observação direta do
paciente. Ambas as avaliações são compostas por um formulário com oito perguntas
semelhantes, exceto que na observação direta refere-se à assistência a um paciente
enquanto na avaliação global a todos os pacientes cuidados pelo residente.
Cada membro do corpo docente foi orientado a preencher o formulário de
avaliação direta, depois de observar a interação residente-paciente durante um
atendimento. Já as avaliações globais foram realizadas trimestralmente, através do
formulário único para cada residente. Os resultados sugerem que as metodologias
adotadas no estudo geram dados semelhantes quando usadas como uma
ferramenta de avaliação somativa dos residentes. Se avaliações de observações
diretas forem usadas como parte de um processo de avaliação multifacetada, vários
membros do corpo docente devem avaliar cada residente para garantir um resultado
confiável.
Segundo Crespi-Flores, et al (2012), na área da Oftalmologia, o treinamento
cirúrgico de um residente requer atenção máxima devido a sua complexidade, o que
justifica a necessidade de metodologias claras sobre o ensino e instrumentos de
avaliação. Um instrumento de avaliação bastante utilizado na educação em cirurgia
é o questionário de autoavaliação de desempenho. Com o objetivo de verificar as
percepções sobre a aprendizagem e ensino de cirurgia de estrabismo, para assim
buscar melhorias, os autores entregaram um questionário a 38 residentes, 15 do
primeiro ano e 23 do segundo, que aceitaram participar do estudo. Neste estudo,
após executar um procedimento cirúrgico, o participante realiza uma autoavaliação,
que incluiu perguntas sobre a técnica cirúrgica utilizada, a autoavaliação da técnica
e se a formação dada foi adequada. Os supervisores também avaliaram o
desempenho dos residentes durante a cirurgia em relação ao nível de dificuldade,
ansiedade, mãos trêmulas e a insegurança.
Os dados foram analisados e foram comparadas as respostas dos residentes
na autoavaliação com as dos supervisores. Embora os supervisores observarem que
29
14
63% dos residentes apresentavam ansiedade, 65% um pouco de insegurança e 98%
inseguros, 51% dos residentes não relataram nenhum desses sentimentos.
Observou-se que o número de residentes do primeiro ano com dificuldade em
lembrar a sequência de procedimento ou manipulação de instrumentos foi maior que
o número de residentes do segundo ano, o que sugere que o ensino prático dos
residentes do segundo ano foi maior. Assim, os autores apontam que o treinamento
em cirurgia melhora as habilidades técnicas dos residentes o que justifica o fato de
que treinamento deve ocorrer em uma fase inicial da aprendizagem médica.
Wu et al (2010) descreve uma metodologia multifacetada, que permite avaliar
de forma ampla os residentes, permitindo assim a remediação das dificuldades
encontradas e identificar as dificuldades de forma rápida e precoce. De acordo com
os autores, um sistema de avaliação eficaz deve identificar os problemas
antecipadamente e com precisão, enquanto um programa de remediação deve
detectar as dificuldades de forma eficaz, uma vez identificadas devem ser utilizados
os recursos apropriados para sana-las. Esta metodologia é utilizada no
departamento de residência em radiologia da Escola Médica de Harvard, juntamente
com a avaliação baseada nas seis competências listadas pelo ACGME, porém os
autores não relatam sobre as experiências na utilização. O Quadro 3 apresenta um
resumo sobre os artigos considerados:
30
14
QUADRO 3. Artigos selecionados sobre avaliação de aprendizagem na residência médica.
Autores Instrumento
de avaliação Feedback
Competências
avaliadas RM
Da Dalt et al, 2013 Questionário
ReAQ Sim As seis competências
listadas pelo ACGME
Pediatria
Wu et al, 2010 Multifacetada
Não
relatado
Radiologia
Ryan et al, 2010 Global e
Observação
- Assistência ao paciente
- Conhecimento médico
- Habilidades interpessoais
e comunicação
- Profissionalismo
- Prática baseada em
sistemas
- Competência clínica geral
Medicina de
Emergência
Crespi-Flores et al, 2012 Questionário Não Oftalmologia
Um dos instrumentos que pode ser utilizado na avaliação de residentes são
aqueles que utilizam casos como método de avaliação. Devido a sua importância
neste trabalho, é apresentada na próxima seção a explicação sobre avaliação de
aprendizagem baseada em casos e os artigos encontrados na revisão sistemática.
1.1.3. Avaliação de Aprendizagem Baseada em Casos
Neste capítulo são apresentados os conceitos referentes aos casos clínicos, a
avaliação de aprendizagem baseada em casos e como a mesma é aplicada na área
da saúde.
1.1.3.1. Fundamentação Teórica
O método de estudo de caso surgiu na área do Direito com o
desenvolvimento de uma enciclopédia de dados judiciais, pelo aluno de graduação
Christopher Columbus Langdell, durante sua graduação entre 1851 a 1854 na
Harvard Law School. Em 1870, quando Langdell assumiu a direção da escola,
implantou o método de casos, no qual os alunos liam cada caso, discutiam,
analisavam e apresentavam suas próprias conclusões e interpretações. A
31
14
verificação e análise da eficácia do método eram feita por perguntas que eram
respondidas pelos alunos, as quais evidenciavam fatos do caso, raciocínio judicial,
princípios e teorias, e comparações com outros casos (Garvin, 2003).
Na educação médica o método foi proposto há mais de cem anos. Na Harvard
Medical School, Walter Bradford Cannon realizou um experimento em dezembro de
1899, usando a história de um de seus pacientes particulares, que resultou na
publicação de um artigo sobre o método de caso no ensino da Medicina como parte
do treinamento dos alunos do terceiro ano (Cannon, 1900).
O objetivo de um caso é apresentar aos alunos problemas e estes são
desafiados a analisa-los, fazer inferências baseadas nas informações relatadas, e
tomar decisões sobre questões incertas, ambíguas e contraditórias que simulam o
contexto profissional real. O processo de ensino baseado em casos requer que os
alunos apliquem seus conhecimentos teóricos para coletar informações clínicas
corretas, obter perspectivas do paciente e sintetizar informações complexas para
formular e testar hipóteses diagnósticas (Kim et al, 2006).
Na educação médica um estudo de caso é uma apresentação de um paciente
real ou fictício, com pelo menos uma queixa principal, história e sintomas. Um caso
mais complicado pode ter várias queixas principais, cada uma com uma história,
uma história médica, psiquiátrica, social e familiar completa, uma lista dos sintomas,
resultados laboratoriais e de imagem e tratamento adotado. Estudos de casos
especializados podem se concentrar em apenas uma queixa (Roger, 1993;
Breathnach, 2000).
Os casos clínicos desempenham um papel importante na aprendizagem e
aperfeiçoamento do raciocínio clínico que todo médico deve ter. O exercício de
estabelecer diagnósticos diferenciais permite a familiaridade com as diversas formas
de apresentação das doenças. Inicialmente, identificam-se as síndromes que
acometem o paciente, em seguida, a doença específica apresentada. E, por fim, a
definição da melhor conduta terapêutica para o caso. Uma vez criado, um caso
muitas vezes pode ser adaptado e incorporado em cursos de graduação ou pós-
graduação. Por exemplo, enquanto os professores de graduação usam um caso
para ilustrar as práticas médicas gerais, os residentes podem usar o mesmo caso
para explorar um conjunto de questões mais complexo, ou seja, sua utilização
depende dos objetivos de aprendizagem. Assim, acredita-se que a utilização de
avaliações construídas em formato de caso clínico, podem contribuir para o
32
14
aprimoramento do conhecimento e verificar a habilidade do residente em tomar
decisões diante das situações clínicas reais (Abensur et al, 2007).
Neste trabalho os termos: casos, estudo de caso e ensino e aprendizado
baseado em casos são tratados como casos clínicos.
Foi realizada a leitura dos artigos pré-selecionados obtidos na revisão
sistemática que tratam da avaliação de aprendizagem baseadas em casos clínicos,
sendo considerados aqueles em que os autores relatam suas experiências de
ensino, avaliam o aprendizado pelo método de estudo de caso clínico e utilizam para
isso uma ferramenta informatizada. Os artigos considerados estão descritos no item
a seguir.
1.1.3.2. Estudos Correlatos
Em diferentes disciplinas da área da saúde encontramos relatos de ensino e
avaliação baseada em casos clínicos auxiliados por ferramentas computacionais
distintas. Na área de oftalmologia há dois trabalhos, o primeiro (Pinto et al, 2010)
apresenta os resultados da avaliação do programa Modelo Digital de Fluxogramas
em Oftalmologia (MDFluxo), o qual oferece acesso aos fluxogramas do livro Guia de
Oftalmologia da coleção da UNIFESP*3em formato digital, focado na solução de
casos clínicos. Estes casos eram compostos pelos seguintes itens: identificação do
paciente, a condição clínica apresentada, uma história clínica e os fatores
associados. Nestas avaliações os estudantes responderam as seguintes questões
na solução do caso clínico: hipótese diagnóstica, etiologia e conduta.
Para analisar o desempenho do programa foram aplicadas avaliações com 20
estudantes, três casos clínicos diferentes foram apresentados, alternando a
utilização do material de apoio, sendo: uma avaliação utilizando o computador de
mão com o MDFluxo, uma avaliação utilizando o livro e a última avaliação sem
utilizar qualquer material de apoio. Nestas avaliações os estudantes responderam
questões na solução dos casos clínicos sobre hipótese diagnóstica, etiologia e
conduta. O uso do programa teve aceitação de 82,5% dos estudantes. Os resultados
dos itens hipótese diagnóstica e somatória dos resultados não apresentaram
diferenças significativas entre as avaliações realizadas com o uso do livro e sem o
*
3 Schor P, Chamon W, Belfort Júnior R. Guia de oftalmologia. São Paulo: Manole; 2004.
33
14
material de apoio. Para a etiologia, conduta e tempo para finalizar o caso clínico o
uso do MDFluxo e do livro são equivalentes entre si, assim os autores concluíram
que a análise dos dados não apresentou evidências de que o uso do programa,
comparado ao uso do livro, auxilie no aprendizado dos estudantes.
No segundo trabalho, Iyeyasu et al (2013) apresentam os resultados de um
curso desenvolvido na plataforma de ensino a distância Moodle*4 usando casos
clínicos. Para avaliar a eficácia do método, 15 casos clínicos da área de oftalmologia
foram selecionados e propostos. A avaliação foi realizada no final de cada caso com
a apresentação de três perguntas (semiologia, hipótese diagnóstica e conduta) por
um grupo de 16 residentes. Este grupo foi separado aleatoriamente em dois, o grupo
experimental e o de controle. No primeiro momento todos os residentes receberam
um caso clínico impresso para resolução, distinto dos casos propostos na
plataforma, com as três perguntas. No segundo momento, os residentes do grupo
experimental acessaram a plataforma e visualizaram os casos clínicos. Quando
todos os residentes do grupo terminaram o seu trabalho, as discussões (críticas à
semiologia, hipótese diagnóstica e conduta) sobre cada caso foram publicadas na
plataforma para que os residentes pudessem ver e comparar as suas críticas. Os
residentes também responderam um questionário composto de 13 questões de
múltipla escolha sobre a usabilidade e satisfação de uso da plataforma. Os
residentes do grupo controle não tiveram acesso a plataforma. No terceiro momento,
todos os 16 residentes, receberam outro caso clínico impresso para resolução,
distinto do apresentado no primeiro momento e de todos aqueles apresentados na
plataforma, com as mesmas três perguntas.
Uma análise estatística foi realizada sobre os resultados do questionário
referente à plataforma e a mesma revelou a aprovação dos residentes. Para
avaliação do método, a nota média dos casos clínicos e a média individual para
cada uma das três questões incluídas nos casos foram comparadas para ambos os
grupos, antes e após o acesso a plataforma. Por fim, a média das notas para os
casos clínicos propostos antes e após o acesso a plataforma, foram comparados
com as notas do teste escrito obrigatório aplicado no final do primeiro ano da
residência. Não houve diferença estatisticamente significativa entre os grupos.
*
4 moodle.org.br
34
14
Outro trabalho que relata a utilização da plataforma Moodle com casos
clínicos é o de Abendroth et al (2013). Neste estudo foi desenvolvido um módulo de
e-learning com base em pacientes reais para os alunos do último ano de medicina.
Com o objetivo de avaliar a utilidade deste módulo em relação à autoavaliação
realizada pelos alunos sobre suas competências de tomada de decisão clínica e
suas habilidades de diagnósticos, os casos foram disponibilizados e permaneceram
na plataforma por 10 dias. Os alunos foram divididos em três grupos, conforme a
fase que se encontravam no último ano (fase inicial, intermediária e final) e
convidados a participarem e responderem dois questionários. O primeiro foi aplicado
no inicio e no final do módulo e avaliava as habilidades na tomada de decisões
clínicas, o segundo aplicado no final do último caso, relativo ao design e formato do
módulo.
O resultado do questionário sobre habilidades, aplicado no final do módulo
para os alunos do primeiro grupo (alunos da fase inicial), apresentou um valor maior
quando comparado ao aplicado no inicio. Além disso, apresentaram resultados mais
baixos em relação aos resultados dos alunos do segundo e terceiro grupo (fases
intermediária e final). Os resultados do questionário relativo ao design indicam que
todos os alunos aprovaram a utilização de casos online e valorizaram a relevância
das doenças abordadas nos casos.
Devido à dificuldade dos estudantes em entender e memorizar as etapas de
avaliação de um paciente, Weintraub et al (2011) apresentam um jogo educacional,
desenvolvido em Adobe Flash para avaliação em fisioterapia. O jogo utiliza
estratégia pedagógica com casos clínicos fictícios e permite a revisão do conteúdo
teórico e prático de uma forma que facilita o entendimento e o aprendizado dos
métodos de avaliação do paciente.
O jogo é composto por quatro salas de atendimento, em cada sala um caso
clínico é apresentado, seguido de questões de múltipla escolha sobre a avaliação do
paciente, objetivos do tratamento e conduta adequada, além de uma questão final
contendo vídeos ou imagens. Quando a resposta escolhida é incorreta, o
participante é direcionado a uma sala de estudos, onde encontra referências
bibliográficas, textos, imagens e vídeos explicativos. O aplicativo é uma nova opção
para complementar o currículo já existente. Os autores não realizaram teste de
eficiência do jogo no processo de aprendizagem.
35
14
Com o objetivo de fornecer educação em tempo real baseada em casos
clínicos, foi criado por Finlayson et al (2010) um site no Reino Unido para a Somália.
Primeiro, um CD com palestras, módulos de aprendizagem, materiais de leitura e
recursos de avaliação foi produzido para complementar o aprendizado dos alunos do
quarto ano de medicina daquele país. Após a utilização do CD, dois questionários
foram aplicados, o primeiro para determinar a viabilidade e estrutura de uma
aplicação de ensino à distância. O segundo com o objetivo de verificar quais
componentes do programa de ensino foram mais úteis para os alunos e quais
deveriam ser recriados online.
Os alunos do Reino Unido elaboraram e os professores completaram os
casos clínicos que estavam no formato de slide (PowerPoint) e podiam ser
acessados e controlados durante a sessão de ensino. Em seguida, o professor
enviava um convite aos alunos da Somália, especificando a data e o horário da aula.
Os participantes se reuniram em uma sala virtual com mensagens instantâneas
referentes aos casos e com os recursos multimídia necessários para a aula. Os
alunos demostraram preferência para o ensino clínico através do site, quando
comparado com o ensino através dos recursos estáticos (CD), consideraram o site
fácil de usar e relataram que os casos contribuíram para o aprendizado.
Segundo Kolb et al (2009), a Aprendizagem Baseada em Casos (Case Based
Learning – CBL) é um modelo de projeto instrucional que pode melhorar o ensino
médico. Os autores apresentam os resultados do primeiro estágio do projeto
europeu Netbased Training in Work-Related Machine (NeTWoRM), composto por
universidades e instituições de nove países europeus, cujo objetivo é criar novos
casos de aprendizagem, traduzi-los e adaptá-los para os países que irão utilizá-los.
Os membros do projeto foram treinados para criar e adaptar os seus próprios casos
e avaliar os resultados de seus alunos.
Para criar, distribuir e avaliar os casos os autores utilizaram a plataforma de
e-learning CASUS*5. Nesta plataforma, os casos apresentam o histórico de um
paciente real organizado em unidades didáticas com suposições médicas e terapias.
Os casos adaptados foram utilizados nos países parceiros em cursos de graduação
e pós-graduação. O grande número de casos criados e disponíveis em diferentes
idiomas mostra ser factível a tradução e adaptação de casos para diferentes países.
*
5 http://www.instruct.de/
36
14
Para a análise estatística da aceitabilidade da plataforma, um questionário online foi
utilizado em todos os países participantes. Os resultados mostraram boa aceitação
dos alunos, indicando que os casos forneceram uma abordagem nova ao tema
apresentado e ajudaram no processo de aprendizagem.
Smits el al (2012) descreve o estudo sobre e-learning baseado em casos na
disciplina de Saúde Ocupacional (Occupational Health - OH). Para isso, os alunos
do segundo ano de medicina foram separados em dois grupos, randomicamente
escolhidos, o de intervenção e o de controle. Todos os alunos do grupo de
intervenção receberam três casos e-learning projetados pelo grupo do projeto
NeTWoRM, já o grupo de controle recebeu material escrito composto de fotocópias
de um livro de medicina ocupacional e artigos científicos.
Para todos os estudantes, a aprendizagem utilizando os casos ocorreu no
inicio do estágio da disciplina. Três questionários foram utilizados para avaliar o
processo educativo, um sobre a atitude em OH, o conhecimento em OH e outro
sobre satisfação. Os participantes responderam os questionários no primeiro dia, no
final do estágio e após três meses. Os resultados indicam que não houve diferenças
significativas de conhecimento adquirido e satisfação entre os grupos de controle e
experimental.
Com o objetivo de fornecer aos alunos dos cursos de medicina, enfermagem,
serviço social e capelania, a oportunidade de ampliar os conhecimentos sobre
cuidados paliativos, um programa educativo inovador foi desenvolvido,
implementado e avaliado por Ellman et al (2012). Este programa combina
aprendizagem online com simulação interativa de cuidados paliativos e é composto
por dois módulos. O primeiro é o de casos, acessado através da plataforma Web*6
projetado com colaboração do corpo docente. O caso explora questões importantes
sobre o paciente e sua família durante o tratamento médico, neste são fornecidos
links para artigos da área e um vídeo com atores profissionais abordando metas de
atendimento, gerenciamento de sintomas, desafios espirituais e conflitos familiares
do paciente e sua família. Após completar este módulo, os alunos respondem quatro
perguntas de texto livre. O segundo módulo é a oficina multidisciplinar com os
comentários dos docentes sobre o caso online. Após a oficina, os alunos realizam
*
6 http://learn.yale.edu/im/palliative2/
37
14
uma avaliação escrita do programa com itens sobre a eficácia do programa em
cumprir com seus objetivos educacionais e sobre a qualidade dos módulos.
Os autores realizaram a análise do conteúdo das respostas de texto livre e os
resultados mostraram que os alunos de todos os cursos conhecem as questões
importantes, além das de seu próprio curso, os papéis de outros profissionais e o
valor da colaboração da equipe, indicando que o programa cumpriu seu objetivo de
aprendizagem colaborativa multidisciplinar. Já a análise das avaliações após a
oficina sugere que o programa transmite o conteúdo de cuidados paliativos e assim
cumpre com os objetivos de aprendizagem.
Dois trabalhos descrevem sobre a discussão baseada em casos online. O
primeiro (Kourdioukova et al, 2011) apresenta um estudo sobre a aprendizagem
baseada em casos na área de radiologia em um ambiente de aprendizagem
colaborativa apoiada por computador (Computer supported collaborative learning -
CSCL). Foram criados 26 casos de acordo com os objetivos de aprendizagem para
o curso de radiologia. Cada caso consistiu de uma ou mais imagens de radiologia
(raio-X, ressonância magnética ou tomografia computadorizada) e um breve
histórico do paciente. No final de cada caso, os alunos são convidados a identificar
as principais estruturas radiológicas, listar uma série de diagnósticos e formular um
diagnóstico final. Os casos foram disponibilizados em um ambiente CSCL e foram
distribuídos aleatoriamente entre os grupos de discussão composto por alunos do
quinto e do sétimo ano. O caso deveria ser resolvido pelo grupo de estudantes
separadamente. No ambiente CSCL, depois de chegarem a um consenso em
relação ao caso, cada grupo de estudantes postou sua solução através do ambiente,
após o processo de avaliação pelo professor, a solução do caso era apresentada
como feedback para o grupo.
Duas análises foram realizadas, a primeira com os dados das contribuições
da discussão e a segunda com os conteúdos das soluções propostas pelos grupos.
Devido ao maior nível de conhecimento dos alunos do sétimo ano, o número de
contribuições nas discussões e o tempo para solucionar o caso são menores quando
comparados aos dos alunos do quinto, o que justifica também o maior número médio
de intervenções dos professores. A análise do conteúdo das soluções mostra que os
alunos do sétimo ano possuem maior nível de experiência com radiologia. Os
resultados relatados confirmam que a utilização de um ambiente CSCL com casos é
favorável para todos os estudantes.
38
14
O segundo trabalho é o de Koole et al (2012), neste estudo os autores
adotaram esta metodologia em uma parte do curso de periodontologia do segundo e
terceiro ano da graduação. No inicio de cada ano, os alunos participam de uma
palestra na qual o professor explica sobre o formato dos casos, os objetivos de
aprendizagem, as expectativas do professor sobre a participação dos alunos e como
discutir e postar comentários no fórum. Os alunos foram divididos em grupos e
discutiram de 5 a 6 casos de pacientes reais. Para padronizar e guiar as discussões
em grupo, os alunos tiveram que responder questões e para garantir a contribuição
para a discussão, eles deveriam postar no mínimo duas mensagens por semana no
fórum, responder pelo menos uma pergunta e comentar uma mensagem de outro
aluno. Um supervisor, que também foi o autor do caso, acompanhava as discussões.
Após a discussão dos casos, foi realizado um encontro com todos os alunos e o
professor, neste discutiu brevemente todos os casos, respondeu as perguntas dos
alunos e mostrou o tratamento que foi realmente utilizado na prática.
Neste trabalho, um questionário foi aplicado para analisar as opiniões dos
alunos e supervisores sobre o uso de discussões online baseadas em casos, o
tempo investido e se a frequência de inclusão de casos tem efeito na aprendizagem.
Resultados mostraram que alunos e supervisores avaliaram de forma positiva a
metodologia, o tempo investido foi considerado aceitável pelos alunos e
supervisores e a frequência de inclusão de casos não influenciou na aprendizagem.
Isso sugere que a aprendizagem online é bem aceita pelos alunos e supervisores
como uma metodologia complementar a prática.
O Quadro 4 apresenta os trabalhos considerados na revisão, o software
proprietário (quando utiliza), a tecnologia adotada e para qual público alvo a
metodologia de avaliação foi aplicada.
39
14
QUADRO 4. Artigos selecionados sobre avaliação de aprendizagem baseada em casos.
Autores
Software
proprietário Tecnologia Público Alvo
Pinto et al, 2010 MDFluxo XML Graduação
Weintraub et al, 2011 Não utiliza AdobeFlash Não Informado
Iyeyasu et al, 2013 Moodle Internet
Residentes
Abendroth et al, 2013 Graduação
Finlayson et al, 2010 Não utiliza AJAX
Kolb et al, 2010 NetWoRM
Internet
Graduação e
Residentes
Smits et al, 2012
Graduação Ellman et al, 2012
Não utiliza Koole et al, 2012
Kourdioukova et al, 2011
Com base nas metodologias e resultados apresentados nos artigos descritos,
observa-se que o método de avaliação de aprendizagem baseada em casos
clínicos, através de uma ferramenta computacional, é pouco explorado na área da
saúde.
40
14
2. Objetivos
Definir a aplicabilidade de um sistema computacional para avaliação de
aprendizagem baseado em casos clínicos na Residência Médica.
Identificar as diferenças entre o sistema computacional e o método manual,
previamente empregado, na avaliação de aprendizagem baseada em casos.
41
14
3. Casuística e Métodos
A Unidade de Endocrinologia Pediátrica do Departamento de Pediatria e
Puericultura da Irmandade da Santa Casa de Misericórdia de São Paulo (ISCMSP)
oferece residência e especialização em Endocrinologia Pediátrica desde 1987
(Monte et al, 2009). Atualmente, são oferecidas 12 vagas, seis para residentes e
especializandos de primeiro ano e seis de segundo ano. Para concorrer às vagas, o
residente deve ter feito dois anos de pediatria geral. Os residentes passam por
diferentes estágios dentro da unidade, incluindo ambulatórios, laboratórios e
enfermarias.
Os sujeitos da pesquisa foram convidados durante os anos de 2012 e 2013 e
incluíram residentes do segundo ano (R2) de pediatria geral (que permanecem
durante um mês nesta especialidade pediátrica), residentes de primeiro (R1) e
segundo anos (R2) de endocrinologia pediátrica, denominados R3 e R4
respectivamente, e residentes R3 e R4 de endocrinologia geral (que participam de
atividades ambulatoriais e discussões de casos conjuntas).
O trabalho recebeu a aprovação pelo Comitê de Ética em Pesquisa da
ISCMSP (Apêndice 1). Foi apresentado o Termo de Consentimento Livre e
Esclarecido (Apêndice 2) a todos os sujeitos, que o leram com atenção e
consentiram espontaneamente em participar do estudo.
Para alcançar o objetivo proposto, foi aplicada a avaliação baseada em casos
clínicos utilizando o método manual e o informatizado aos sujeitos da pesquisa.
Ambos os métodos propõem a apresentação de casos clínicos teóricos e fictícios,
com questões desenvolvidas de forma a tornar a avaliação a mais completa
possível. Não há utilização de casos reais, ou referências como nomes, fotos,
registros ou qualquer outra informação que permita vincular o caso apresentado a
algum paciente real. Os conteúdos médicos foram desenvolvidos e validados por
experientes profissionais. Os métodos de avaliação são descritos nos itens a seguir:
3.1. Método de avaliação de aprendizagem manual baseada em casos
O avaliador (professor), responsável pelo processo de avaliação, prepara um
caso clínico fictício, geralmente composto pela identificação do paciente, a sua
42
14
queixa principal e duração, histórico da doença atual, antecedentes pessoais e
familiares, hábitos de vida, um conjunto de possíveis exames físicos e
complementares que podem ser solicitados durante a avaliação e a partir destas
informações, o avaliador define qual a conduta adequada para chegar ao
diagnóstico e tratamento corretos ao quadro que o paciente apresenta. Nem todos
os exames físicos e complementares do conjunto que o avaliador prepara serão
solicitados e utilizados durante a avaliação, pois depende do diagnóstico que o
avaliado irá seguir como correto e isso faz com que possivelmente ele solicite
durante a conduta, exames e/ou informações que não são corretos para a solução
do caso, ou seja, o desfecho está incorreto. Definir este conjunto não é uma tarefa
fácil para quem está criando o caso.
A aplicação desta avaliação é feita da seguinte forma: o avaliado
(participante) recebe a descrição do caso clínico (queixa e alguns dados iniciais) e a
primeira questão. Com estas informações ele interpreta, responde e solicita
resultados de exames, mais informações ou novas questões, estes são entregues
pelo avaliador, após a verificação da resposta e se estiverem disponíveis, ou seja,
se fizerem parte do conjunto pré-definido pelo avaliador como informações
relevantes e compatíveis com o quadro apresentado. O processo se repete até o
avaliado responder a última questão. Este procedimento torna a aplicação da
avaliação um processo trabalhoso, que requer tempo e deve ser acompanhado
atentamente por pelo menos três avaliadores. Após uma semana, o avaliador
fornece feedback aos avaliados por meio de discussão do caso clínico utilizado no
processo avaliativo.
A Figura 1 mostra as etapas necessárias para a composição do caso pelo
avaliador e aplicação e interação do avaliado no processo de avaliação que utiliza
método manual. Um exemplo de avaliação desenvolvida para ser aplicada utilizando
o método manual é mostrado na Figura 2, lembrando que de acordo com o método,
o avaliado recebe uma ou mais questões para responder e não todas de uma vez.
No exemplo apresentado a linha separa as questões que o avaliado receberá após
iniciar o caso. O conjunto de possíveis exames e seus respectivos resultados que
podem ser solicitados durante a avaliação é mostrado na Figura 3. Vale ressaltar
que neste tipo de avaliação os casos e o conjunto de questões e exames devem ser
impressos o que dificulta a utilização de recursos de imagem, som, vídeo entre
outros.
43
14
FIGURA 1. Etapas do Método de Avaliação Manual.
44
14
FIGURA 2. Exemplo de avaliação no método manual.
45
14
FIGURA 3. Exemplo de possíveis resultados que podem ser entregues, se solicitados, nas questões
propostas durante a evolução do caso no método manual.
46
14
3.2. Método de avaliação de aprendizagem informatizado baseada em casos
No método de avaliação informatizado o avaliador deve inserir o caso no
sistema online Medical Clinical Case (MedCC)*7, específico para criação de
avaliações baseadas em caso clínico. O MedCC surgiu devido a necessidade de
agilizar a construção de avaliações baseadas em casos clínicos pelos professores e
o próprio processo avaliativo dos residentes que compõem o programa de
Endocrinologia Pediátrica da ISCMSP, até então todo elaborado e aplicado
utilizando o método manual, conforme já descrito no item 3.1.
A ferramenta computacional foi desenvolvida por meio da colaboração entre
docentes e discentes do programa de pós-graduação da Faculdade de Ciências
Médicas da Santa Casa de São Paulo. No seu desenvolvimento foram utilizados
recursos**8que permitem que o avaliador e avaliado acessem o sistema em qualquer
lugar e hora, por meio da Internet. Para seu uso, basta o participante ter instalado
em seu computador um navegador de Internet e eventuais plugins de áudio ou vídeo
necessários para a execução destes arquivos inseridos nos casos clínicos, também
chamado de prova, disponibilizados no MedCC. A Figura 4 mostra a tela de login do
sistema:
7* www.clinicalcaselearning.com
8** HTML, CSS, JavaScript, XML e PHP e sistema gerenciador de banco de dados MySQL
47
14
FIGURA 4. Tela inicial do sistema.
O sistema possui, por motivos de segurança, diferentes privilégios/papéis de
acesso, de acordo com o nível de permissão do usuário. Devido ao objetivo deste
estudo, iremos considerar os níveis avaliador e avaliado. Os passos básicos para
inserção do caso no sistema pelo avaliador e a realização da avaliação pelo avaliado
são apresentados na Figura 5.
48
14
FIGURA 5. Etapas do Método de Avaliação Informatizado.
49
14
Nos itens a seguir são apresentados os cenários de uso e as opções de
configurações no MedCC para compor um caso clínico (também chamado de prova
no sistema) pelo avaliador e como o avaliado realiza a avaliação do caso no
sistema.
3.2.1 Cenários de uso do Avaliador
O avaliador cria um caso clínico seguindo os mesmo passos do processo
manual, porém antes do processo avaliativo deve inclui-lo no sistema, conforme
descrito na Figura 5. O sistema está preparado para trabalhar com diferentes tipos
de mídias, tais como textos, imagens, vídeos, sons, animações, documentos,
tabelas e hiperlinks e o avaliador também pode controlar o tempo, quantidade de
questões dentre outros parâmetros. O avaliador é previamente cadastrado pelo
administrador do sistema, e recebe orientações para a construção e inclusão dos
casos e encontra neste todos os recursos necessários para representar e inserir as
informações referentes à avaliação baseada em casos, o que inclui ferramentas de
formatação de texto, a possibilidade de preparar questões de diferentes modelos,
definir o dia e horário que o caso estará disponível, o tempo para resolução
(Hernandez et al, 2012). Estes recursos são descritos com mais detalhes a seguir.
Para facilitar o processo de inclusão de casos clínicos, o mesmo é dividido em
três etapas, sendo elas: definição da prova, descrição da prova e definição das
questões, as telas referentes a estas etapas são apresentadas no Anexo 1.
Na primeira etapa, o avaliador determina informações básicas, como o título
do caso, que será o título do link para o acesso do mesmo pelo(s) avaliado(s).
Define outros avaliadores como responsáveis pelo caso e também os observadores
(devido ao objetivo deste trabalho, estes papéis não serão descritos). Pode também
fornecer as orientações gerais para realização do caso, neste campo o sistema já
possui um texto padrão que pode ser modificado ou excluído pelo avaliador. Quando
necessário, o avaliador pode exibir, após o término da avaliação do caso, um texto
com as informações que considerar importantes. Define o tempo de duração do caso
clínico a partir do momento que o aluno inicia a avaliação do mesmo.
Outra definição importante nesta etapa é referente ao tipo de prova, ou seja,
se a mesma é um caso clínico ou prova teste, a qual é composta apenas de
50
14
questões múltipla escolha e não segue o método de avaliação de um caso clínico,
conforme a descrição no item 3.1. Nesta etapa o avaliador define também a
disponibilidade da prova e pode escolher algumas configurações adicionais, a
primeira é se a mesma será pública, ou seja, os avaliados podem acessar a nota
após o término. Segunda, se será um caso modelo, assim ficará disponível para que
os participantes possam acessá-lo e ver como é a avaliação neste formato sem ter
pontuação associada e terceira se tem discussão online, ou seja, após a conclusão
da avaliação do caso clínico, o avaliado tem arquivos anexos a prova disponíveis.
Estes arquivos servem como feedback, pois podem conter comentários/explicações
do avaliador sobre o caso e/ou respostas corretas esperadas.
Após definir e salvar as informações da primeira etapa, o sistema possibilita
anexar outros arquivos e também a dar inicio a segunda etapa, a qual consiste da
criação de texto descritivo com maiores detalhes do caso clínico, este será
visualizado e analisado pelo avaliado ao iniciar a prova. Um exemplo é mostrado na
Figura 6.
FIGURA 6. Exemplo de descrição de um caso clínico inserido no MedCC.
51
14
Depois de concluir a segunda etapa, o sistema habilita a terceira e última
etapa. Nesta, o avaliador seleciona as questões previamente criadas, caso não
exista questões o avaliador pode criar novas, toda questão possui autocorreção com
a(s) resposta(s) correta(s) indicada(s) pelo avaliador. A autocorreção verifica cada
resposta dada com a resposta correta e seus respectivos sinônimos indicados pelo
avaliador.
Com o objetivo de enriquecer a avaliação, o sistema permite o avaliador criar
diferentes tipos de questões que podem conter textos adicionais, estes são criados
com a finalidade de fornecer ao avaliado informações complementares que são
primordiais para a condução e indicação do diagnóstico correto do caso e que
podem não ter sido indicadas pelo avaliado em uma de suas respostas, ou seja, são
norteadores para trazer o avaliado de volta para o objetivo principal da
aprendizagem e servindo como um feedback durante a resolução do caso. Cada um
dos dez tipos de questão tem a sua descrição detalhada a seguir (Medcc, 2014):
a) Escolha Única: é o tipo de questão que deve ser utilizado pelo avaliador
quando o mesmo pretende que o avaliado escolha apenas uma entre as várias
respostas oferecidas nas alternativas como correta, conforme mostra a Figura 7.
Para cada uma das possíveis respostas, o sistema permite categorizá-las
(Diagnóstico, Exame, Medicamento e Teste) ou não. Ao escolher uma categoria,
o sistema busca a partir do texto digitado pelo avaliador sugestões de respostas,
através do recurso de auto completar.
FIGURA 7. Exemplo de questão do tipo Escolha Única.
52
14
b) Escolha Múltipla: já este tipo de questão deve ser utilizado quando o avaliador
tem como objetivo que o avaliado escolha uma ou mais respostas oferecidas nas
alternativas como corretas, conforme mostra a Figura 8. Assim como na escolha
única, é possível categorizar as respostas.
FIGURA 8. Exemplo de questão do tipo Escolha Múltipla.
c) Única: o avaliador utiliza este tipo de questão quando o mesmo requerer que o
avaliado responda “Sim” ou “Não” a uma pergunta, conforme mostra a Figura 9.
FIGURA 9. Exemplo de questão do tipo Única.
d) Falso/Verdadeiro: deve ser utilizada pelo avaliador quando tem como objetivo
que o avaliado responda “Verdadeiro (V)” ou “Falso (F)” a um conjunto de
afirmativas, conforme mostra a Figura 10.
53
14
FIGURA 10. Exemplo de questão do tipo Falso/Verdadeiro.
e) Direta: o avaliador deve utilizar a questão do tipo direta quando houver a
necessidade de criação de questões que possibilite a inserção de texto livre nas
caixas de textos como resposta. As caixas são criadas durante a avaliação de
acordo com o número de respostas corretas (no máximo 10), um exemplo deste
tipo de questão é mostrado na Figura 11. Neste tipo é também possível
categorizar as respostas.
FIGURA 11. Exemplo de questão do tipo Direta.
f) Prioridade: assim como a questão do tipo direta, possibilita a inserção de texto
livre como resposta pelo avaliado, porém conforme uma ordem especificada pelo
avaliador, e é possível categorizar as respostas corretas. Um exemplo deste tipo
de questão é mostrado na Figura 12.
FIGURA 12. Exemplo de questão do tipo Prioridade.
54
14
g) Correspondência: utilizado para que seja possível o avaliado, ao responder a
questão, correlacionar os itens numerados em algarismos romanos com os itens
descritos pelas letras do alfabeto, conforme mostrado pela Figura 13. Para
ambos os itens é possível o avaliador categorizá-los.
FIGURA 13. Exemplo de questão do tipo Correspondência.
h) Composta: este tipo é o resultado da união de dois tipos de questão: a Única e
a Direta. Assim, a primeira sempre deverá ter como resposta “Sim” ou “Não” e a
segunda poderá receber várias respostas livres em caixas de texto, conforme
mostra o exemplo da Figura 14. Na elaboração da questão é possível
categorizar as respostas corretas. Inicialmente a segunda questão fica oculta e
ela só será exibida ao avaliado se a resposta que ele forneceu para a primeira
for igual ao que está definido no campo: “Qual resposta deve ser dada na
primeira questão para que esta seja exibida?”, presente no formulário para
compor este tipo de questão.
FIGURA 14. Exemplo de questão do tipo Composta.
55
14
i) Medicamento: quando uma questão envolver em sua resposta a indicação de
doses, unidade de medidas e número de tomadas por dia de medicamentos, o
avaliador deve utilizar este tipo de questão, a Figura 15 mostra um exemplo.
Nesta o avaliador não precisa indicar a categoria da resposta correta, uma vez
que está questão só manipula dados de medicamentos.
FIGURA 15. Exemplo de questão do tipo Medicamento.
j) Sub-Questões: Este tipo de questão deve ser escolhido quando o avaliador tem
como objetivo apresentar uma pergunta principal, mas além desta um ou mais
enunciados secundários acompanhado de opções de respostas do tipo escolha
única, conforme o exemplo da Figura 16. Para cada item de opção é possível o
avaliador categorizá-los.
FIGURA 16. Exemplo de questão do tipo Sub-Questões.
Após criar, o avaliador deve associar as questões que irão compor a
avaliação à descrição do caso. Uma vez terminada a associação, o avaliador define
três informações básicas para cada questão, a ordem que a mesma será
56
14
apresentada na avaliação, a sua categoria (conceito, conhecimento, hipóteses
clínicas, exames subsidiários, conclusão diagnóstica ou conduta terapêutica) que
pode ser utilizada para posterior análise pelo avaliador do desempenho dos
avaliados para cada categoria (ou competência) e por fim a pontuação de cada
questão. A partir deste momento é possível o avaliador visualizar a prova da mesma
maneira que o participante verá, com a única diferença é que todas as questões são
apresentadas em uma única página.
Um recurso bastante útil oferecido pela ferramenta é o de geração de
diferentes tipos de relatórios, as telas com exemplos estão disponíveis no Anexo 2.
Todos os relatórios podem ser utilizados como feedback pelo avaliador de forma
individual, a um conjunto de avaliados em uma discussão sobre o caso clínico com
os alunos de um programa de RM ou ainda em uma palestra de um evento que
requer a priori a avaliação de um caso clínico pelos participantes.
O primeiro é o relatório permite a visualização das notas obtidas pelos
avaliados agrupados por caso, conforme mostra a Figura 37, com isso o avaliador
tem a visualização geral sobre o desempenho dos participantes e também as
respostas dadas, juntamente com a pontuação obtida em cada questão,
individualmente ao selecionar um participante (Figura 38).
O segundo é o de notas das provas do evento, este permite o avaliador
visualizar a nota obtida por cada participante em cada um dos casos que compõe o
evento escolhido e ainda pode gerar um arquivo externo no formato csv com os
dados obtidos (Figura 39).
O terceiro é o de notas das questões das provas do evento, que permite a
visualização das notas de todos os participantes por questão que compõe o caso
escolhido, assim como no segundo tipo de relatório, também é possível o avaliador
gerar um arquivo csv (Figura 40).
Já o quarto tipo de relatório é o de estatística por prova, neste são
apresentadas as questões que compõe o caso escolhido, juntamente com todas as
respostas dadas e/ou escolhidas para cada questão e para cada resposta, a
porcentagem e a quantidade de avaliados que forneceram a resposta (Figura 41).
Assim, o sistema permite que o avaliador tenha um controle maior de seus
processos avaliativos, reaproveitamento de casos, questões e recursos multimídia e
ainda possibilita melhorar o feedback aos seus avaliados.
57
14
3.2.2 Cenários de uso do Avaliado
Para que o participante realize a avaliação é necessário que o mesmo acesse
o sistema, o que é permitido apenas aos que possuem o cadastro, caso não o tenha
o sistema permite-o por meio do preenchimento de um formulário eletrônico (ver
Anexo 3). Ao acessar o sistema, é apresentado os disponíveis, basta o avaliado
escolher e fazer a inscrição no caso que pretende realizar a avaliação. Ao escolher,
aparecerá uma tela contendo a descrição inicial completa do caso clínico, conforme
o exemplo da Figura 17.
FIGURA 17. Tela com as informações iniciais de um caso.
Após a análise das informações disponíveis, o avaliado inicia a avaliação ao
clicar no botão “Questões”. A partir deste momento cada questão é apresentada
uma de cada vez de forma progressiva, partindo de questões mais amplas, gerais e
conceituais até questões específicas de conhecimento pontual. Cada questão,
juntamente com a(s) sua(s) respectiva(s) resposta(s) são enviadas para o histórico,
área reservada após a descrição do caso, assim o avaliado visualiza a questão e o
58
14
histórico das já respondidas na mesma tela. Devido a metodologia de avaliação, o
sistema não permite retroceder as questões para modificar as respostas dadas.
Como mencionado no item 3.2.1, cada questão tem o valor de sua pontuação
definido pelo avaliador e o desempenho de cada participante é obtido por meio de
sua nota final, cuja composição é a soma das notas obtidas em cada questão. As
regras de pontuação definidas no sistema variam conforme o tipo da questão. Nas
questões Escolha Única e Única, nas quais é possível escolher apenas uma
alternativa como correta, a pontuação não é dividida entre os itens que compõe a
questão, ou seja, o avaliado só terá em sua nota final a contabilização da pontuação
referente a questão quando o mesmo assinalar a resposta correta.
Para as questões do tipo Escolha Múltipla, Falso/Verdadeiro e
Correspondência, a pontuação total da questão é dividida pela quantidade de itens
corretos que compõem as questões, na Sub-Questão é dividida pela quantidade de
itens secundários, assim a cada resposta certa assinalada pelo avaliado o sistema
contabiliza em sua nota final o valor proporcional, caso o avaliado assinale uma
alternativa incorreta, o sistema automaticamente subtrai da nota final do avaliado o
equivalente a uma correta. Esta mesma regra é aplicada para a questão Direta e
Medicamento, porém a pontuação obtida na questão não depende do item
assinalado e sim do texto inserido pelo avaliado que é comparado com o texto e os
seus respectivos sinônimos, inserido como correto pelo avaliador.
Na questão Prioridade o avaliado só terá em sua nota final a contabilização
da pontuação referente a questão quando o mesmo inserir corretamente os textos
na ordem de prioridade. Na Composta cada pergunta tem a contabilização de sua
pontuação na nota final, somente se o avaliado acertar a primeira receberá a nota
referente a ela, já na segunda a regra de contabilização da pontuação segue a da
questão do tipo Direta.
Após responder a última questão, o sistema permite a impressão da descrição
do caso com as perguntas e respostas dadas para uma posterior discussão com o
avaliador e os participantes. Para os casos nos quais a discussão online esteja
marcada como ativa, o avaliado terá acesso aos recursos adicionais da avaliação e
para os casos públicos acesso a nota obtida.
Um recurso muito útil disponível aos avaliados, refere-se ao histórico, neste
caso se houver algum problema de conexão com a Internet ou por descuido do
avaliado o sistema é fechado durante a avaliação e a mesma ainda não foi
59
14
finalizada, ou seja, não foi respondida a última questão, ao acessar novamente o
sistema e escolher o caso, o mesmo informa que já foi iniciado e mostra todas as
questões já respondidas no histórico e para dar continuidade basta clicar no botão
“Questões” no final da página.
No método de avaliação de aprendizagem informatizado, o sistema apresenta
ferramentas que facilitam o processo de avaliação, desde sua composição até a sua
aplicação, tanto para o avaliador quanto para o avaliado e ainda proporciona
recursos de feedback aos avaliados que no método de avaliação manual também
seriam possíveis, porém com um trabalho e demanda de tempo maiores para o
avaliador e com menores recursos.
3.3. Aplicação dos métodos de avaliação
O estudo foi prospectivo e randomizado. Os sujeitos da pesquisa de 2012
foram separados aleatoriamente em dois grupos, aqui denominados A e B, e o
mesmo foi realizado com os sujeitos de 2013, estes distintos do ano anterior. Em
ambos os anos foi aplicada a avaliação manual e informatizada baseada em casos e
foram excluídos da análise os sujeitos que realizaram apenas um dos métodos de
avaliação.
Para a realização das avaliações, em cada ano foram criados dois casos
clínicos distintos e como a aplicação das avaliações aconteceu nos dois anos, temos
assim um total de quatro casos. Para os grupos que realizaram a avaliação no
processo manual a aplicação foi feita em sala de aula; já para os que realizaram
através do método informatizado, a avaliação foi em um laboratório de informática e
todos receberam orientações de como fazer o cadastro e como realizar a avaliação
através do sistema.
Em 2012 participaram do estudo 23 sujeitos, os mesmo foram separados em
grupo A, com 11 sujeitos e grupo B com 12. No primeiro momento, o grupo A foi
submetido à avaliação de um caso clínico utilizando a metodologia de avaliação
informatizada. Simultaneamente, os sujeitos do grupo B realizaram a avaliação do
mesmo caso clínico utilizando o método manual, o caso é apresentado no Anexo 7.
Uma semana depois, o grupo A que participou da avaliação informatizada, realizou a
avaliação de um caso clínico diferente através do método manual e o grupo B
60
14
realizou a avaliação informatizada do caso (Anexo 8). Após a aplicação do critério de
exclusão, foram considerados na análise 22 sujeitos.
Em 2013 a pesquisa foi composta por 16 sujeitos, quando separados, cada
grupo ficou com oito sujeitos. As avaliações foram aplicadas utilizando os dois
métodos e foi realizada de forma análoga às de 2012 para ambos os grupos, e o
mesmo critério de exclusão foi aplicado, restando 12 sujeitos. Vale ressaltar que os
casos avaliados em 2013 diferem dos de 2012, ver Anexos 9 e 10. O diagrama de
fluxo do método, com os detalhes dos grupos em cada ano de avaliação, é mostrado
na Figura 18.
FIGURA 18. Diagrama de fluxo da metodologia do estudo com dois grupos em paralelo: sujeitos de
2012 e 2013, separação aleatória dos sujeitos pelos dois grupos A e B, aplicação das metodologias
de avaliação e análise dos dados.
61
14
Uma maneira de analisar a aplicabilidade do método informatizado na
avaliação de casos clínicos, quando comparado ao método manual, é decompor
dados obtidos em variáveis, tais como o desempenho dos sujeitos, tempo
transcorrido para resolução dos casos e satisfação na utilização do sistema.
O desempenho foi analisado através da comparação das notas obtidas pelos
sujeitos que foram submetidos à avaliação manual com as notas dos sujeitos que
foram avaliados com o mesmo caso, porém utilizaram o método informatizado, neste
a correção e o cálculo da nota final são realizados de forma automática, já na
manual o avaliador realiza a correção e o cálculo da nota. Foi também analisado o
método de avaliação independente do caso.
Para a variável tempo foi realizada uma comparação entre as médias para
cada método. Quando o método manual estava sendo aplicado, a hora de inicio e
fim da avaliação de cada sujeito foi registrada manualmente, obtendo assim o tempo
transcorrido individualmente para realização da avaliação. No método informatizado
o registro de tempo é feito de maneira automática pelo sistema. O programa
computacional utilizado para a análise das notas e dos tempos foi o Statistical
Package for Social Sciences (SPSS) V. 13.0 para Windows. Em todas as análises
realizadas foi considerado um nível de 5% de significância.
Para a análise estatística das variáveis notas e tempos obtidos foram
utilizados o teste paramétrico t-Student e t-Student pareado para as distribuições
normais e para as distribuições com um número de sujeitos reduzido ou devido a
não normalidade foram utilizados os testes não paramétricos Mann-Whitney ou
Wilcoxon.
Por fim, o estudo da satisfação do sistema foi realizado pela análise
estatística das notas de um questionário (Anexo 6), que foi elaborado para que os
sujeitos expressassem suas opiniões a respeito do sistema. As questões que o
compõem foram adaptadas do American Customer Satisfaction Index (ACSI), criado
pela Universidade de Michigan, nos EUA, que originalmente foi utilizado para avaliar
o índice de satisfação dos usuários de sites comerciais e que o National Institute of
Health (NIH) modificou e validou para o uso em sites da área da saúde (Wood et al,
2008). Esta adaptação resultou em um questionário composto por seis questões
sobre navegabilidade e organização das informações, satisfação, utilidade e por fim
sobre comparação com o método manual, o mesmo foi respondido pelos sujeitos
após eles serem submetidos aos dois métodos de avaliação.
62
14
As perguntas do questionário apresentavam as opções de resposta
identificadas com letras de “a” até “e”, com exceção da última que terminava em “c”.
Cada uma das letras tem um valor numérico associado, usado para a quantificação
dos resultados, a = 5 (Muito bom), b = 4 (Bom), c = 3 (Regular), d = 2 (Ruim) e e = 1
(Muito ruim). Na última questão os valores das opções são diferentes, sendo a = 5, b
= 3 e c = 1. Considerando estes valores a maior pontuação que pode ser obtida no
questionário é 30.
As respostas coletadas foram tabuladas no software Microsoft Excel 2010 e a
partir delas foram obtidas as médias, desvios-padrão e medianas e geradas as
tabelas e gráficos necessários para apresentar os resultados encontrados.
63
14
4. Resultados
Os resultados estão divididos em três partes, na primeira apresentamos a
análise descritiva e comparativa das notas obtidas em cada caso quando o mesmo é
resolvido pelo método manual e informatizado pelos diferentes grupos, juntamente
com a análise comparativa das notas considerando os métodos avaliação. Na
segunda, a análise descritiva e comparativa dos tempos de resolução para cada
caso quando resolvido por ambos os métodos pelos diferentes grupos e a análise
comparativa dos tempos para cada um dos métodos, e na terceira a análise das
notas do questionário de avaliação respondido pelos sujeitos. Os valores de notas e
tempos de 2012 e 2013 analisados são apresentados nos Anexos 4 e 5.
4.1. Análise das notas
Com o objetivo de analisar se os sujeitos submetidos ao método de avaliação
informatizado têm seu desempenho prejudicado devido à utilização de um sistema
computacional, quando comparado à avaliação manual, e se é possível utilizar o
método informatizado como alternativo ao método manual sem perda para o sujeito.
Para as notas obtidas em cada caso para cada grupo nos anos de 2012 e 2013
aplicamos testes estatísticos para verificar se há diferença entre as notas dos
sujeitos quando os mesmos são submetidos a avaliação no método manual e
informatizado e obtemos os seguintes dados (Tabela 2):
Tabela 2. Grupos, Médias, Medianas, Desvios-padrão das notas obtidas para cada método em cada
caso avaliado em 2012 e 2013 e valores dos testes aplicados, considerando os casos avaliados
comparando método manual com informatizado.
Ano Caso
avaliado
Manual Informatizado Manual x Informatizado
Grupo M±DP MD Grupo M±DP MD
2012 Caso 1 A (n=10) 7,9±0,8 7,7 B (n=12) 6,1±0,9 5,7 p*<0,001
p***=0,261 Caso 2 B (n=12) 6,3±1,3 6,5 A (n=10) 7,4±1,5 7,7 p*=0,084
2013 Caso 1 A (n=7) 6,2±1,3 5,9 B (n=5) 6,7±1,1 6,1 p**=0,509
p***=0,378 Caso 2 B (n=5) 6,7±1,4 6,3 A (n=7) 6,7±1,3 6,7 p**=0,643
Legenda: M = Média; DP = Desvio padrão; MD = Mediana; *t-Student; **Mann-Whitney; ***t-Student
pareado
64
14
Uma característica a ser considerada é a composição desses grupos nos dois
anos de aplicação da avaliação, conforme podemos observar na Tabela 3:
Tabela 3. Composição dos grupos em 2012 e 2013.
2012
(n=22)
2013
(n=12)
Grupo R2
(n=3)
R3
(n=12)
R4
(n=7) Grupo
R3
(n=8)
R2
(n=4)
A
(n=10) 2 (20%) 3 (30%) 5 (50%)
A
(n=7) 4 (57%) 3 (43%)
B
(n=12) 1 (8%) 9 (75%) 2 (17%)
B
(n=5) 4 (80%) 1 (20%)
Com o objetivo de verificar o desempenho dos sujeitos em relação ao método
de avaliação, realizamos a análise da distribuição e da relação das notas obtidas em
2012 para os diferentes métodos de avaliação e os dados são apresentados na
Figura 19.
(a)
(b)
FIGURA 19. (a) Distribuição e (b) Relação das notas para os diferentes métodos de avaliação em
2012.
Assim como feito para os dados de 2012, realizamos a análise da distribuição
e da relação das notas obtidas em 2013 em ambos os métodos, sendo os dados
apresentados na Figura 20.
65
14
(a)
(b)
FIGURA 20. (a) Distribuição e (b) Relação das notas para os diferentes métodos de avaliação em
2013.
Com o objetivo de verificar as notas obtidas para ambos os métodos,
independente do ano no qual o sujeito participou da avaliação, realizamos a análise
da distribuição das notas obtidas, sendo os dados apresentados na Figura 21.
FIGURA 21. Distribuição das notas dos sujeitos para os diferentes métodos de avaliação
independente do ano de realização.
Legenda: *t-Student
Médias: Manual: 6,8 Informatizado: 6,7
p* = 0,596
66
14
E a relação entre as notas para os diferentes métodos na Figura 22:
FIGURA 22. Relação entre as notas dos sujeitos para os diferentes métodos de avaliação
independente do ano de realização.
O coeficiente de correlação de Person para as notas nos métodos de
avaliação manual e informatizado é 0,405 (p=0,017) mostra que a correlação
positiva entre os métodos e fraca, isso representa que para a maioria dos valores de
notas altas obtidas em um método correspondem a notas altas do outro método.
4.2. Análise dos tempos
Para a variável tempo, calculamos a média em cada caso para cada grupo
nos anos de 2012 e 2013 e aplicamos testes estatísticos para verificar se o tempo
transcorrido é menor quando os sujeitos são submetidos ao método informatizado,
Regression, Conf. & Pred.
Informatizado todos
3 4 5 6 7 8 9 10
Ma
nua
l to
dos
2
4
6
8
10
12
r = 0,405
p = 0,017
67
14
quando comparamos com os tempos obtidos no método manual, os resultados
encontrados são mostrados na Tabela 4.
Tabela 4. Grupos, Médias, Medianas, Desvios-padrão dos tempos em minutos obtidos para cada
método em cada caso avaliado em 2012 e valores dos testes aplicados, considerando os casos
avaliados comparando método manual com informatizado.
Ano Caso
Avaliado
Manual Informatizado Manual x Informatizado
Grupo M±DP MD Grupo M±DP MD
2012 Caso 1 A (n=10) 40±5 42 B (n=12) 13±4 12 p*<0,001
p**=<0,001 Caso 2 B (n=12) 34±9 35 A (n=10) 18±9 15 p*<0,001
2013 Caso 1 A (n=7) 20±3 19 B (n=5) 17±5 16 p*=0,021
p***=0,002 Caso 2 B (n=5) 26±3 27 A (n=7) 15±5 15 p*=0,020
Legenda: M = Média; DP = Desvio padrão; MD = Mediana; *Mann-Whitne;, **Wilcoxon; ***t-Student
pareado
Considerando os valores apresentados na Tabela 4, observamos que o tempo
médio de resolução nos dois anos de avaliação, usando o método informatizado,
para os diferentes casos, é menor que no manual, conforme mostra a Figura 23.
(a) (b)
FIGURA 23. Comparação dos tempos para os diferentes métodos de avaliação em 2012 (a) Caso 1 e
(b) Caso 2.
Para verificar o tempo de realização da avaliação em 2012 em relação ao
método utilizado, realizamos a análise da variabilidade e distribuição dos tempos
obtidos em ambos os métodos de avaliação e apresentamos os dados na Figura 24.
68
14
(a)
(b)
FIGURA 24. (a) Distribuição e (b) Relação entre os tempos para os diferentes métodos de avaliação
em 2012.
Observamos que a maioria dos sujeitos que realizaram a avaliação no método
manual, quando realizaram no método informatizado resolveram o caso em menor
tempo. Mesmo com o tempo médio menor em 2013, observamos que o tempo
médio de resolução usando o método informatizado, para os diferentes casos, é
menor que no manual, conforme observamos na Figura 25.
(a) (b)
FIGURA 25. Comparação dos tempos para os diferentes métodos de avaliação em 2013 (a) Caso 1 e
(b) Caso 2.
69
14
Para os tempos obtidos em 2013 também realizamos a análise da
variabilidade e distribuição dos tempos obtidos em ambos os métodos, conforme
mostrado na Figura 26.
(a)
(b)
FIGURA 26. (a) Distribuição e (b) Relação entre os tempos para os diferentes métodos de avaliação
em 2013.
Comparando as duas distribuições nos gráficos, observamos que os tempos
obtidos, para ambos os métodos são menores quando comparados com os dados
de 2012 e que todos os sujeitos resolveram os casos, considerando os métodos de
avaliação, em menos de 30 minutos.
Considerando a composição dos sujeitos da pesquisa, os tempos médios em
minutos para solucionar os casos nos anos de 2012 e 2013 estão na Tabela 5:
Tabela 5. Tempos em minutos para solucionar os casos, considerando a composição dos sujeitos.
2012 (n=22) 2013 (n=12)
R2 (n=3) R3 (n=12) R4 (n=7) R3 (n=8) R2 (n=4)
Manual 40 35 32 23 22
Informatizado 12 17 13 15 16
Para verificar os valores dos tempos para ambos os métodos, independente
do ano da avaliação, realizamos a análise da variabilidade dos tempos, sendo os
dados apresentados na Figura 27.
70
14
FIGURA 27. Distribuição dos tempos para os diferentes métodos de avaliação independente do ano
de realização.
E a relação, média e desvio padrão entre os tempos para os diferentes
métodos são mostrados na Figura 28:
Médias: Manual: 32 Informatizado: 15 p*<0,001
*t-Student
71
14
FIGURA 28. Relação entre os tempos para os diferentes métodos de avaliação independente do ano
de realização.
O coeficiente de correlação de Person para os tempos nos métodos de
avaliação manual e informatizado é 0,189 (p=0,283) demostra que não há correlação
entre os métodos, apesar da significância do p, a correlação é baixa entre os tempos
dos métodos de avaliação.
4.3. Análise do questionário de satisfação do sistema
Conforme já mencionado no capítulo 3.3, o questionário foi adaptado de
Wood et al (2008). Em 2012, dos 22 sujeitos considerados, 21 responderam o
questionário de avaliação do sistema de avaliação MedCC. Já em 2013 todos os
sujeitos responderam. A análise descritiva foi realizada para todas as questões para
os dois anos. Os resultados são mostrados na Tabela 8.
Regression, Conf. & Pred.
Informatizado todos
5 10 15 20 25 30 35 40
Manual to
dos
0
10
20
30
40
50
60
70
r = 0,189
p = 0,283
72
14
TABELA 6. Análise descritiva das notas do questionário de avaliação do sistema (de 1 a 5).
Questão 2012 2013
M DP MD M DP MD
NAVEGABILIDADE E APARÊNCIA
1. Facilidade de navegação pelo site 4,48 ±0,98 5 4,41 ±0,51 4,0
2. Sobre a disposição e organização do caso clínico na
tela, você achou. 4,71 ±0,46 5 4,41 ±0,66 4,5
3. Sobre a disposição e organização das questões na tela,
você achou. 4,33 ±0,80 5 4,33 ±0,77 4,5
SATISFAÇÃO E FUNCIONALIDADE
4. Grau de satisfação com o sistema e atendimento das
suas expectativas. 4,38 ±0,67 4 3,91 ±0,79 4,0
5. Utilidade deste tipo de recurso como ferramenta extra no
aprendizado médico. 4,67 ±0,58 5 4,75 ±0,45 5,0
6. Na comparação com o método tradicional de avaliação,
você achou o sistema. 4,52 ±1,03 5 4 ±1,04 4,0
Legenda: M = Média; DP = Desvio padrão; MD = Mediana
É possível observar que a maioria das médias para cada questão se aproxima
do valor máximo, indicando uma aceitação satisfatória do sistema. Na Figura 29,
apresentamos a frequência relativa obtida para cada questão em 2012.
FIGURA 29. Frequência relativa obtidas no questionário de avaliação – 2012.
Observamos que para o conjunto de questões sobre navegabilidade e
aparência o item “Muito Bom” foi apontado por em média 63% dos sujeitos,
enquanto para o conjunto sobre satisfação e funcionalidade por 65%.
73
14
Na Figura 30 apresentamos os dados obtidos para o mesmo questionário
aplicado em 2013.
FIGURA 30. Frequência relativa obtidas no questionário de avaliação – 2013.
Os dados mostram que em 2013 os sujeitos avaliaram positivamente o
sistema, para o conjunto de questões sobre navegabilidade e aparência o item
“Muito Bom” foi apontado por em média 47% dos sujeitos, enquanto para o segundo
conjunto de questões 50%. A taxa de satisfação de 2013 apresentando-se menor
com relação a 2012, e mesmo assim tivemos poucos comentários, sugestões e
relatos sobre as dificuldades, e estes foram principalmente sobre o acesso ao
sistema.
Com o objetivo de analisar e organizar as sugestões e os problemas
apontados de acordo com a questão proposta no questionário de satisfação sistema,
os dados foram tabulados, as questões que não apresentam sugestão e/ou
problemas relacionados não são apresentadas no quadro a seguir (Quadro 5):
74
14
Quadro 5. Sugestões e problemas de acordo com a questão proposta no questionário.
Questão Sugestões/Problemas
1
Problemas:
- Precisei de ajuda para me inscrever no teste
- Houve dificuldade para realizar login
- Apenas dificuldade para entrar no site
- O problema é entrar o site e não navegar
3
Sugestões:
- Achei o método muito bom de avaliação, só mencionaria aumentar os espaços para
escrever
- Nas questões com múltiplas respostas, colocar no enunciado que mais de 1 alternativa
poderá ser assinalada. Talvez acrescente colocar abaixo das alternativas espaços para
justificativa de resposta
- Acho que deveria informar se pode marcar mais de uma resposta por questão, uma vez
que a maioria só tem uma resposta certa, mas que tem múltiplas respostas, tem gente que
nem tenta marcar mais de uma alternativa porque acha que não dá
4
Sugestões:
- Deveria haver gabarito das questões (tanto no método manual quanto do informatizado)
para melhor fixação dos conteúdos e aprendizado com os erros
- Os resultados das questões testes deveriam ser disponibilizados no próprio site.
5
Sugestões:
- O sistema seria muito bom para os alunos da graduação
- disponibilização de outros casos clínicos, questões e aulas no site
Podemos observar que os dados e os comentários dos usuários demonstram
satisfação dos mesmos com relação a utilização do sistema, pois muitas sugestões
foram apontadas pelos sujeitos e os poucos problemas indicados concentram-se na
primeira questão. Os comentários foram construtivos e mostram a aceitabilidade
pelos sujeitos, sugerindo assim que o mesmo pode ser utilizado como uma
ferramenta computacional em substituição do método manual de avaliação.
75
14
5. Discussão
A presente pesquisa está fundamentada em um método específico de ensino,
aprendizagem e avaliação baseado em casos clínicos e a sua ferramenta
computacional correspondente. Optou-se por este método, pois ele é o adotado no
programa de RM de Endocrinologia Pediátrica da ISCMSP, isso contribuiu para a
exploração e entendimento de como o mesmo foi aplicado no programa.
Na revisão de literatura sobre o ensino e aprendizagem nos programas de RM
encontram-se trabalhos em que os autores estudam e analisam a aplicação de
diferentes metodologias de ensino e aprendizagem e alguns utilizam tecnologias
para auxiliar o processo. Assim como em outros níveis de escolaridade e nas
demais áreas, não há ainda um consenso de qual a melhor e mais completa
metodologia a ser adotada. Observamos no Quadro 2 que de todos os trabalhos
considerados, nenhum utiliza casos clínicos como metodologia de ensino e
aprendizagem.
Um componente importante do processo de ensino e aprendizagem é a
avaliação, com base nos artigos apresentados na revisão de literatura sobre
avaliação da aprendizagem na RM (Quadro 3) e considerando, especificamente, o
programa de RM em pediatria, encontramos um artigo no qual os autores (Da Dalt et
al, 2013) relatam a avaliação dos residentes, porém para isso eles utilizam um
questionário que é aplicado para os discentes e docentes, este mede
exclusivamente o nível de competência dos residentes, diferente do método de
avaliação apresentado neste trabalho, o qual está baseado em casos clínicos. Os
resultados diferem, pois o presente trabalho permite uma avaliação mais abrangente
dos conceitos teóricos dos residentes, com a descrição de um caso acompanhado
de questões de diferentes tipos, enquanto no outro estudo tem-se um questionário
com questões de múltipla escolha.
Diante da importância da avaliação de aprendizagem baseada em casos
clínicos para este trabalho, buscamos na revisão de literatura (Quadro 4) por
trabalhos que relatavam as experiências obtidas com a utilização de ferramentas
computacionais desenvolvidas especificamente para avaliação de aprendizagem
baseada em casos e que adotassem como método de avaliação o mesmo
apresentado neste trabalho, o número de artigos encontrados é nulo, em virtude do
76
14
método de avaliação apresentar características próprias, porém Sebastiani et al
(2012) propõem o desenvolvimento e a utilização de sistema para este fim, porém
não apresentam o estudo da aplicabilidade do mesmo.
Considerando os trabalhos que realizaram análise de notas dos sujeitos
submetidos a avaliação baseada em casos, os estudos de Pinto et al (2010), Smits
et al (2012) e Iyeyasu et al (2013) mostram que assim como no presente trabalho, os
sujeitos foram separados em grupos e o desempenho dos participantes foi o mesmo
independente do método de avaliação. O ponto divergente entre os trabalhos, com
relação ao nosso, é a aplicação dos métodos avaliativos, nos outros estudos um
grupo de participantes realiza a avaliação utilizando um material de apoio ou uma
ferramenta e outro grupo não utiliza qualquer recurso, enquanto no nosso os grupos
realizam a avaliação com e sem a utilização da ferramenta.
No trabalho de Ellman et al (2012) os autores também realizam uma
avaliação com os sujeitos, porém a análise do conteúdo das respostas de texto livre
é realizada de forma qualitativa. Não analisamos qualitativamente as respostas
abertas, pois a correção desse tipo de questão é feita de forma automática e com a
utilização de sinônimos pelo sistema MedCC, conforme mencionado no item 3.2.2.
No nosso trabalho a diferença não foi observada (o desempenho dos sujeitos
na avaliação dos casos clínicos impressos referentes ao desempenho dos sujeitos
nos casos clínicos informatizados não apresentou diferença estatisticamente
significativa entre os grupos), conforme mostra a Tabela 2, talvez pelo pequeno
número de participantes. Para que não houvesse viés nesta pesquisa, cada grupo
participou de duas avaliações, sendo cada realizada por um método distinto, e em
cada avaliação um caso diferente.
Já nos trabalhos de Kourdioukova et al (2011) e Abendroth et al (2013), os
resultados mostram diferenças entre os grupos analisados, pois nestes a separação
dos participantes foi realizada considerando o nível de conhecimento ou a série em
que eles se encontram. No nosso estudo, observando os dados de notas obtidos em
2012, o valor da média é maior para grupo A, independente do método de avaliação
que o mesmo tenha sido submetido. Uma característica a ser considerada deste
grupo é que o mesmo é composto por sujeitos com um nível de conhecimento maior,
o que sugere que o grupo esteja mais bem preparado sobre os assuntos abordados
nas avaliações (Tabela 3). Esta diferença é questionável, devido ao poder do teste
estatístico aplicado e conforme o número de sujeitos presentes em cada grupo.
77
14
Para os dados de 2013, os valores das médias são muito próximos para
ambos os métodos de avaliação. Um fator que pode ter contribuído para esta
proximidade é o pequeno número de sujeitos presentes em cada grupo.
É possível observar no nosso trabalho (Figuras 19, 20 e 21) que houve um
equilíbrio com relação ao desempenho dos sujeitos, indiferente do método de
avaliação que os mesmos foram submetidos, ou seja, a maioria dos avaliados que
obteve um bom desempenho na avaliação no método manual manteve o seu
desempenho no método informatizado, o que reforça a possibilidade de utilização do
método informatizado como instrumento de avaliação alternativo ao método manual,
sem perda para os sujeitos.
Apenas dois artigos realizam a análise de tempos transcorridos nas
avaliações. No primeiro, Pinto et al (2010) conclui que a duração da avaliação é o
mesmo quando é ou não utilizada a ferramenta. Já no nosso trabalho, observamos
que houve diferença no tempo quando a avaliação é realizada com o método
manual e informatizado, conforme observado nos dados de 2012 e 2013 (Tabela 4).
Essa diferença nos leva a considerar que a utilização do sistema computacional
tornou o processo menos trabalhoso, pois requer um número reduzido de
avaliadores e menor tempo de aplicação da avaliação. Os resultados encontrados
entre os estudos diferem, pois as ferramentas possuem objetivos diferentes,
enquanto uma oferece acesso ao material complementar durante a avaliação, a
ferramenta utilizada em nosso estudo está inserida no próprio processo de
avaliação.
No segundo trabalho, Kourdioukova et al, (2011), apontam que o tempo para
solucionar o caso depende da série em que os participantes se encontram, ou seja,
quanto mais avançada a série, mais rápido o caso é resolvido. Considerando os
sujeitos de nossa pesquisa (Tabela 5), em 2012 os residentes R4 foram mais
rápidos na resolução dos casos utilizando o método manual quando comparados
aos R2 e R3, já no método informatizado os tempos médios foram menores para os
R2 em relação aos R4 e R3.
Em 2013 os tempos dos participantes foram muito próximos, para o método
manual os residentes R4 resolveram mais rapidamente os casos em comparação
aos R3, no método informatizado os residentes R3 resolveram mais rápido. Em
ambos os anos os participantes de séries menores precisaram de menos tempo
78
14
para resolver o caso no método informatizado, isso pode ter acontecido devido a
uma experiência maior com a utilização de sistemas computacionais.
Por questões operacionais, o método de avaliação manual em 2013 sofreu
modificações, ficando mais próximo do método informatizado, o que pode ter
contribuído para a considerável diminuição no tempo médio das avaliações para
ambos os métodos. Nestas avaliações foram incluídas na descrição das questões as
informações adicionais, o que descarta a necessidade da verificação do avaliador de
quais dados adicionais deve entregar ao avaliado, o que torna a logística de
aplicação da prova mais rápida.
A análise estatística dos tempos mostra que houve diferença quando os
sujeitos foram submetidos aos métodos de avaliação manual e informatizado e esta
diferença está associada ao menor tempo gasto quando a avaliação é realizada no
método informatizado, independente do ano e do caso avaliado.
Um ganho inerente ao método informatizado, que não pode ser visualizado no
conjunto de dados analisados neste trabalho, é o tempo que o avaliador deixa de
gastar com as correções de todas as avaliações. Para corrigir os casos realizados
através do método manual em 2013, um dos avaliadores precisou, em média, de 75
minutos, já os casos realizados pelo método informatizado tem sua correção feita de
forma automática pelo sistema.
Embora em nosso trabalho o tamanho da amostra pareça relativamente
pequeno, principalmente quando os sujeitos são separados em grupos, foi possível
realizar a análise estatística e identificar diferenças para a maioria das variáveis
obtidas, exceto em algumas condições nas quais o poder do teste (0,29) evidencia
que o tamanho da amostra deveria ser aumentado, assim os resultados poderiam ter
uma maior acurácia a partir de 19 sujeitos em cada grupo, o que não foi possível
devido às próprias condições do cenário educacional onde foi realizado o estudo.
A análise de satisfação dos sujeitos com relação a ferramenta utilizada no
processo de avaliação é realizada por diversos autores: Finlayson et al (2010), Kolb
et al (2010), Pinto et al (2010), Ellman et al (2012), Koole et al (2012), Smits et al
(2012), Abendroth et al (2013) e Iyeyasu et al (2013), nestes são aplicados
questionários sobre usabilidade, satisfação de uso e eficácia do método baseado
em casos e em todos os trabalhos, assim como no nosso, os resultados mostram a
aprovação da utilização do sistema e/ou tecnologia e alguns autores apontam que a
avaliação baseada em casos auxilia e enriquecem o processo de aprendizagem.
79
14
Destes autores, Pinto et al (2010) aponta a porcentagem de aceitabilidade em
torno de 85%, ao passo que no nosso trabalho, o item “Muito Bom” para todas as
questões nos dois anos de estudo foi apontado por em média 56% dos sujeitos
(Tabela 6). Essa diferença pode ser explicada pela composição dos sujeitos das
pesquisas, na nossa os sujeitos eram residentes, que possuem um nível de
conhecimento e exigência maior do que os alunos de graduação, os quais
participaram do estudo do outro autor. Algo a ser considerado no nosso trabalho é a
maneira que é realizada o acesso ao sistema deve ser modificado, de modo a torná-
la mais fácil e intuitiva, conforme apontado pelos sujeitos da pesquisa.
Um recurso de feedback interessante utilizado no estudo de Iyeyasu et al
(2013); Kourdioukova et al (2011) e Koole et al (2012), é o de discussão de casos
online. Já Ellman et al (2012) apresentam a oficina multidisciplinar, estes podem ser
considerados no futuro para o MedCC, porém nenhum dos trabalhos realiza uma
análise para verificar se realmente estes recursos são eficazes no processo de
ensino, aprendizagem e avaliação.
Outro recurso a ser considerado é apresentado por Weintraub et al (2011),
neste o participante é direcionado para uma área com recursos multimídias
adicionais quando uma resposta escolhida é incorreta. No nosso trabalho, um dos
residentes sugeriu a criação do gabarito com as questões e os resultados das
questões, assim os participantes teriam um feedback sobre os seus erros e acertos.
Observamos que nenhum dos autores utilizam qualquer ferramenta de
relatório como forma de feedback em seus estudos. O Quadro 6 apresenta um
comparativo entre as análises de desempenho, tempo, satisfação e recursos de
feedback apresentados nos estudos com o que apresentamos neste trabalho:
80
14
QUADRO 6. Comparativo entre os estudos.
Autores Análise
de Notas
Análise de
Tempos
Análise de
satisfação Tipo de Feedback
Presente estudo
- Histórico das respostas para os
participantes durante a avaliação
- Quatro tipos de Relatório para os
avaliadores
Kourdioukova et al, 2011 N/I
- Discussão online de casos Iyeyasu et al, 2013
N/I
Kolb et al, 2010
N/I
Ellman et al, 2012 - Oficina multidisciplinar
Pinto et al, 2010
N/I
Smits et al, 2012
N/I
Abendroth et al, 2013
Finlayson et al, 2010
N/I
Koole et al, 2012
Legenda: N/I = Não Informado
A principal contribuição do sistema computacional apresentado neste estudo
está na inclusão de melhorias no processo de avaliação baseado em casos clínicos,
tanto para os participantes quanto para os avaliadores. Neste estudo apresentamos
uma análise abrangente, pois são considerados as notas e os tempos nos diferentes
métodos de avaliação, os diferentes feedbacks proporcionados pelo sistema
computacional e a satisfação do participante na utilização do sistema.
A revisão sistemática apresentada também contribui, pois apresenta como o
ensino e a aprendizagem estão acontecendo atualmente nos programas de
residência e como os casos clínicos estão sendo utilizados na avaliação.
As etapas presentes na avaliação de aprendizagem utilizando o método
manual e informatizado podem ser comparadas com relação as suas vantagens e
desvantagens, conforme mostra o Quadro 7.
81
14
QUADRO 7. Vantagens e desvantagens dos métodos manual e informatizado para as diferentes
etapas da avaliação baseada em casos.
Etapas Manual Informatizado
Definição do
caso
- Em ambos os métodos de avaliação requer a mesma quantidade de tempo na
elaboração de um caso clínico.
Preparação
das
informações
adicionais e
das questões
- Requer o mesmo tempo de preparação e definição das informações adicionais e
das questões em ambos os métodos.
Desvantagens:
- Não é possível utilizar recursos
multimídias.
Vantagens:
- Permite utilizar diferentes tipos de
questões.
- É possível reutilizar questões.
Inserção do
caso no
sistema
Vantagem:
- Não requer.
Vantagem:
- Possui ferramentas que facilitam a
inserção do caso.
Aplicação
Desvantagem:
- É necessária a impressão das
informações e das questões.
- Requer pelo menos três avaliadores.
- O tempo de realização é maior.
- Entrega de questões ou informações
adicionais
Vantagem:
- Pode ser aplicada em sala de aula.
Desvantagem:
- É necessário um computador com
acesso a Internet para realização da
avaliação pelo participante.
Vantagens:
- Não há a necessidade de impressão
- Necessita de apenas um avaliador.
- Flexibilidade de horário e lugar para
realização da avaliação.
- Não há necessidade de verificar e
entregar as questões aos avaliados.
Resultado
Desvantagem:
- A correção é realizada pelo avaliador.
Vantagens:
- Correção automática.
- Relatórios de diferentes tipos com o
desempenho dos avaliados.
Podemos observar que nas etapas: “definição do caso” e “preparação das
informações adicionais e das questões” os dois métodos são iguais com relação as
vantagens e desvantagens, porém nas demais etapas as vantagens presentes no
método informatizado sobressaem com relação ao manual.
Uma possível aplicação prática do sistema é a sua utilização na avaliação de
alunos da graduação e em outros programas de RM, incluindo um número maior de
82
14
participantes em diferentes disciplinas e áreas da saúde e assim definir a sua
aplicabilidade nestes cenários.
Um estudo que pode ser considerado no futuro é referente à definição da
aplicabilidade do sistema computacional para o avaliador, uma vez que o grau de
facilidade e entendimento na utilização da ferramenta tem impacto na forma como a
avaliação é criada e apresentada ao aluno.
83
14
6. Conclusões
Os resultados encontrados determinam a aplicabilidade do sistema
computacional no processo de avaliação baseada em casos clínicos, ou seja, o
estudo mostra que é possível utilizá-lo para avaliar e aprimorar o conhecimento de
uma forma interativa, acessível e flexível, sem prejuízo para o residente.
Concluímos que a aplicabilidade do sistema informatizado de avaliação de
aprendizagem baseada em caso clínico apresenta-se favorável em um programa de
residência. As análises de notas mostram que não há perda de qualidade ou
prejuízo de desempenho dos participantes. As análises dos tempos mostrou que o
método informatizado apresenta a vantagem de ser mais rápido, o que reforça a
possibilidade de utilização do método informatizado como instrumento de avaliação,
com significante ganho de tempo na realização da avaliação pelo avaliado.
84
14
7. Anexos
Anexo 1: Sistema Computacional MedCC – Avaliador
Para que o avaliador possa inserir o caso clínico no sistema MedCC, o
mesmo deve ter o seu cadastro efetuado pelo administrador, devido aos seus
privilégios/papéis de acesso. Após o cadastro o avaliador deve acessar o site
www.clinicalcaselearning.com e realizar o login. O sistema irá apresenta a seguinte
tela (Figura 31):
FIGURA 31. Tela após o avaliador realizar login.
A inserção do caso deve ser realizada utilizando o link “Provas” que se
encontra no menu a esquerda, ao escolher está opção tem-se a tela com os casos
(provas) já incluídos pelo avaliador, para editar uma delas basta clicar no título do
caso que deseja alterar. O sistema mostra também a opção de incluir um novo caso,
conforme mostra a Figura 32:
85
14
FIGURA 32. Tela com provas incluídas pelo avaliador.
Ao escolher a opção “Incluir Prova” será aberta uma página com um
formulário para preencher com as informações necessárias para criar um caso, este
refere-se a primeira etapa de inclusão de casos (definição da prova), conforme
descrito no item 3.2.1. Os campos são apresentados na Figura 33.
86
14
FIGURA 33. Formulário de definição da prova.
87
14
A segunda etapa refere-se a descrição da prova e é disponibilizada após o
avaliador finalizar a primeira. Nesta o formulário que deve ser preenchido é
mostrado na Figura 34:
FIGURA 34. Formulário de descrição da prova.
A terceira e última etapa refere-se a definição das questões, que envolve a
associação das questões já criadas com a descrição da prova (Figura 35), para isso
o avaliador deve clicar no link “Selecionar Questões” e será apresenta a tela
conforme a Figura 36:
88
14
FIGURA 35. Formulário de descrição da prova com a opção de selecionar questões.
FIGURA 36. Tela de seleção de questões.
Após a seleção das questões o caso estará pronto para ser utilizado como um
instrumento de avaliação.
89
14
Anexo 2: Sistema Computacional MedCC – Relatórios
a) Notas:
Relatório de notas geral, todos os participantes de um caso:
FIGURA 37. Relatório de notas geral.
Relatório de notas individual:
90
14
FIGURA 38. Trecho do relatório individual.
91
14
b) Notas das provas do evento:
FIGURA 39. Relatório de Notas das provas do evento.
c) Notas das questões das provas do evento:
92
14
FIGURA 40. Relatório de notas das questões das provas do evento.
d) Estatística por prova:
FIGURA 41. Trecho do relatório de estatística por prova.
93
14
Anexo 3: Sistema Computacional MedCC – Avaliado
Para realizar a avaliação informatizada, o avaliado deve acessar o site e
preencher os campos Usuário e Senha e clicar no botão “Entrar” para obter acesso
ao sistema. Caso não seja possível obter acesso, significa que ele não possui
cadastro e deve realizá-lo. O cadastro é simples, conforme mostra a Figura 42.
Se o avaliado já tiver realizado o cadastro previamente, porém esqueceu a
senha, esta pode ser recuperada através do link “Esqueci minha senha” e será
enviada para o endereço de e-mail cadastrado.
FIGURA 42. Tela de cadastro do sistema.
Logo após a finalização do login ou do cadastro, o avaliado será direcionado
para página com os eventos atuais e anteriores. Cada evento listado em eventos
atuais contêm os casos correspondentes e que se encontram disponíveis para
avaliação (Figura 43).
94
14
FIGURA 43. Tela com os eventos disponíveis.
Para iniciar a avaliação de um caso, o avaliado deve escolher o evento
desejado, para isso basta clicar no link “Participe”. Esta opção irá abrir todos os
casos disponíveis do evento (Figura 44).
FIGURA 44. Tela com os casos disponíveis de um evento.
95
14
O avaliado deve clicar no link “Participe” do caso que deseja realizar a
avaliação. Ao iniciar ele encontra primeiramente a visualização da descrição do
mesmo, conforme mostra a Figura 17. Ao clicar no botão “Questões” terá inicio a
avaliação. O avaliado visualiza a questão e o histórico das já respondidas na mesma
tela, conforme mostra a Figura 45.
FIGURA 45. Tela com as informações iniciais do caso, juntamente com o histórico (área tracejada) e
a questão a ser respondida.
96
14
Após responder a última questão, o sistema mostra uma mensagem
informando que a avaliação foi finalizada com sucesso, se um arquivo com a revisão
do caso foi inserido, o link para visualização do mesmo será mostrado no histórico
do caso. Na lista de casos do evento, o caso finalizado tem sua legenda alterada de
“Participe” para “Concluído (veja respostas)”.
97
14
Anexo 4: Valores de Notas e Tempos obtidos em 2012
TABELA 7. Valores de Notas e Tempos obtidos em 2012 analisados.
Grupo A
Sujeitos
Manual – Caso 1 Informatizado – Caso 2
Nível Nota Tempo (min) Nota Tempo (min)
Sujeito 1
Sujeito 2
Sujeito 3
Sujeito 4
Sujeito 5
Sujeito 6
Sujeito 7
Sujeito 8
Sujeito 9
Sujeito 10
6,9
8,6
6,9
8,3
7,5
8,3
9,1
7,7
6,9
8,8
32
33
37
42
42
43
43
44
44
46
8,7
8,0
7,3
7,3
4,4
8,7
9,2
8,0
6,0
6,0
09
12
13
07
21
19
31
19
35
11
R4
R4
R4
R2
R2
R3
R4
R3
R3
R4
Grupo B
Informatizado – Caso 1 Manual – Caso 2
Nota Tempo (min) Nota Tempo (min)
Sujeito 11
Sujeito 12
Sujeito 13
Sujeito 14
Sujeito 15
Sujeito 16
Sujeito 17
Sujeito 18
Sujeito 19
Sujeito 20
Sujeito 21
Sujeito 22
6,5
6,7
5,7
5,0
7,7
5,7
5,8
5,3
6,8
4,9
5,7
7,0
12
13
12
11
13
26
8
13
12
11
15
13
6,0
7,3
6,7
5,8
6,3
3,5
4,8
6,8
7,7
7,8
7,5
5,2
20
20
26
31
32
35
35
38
38
39
43
53
R3
R3
R3
R3
R3
R3
R2
R3
R3
R4
R4
R3
Legenda: R2 = Residentes do segundo ano; R3 = Residentes do terceiro ano; R4 = Residentes do
quarto ano.
98
14
Anexo 5: Notas obtidas em 2013
TABELA 8. Valores de Notas e Tempos obtidos em 2013 analisados.
Sujeitos
Grupo B
Manual – Caso 2 Informatizado – Caso 1
Nota Tempo (min) Nota Tempo (min) Nível
Sujeito 1
Sujeito 2
Sujeito 3
Sujeito 4
Sujeito 5
5,7
7,4
8,2
6,4
5,5
21
25
27
28
29
5,7
8,8
5,5
7,5
6,1
13
11
16
25
19
R3
R4
R3
R3
R3
Grupo A
Informatizado – Caso 2 Manual – Caso 1
Nota Tempo (min) Nota Tempo (min)
Sujeito 6
Sujeito 7
Sujeito 8
Sujeito 9
Sujeito 10
Sujeito 11
Sujeito 12
5,5
7,5
4,7
6,7
8,2
7,8
6,2
11
15
18
14
22
15
08
6,0
5,6
4,6
5,5
8,4
7,3
5,8
17
18
19
19
19
26
26
R3
R3
R4
R3
R4
R4
R3
Legenda: R3 = Residentes do terceiro ano; R4 = Residentes do quarto ano.
99
14
ANEXO 6: Questionário
100
14
ANEXO 7: Caso 1 aplicado na avaliação de 2012
Adolescente de 13 anos de idade, sexo F, branca, natural e procedente de São
Paulo
QD.: é gordinha desde os 2 anos
HPMA: A mãe refere que a adolescente tem excesso de peso desde os 2 anos, com
piora importante no último ano (aumento de 15 kg). Fez tentativa de “regime” por
duas vezes, por curto período de tempo, sem melhora. Mãe trabalha o dia todo e
está preocupada porque junto com a piora do peso a menina apresentou piora do
rendimento escolar e dificuldade de relacionamento com os colegas de classe. Não
obedece aos familiares.
ISDA: Menstrua há 2 anos de forma irregular e tem dismenorréia.
Refere cefaléia esporádica e cansaço aos grandes esforços
AP.: Nascida a termo, PN = 2400, CN = 45 cm, sem intercorrências neonatais.
AM até 1ºm
Nega outras doenças, internações ou cirurgias
AF: mãe obesa e com hipertensão sem tratamento regular (E = 153). Pai obeso (E =
167). Avó materna teve IAM aos 50 anos.
Avós paternos com DM2 + dislipidemia
Atividades de vida diária: fica em casa com os avós, TV e computador (6 horas por
dia)
Dieta:
Manhã: leite com achocolatado + 2 pães franceses com presunto
Lanche: bolachas recheadas + refrigerante light
Almoço: arroz, feijão + 1 carne grelhada + 2 folhas de alface + 1 lata de refrigerante
light
À tarde: salgadinhos de pacote, balas e chocolates
Jantar: 3 pedaços de pizza + 1 lata de refrigerante light
Belisca até hora de dormir
Consumo da família (4 pessoas): 20 kg de arroz/ m
10 kg de açúcar
5 litros de óleo
Cálculo do consumo diário
101
14
Oferta calórica: 4464 kcal
Proteína: 142g (322,5% do RDA)
Sódio:11390 mg
Exame físico: Peso = 88,1 kg
Estatura = 155,1 cm
IMC = 36,7
Cintura abdominal = 105 cm CA/E = 0,7
Acantose nigricans em região cervical e axilar, genu valgo, estrias violáceas em
coxas e abdome.
PA = 140 x 85 mmHg.
Escore de Ferriman de 10
Questões
1) Quais as suas hipóteses diagnósticas?
2) Que exames você pediria?
3) Quais os seus diagnósticos?
4) Baseado nos seus diagnósticos anteriores você pediria mais algum exame?
Quais?
5) No retorno, a paciente trouxe o exame. Como você interpreta esse exame?
6) Qual seria a sua conduta frente a esse teste?
7) Depois de 4 meses, ganhou mais peso, com piora da irregularidade menstrual e
do hirsutismo. Qual seria a sua conduta?
8) Após 3 meses, retorna em uso de metformina 500 mg 2x/dia, mantendo o peso,
mas sem melhora do hirsutismo. Qual seria a sua conduta?
9) Quais as orientações para o tratamento da obesidade dessa paciente?
102
14
Anexo 8: Caso 2 aplicado na avaliação de 2012
RN de 3 DV com genitália atípica. Nascido a termo, sem intercorrências neonatais,
Apgar 9 e 9. Mãe GI PI A0, não apresentou alterações durante a gestação e usou
apenas vitaminas nesse período. Nega consangüinidade ou casos semelhantes na
família.
Ao EF.: RN em BEG, corado, anictérico, ativo, eupnéico. Fontanelas normotensas.
Sem alterações no exame geral. Genitália atípica, sem gônadas palpáveis.
Questões:
1) Como você descreve essa genitália, com relação aos critérios de Prader?
2) Quais as suas hipóteses diagnósticas?
3) Que exames pediria?
4) Quais as suas hipóteses diagnósticas?
5) Como você iniciaria o tratamento?
6) Quando poderia ser liberada para registro e em que sexo social?
7) Esse RN teve alta com 7 dias de vida com acetato de hidrocortisona e após 5
dias, evoluiu com vômitos, apatia e redução da aceitação alimentar. Retornou ao
serviço com Na de 120 mEq/L e K = 6,5 mEq/ L. Qual a sua conduta?
8) Recebeu alta com acetato de hidrocortisona, 9 alfafludrocortisona e extra sal
(entre as mamadas). Quando você indicaria a correção genital idealmente?
9) Aos 4 anos, ela apresentava M1 P3, com velocidade de crescimento de 6 cm/ ano
e idade óssea de 6 anos. Os exames laboratoriais eram: 17 OHP = 25 ng/mL;
androstenediona = 1ng/mL e testosterona total = 51 ng/dL. Qual a sua conduta?
10) Aos 7 anos era M2 P3-4, com velocidade de crescimento de 7,5cm/ano, IO =
10anos. Que exame (s) você pediria?
11) Paciente retorna com dosagens 2 horas após GnRH depot de LH = 5,5 mUI/L e
FSH = 3,0 mUI/l. Qual a sua conduta?
103
14
Anexo 9: Caso 1 aplicado na avaliação de 2013
Menino de 4 anos, branco, natural e procedente de São Paulo, veio encaminhado
por baixa estatura. Mãe refere que filho sempre foi pequeno, mas há 1 ano notou
redução do crescimento. Nega doenças crônicas ou uso de medicamentos.
Nasceu de parto normal, a termo, com peso de 2400g, comprimento de 44cm;
apresentou hipoglicemia nas primeiras horas de vida, recebendo soro. Teve icterícia
neonatal, ficando em fototerapia por 2 dias. Recebeu alta com 7dias de vida. Nega
outras intercorrências; não recebeu aleitamento materno. Atualmente, come de tudo.
DNPM: não formula frases completas Antecedentes familiares: mãe = 150; pai =
163; sem consanguinidade. Nega casos semelhantes na família
Ao EF.: Paciente em BEG, com peso = 14kg, estatura = 90 cm, SS/SI = 0,95 EF
geral sem anormalidades Tireoide normopalpável P1G1; TD tópico, volume = 1cm3;
TE palpável em posição C; Pênis estirado= 2 cm.
Questões:
1) Quais os diagnósticos para essa criança?
2) Quais dados de história sugerem deficiência hipofisária?
3) Que exames você pediria para confirmar o seu diagnóstico?
A criança retornou após 3 meses, com resultados de exames. Apresentou, nesse
período velocidade de crescimento estimada de 4 cm/ano. Trouxe os seguintes
exames: IGF1 < 25ng/mL; TSH = 7mUI/L, T4L = 0,6 ng/dL, cortisol sérico = 2,5
mcg/dL. HMG com Hb = 10, Na, K, U, C, ALT, AST todos dentro da normalidade.
4) Nesse momento, qual seria a sua conduta?
5) Como você faz a monitoração do tratamento?
6) Com relação à criptorquia, qual seria a sua conduta?
7) Com relação ao MP, a sua conduta é?
8) O que espera do tratamento?
9) Quais prováveis genes associados a esse caso?
104
14
Anexo 10: Caso 2 aplicado na avaliação de 2013
RN de 7 dias de vida foi encaminhado por alteração na genitália.
Mãe refere gestação sem intercorrências, fazendo uso apenas de polivitamínicos.
Nenhuma alteração foi detectada nos exames de US durante a gestação e, no
exame morfológico, tinha sido relatado feto provavelmente do sexo masculino.
RN nasceu a termo, com peso = 3000g, comprimento= 49cm, Apgar 9 e 9, sem
intercorrências neonatais. No berçário foi notada alteração de genitália, colhidos
exames e, como RN evoluiu bem, recebeu alta com a mãe com 3 dias de vida,
pesando 2800g, em aleitamento materno exclusivo.
Ao EF.: RN em BEG, hidratado, com peso = 2850, comprimento = 49cm. EF geral
sem alterações, genitália: gônadas não palpáveis, Prader III.
Questões:
1) Pensando em se tratar de RN com cariótipo 46, XX, quais as possibilidades
diagnósticas?
2) Para fazer o diagnóstico nesse caso, quais exames vc pediria?
3) Paciente traz os seguintes exames colhidos com 24horas de vida: 17OHP >
100ng/mL, androstenediona > 10 ng/mL, testosterona = 345ng/dL, DHEA= 15ng/mL;
Na= 137 mEq/L e K = 4,5mEq/L. Com relação a esses resultados, assinale
verdadeiro ou falso
4) Pensando em se tratar de HAC – deficiência da 21OH, assinale as corretas:
Como a criança vinha evoluindo sem intercorrências, a mãe optou por ter segunda
opinião e não iniciou o tratamento. Procurou outro médico que orientou repetir
exames, aguardar o cariótipo, pois como tinha Na e K normais, provavelmente não
seria HAC. Com 15dias de vida, evoluiu com vômitos e diarreia e procurou PS.
Chegou em REG, desidratada, com Na = 118 mEq/L, K = 7mEq/L, G = 50 mg/dL,
gaso arterial com acidose metabólica.
5) Assinale as alternativas corretas.
6) Qual seria a sua conduta nesse momento?
7) A criança saiu do quadro agudo, foi orientada e recebeu alta para o ambulatório.
Quais são os parâmetros de acompanhamento?
8) Com relação ao tratamento, assinale a correta.
9) Quais as orientações que vc deve fazer à família?
105
14
8. Referências Bibliográficas
Abendroth M, Harendz S, Riemer M. Clinical decision making: a pilot e-learning
study. The Clinical Teacher. 2013; 1 51–55
Abensur SI, Abensur H, Malheiros DMAC, Zatz R, Barros RT. Uso da Internet como
um Ambiente para Discussão de Casos Clínicos. Revista Brasileira de Educação
Médica. 2007; 31: 291-295.
Arogundade, RA. Adult Learning Principles for Effective Teaching in Radiology
Programmes: A Review of the Literature. West African Journal of Medicine. 2011; 30
(1):3-10.
Backes CH, Reber KM, Trittmann JK, Huang H, Tomblin J, Moorehead PA, Bauer
JA, Smith CV, Mahan JD. Fellows as teachers: A model to enhance pediatric resident
education. Medical Education Online. [períodico online] 2011;[citado 31 Julho
2013];16:7205. Disponível em: http://www.ncbi.nlm.nih.gov/pmc/
articles/PMC3169169/pdf/MEO-16-7205.pdf
Baker K. Clinical teaching improves with resident evaluation and feedback.
Anesthesiology. 2010;113(3): 693-703.
Bediang G, Stoll B, Geissbuhler A, Klohn AM, Stuckelberger A, Nko'O S, Chastonay
P. Computer literacy and e-learning perception in Cameroon: The ase of Yaounde
Faculty of Medicine and Biomedical Sciences. BMC Medical Education.
2013;13(1):57-65.
Borgli DSP, Lima GM. Proposta de aperfeiçoamento da avaliação de desempenho
em Programa de Residência Médica em Pediatria em uma Instituição especializada.
Trabalho de Conclusão de Curso. Rio de Janeiro: Universidade Federal do Rio de
Janeiro; 2011.
BRASIL. Decreto nº 80.281, de 5 de setembro de 1977. Regulamenta a Residência
Médica, cria a Comissão Nacional de Residência Médica e dá outras providências:
Diário Oficial da União. Brasília, 6 de setembro de 1977 Seção 1, pt. 1, p. 11.787.
BRASIL - Ministério da Educação. Secretaria de Educação Superior. Comissão
Nacional de Residência Médica. Resolução 05/79, de 12 de novembro de 1979.
Estabelece normas dos programas de residência médica: Diário Oficial da União.
Brasília, 12 de novembro de 1979.
Breathnach CS. Problems for students or for teachers? Medical Education. 2000;
34(12): 974-979.
Botti SH de O e Rego S. Processo ensino-aprendizagem na residência. Revista
Brasileira de Educação Médica. 2010;34:132-140.
106
14
Cannon WB. The case method of Teaching Systematic Medicine. Boston Medical
and Surgical Journal. 1900; 142: 563-567.
Carvalho KM, Iyeyasu JN, Castro SMC, Monteiro GBM, Zimmermann A. Experience
with an internet-based course for ophthalmology residents. Revista Brasileira de
Educação Médica. 2012; 6(1):63-67.
Chu LF, Erlendson MJ, Sun JS, Clemenson AM, Martin P, Eng RL. Information
technology and its role in anaesthesia training and continuing medical education.
Best Practice and Research: Clinical Anaesthesiology. 2012;26(1):33-53.
Crespi-Flores VG, Minguini N, Temporini ER, de Carvalho KM. Strabismus surgery
learning for ophthalmology residents of university service. Arquivos Brasileiros de
Oftalmologia. 2012;75(3):188-91.
Da Dalt L, Anselmi P, Bressan S, Carraro S, Baraldi E, Robusto E, Perilongo G. A
short questionnaire to assess pediatric resident's competencies: The validation
process. Italian Journal of Pediatrics. 2013;39(1):41-48.
Degenszajn, RD. Pediatria e saúde mental da criança: uma experiência de ensino na
Residência Médica. Tese (Mestrado). São Paulo: Faculdade de Saúde Pública,
Universidade de São Paulo; 2005.
Dussart C, Pommier P, Siranyan V, Grelaud G, Dussart S. Optimizing clinical
practice with case-based reasoning approach. Journal of Evaluation in Clinical
Practice. 2008;14(5):718-20.
Ellman MS, Schulman-Green D, Blatt L, Asher S, Viveiros D, Clark J, Bia M. Using
online learning and interactive simulation to teach spiritual and cultural aspects of
palliative care to interprofessional students. J Palliat Med. 2012;15(11):1240-7.
Ethnasios R, Rotblatt M, Wali S. Using a web-based survey for the annual internal
medicine residency evaluation. Journal of graduate medical education. 2011;
3(3):412-3.
Evaniew N, Holt G, Kreuger S, Farrokhyar F, Petrisor B, Dore K, Bhandari M, Ghert
M. The orthopaedic in-training examination: Perspectives of program directors and
residents from the United States and Canada. Journal of Surgical Education.
2013;70(4):528-36.
Fernandes CR, Farias Filho A, Gomes JMA, Pinto Filho WA, Cunha, GKF, Maia FL.
Currículo baseado em competências na residência médica. Revista Brasileira de
Educação Médica. 2012; 36(1):129-136.
Finlayson AET, Baraco A, Cronin N, Johnson O, Little S, Nuur A, Tanasie D, Leather
A. An international, case-based, distance-learning collaboration between the UK and
Somaliland using a real-time clinical education website. Journal of Telemedicine and
Telecare 2010; 16: 181-184
107
14
Garcia AF, Cunha LM. Avaliação em instrução baseada na Web. PUC. [artigo online]
2000; [citado 3 Outubro 2013]. Disponível em: ftp://ftp.inf.puc-
rio.br/pub/docs/techreports/00_31_garcia.pdf
Garvin DA. Making the case: professional education for the world of practice. Harv
Mag. 2003; 105(1): 56-65
George P, Dumenco L, Dollase R, Taylor JS, Wald HS, Reis SP. Introducing
technology into medical education: Two pilot studies. Patient Educ Couns. 2013;
93(3):522-4.
Goldwasser RS. Prova Prática no Processo de Seleção do Concurso de Residência
Médica. Revista Brasileira de Educação Médica. 2006;3115-124.
Grijpink-Van Den Biggelaar K, Drop SLS, Schuwirth L. Development of an e-learning
portal for pediatric endocrinology: Educational considerations. Hormone Research in
Paediatrics. 2010;73(3):223-30.
Hernandez CC, Carrare APGD, Silveira IF, Longui CA, Kochi C. Avaliação da
Aprendizagem em Medicina Baseada em Casos Clínicos: proposta de um ambiente
dedicado. In: Anais do Congresso Brasileiro de Informática na Educação–Workshop
sobre Avaliação e Acompanhamento da Aprendizagem em Ambientes Virtuais;
2012. Disponível em: http://www.br-ie.org/pub/index.php/wcbie.
Iyeyasu JN, Costa e Castro SM, Sabbatini RME, Carvalho KM. The Development
and Evaluation of a Distance Learning System in Ophthalmology. Revista Brasileira
de Educação Médica. 2013;37(1):96-102;
Jones MD, McGuinness GA, First LR, Leslie LK. Linking process to outcome: are we
training pediatricians to meet evolving health care needs?. Pediatrics. 2009;123
(Suppl 1): S1-7.
Kalarickal PL. Technology in anesthesia education and evaluation. J Clin Anesth.
2009;21(3):157-8.
Kim S, Phillips WR, Pinsky L, Brock D, Phillips K, Keary J. A conceptual framework
for developing teaching cases: A review and synthesis of the literature across
disciplines. Med Educ. 2006;40(9):867-76.
Kirton OC, Reilly P, Staff I, Burns K. Development and implementation of an
interactive, objective, and simulation-based curriculum for general surgery residents.
Journal of surgical education. 2012; 69:718-23.
Kolb S, Wengenroth L, Hege I, Praml G, Nowak D, Cantineau J, Cantineau A,
Gonzalez M, Monso E, Pauncu EA, Vellore AD, Godnic-Cvar J, Radon K. Case
Based e-Learning in Occupational Medicine-A European Approach. 2009; 51(6):647-
53.
108
14
Koole S, de Wever B, Aper L, Vervaeke S, Derese A, de Bruyn H. Using online
periodontal case-based discussions to synchronize theoretical and clinical
undergraduate dental education. European Journal of Dental Education.
2012;16(1):52-8.
Kourdioukova EV, Verstraete KL, Valcke M. The quality and impact of computer
supported collaborative learning (CSCL) in radiology case-based learning. Eur J
Radiol. 2011;78(3):353-62.
Leone C, Yamamoto RM, Mascaretti LA, Valente MH, Terra VM, Leal MM, Douek,
PC, Gomes FMS, Santos JM. Pesquisa em Assistência Primária: Instrumento de
Ensino-Aprendizagem na Residência Básica de Pediatria. Pediatria. 1995;17(4):165-
9.
Louzada AN, Elia MF, Sampaio FF, Pestana ALV, Rodrigues, R. Validação de um
modelo de avaliação no uso da modelagem computacional em atividades
educacionais. In: Anais do XXII SBIE - XVII WIE; 2011; Aracajú. Disponível em:
http://www.br-ie.org/pub/index.php/sbie/article/view/1653/1418.
Luckesi, C. Avaliação da aprendizagem escolar. 14ª ed. São Paulo: Cortez, 2002.
Maizels M, Yerkes EB, Macejko A, Hagerty J, Chaviano AH, Cheng EY, Liu D,
Sarwark JP, Corcoran JF, Meyer T, Kaplan WE. A new computer enhanced visual
learning method to train urology residents in pediatric orchiopexy: A prototype for
accreditation council for graduate medical education documentation. J Urol.
2008;180(4 SUPPL.):1814-8.
Mahan J. D., Ferris M. E. Case-Based Education at the 2009 Pediatric Nephrology
Fellows Conference. In: Proceedings of the 2009 Pediatric Nephrology Fellows
Conference. Renal Failure. 2010; 32:14–20.
McQuiston L, MacNeily A, Liu D, Mickelson J, Yerkes E, Chaviano A, Roth D, Stoltz
RS, Herz DB, Maizels M. Computer enhanced visual learning method to train urology
residents in pediatric orchiopexy provided a consistent learning experience in a multi-
institutional trial. J Urol. 2010;184(4 SUPPL.):1748-52.
MedCC. [online]. Tutorial para criação da prova. [citado em 14 Mar 2014]. Disponível
em: http://www.clinicalcaselearning.com/tutorial.pdf.
Megale L, Gontijo ED, Motta JAC. Avaliação de Competência Clínica em Estudantes
de Medicina pelo Miniexercício Clínico Avaliativo (Miniex). Revista Brasileira de
Educação Médica. 2009;33 (2):166–175.
Michel JLM, Oliveira, RAB, Nunes MPT. Residência Médica no Brasil. Cadernos
ABEM. v7, Out 2011.
Monte O, Longui CA, Calliari LE, Kochi C. Endocrinologia para o pediatra. 3. ed.
São Paulo: Editora Atheneu, 2009.
109
14
Nuthalapaty FS, Casey PM, Cullimore AJ, Dugoff L, Abbott JF, Chuang AW,
Dalrymple JL, Hueppchen NA, Kaczmarczyk JM, Katz NT, Pradhan A, Wolf A. To the
point: A primer on medical education research. Obstet Gynecol. 2012;207(1):9-13.
Obura T, Brant WE, Miller F, Parboosingh IJ. Participating in a community of learners
enhances resident perceptions of learning in an e-mentoring program: Proof of
concept. BMC Medical Education. 2011;11(1): 3-9.
Pereira ATC, Schmitt V, Dias MRAC. Ambientes Virtuais de Aprendizagem em
Diferentes Contextos. 1 ed. Rio de Janeiro: Ciência Moderna. 2007.
Perrenoud, P. Avaliação: da Excelência à Regulação das Aprendizagens – Entre
duas lógicas. Tradução de Patrícia Chittoni Ramos. Porto Alegre: Artmed Editora.
1999.
Phelps A, Naeger DM, MacKenzie J, Qayyum A. Educating radiology residents in the
new era. implementation and evaluation of online end-of-rotation examinations. Acad
Radiol. 2011;18(11):1442-6.
Pinto VC, Costa TM, Grottone GT, Schor P, Pisa IT. Avaliação de um programa para
computador de mão no auxílio ao ensino de oftalmologia para estudantes de
medicina. Rev Bras Oftalmol. 2010; 69 (6): 352-60.
Popil I. Promotion of critical thinking by using case studies as teaching method.
Nurse Educ Today. 2011;31:204–207.
Piton-Gonçalves J, Monzón AJB, Aluísio SM. Métodos de avaliação informatizada
que tratam o conhecimento parcial do aluno e geram provas individualizadas. In:
Anais do XX Simpósio Brasileiro de Informática na Educação; 2009. Disponível em:
http://www.br-ie.org/pub/index.php/sbie/article/view/1141/1044.
Rezaie MJ, Pooladi A. Effect of problem based approach on medical students’
learning satisfaction and understanding in the histology course topics. Journal of
Medical Education. 2009;13(4):111-120.
Ryan JG, Barlas D, Sharma M. Direct observation evaluations by emergency
medicine faculty do not provide data that enhance resident assessment when
compared to summative quarterly evaluations. Academic Emergency Medicine:
Official Journal of the Society for Academic Emergency Medicine. 2010;17(Suppl
2):S72-77.
Roger ET, Methods of teaching medicine using cases. Medical
Teacher.1993;15(1):27-34.
Savaris RF. Avaliação Formativa entre Alunos de Medicina do Quarto Ano: Relato de
Experiência. Revista Brasileira de Educação Médica. 2009;33:111-115.
110
14
Sebastiani R. L., Zago M. K., Mantovani A., Bez M. R., Bruno R., Dahmer A., Flores
C. D. Ferramenta de Autoria para Construção de Casos Clínicos Interativos para
Educação Médica. In: Anais do XXXII Congresso da Sociedade Brasileira de
Computação – XII Workshop de Informática Médica. 2012. Disponível em:
http://www.lbd.dcc.ufmg.br/colecoes/wim/2012/0013.pdf
Simões JC. Residência Médica é treinamento em serviço [Editorial]. Revista do
Médico Residente. 2012; 14(1).
Schmitz CC, Whitson BA, Van Heest A, Maddaus MA. Establishing a usable
electronic portfolio for surgical residents: Trying to keep it simple. Journal of Surgical
Education. 2010;67(1):14-8.
Skye EP, Wimsatt LA, Master-Hunter TA, Locke AB. Developing online learning
modules in a family medicine residency. Fam Med. 2011;43(3):185-92.
Smits PBA, De Graaf L, Radon K, De Boer AG, Bos NR, Van Dijk FJH, Verbeek
JHAM. Case-based e-learning to improve the attitude of medical students towards
occupational health, a randomised controlled trial. Occup Environ Med.
2012;69(4):280-3.
Stephenson A, Higgs R, Sugarman J. Teaching professional development in medical
schools. Lancet. 2001;357:867-870.
Takayesu JK, Nadel ES, Bhatia K, Walls RM. Incorporating simulation into a
residency curriculum. Canadian Journal of Emergency Medicine. 2010;12(4):349-53.
Tanaka PP, Hawrylyshyn KA, Macario A. Use of tablet (iPad®) as a tool for teaching
anesthesiology in an orthopedic rotation. Rev Bras Anestesiol. 2012;62(2):214-22.
Ten Cate O, Fedde S. Viewpoint: Competency-Based Postgraduate Training: Can
We Bridge the Gap between Theory and Clinical Practice? Academic Medicine.
2007; 82(6): 542-547.
Teunissen PW, Boor K, Scherpbier AJJA, Van Der Vleuten CPM, Van Diemen-
Steenvoorde JAAM, Van Luijk SJ, Scheele F. Attending doctors' perspectives on how
residents learn. Med Educ. 2007;41(11):1050-8.
Van Der Leeuw R, Lombarts K, Heineman MJ, Arah O. Systematic evaluation of the
teaching qualities of obstetrics and gynecology faculty: Reliability and validity of the
setq tools. PLoS ONE [periódico online] 2011; [citado 20 novembro 2013]; 6(5):
e19142. Disponível em:
http://www.plosone.org/article/fetchObject.action?uri=info%3Adoi%2F10.1371%2Fjou
rnal.pone.0019142&representation=PDF
Velho MTAC, Haeffner LB, Santos FG, Silva LC da, Weinmann ARM. Residência
médica em um hospital universitário: a visão dos residentes. Revista Brasileira de
Educação Médica. 2012; 36(3): 351-357.
111
14
Vollmer CM, Newman LR, Huang G, Irish J, Hurst J, Horvath K. Perspectives on
Intraoperative Teaching: Divergence and Convergence Between Learner and
Teacher. Journal of Surgical Education. 2011; 68(6): 485-494.
Weintraub M, Hawlitschek P, João SMA. Jogo educacional sobre avaliação em
fisioterapia: uma nova abordagem acadêmica. Fisioterapia e Pesquisa. 2011;18(3):
280-6.
Wood FB, Siegel ER, Feldman S, Love CB, Rodrigues D, Malamud M, Lagana M,
Crafts J. Web evaluation at the US national institutes of health: Use of the american
customer satisfaction index online customer survey. Journal of Medical Internet
Research 2008;10(1).
Wu JS, Siewert B, Boiselle PM. Resident evaluation and remediation: a
comprehensive approach. Journal of graduate medical education. 2010; 2: 242-5.
Wuillaume, SM. O processo ensino-aprendizagem na residência médica em
pediatria: uma análise. Tese (Doutorado). Rio de Janeiro: Instituto Fernandes
Figueira; 2000.
Zeferino AMB, Passeri SMRR. Avaliação da Aprendizagem do Estudante. Cadernos
da ABEM. 2007;3:39-43.
112
14
Fontes Consultadas
Faculdade de Ciências Médicas da Santa Casa de São Paulo. Pós-Graduação [on
line] Normatização para apresentação de dissertações de teses. São Paulo:
Faculdade de Ciências Médicas a Santa Casa de São Paulo; 2004. Disponível em:
http://www.fcmscsp.edu.br/posgraduação/arquivos/File/normastese_2004.pdf[14set2
012]
113
14
Resumo
A competência clinica é adquirida com o aprimoramento da educação médica
e da prática profissional. O desenvolvimento desta habilidade depende de como
ocorre a aprendizagem do profissional médico. Uma das metodologias que vem
sendo adotada é a utilização de casos clínicos, que simulam situações reais. Porém
o processo de avaliação de aprendizagem é normalmente feito em papel. Este
trabalho apresenta o estudo da aplicabilidade de um sistema computacional de
ensino e avaliação baseado em casos clínicos, que inclui a criação e aplicação de
avaliação em alunos de pós-graduação da área da saúde. O sistema computacional
permitiu acrescentar recursos e minimizar o tempo no processo avaliativo.
Palavras-chave: Sistemas de computação, Educação médica, Avaliação
educacional/métodos, Internato e Residência, Aprendizagem, Tecnologia
educacional.
114
14
Abstract
The clinical competency is obtained from the improvement of medical
education and professional practice. The development of this competency depends
on the conduction of medicine students' learning process. Clinical case studies based
on real situations is one methodology that has been adopted in this process.
However, the learning evaluation process is frequently made on worksheet, which is
a burdensome process in practice. This work presents a study of the applicability of a
computer teaching and evaluation system based on clinical cases, including the
creation and implementation of evaluation tests for postgraduate students from
healthcare area. The computer based system allowed the addition of resources, and
reduction of the time in the evaluation process.
Key-words: Computer systems; Education, medical; Educational measurement/
methods; Internship and Residency; Learning; Educational technology.
115
14
LISTAS E APÊNDICES
Apêndice 1: Parecer do Comitê de Ética e Pesquisa
116
14
Apêndice 2: Termo de consentimento livre e esclarecido
117
14
Lista de Tabelas
TABELA 1. QUANTIDADE DE ARTIGOS ENCONTRADOS, PRÉ-SELECIONADOS E
CONSIDERADOS NA BASE DE DADOS PUBMED, SCIENCE DIRECT E SCIELO . ......... 14
TABELA 2. GRUPOS, MÉDIAS, MEDIANAS, DESVIOS-PADRÃO DAS NOTAS OBTIDAS
PARA CADA MÉTODO EM CADA CASO AVALIADO EM 2012 E 2013 E VALORES DOS
TESTES APLICADOS, CONSIDERANDO OS CASOS AVALIADOS COMPARANDO
MÉTODO MANUAL COM INFORMATIZADO. ..................................................................... 63
TABELA 3. COMPOSIÇÃO DOS GRUPOS EM 2012 E 2013. ............................................ 64
TABELA 4. GRUPOS, MÉDIAS, MEDIANAS, DESVIOS-PADRÃO DOS TEMPOS EM
MINUTOS OBTIDOS PARA CADA MÉTODO EM CADA CASO AVALIADO EM 2012 E
VALORES DOS TESTES APLICADOS, CONSIDERANDO OS CASOS AVALIADOS
COMPARANDO MÉTODO MANUAL COM INFORMATIZADO. .......................................... 67
TABELA 5. TEMPOS EM MINUTOS PARA SOLUCIONAR OS CASOS, CONSIDERANDO A
COMPOSIÇÃO DOS SUJEITOS. ........................................................................................ 69
TABELA 6. ANÁLISE DESCRITIVA DAS NOTAS DO QUESTIONÁRIO DE AVALIAÇÃO DO
SISTEMA (DE 1 A 5). .......................................................................................................... 72
TABELA 7. VALORES DE NOTAS E TEMPOS OBTIDOS EM 2012 ANALISADOS............ 97
TABELA 8. VALORES DE NOTAS E TEMPOS OBTIDOS EM 2013 ANALISADOS............ 98
118
14
Lista de Quadros
QUADRO 1. TEMAS E AS RESPECTIVAS PALAVRAS-CHAVE UTILIZADAS NA REVISÃO
DE LITERATURA. ............................................................................................................... 13
QUADRO 2. ARTIGOS SELECIONADOS SOBRE ENSINO E APRENDIZAGEM NA
RESIDÊNCIA MÉDICA. ....................................................................................................... 23
QUADRO 3. ARTIGOS SELECIONADOS SOBRE AVALIAÇÃO DE APRENDIZAGEM NA
RESIDÊNCIA MÉDICA. ....................................................................................................... 30
QUADRO 4. ARTIGOS SELECIONADOS SOBRE AVALIAÇÃO DE APRENDIZAGEM
BASEADA EM CASOS. ....................................................................................................... 39
QUADRO 5. SUGESTÕES E PROBLEMAS DE ACORDO COM A QUESTÃO PROPOSTA
NO QUESTIONÁRIO. .......................................................................................................... 74
QUADRO 6. COMPARATIVO ENTRE OS ESTUDOS. ........................................................ 80
QUADRO 7. VANTAGENS E DESVANTAGENS DOS MÉTODOS MANUAL E
INFORMATIZADO PARA AS DIFERENTES ETAPAS DA AVALIAÇÃO BASEADA EM
CASOS. ............................................................................................................................... 81
119
14
Lista de Figuras
FIGURA 1. ETAPAS DO MÉTODO DE AVALIAÇÃO MANUAL. .......................................... 43
FIGURA 2. EXEMPLO DE AVALIAÇÃO NO MÉTODO MANUAL. ....................................... 44
FIGURA 3. EXEMPLO DE POSSÍVEIS RESULTADOS QUE PODEM SER ENTREGUES,
SE SOLICITADOS, NAS QUESTÕES PROPOSTAS DURANTE A EVOLUÇÃO DO CASO
NO MÉTODO MANUAL. ...................................................................................................... 45
FIGURA 4. TELA INICIAL DO SISTEMA. ............................................................................ 47
FIGURA 5. ETAPAS DO MÉTODO DE AVALIAÇÃO INFORMATIZADO. ........................... 48
FIGURA 6. EXEMPLO DE DESCRIÇÃO DE UM CASO CLÍNICO INSERIDO NO MEDCC. 50
FIGURA 7. EXEMPLO DE QUESTÃO DO TIPO ESCOLHA ÚNICA. ................................... 51
FIGURA 8. EXEMPLO DE QUESTÃO DO TIPO ESCOLHA MÚLTIPLA. ............................ 52
FIGURA 9. EXEMPLO DE QUESTÃO DO TIPO ÚNICA. .................................................... 52
FIGURA 10. EXEMPLO DE QUESTÃO DO TIPO FALSO/VERDADEIRO. .......................... 53
FIGURA 11. EXEMPLO DE QUESTÃO DO TIPO DIRETA. ................................................. 53
FIGURA 12. EXEMPLO DE QUESTÃO DO TIPO PRIORIDADE. ........................................ 53
FIGURA 13. EXEMPLO DE QUESTÃO DO TIPO CORRESPONDÊNCIA. ......................... 54
FIGURA 14. EXEMPLO DE QUESTÃO DO TIPO COMPOSTA. ......................................... 54
FIGURA 15. EXEMPLO DE QUESTÃO DO TIPO MEDICAMENTO. ................................... 55
FIGURA 16. EXEMPLO DE QUESTÃO DO TIPO SUB-QUESTÕES................................... 55
FIGURA 17. TELA COM AS INFORMAÇÕES INICIAIS DE UM CASO. .............................. 57
120
14
FIGURA 18. DIAGRAMA DE FLUXO DA METODOLOGIA DO ESTUDO COM DOIS
GRUPOS EM PARALELO: SUJEITOS DE 2012 E 2013, SEPARAÇÃO ALEATÓRIA DOS
SUJEITOS PELOS DOIS GRUPOS A E B, APLICAÇÃO DAS METODOLOGIAS DE
AVALIAÇÃO E ANÁLISE DOS DADOS. .............................................................................. 60
FIGURA 19. (A) DISTRIBUIÇÃO E (B) RELAÇÃO DAS NOTAS PARA OS DIFERENTES
MÉTODOS DE AVALIAÇÃO EM 2012. ............................................................................... 64
FIGURA 20. (A) DISTRIBUIÇÃO E (B) RELAÇÃO DAS NOTAS PARA OS DIFERENTES
MÉTODOS DE AVALIAÇÃO EM 2013. ............................................................................... 65
FIGURA 21. DISTRIBUIÇÃO DAS NOTAS DOS SUJEITOS PARA OS DIFERENTES
MÉTODOS DE AVALIAÇÃO INDEPENDENTE DO ANO DE REALIZAÇÃO. ...................... 65
FIGURA 22. RELAÇÃO ENTRE AS NOTAS DOS SUJEITOS PARA OS DIFERENTES
MÉTODOS DE AVALIAÇÃO INDEPENDENTE DO ANO DE REALIZAÇÃO. ...................... 66
FIGURA 23. COMPARAÇÃO DOS TEMPOS PARA OS DIFERENTES MÉTODOS DE
AVALIAÇÃO EM 2012 (A) CASO 1 E (B) CASO 2. .............................................................. 67
FIGURA 24. (A) DISTRIBUIÇÃO E (B) RELAÇÃO ENTRE OS TEMPOS PARA OS
DIFERENTES MÉTODOS DE AVALIAÇÃO EM 2012. ........................................................ 68
FIGURA 25. COMPARAÇÃO DOS TEMPOS PARA OS DIFERENTES MÉTODOS DE
AVALIAÇÃO EM 2013 (A) CASO 1 E (B) CASO 2. .............................................................. 68
FIGURA 26. (A) DISTRIBUIÇÃO E (B) RELAÇÃO ENTRE OS TEMPOS PARA OS
DIFERENTES MÉTODOS DE AVALIAÇÃO EM 2013. ........................................................ 69
FIGURA 27. DISTRIBUIÇÃO DOS TEMPOS PARA OS DIFERENTES MÉTODOS DE
AVALIAÇÃO INDEPENDENTE DO ANO DE REALIZAÇÃO. ............................................... 70
FIGURA 28. RELAÇÃO ENTRE OS TEMPOS PARA OS DIFERENTES MÉTODOS DE
AVALIAÇÃO INDEPENDENTE DO ANO DE REALIZAÇÃO. ............................................... 71
FIGURA 29. FREQUÊNCIA RELATIVA OBTIDAS NO QUESTIONÁRIO DE AVALIAÇÃO –
2012. ................................................................................................................................... 72
121
14
FIGURA 30. FREQUÊNCIA RELATIVA OBTIDAS NO QUESTIONÁRIO DE AVALIAÇÃO –
2013. ................................................................................................................................... 73
FIGURA 31. TELA APÓS O AVALIADOR REALIZAR LOGIN. ............................................ 84
FIGURA 32. TELA COM PROVAS INCLUÍDAS PELO AVALIADOR. .................................. 85
FIGURA 33. FORMULÁRIO DE DEFINIÇÃO DA PROVA. .................................................. 86
FIGURA 34. FORMULÁRIO DE DESCRIÇÃO DA PROVA. ................................................. 87
FIGURA 35. FORMULÁRIO DE DESCRIÇÃO DA PROVA COM A OPÇÃO DE
SELECIONAR QUESTÕES. ................................................................................................ 88
FIGURA 36. TELA DE SELEÇÃO DE QUESTÕES. ............................................................ 88
FIGURA 37. RELATÓRIO DE NOTAS GERAL. ................................................................... 89
FIGURA 38. TRECHO DO RELATÓRIO INDIVIDUAL. ........................................................ 90
FIGURA 39. RELATÓRIO DE NOTAS DAS PROVAS DO EVENTO. .................................. 91
FIGURA 40. RELATÓRIO DE NOTAS DAS QUESTÕES DAS PROVAS DO EVENTO. ..... 92
FIGURA 41. TRECHO DO RELATÓRIO DE ESTATÍSTICA POR PROVA. ......................... 92
FIGURA 42. TELA DE CADASTRO DO SISTEMA. ............................................................. 93
FIGURA 43. TELA COM OS EVENTOS DISPONÍVEIS. ...................................................... 94
FIGURA 44. TELA COM OS CASOS DISPONÍVEIS DE UM EVENTO. .............................. 94
FIGURA 45. TELA COM AS INFORMAÇÕES INICIAIS DO CASO, JUNTAMENTE COM O
HISTÓRICO (ÁREA TRACEJADA) E A QUESTÃO A SER RESPONDIDA. ........................ 95
