Usos da avaliação na prática institucional

Ana Cláudia Figueiró(GEAS-IMIP)

Rio de Janeiro, dezembro 2010

Idéias e conceitosModelo teóricoTensões e condiçõesCirculação dos eventos da avaliação

Idéias centrais

“…evaluation's most important purpose is not to prove, but to improve.” … o propósito mais importante da avaliação não é provar, mas sim melhor

(Stufflebeam. CIPP Model, 1999)

“All evaluations have a cost but not necessarily a value. Their value does not depend on their cost but on their use.” Todas as avaliações têm um custo mas não necessariamente um valor. Seu valor não depende do seu custo, mas do seu uso.

(Feinstein, 2002:433)

“Success is to be judged by… success in communication…”. O sucesso [da avaliação] será julgado pelo sucesso da comunicação

(Cronbach, L.J. (1982)

Suposição inicial: evidências científicas, produzidas por pesquisas rigorosamente conduzidas a cerca do sucesso ou fracasso de programas, seriam naturalmente utilizadas pelos tomadores de decisão, num modelo linear ligando os estudos à implementação de ações de qualidade e aos resultados esperados

Entendimento atual: variados e legítimos aspectos (interesses, valores, motivações, recursos) estão implicados nas decisões políticas e nos usos das avaliações para tomada de decisões

(WEISS, 1993; WEISS, 1999; CHAMPAGNE, 1999; BRAGA; ALBUQUERQUE; MORAIS, 2004; CHAMPAGNE; CONTANDRIOPOULOS; TANON, 2005)

Entendimento quanto aos usos das avaliações

Pressupostos

Avaliação não se traduz automaticamente em ações; como qualquer política ou intervenção, deve ser questionada em relação aos seus objetivos, inserção institucional, custos e conseqüências (positivas e negativas), pelos interessados e envolvidos na intervenção e na avaliação

A avaliação sendo uma intervenção tal como políticas e programas, deve ela mesma ser objeto de avaliação – Meta-avaliação

Meta-avaliação

Utilidade: atende as necessidades de informação dos usuários

Factibilidade: realista e moderada nos custos de modo a justificar a sua realização

Propriedade: conduzida eticamente, com respeito ao bem-estar dos envolvidos

Precisão ou acurácia: informa sobre o valor ou mérito dos programas avaliados com a devida validade

Especificidade: adequada ao tratamento da “especificidade das intervenções”

(CDC, 1999; 2004; STUFFLEBEAM, 2001; HARTZ, 2006; HARTZ; GOLDBERG; FIGUEIRÓ; POTVIN, 2008; FIGUEIRÓ; HARTZ; THULER; DIAS, 2008)

Usos da Avaliação

Definição frequente, Leviton e Hughes (1981): “… is confined here to use of evaluation results for programs and policy only, not by academicians or by the press…” (p.526)

(refere-se ao uso dos resultados da avaliação pelos programas e política, não por acadêmicos ou pela imprensa)

Redefinindo Uso (Patton, 2007)

Uso é um processo e não um evento Uso envolve acompanhamento e

facilitação e não apenas elaboração de um relatório

Uso envolve preparação e treinamento para o uso, não apenas disseminação de resultados

Dos usos dos resultados aos usos processuais da avaliação

O uso processual refere-se a e é indicado pelas mudanças individuais, de pensamento e comportamento, e mudanças programáticas ou organizacionais nas práticas e cultura que ocorre entre os envolvidos, como resultado da aprendizagem que se realiza durante o processo avaliativo. Essas podem acontecer para além dos resultados finais da avaliação

(PATTON, 1997; 2005; 2007)

Componentes implicados na utilização das avaliações

Debate se estrutura em quatro blocos ou pilares: modelos de uso da avaliação modos de produção do conhecimento níveis de influência da avaliação avaliação com foco na utilidade

(HARTZ, DENNIS, MOREIRA, MATIDA, 2008)

TIPOS DE INFLUÊNCIA

FontesProcessosResultados

IntençãoPrevistaInesperada

MomentoImediatoCiclosLongo prazo

IndividualAtitudes

Habilidades

Condutas

InterpessoalPersuasãoLideranças

OpiniõesNormas sociais

ColetivoAgenda Política Aprendizagem Organizacional

Melhorias sociais

NÍVEIS DE INFLUÊNCIA

MODELOS DE USO

InstrumentalPolítica ou SimbólicaConhecimentos Novos

MODOS DE PRODUÇÃO DO CONHECIMENTO

DisciplinarContextual

COMPONENTES ENVOLVIDOS NOS USOS DA AVALIAÇÃO (Hartz, 2008)

Historicidade (Contexto-Tempo): múltiplas linhas de evidênciasKirkhart, 2000; Henry & Mark,2003; Patton,1997; Weiss, 1999; CDC,1999

AVAL

IAÇÃ

O C

OM

FO

CO N

A U

TILI

DAD

E

Expectativa do avaliador

Uso instrumental: uso dos resultados da avaliação para informar a tomada de decisão, preferencialmente no curto prazo (Amara et al, 2004)

Isso acontece?? “O avaliador tem que aceitar que mesmo quando tem o

comprometimento dos gestores e administradores; conduz o estudo dentro dos propósitos da instituição e de forma metodologicamente competente; finaliza e entrega os resultados dentro do prazo previsto para as decisões e dissemina os achados; ainda assim seus resultados são ignorados” (Weiss, 1998)

Tensões para o uso da avaliaçãoOs diferentes mundos em que parecem viver:

gestores, coordenadores de políticas e programas, e

pesquisadores sociais, entre esses os avaliadores

“…cientistas sociais vêm a si mesmo como: racionais, objetivos e novas e abertas idéias, e tomadores de decisão como orientados pela

ação e interesses, e indiferentes a evidências e novas idéias

Tomadores de decisão vêm a si mesmo como: responsáveis, orientados para ação e

pragmáticos, e cientistas como ingênuos, scientists as naive,

cheios de jargões e irresponsáveis quanto à realidade prática

Comunicação de mão-dupla entre os dois campos pode facilitar um entendimento mútuo das questões políticas e o tipo de conhecimento necessário” Innvær (2002)

a qualidade do conteúdo de pesquisas e políticas, com ênfase nos problemas de linguagem (referidos como desprezo intelectual mútuo)

questões ligadas às interações do ator, como as diferentes formações técnicas e culturas políticas, confrontando experiência e informação científica

o canal de comunicação em contextos políticos e organizacionais, reforçando o necessário desenvolvimento de capacidade para criar interesses e a competência em estabelecer elos (TROSTLE, 1999)

Dificuldade na condução e tradução das avaliações que tragam respostas para as necessidades dos tomadores de decisão e contribuam efetivamente para as melhorias sociais

(WEISS, 1993; POUVOURVILLE,1999; TROSTLE, 1999)

Tensões para o uso da avaliação

O uso das avaliações não só não acontece naturalmente como precisa ser facilitado, e facilitar o uso é parte fundamental do trabalho do avaliador

(PATTON, 1997; WEISS, 1999; MARK; HENRY, 2004)

Para utilizar as avaliações

Características e mecanismos com maior influência na utilização das avaliações: participação dos grupos interessados

(stakeholders) no processo de avaliação

avaliador como facilitador no desenvolvimento do processo, comprometido com o envolvimento e com a promoção da aprendizagem organizacional

(PRESKILL; CARACELLI, 1997; FLEISCHER; CHRISTIE, 2009)

Para utilizar as avaliações

Análise contextualizada Para ser útil, a avaliação deve ter foco no contexto, nos

textos produzidos pelos diversos atores e seus significados

“Os itens discutidos pelos avaliadores (o avaliando, sua eficácia, teoria do programa, etc.) são textos. O programa e sua lógica; os tipos de técnicas; as descobertas da avaliação estão condicionados pela maneira como foram compreendidos e interpretados por cada ator (incluindo o avaliador), de acordo com suas restrições formais, morais e normativas” (BEZZI, 2006 “Evaluation Pragmatics”)

Para que os atores aprendam com a avaliação, a análise deve fazer sentido da perspectiva dos atores envolvidos. Interpretações e interações de atores desempenham um papel não somente na produção de resultados, mas também no aprendizado como conseqüência da avaliação

(VAN DER MEER&EDELENBOS,2006)

Contexto organizacional(THOENIG, 2000; TROSTLE 1999; GARCIA, 2001; HANNEY; GONZALEZ-BLOCK; BUXTON; KOGAN, 2003; TORRES; PRESKILL, 2001; TAUT, 2007; FELISBERTO et al, 2009)

Condições requeridas para que a avaliação na melhoria contínua das ações programáticas: capacidade de produzir as informações demandadas

pela gestão credibilidade dos avaliadores qualidade dos estudos acesso dos avaliadores as lideranças influentes na

organização legitimação institucional da avaliação pelo avaliado comprometimento dos avaliadores com a

continuidade do aprendizado organizacional tempo para reflexão, exames do temas retratados e

diálogo entre avaliadores, staff dos programas e lideranças organizacionais

A circulação dos eventos da avaliação configurando seus usos

Num processo de aprendizado social pesquisadores, implementadores e usuários aprendem a partir de experiências e interações

Princípios da teoria da tradução poderão facilitar uma melhor compreensão dos elementos, elos e pontes entre esses dois mundos, em sua dinâmica mútua e contínua (HARTZ, 2008)

O elemento central é a rede sócio-técnica: teia de atuantes (humanos e não humanos) ligados entre si numa cadeia onde interagem conhecimento, aparatos e capacidade técnica, mediações, ações (CALLON; LATOUR, 1991 apud POTVIN, 2007; LATTOUR, 2006)

No interior das redes sócio-técnicas processam-se as traduções entre fatos científicos e ações

As traduções ocorrem por meio de negociações entre os atuantes

Produz-se um novo conhecimento a partir do entendimento entre diferentes perspectivas e argumentos

Emergem novas proposições para ação, fruto do alinhamento de interesses e objetivos que integram e dialogam com as divergências (CALLON; LATOUR, 1991 apud POTVIN, 2007)

A circulação dos eventos da avaliação configurando seus usos

Circulação dos fatos da avaliaçãoNa perspectiva de circulação dos fatos científicos,

os usos da avaliação se inserem num processo de tradução:

As cadeias de tradução se referem ao trabalho pelo qual os atores modificam, deslocam e traduzem os seus interesses diversos e contraditórios

A referência circulante, produzida com os deslocamentos de atuantes, qualifica a cadeia de transformações

Quando as controvérsias entram em cena, o resultado é um entendimento maior e mais amplo para os programas de ação e minimização de reações

TIPOS DE INFLUÊNCIA

FontesProcessosResultados

IntençãoPrevistaInesperada

MomentoImediatoCiclosLongo prazo

IndividualAtitudes

Habilidades

Condutas

InterpessoalPersuasãoLideranças

OpiniõesNormas sociais

ColetivoAgenda Política Aprendizagem Organizacional

Melhorias sociais

NÍVEIS DE INFLUÊNCIA

MODELOS DE USO

InstrumentalPolítica ou SimbólicaConhecimentos Novos

MODOS DE PRODUÇÃO DO CONHECIMENTO

DisciplinarContextual

COMPONENTES ENVOLVIDOS NOS USOS DA AVALIAÇÃO

Historicidade (Contexto-Tempo): múltiplas linhas de evidênciasKirkhart, 2000; Henry & Mark,2003; Patton,1997; Weiss, 1999; CDC,1999

AVAL

IAÇÃ

O C

OM

FO

CO N

A U

TILI

DAD

E

1.Mobilização(instrumentos)

2.Autonomização(colegas)

3.Alianças(aliados)

4.Representação pública

5.Nós e vínculos

Circulação dos fatos da avaliação

2.Autonomização(colegas)

1.Mobilização(instrumentos)

3.Alianças(aliados)

4.Representação pública

5.Nós e vínculos

Tipos e níveis de influência

Modos de produção do conhecimento

Avaliação baseada na utilidade

Modelos de uso

Modelo teórico-operacional para análise os usos da avaliação

Usos da avaliação na produção de novos eventos

APRENDIZAGEM ORGANIZACIONAL

CONTROVÉRSIAS

2.Autonomização(colegas)

1.Mobilização(instrumentos)

3.Alianças(aliados)

4.Representação pública

5.Nós e vínculos

Tipos e níveis de influência

Modos de produção do conhecimento

USOS DA AVALIAÇÃO

APRENDIZAGEM ORGANIZACIONAL

Avaliação baseada na utilidade

Modelos de uso Consequências

Eventos e Mediações

Na prática...

Sistematização dos achados

Revisão e Síntese da literatura

Apresentação e discussão dos achados com os envolvidos no PNCD

Revisão do Modelo Lógico do programa para os 3 âmbitos de gestão

Ficha síntese de produção técnica e científica

Teste do instrumento de investigação de óbito da SVS-MS para uso na pesquisa

Revisão das iniciativas de capacitação de médicos SES (Estado 1)

Uso do material educativo elaborado e distribuído aos médicos pela SVS/MS

Revisão das iniciativas de capacitação de supervisores e gestores – SVS/MS

Uso dos óbitos investigados como casos clínicos p/ capacitação de médicosElaboração de material instrucional

Teste do instrumento de investigação de óbito pelo NEPI de Hospital Geral: validação operacional

Discussão e recomendações para os diversos envolvidos: profissionais, gerentes, coordenadores da SES – avaliação do Projeto Unidade Sentinela

Apresentação e discussão com chefias e profissionais dos setores relacionados aos óbitos investigados, com encaminhamentos de mudança de condutas no serviço

Momento Imediato Múltiplas fontes de evidências Momento de médio prazo

Realização do 1º Seminário Internacional de Avaliação do PNCD

Painel de experts: apreciação de lacunas e avanços no programa e avaliação

5 Eixos para avaliação do PNCD: Mortalidade / Letalidade; Gestão descentralizada; Ações de Controle do Vetor; Mobilização e Comunicação; Custo- efetividade

Análise Lógica do PNCD

Proposição do Curso Básico de Avaliação em Saúde – EAD para responsáveis pelo PNCD nos três âmbitos de gestão do SUS

Avaliação da Qualidade da Assistência prestada aos pacientes de dengue: Estudo Piloto

Elaboração do Projeto de Avaliação

HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos, influências e conseqüências da avaliação do PNCD

Sistematização dos achados

Revisão e Síntese da literatura

Apresentação e discussão dos achados com os envolvidos no PNCD

Revisão do Modelo Lógico do programa para os 3 âmbitos de gestão (MEDIADOR)

Ficha síntese de produção técnica e científica

Realização do 1º Seminário Internacional de Avaliação do PNCD

Painel de experts: lacunas e avanços no programa e avaliação

5 Eixos para avaliação do PNCD: Mortalidade / Letalidade; Gestão descentralizada; Ações de Controle do Vetor; Mobilização e Comunicação; Custo- efetividade

Análise Lógica do PNCD

Proposição do Curso Básico de Avaliação em Saúde – EAD para responsáveis pelo PNCD nos três âmbitos de gestão do SUS

Elaboração do Projeto de Avaliação

HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos e conseqüências da avaliação do PNCD

2007 2007 2008 2008

Teste do instrumento de investigação de óbito da SVS-MS para uso na pesquisa

Revisão das iniciativas de capacitação de médicos SES (Estado 1)

Uso do material educativo elaborado e distribuído aos médicos pela SVS/MS

Revisão das iniciativas de capacitação de supervisores e gestores – SVS/MS

Uso dos óbitos investigados como casos clínicos p/ capacitação de médicosElaboração de material instrucional

Teste do instrumento de investigação de óbito pelo NEPI de

Hospital Geral: validação operacional

Discussão e recomendações para os diversos envolvidos:

profissionais, gerentes, coordenadores da SES –

avaliação do Projeto Unidade Sentinela

Apresentação e discussão com chefias e profissionais dos

setores relacionados aos óbitos investigados, com

encaminhamentos de mudança de condutas no serviço

Avaliação da Qualidade da Assistência prestada aos pacientes de dengue: Estudo Piloto

HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos e conseqüências da avaliação do PNCD

2008

Institucionalização e Usos da Avaliação CGPCND-SVS

BIBLIOTECA VIRTUAL

Fortalecer a Capacidade Avaliativa com foco na Qualidade e UTILIDADE da Avaliação

EDUCAÇÃO PERMANENTE

UNIDADE GESTORA (CÉLULA)

DE AVALIAÇÃO DA CGPNCD

COOPERAÇÃO TÉCNICA – Centros colaboradores

MONITORAMENTO E AUDITORIA

ESTUDOS E PESQUISAS

Constituição da “célula de avaliação” na CGPNCD: articulação dos componentes

Gestão dos estudos segundo as orientações propostas Avaliação da Gestão Descentralizada e Integrada do PNCD Avaliação da Qualidade da Assistência aos Pacientes de Dengue Qualificação dos Planos de Contingência Municipais

Configuração preliminar de uma Biblioteca Virtual sobre Dengue que facilite o livre acesso ao material indexado - Ficha de Leitura, Sistemática para indexação dos achados e recomendações de publicações de avaliação do programa

Construção do Modelo Lógico do Programa para o âmbito estadual de gestão e orientação para o federal

Educação Permanente Realização do Curso Básico de Avaliação em Saúde em EAD SES e

MS Realização dos Seminários de Avaliação do PNCD articulado com

parceiros nacionais e internacionais

Usos da avaliação requer o fortalecimento da capacidade avaliativa nas instâncias de gestão

Obrigada!anafigueiro@imip.org.br