Uma Estrutura de Avaliação para Programas de Saúde em ...§ão de programas de... · Uma...
72
Junho de 2000 The Center for the Advancement of Community Based Public Health 5102 Chapel Hill Boulevard, Durham, North Carolina [Carolina do Norte] 27707 Uma Estrutura de Avaliação para Programas de Saúde em Comunidades
Transcript of Uma Estrutura de Avaliação para Programas de Saúde em ...§ão de programas de... · Uma...
Junho de 2000
The Center for the Advancement of Community Based Public Health 5102 Chapel Hill Boulevard, Durham, North Carolina [Carolina do Norte] 27707
Uma Estrutura de Avaliação para
Programas de Saúde em Comunidades
Uma Estrutura de Avaliação para os Programas de Saúde da Comunidade
Produzido por:
Center for the Advancement of Community Based Public Health
Quinton E. Baker
Denise A. Davis
Ron Gallerani
Victoria Sánchez
Claire Viadro
Baseado em:
Estrutura para Avaliação de Programas na Área de Saúde Pública
(Centros de Controle e Prevenção de Doenças)
Caixa de Ferramentas da Comunidade: Uma Estrutura para Avaliação de Programas
(University of Kansas)
Apoiado em parte pelo Contrato de Cooperação da CDC Nº U48/CCU409664 - 07 concedido à University of South Carolina
5102 Chapel Hill Boulevard, Durham, NC [Carolina do Norte] 27707 Telefone: 919.403.2124 Fax: 919.401.9268 E-mail: [email protected] www.cbph.org
1 Introdução à Estrutura 1-5
2 Visão Geral da Avaliação de Programas 6-12
3 Etapa 1: Engajar Partes Interessadas 13-18
4 Etapa 2: Descrever o Programa 19-28
5 Etapa 3: Focalizar o Projeto da Avaliação 29-38
6 Etapa 4: Reunir e Analisar Evidências 39-48
7 Etapa 5: Justificar Conclusões 49-55
8 Etapa 6: Garantir o Uso e
Compartilhamento das Lições Aprendidas
56-62
9 Glossário 63-65
10 Recursos para Avaliação de Programas 66-67
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Prefácio
No Center for the Advancement of Community Based Public Health (CA-CBPH), acreditamos que o envolvimento das comunidades com parceiros totais e partes interessadas no desenvolvimento, implementação e avaliação de programas é vital para a construção da capacidade da comunidade. Nossa crença e comprometimento em construir a capacidade da comunidade estão baseados em princípios que estabelecem que: (1) melhorias na área de saúde são mais bem obtidas através da participação total das comunidades na identificação dos problemas relacionados à saúde e na criação de programas para abordá-los; e (2) nas parcerias entre entidades, tais como organizações baseadas nas comunidades, órgãos de saúde e universidades, cada parceiro oferecendo contribuições de igual valor para que as metas sejam atingidas (por exemplo, criação de comunidades saudáveis).
Uma Estrutura de Avaliação para Programas de Saúde da Comunidade pode ser usada por organizações comunitárias e trabalhadores da área de saúde da comunidade para aprimorar sua compreensão da avaliação e para construir sua capacidade para participar de forma mais ativa e agressiva dos esforços de avaliação de seus programas.
No entanto, também acreditamos que a estrutura seja apenas um componente na construção da capacidade da comunidade e que esforços adicionais são necessários para encorajar e dar suporte a processo de avaliação mais inclusivos. Esforços adicionais podem se basear nos componentes da Estrutura sobre o desenvolvimento de medidas de "sucesso" do programa que sejam relevantes para todos os parceiros; ao considerar o que é importante que as comunidades e outras partes interessadas saibam sobre seus programas; e ao produzir dados que seja úteis dentro da estrutura das comunidades.
Esperamos que você inclua a Estrutura na sua "caixa de ferramentas” de programas e que ela encontre aplicação em seu trabalho. Comentários sobre a Estrutura são bem-vindos.
1
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Introdução à Estrutura
O presente documento apresenta uma estrutura que enfatiza a avaliação de programas como uma forma prática e contínua que
envolve a equipe do programa, os membros da comunidade, bem como os especialistas em avaliação. A meta geral da estrutura é ajudar a guiar e informar sobre o
processo de avaliação. O documento não é um manual abrangente sobre como
conduzir a avaliação de um programa. Já existem muitos recursos
excelentes que preenchem os aspectos técnicos da avaliação de programas. Ao invés disso, a estrutura promove uma compreensão comum sobre a avaliação de programas. Ela fornece um mapa
conceitual que pode ser acordado para uma variedade de situações e dentro de diversos grupos e comunidades diferentes. A estrutura também pode ajudar pessoas ou grupos com pouco
treinamento ou experiência formal na avaliação de programas a entrarem nos processos de tomada de decisão da avaliação, incluindo consulta a avaliadores profissionais.
A estrutura tem a função de ajudar aqueles envolvidos na avaliação de programas a abordarem as seis questões a seguir:
Nos trabalhos executados
especialmente no nível de
organizações comunitárias, a
avaliação é inestimável,
especialmente se considerarmos
as entidades comunitárias ou as
comunidades no centro da área
de saúde pública e o trabalho
que ocorre na arena da saúde
pública. — A capacidade de
possuir habilidades na área de
avaliação é realmente
determinante.
Representante de órgão
financiador
Questões-Guia para Avaliação de Programas
1. Para quem é feita a avaliação?
2. Qual programa está sendo avaliado?
3. Quais métodos serão usados para conduzir nossa avaliação?
4. Como reuniremos e analisaremos informações confiáveis e em quais formas?
5. Como justificaremos nossas conclusões?
6. Como garantir que o que aprendemos será usado?
2
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
A estrutura também aborda a qualidade da avaliação através da pergunta: A avaliação será uma boa avaliação? Em termos de avaliação, os padrões transmitem qualidade e incluem quatro
áreas-chave a considerar:
Os avaliadores encaram os quatro padrões acima como os instrumentos de medição através dos quais julgam a qualidade dos
esforços de avaliação de programas.
Como o documento está organizado
A estrutura é apresentada em sete seções principais. Apresentamos uma visão geral da avaliação de programas na
primeira seção. Em seguida, discutimos a seis etapas na avaliação de programas (ilustrada na página 3) nas seções seguintes. Essas etapas abordam as questões-guia listadas na página 1. Embora no
mundo real as etapas possam nem sempre seguir estritamente essa seqüência, conforme é apresentada, cada etapa oferece a base para a próxima. Um glossário e as fontes de informações
para avaliação de programas estão incluídos no final do documento.
A discussão de cada etapa inclui: ♦ Definição da etapa.
♦ Por que a etapa é importante
♦ O que está envolvido na conclusão da etapa
♦ Aplicação de padrões
♦ Questões (aplicação ao seu programa)
Quatro Padrões de Avaliação de Programas
1. Utilidade (A avaliação é útil?)
2. Exeqüibilidade (A avaliação é viável e prática?)
3. Propriedade (A avaliação é ética?)
4. Precisão (A avaliação está correta?)
Símbolos a Observar
Caso de Referência da Cidade da Esperança
Idéias-chave a anotar
e lembrar
Questões (aplicação ao
seu programa)
3
Etapas na Avaliação de Programas
PADRÕES
Engajar as Partes Interessadas
Descrever o Programa
Focalizar o Projeto da Avaliação
Reunir e Avaliar
Evidências
Justificar Conclusões
Garantir o Uso e Compartilhamento
das Lições Aprendidas
Utilidade Propriedade
Precisão
Exeqüibilidade
ETAPAS
4
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Ao longo de cada etapa, um caso de referência de exemplo ilustra a aplicação da estrutura no programa da comunidade. Apenas um exemplo, o caso não é uma ilustração rígida e
universal da estrutura de avaliação de programas. Sua principal finalidade é ilustrar os conceitos da estrutura com um problema de saúde específico, em uma situação específica, e com um grupo
específico de pessoas. Nos o convidamos a refletir sobre como aplicar os conceitos em seus próprios programas ao considerar as questões no final de cada seção.
Visão Geral: A Cidade da Esperança recebeu fundos dos Centros de Controle e Prevenção de Doenças para projetar e implementar uma intervenção baseada na comunidade para reduzir os ferimentos e as mortes de homens jovens em decorrência do álcool. Esse financiamento evoluiu como uma conseqüência da preocupação da comunidade. O problema foi documentado através de uma avaliação da comunidade conduzida por seus residentes, representantes do órgão comunitário, faculdade da universidade e grupos de direito locais. O referido grupo original acreditava que para atingir essa meta, seria necessário um compromisso de longo prazo de diversas pessoas e organizações e formalizou seu comprometimento estabelecendo a coalizão Parceria para Redução de Ferimentos e Mortes Relacionadas ao Álcool (PRAID - Partnership to Reduce Alcohol-related Injury and Death).
Problema: Os ferimentos e mortes relacionados ao uso de álcool na Cidade da Esperança são cinco vezes a taxa estadual e duas vezes a taxa das cidades de tamanho e densidade demográfica similares na região. A avaliação revelou um grande número de ferimentos em acidentes automobilísticos relacionados ao uso de álcool em dois locais principais dentro de um raio de três milhas da cidade. Um registro interno revisto pelo departamento de polícia local mostrou que, durante um período de três anos, 70% desses ferimentos envolveu indivíduos do sexo masculino com menos de 21 anos. Um dado estatístico relacionados foi o aumento do número de jovens tratados em virtude de ferimentos relacionados ao álcool ocorridos com veículos motorizados nos finais-de-semana no departamento de emergência dos hospitais.
Cidade da Esperança
Exemplo de Caso de Referência
5
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Em suma, a avaliação revelou um número desproporcional de
homens jovens entre as idades de 15 e 21 anos que foram feridos ou mortos durante períodos de finais de semana e que uma alta porcentagem desses ferimentos e mortes
estavam associados a batidas de veículos motorizados relacionadas ao uso de álcool (MVCs - motor vehicle crashes).
Plano de Ação: A coalizão PRAID escolheu uma estratégia de frentes múltiplas para reduzir os ferimentos e
mortes relacionados ao uso de álcool experimentados por homens jovens em sua comunidade. Eles propuseram: 1. aumentar as patrulhas em estradas e rodovias,
estabelecer pontos de verificação de nível alcoólico durante os finais de semana – especialmente em estradas com problemas, e anunciar o cumprimento
estrito das penalidades legais e monetárias associadas ao ato de beber e dirigir (dirigir sob a influência).
2. promover programas educacionais relacionados ao uso
de álcool em todas as escolas da cidade. 3. exigir que todos os estudantes se matriculem em cursos
de educação de motoristas com uma carga horária
obrigatória de três horas sobre os riscos associados ao uso de álcool e direção.
4. reduzir o período de venda de bebidas alcoólicas no
condado. Plano de Avaliação: A coalizão PRAID usou as seis
etapas apresentadas na presente estrutura para refletir sobre a avaliação. Alguns dos membros possuem alguma experiência em avaliação, outros não possuem nenhuma. No
entanto, eles têm consciência que o componente de avaliação é importante para documentar seus esforços, bom como para tentar determinar se sua intervenção fez alguma
diferença.
Cidade da Esperança
Exemplo de Caso de Referência
6
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Visão Geral da Avaliação de Programas
Quantas vezes nos ouvimos dizer "Nunca mais eu faço isso!",
ou, "Vou tentar e ver como funciona," ou, "Eu realmente gostei mais daquele restaurante do que do outro"? Esses exemplos mostram como usamos a avaliação em nossa vida diária para
tomar decisões, testar uma idéia nova ou fazer comparações. Quando refletimos sobre nosso trabalho com comunidades,
podemos pensar em avaliação como um processo complexo,
formal e difícil. Podemos comparar o processo de avaliação com a necessidade de coletar informações sobre o programa que documentem nosso trabalho ou para comparar um grupo que
participa de um programa a um grupo que não participa. Muitas vezes, o valor de uma avaliação não é imediatamente aparente para as pessoas que trabalham para disponibilizar os serviços
reais (por exemplo, enfermeiras em um departamento de saúde local) ou para as pessoas que se beneficiam dos programas. Algumas vezes, perdemos de vista os benefícios da avaliação
quando os órgãos financiadores enfatizam a documentação do número de pessoas atendidas ou quando os resultados não são compartilhados com as comunidades em virtude das pressões de
prazo para que as coisas sejam feitas. No entanto, a avaliação de programas, na verdade, apresenta
benefícios para as pessoas que executam os programas para
aprimorar a saúde na comunidade. Ao desenvolvermos o presente documento, falamos com indivíduos em todo o país que trabalham diariamente com programas comunitários. Nas páginas que se
seguem, eles partilharam suas experiências e idéias sobre os benefícios e aplicações da avaliação de programas.
7
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Benefícios da Avaliação de Programas
Refletir sobre o progresso; visualizar para onde estamos indo e de onde estamos vindo e
aprimorar programas
A avaliação nos ajudou a focalizar e estudar e enxergar onde
estávamos e para onde precisávamos ir para podermos encontrar nossas próprias armas para obter um resultado melhor...
Enfermeira da comunidade
Algumas vezes nos esquecemos de considerar "Está mesmo funcionando da forma como está?" por não fazermos uma
avaliação do programa... Sabemos que está sendo feito de uma forma que realmente está acarretando mudanças?
Analista de políticas
Influenciar legisladores e financiadores
A comunidade precisa falar com os financiadores. Precisamos causar impacto sobre eles... Os benefícios de executar uma avaliação é ser capaz de filtrar e proclamar melhorias, e não
apenas ser o beneficiário de algo.
Trabalhador da comunidade na área de saúde
Construir a capacidade da comunidade e engajá-la
... há uma construção de capacidades que passa pelo processo e, não é que vamos transformar todos em pesquisadores, mas
estamos elevando a compreensão e capacidade de todos para que realmente se tornem engajados.
Diretor do CBO
8
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Compartilhar o que funciona e o que não funciona com outras comunidades
Queremos responder à pergunta: O sucesso de nosso programa tem repercussão em outros lugares, se assim for, quais são as proposições universais que podem ser então utilizadas como informações para o desenvolvimento, planejamento e avaliação de programas em outros locais?
Diretor do CBO
Garantir financiamento e sustentabilidade
A avaliação na verdade trata de pessoas. Mas ela se concretiza em números. E esse números, quando apresentados à pessoa que fornece os fundos, lhe garantem credibilidade.
Enfermeira da comunidade
Trabalhei com diversos ... grupos comunitários pequenos que, como resultado da avaliação, foram capazes de destacar suas conquistas em relatórios anuais ou em seus pedidos para seus financiadores e assim por diante e, como resultado, foram capazes de obter financiamento. Na verdade, um deles conseguiu dobrar a base de seu financiamento a também a quantia que recebia como resultado de um programa bastante sistemático de avaliações que executamos em conjunto.
Consultor de avaliação de programas
Fortalecer a responsabilidade final
Temos diversos conselhos nos quais os consumidores são membros e têm responsabilidades fiduciárias... Existem pessoas que podem não ter muito treinamento no projeto, implementação e avaliação de programas, mas, em última instância, estão bastante cientes e apresentam uma responsabilidade pelo impacto e resultados desses programas. Assim, novamente, acredito ser imperativo que essas pessoas tenham acesso para avaliarem e compreenderem as coisas pelas quais são legalmente responsáveis.
Trabalhador da comunidade na área de saúde
9
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Além dos benefícios identificados por pessoas que trabalham diariamente em comunidades, os planejadores e avaliadores de programas acreditam que a avaliação de programas é importante
quando há necessidade de: ♦ coletar evidências sobre a eficácia ou impacto de um
programa
♦ prestar contas para financiadores, voluntários, equipe e conselhos
♦ identificar formas de aprimorar o programa:
• avaliar as necessidades de indivíduos, grupos, comunidades
• aprimorar a utilidade dos materiais do programa
• determinar o que funciona, o que não funciona e por quê ♦ esclarecer os planos do programa ♦ aprimorar a comunicação entre os envolvidos no programa
Em suma, a avaliação de programas é benéfica e importante. Ela é um meio de obter feedback e garantir que todos estejam trabalhando para a implementação de um programa bem-
sucedido. Algumas vezes, a avaliação informal é suficiente. No entanto, quando os riscos são grandes –quando há uma quantia razoável de dinheiro e tempo envolvida, quando um financiador
exigir ou quando muitas pessoas podem ser afetas –pode fazer sentido para sua organização utilizar os procedimentos de avaliação mais formais, visíveis e justificáveis.
O que quer dizer avaliação de programas?
Até agora já identificamos e discutimos diversos aspectos da avaliação de programas, sem apresentar definições dos termos. Pela nossa definição, programa é uma série de atividades apoiadas por
um grupo de recursos com a intenção de atingir resultados específicos entre indivíduos, grupos e comunidades. O termo programa também se refere ao esforço que está sendo avaliado.
Ela pode ser aplicada a qualquer ação que busque aprimorar os resultados para comunidades como um todo, para setores mais específicos (por exemplo, escolas, locais de trabalho) ou para sub-
grupos (jovens, pessoas que sofreram algum tipo de violência ou soropositivos). Exemplos de diferentes tipos de programas incluem:
10
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
♦ Intervenções de serviço diretas (por exemplo, um programa que ofereça café-da-manhã gratuito para melhorar a nutrição para crianças em idade escolar)
♦ Esforços de mobilização das comunidades (por exemplo, um esforço para organizar um boicote às uvas da Califórnia para melhorar a situação econômica dos trabalhadores das
fazendas) ♦ Iniciativas de pesquisa (por exemplo, um esforço para
descobrir se as disparidades nos resultados na área de saúde
baseados em distinção de raças podem ser reduzidos) ♦ Trabalho advocatício (por exemplo, uma campanha para
influenciar a legislatura estadual a aprovar a legislação
referente ao controle de tabaco) ♦ Programas de treinamento (por exemplo, um programa de
treinamento de trabalho para reduzir o desemprego nos
bairros urbanos)
A avaliação do programa é a coleta, análise e registro sistemáticos das informações sobre um programa para auxiliar na tomada de decisões. Muitos de nós já avaliamos nossos esforços
sem necessariamente chamarmos esse processo de avaliação. Avaliamos o valor e impacto de nosso trabalho o tempo todo quando fazemos perguntas, consultamos parceiros, fazemos
avaliações com base em feedbacks e, em seguida, usamos esses julgamentos para melhorarmos nosso trabalho.
Ao conduzirmos a avaliação de um programa, devemos
responder a uma ou mais das seguintes questões: ♦ O que fizemos? ♦ Quão bem o fizemos?
♦ Para quem fizemos? ♦ Quanto fizemos? ♦ Quão efetivo foi nosso programa?
♦ O que poderia ser feito melhor ou de maneira diferente?
O planejamento e implementação de um programa estão diretamente relacionados à avaliação de programas. A revisão da estrutura é útil para lembrar que cada item faz parte de um ciclo de programa maior e integrado. Assim, enquanto nos concentramos no processo de avaliação de programa, percebemos que a referida avaliação na verdade não está separada dos processos de planejamento e implementação do programa.
11
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Essas questões se encaixam em um dos três tipos de avaliação de programas: avaliação do processo, avaliação intermediária ou de curto prazo (avaliação de impacto) ou avaliação de longo prazo
(resultado). De maneira geral: A avaliação do processo responde a questões sobre
como o programa foi implementado e como os resultados do
programa foram atingidos. Ela se concentra em questões como: O programa está sendo implementado como planejado? Como o programa está atingindo seus objetivos? Quais atividades foram
conduzidas? Quais materiais ou serviços os participantes receberam? Qual foi a experiência das pessoas? Como nossa coalizão está trabalhando? Nós estamos com as partes
interessadas "certas"? Além disso, a avalia;'ao de processos rastreia os pontos fortes e fracos do programa e procura identificar quais partes do programa estão funcionando e quais não estão. A avaliação intermediária ou de curto prazo
(avaliação de impacto) responde a perguntas sobre os benefícios ou efeitos de curto prazo ou de um programa—em oposição aos resultados de longo prazo como ferimentos ou morte. Ela se concentra em questões como: Quais os efeitos apresentados pelo programa? Os efeitos podem ser atribuídos ao programa? Os conhecimentos, atitudes, crenças ou comportamentos dos participantes mudaram como resultado do programa?O programa de treinamento atingiu seus objetivos?O que ocorreu como resultado dos esforços da coalizão? Resumindo, a avaliação intermediária aborda os fatores que se acredita precederem e que estarem vinculados aos resultados de longo prazo. Na Etapa 2—Descrição do Programa—descrevemos um processo (isto é, um modelo de lógica) que pode ser usado para ilustrar a relação entre as ações e os resultados do programa. Avaliações de longo prazo (resultado) muitas vezes se
concentram nas mudanças nos status de saúde, ferimentos (morbidade), morte (mortalidade) ou sistemas. Em muitos programas de saúde, as metas de longo prazo são tão distantes que sua avaliação encontra-se além do alcance da avaliação do programa específico. As questões de avaliação dos resultados geralmente estão relacionadas à meta do programa como um todo: Quais mudanças ocorreram na incidência de ferimentos ou mortes em decorrência do programa? Qual é a prevalência atual (quantos casos de "x" existem?) ou qual é a incidência atual de "x" (quantos novos casos de "x" ocorreram este ano?) ?
12
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Diferentes profissões e disciplinas acadêmicas usam uma variedade de nomes para descrever os diferentes tipos de avaliação.
Alguns avaliadores consideram a avaliação formativa – usada para fornecer feedback contínuo para aprimoramento do programa – como um sub-conjunto da avaliação do processo. Para os fins do
presente documento, concordamos com essa afirmação. Em alguns círculos de avaliação, a avaliação sumativa é usada para descrever processos de avaliação de curto e longo prazo. Alguns
consideram o monitoramento do programa como outro tipo de avaliação, embora de maneira geral seu uso seja limitado à medição do progresso do programa.
Termos adicionais para avaliação de programas usados no presente documento estão incluídos no Glossário. Encorajamos que você adicione suas próprias anotações ou exemplos no
glossário para construir sua compreensão.
A importância da avaliação se encontra em sua finalidade e não na terminologia
específica. Encorajamos que primeiro você pense sobre o que deseja saber sobre seu programa, como as informações serão utilizadas, por quem e para que fins. A resposta a essas questões iniciais servirá para guiar seu processo de avaliação
antes de você "nomear" o tipo de avaliação que está usando.
13
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Engajar as Partes Interessadas
Definição
Pessoas da comunidade, pessoas de órgãos de saúde e
representantes de organizações comunitárias descreveram as partes interessadas como sendo: ♦ pessoas com interesse no programa
♦ todos os parceiros necessários ♦ colaboradores ♦ aqueles afetados pelo programa
♦ acionistas ♦ todos aqueles que partilham do mesmo interesse
Outra forma de encarar as partes interessadas na avaliação é pensar no tipo de parte interessada. indivíduos e grupos de áreas muito diferentes podem ser classificados em três grupos principais
de partes interessadas, dependendo de suas funções no processo de planejamento e avaliação. O diagrama a seguir ilustra esses três grupos.
Utilidade Propriedade
Precisão Exeqüibilidade
PADRÕES
ETAPA 1
As partes interessadas são?
♦ as pessoas que se importam com o conhecimento que será adquirido com a avaliação e o que será feito desse conhecimento.
14
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Tipos de Partes Interessadas
Os principais usuários de uma avaliação são formados de pessoas de dois outros grupos. Os principais usuários são os indivíduos ou grupos específicos que estão em posição de decidir sobre e/ou fazer algo com os resultados. Uma avaliação bem sucedida apontará seus principais futuros usuários – tais como organizações comunitárias, grupos de cidadãos, equipe do programa e financiadores –no início do desenvolvimento da avaliação e manterá interação freqüente com os usuários para garantir que a avaliação aborde especificamente seus valores e necessidades.
Por que é importante incluir diferentes partes
interessadas?
A avaliação não pode ser feita no isolamento. Quase todo trabalho realizado no campo de desenvolvimento e saúde de comunidades envolve parcerias – alianças entre organizações diferentes, membros de conselho, aqueles afetados pelo problema e outros. Portanto, qualquer esforço real para avalia rum programa
Aqueles envolvidos
na implementação
do programa
Aqueles
beneficiados pelo
programa
membros da comunidade
patrocinadores
colaboradores
parceiros da coalizão
autoridades de órgãos de financiamento
administradores
gerentes
equipe
clientes
membros da família
organizações nas proximidades
instituições acadêmicas
representantes eleitos e indicados
grupos de advogados
residentes das comunidades
Principais
usuários da
avaliação
15
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
deve considerar os diferentes valores dos parceiros ou partes interessadas.
As partes interessadas devem fazer parte da avaliação, de forma que suas perspectivas exclusivas sejam compreendidas. Quando as partes interessadas não se envolvem de maneira adequada, as descobertas da avaliação podem ser ignoradas, criticadas ou encontrar resistência.
Quais os aspectos envolvidos na identificação das
partes interessadas?
Ao identificar partes interessadas, devemos perguntar: ♦ Quem tem interesse no programa?
♦ Qual é esse interesse? ♦ Quais pessoas apóiam o programa? ♦ Quais pessoas não acreditam ou antagonizam abertamente
o programa? Abrir uma avaliação para perspectivas oposicionistas e obter a
ajuda de potenciais oponentes do programa pode fortalecer a credibilidade da avaliação. Da mesma forma, pessoas ou grupos que poderiam ser afetados de forma adversa ou inadvertida pelas mudanças acarretadas pela avaliação têm o direito de estarem envolvidas. Isso significa incluir aqueles que serão afetados caso os serviços do programa sejam expandidos, alterados, limitados ou encerrados como decorrência da avaliação.
A intensidade e tipo de envolvimento das partes interessadas serão diferentes para cada avaliação de programa. Em muitas instâncias, as partes interessadas estarão diretamente envolvidas no projeto e execução da avaliação. Elas podem ser mantidas a par do progresso da avaliação através de reuniões periódicas, relatórios e outros meios de comunicação.
Algumas iniciativas da comunidade forma uma equipe de avaliação — composta por diversas partes interessadas —como parte do processo de planejamento e avaliação como um todo. Enquanto nem todos os membros possuem experiência ou treinamento na avaliação de programas, ao menos alguns membros possuem. Esse tipo de disposição pode funcionar bem quando há um compromisso em construir a capacidade das organizações comunitárias, grupos de advogados locais ou cidadãos interessados em aprender e em participar da avaliação de programas.
16
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Nos primeiros estágios, um comitê informal de planejamento do projeto se reuniu para planejar o programa e a avaliação. Como sabiam da importância de incluir uma variedade de partes interessadas, identificaram e recrutaram partes interessadas da comunidade (parentes, estudantes e comerciantes locais) nas fases iniciais do projeto através da realização de fóruns públicos, propaganda boca-a-boca e conforme sua avaliação da comunidade foi conduzida. Conforme as referidas partes interessadas—que se tornaram membros da coalizão PRAID—se conheceram e partilharam idéias, os seguintes interesses surgiram:
Depois que equipe do projeto foi montada, foram gastas muitas horas com as partes interessadas – em reuniões ou conversas pessoais – para entender quais os interesses das referidas partes e para descobrir formas de partilhar essas preocupações com outras partes interessadas. A equipe confiou em meios de comunicação formais e informais para garantir que o maior número possível de interessados fosse ouvido. Conforme o projeto amadureceu, novas partes interessadas se envolveram, incluindo o presidente da associação de restaurantes e um representante do distribuidor de bebidas (álcool) regional. Esses últimos estavam principalmente interessados em equilibrar a imagem negativa do ato de beber e dirigir entre adolescentes com o consumo de bebidas responsável em consumidores responsáveis (por exemplo, adultos). Seus pontos de vista foram importantes para o refinamento do plano do programa e foco da avaliação.
Primeiras Partes Interessadas
Qual Sua Principal Preocupação
Mães Contra Motoristas Bêbados (MADD)
Redução das mortes e ferimentos entre os jovens
Estudantes Contra Motoristas Bêbados (SADD)
Prevenção do uso de álcool entre adolescentes, especialmente relacionado a batidas de veículos motorizados (MVCs)
Departamento de saúde Proteção dos residentes contra MVCs relacionadas ao uso de álcool
Hospital Redução dos recursos gastos em MVCs
Colégios de ensino médio Mudança da imagem positiva dos adolescentes sobre o consumo de bebidas alcoólicas
Departamento de polícia Redução dos riscos nas rodovias para a população em geral
Representantes municipais
Mudança da imagem da cidade
Escola de Saúde Pública Melhoria da saúde da comunidade
Identificando Partes
Interessadas
17
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Aplicação de padrões
A inclusão das partes interessadas no planejamento e implementação da avaliação é uma forma de garantir que uma
avaliação de qualidade cumpra com os padrões da avaliação. Os dois padrões que se aplicam de forma mais direta à Etapa 1—Engajar Partes Interessadas — são utilidade e propriedade.
Conforme esta etapa é desenvolvida, as questões apresentadas na tabela a seguir ajudarão a esclarecer e a atingir os referidos padrões.
Padrões da Etapa 1: Engajar Partes Interessadas
Em resumo, a Etapa 1—Engajar Partes Interessadas—
representa um processo através do qual muitas vozes são ouvidas. Como a primeira etapa, ela torna os benefícios da avaliação claros para todas as partes envolvidas. A conclusão dessa etapa garante
que o foco da avaliação —e, em última instância, seus resultados — apóiem as necessidades das partes interessadas.
Questões Padrões
♦ Foram incluídas pessoas e organizações que serão afetadas pela avaliação no grupo de planejamento?
♦ Considerou-se a inclusão de novas partes interessadas conforme a avaliação de programas estiver sendo implementada?
♦ Os participantes do grupo de planejamento da avaliação são confiáveis e competentes?
Utilidade: Garante que a avaliação seja útil e responde à questões diretamente relevantes para os usuários.
♦ os indivíduos sabem claramente o que será feito, como, por quem e quando?
♦ Há um acordo por escrito?
♦ Foram tomadas medidas para garantir que todas as partes interessadas e a população beneficiada será respeitada e seus valores serão levados em consideração?
♦ Os conflitos de interesses foram discutidos para garantir que os resultados ou descobertas não serão comprometidos?
Propriedade: Garante que a avaliação será ética, conduzida respeitando os direitos e interesses dos envolvidos.
18
Quais são as pessoas que se enquadram nos três tipos de categorias de partes
interessadas, ou seja, aquelas envolvidas na implementação do programa, aquelas
beneficiadas ou afetadas pelo programa e os principais usuários da avaliação?
Como seria possível descobrir quais os interesses de cada parte interessada?
Quais estratégias de comunicação poderiam ser utilizadas para garantir que diferentes
interesses sejam representados?
Quais desafios ou barreiras podem vir a ser enfrentadas na identificação e recrutamento de
partes interessadas?
Como seria possível lidar com esses desafios e barreiras?
Pense em uma avaliação de programas na qual você seja uma parte interessada ou em um programa pelo qual você seria o responsável pela identificação e engajamento de pessoas. As questões a seguir podem ajudar
a refletir sobre como abordar a Etapa 1 – Engajar Partes Interessadas.
19
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Descrever o Programa
Definição
Por que é importante descrever o programa?
A forma como um programa é descrito estabelece o quadro de
referência para todas as decisões futuras sobre sua avaliação. Por exemplo, um programa pode ser descrito como uma "tentativa de reforçar o cumprimento das leis existentes que desencoraje os
menores de idade de beberem” Outro programa pode ser descrito como "um programa para reduzir o número de adolescentes que dirigem bêbados". O primeiro programa especifica o cumprimento
da lei, enquanto o segundo programa é definido mais amplamente como redução do número de motoristas bêbados. Os diferentes
Utilidade Propriedade
Precisão
Exeqüibilidade
PADRÕES
ETAPA 2
Uma descrição do programa:
♦ resume o programa que está sendo avaliado
♦ explica o que o programa está tentando atingir e como pretende fazer essas alterações
♦ ilustra os principais componentes do programa
♦ estabelece a capacidade de um programa de realizar mudanças
♦ especifica seus estágio de desenvolvimento
♦ descreve como o programa se encaixa em um ambiente organizacional e comunitário mais amplo
20
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
componentes desses dois programas moldará a direção dos esforços da avaliação.
Além disso, a descrição do programa permite que os membros
de um grupo de avaliação comparem o programa a esforços similares e facilita a constatação de quais partes do programa surtiram quais efeitos.
Diferentes partes interessadas podem ter diferentes idéias sobre quais os objetivos e motivações do programa. Por exemplo, em um programa para redução do índice de gravidez entre
adolescentes, algumas partes interessadas podem acreditar que isso signifique ampliar o acesso a métodos contraceptivos, enquanto outros podem acreditar que signifique focalizar a
abstinência. Avaliações realizadas sem acordo sobre a definição do programa provavelmente não serão muito úteis. Em muitos casos, o processo de trabalho com as partes interessadas no
desenvolvimento de uma descrição clara e lógica do programa trará benefícios muito antes dos dados estarem disponíveis para medição da eficácia do programa.(Esse é um bom exemplo do por
que é importante identificar as partes interessadas [Etapa 1] antes de dar continuidade às etapas seguintes).
Descrição do
Programa
Como veremos no próximo capítulo, os membros da coalizão PRAID decidiram concentrar-se a redução de ferimentos e mortes em homens jovens —uma meta abrangente. No entanto, os membros da coalizão possuem idéias diferentes sobre como reduzir as taxas de ferimentos e mortes. Os representantes do departamento de polícia tinham certeza de que o aumento das penalidades para aqueles que guiassem bêbados era a chave para a redução de ferimentos e mortes; os administradores das escolar estavam convencidos de que a educação era a chave. Através de um processo de planejamento participativo, os membros da coalizão e outras partes interessadas desenvolveram um plano de longo prazo que incorporou diferentes idéias e prioridades dentro de uma meta abrangente de redução de ferimentos e mortes relacionadas ao consumo de álcool entre homens jovens. A descrição de seu programa explicitou seus planos para atingir essa meta.
21
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Quais os elementos envolvidos na descrição de um
programa ou quais são seus elementos?
Há sete elementos na descrição de um programa. Uma descrição de programa bem-definida estabelece a base para o foco da avaliação (Etapa 3).
1. Declaração da necessidade
2. Expectativas
3. Atividades
4. Recursos
5. Modelo de lógica
6. Contexto
7. Estágio de desenvolvimento
Os primeiros cinco elementos estão relacionados ao desenvolvimento de um programa de forma bastante concreta. Os dois últimos elementos —o contexto e o estágio de desenvolvimento do programa —são importante, porém são maiores do que o programa em si e estão fora da descrição técnica do programa. ——Os primeiros quatro elementos são mostrados na seguinte ilustração.
Quatro elementos na descrição de um programa
Declaração da
Necessidade
Expectativas Atividades Recursos
O que precisamos saber para descrever o problema/assunto
Quais serão nossos resultados
O que precisamos fazer para mudar o problema
Quais recursos precisamos
Incluir:
Quem é afetado?
Qual a dimensão do problema?
Isso está mudando?
Como está mudando?
Definir:
Quais são as nossas expectativas?
Quais são as conseqüências imediatas, intermediárias e de longo prazo?
Quais são os objetivos, metas, missão e visão de nosso programa?
Identificar:
Quais são as ações específicas necessárias a executar?
Determinar:
♦ tempo
♦ talento
♦ equipamento
♦ informações
♦ dinheiro
♦ outros ativos
22
Exemplo de Caso de Referência: Elementos do programa da Cidade da Esperança para reduzir ferimentos e
morte entre homens jovens
Declaração de Necessidade (o problema): Aumento no número de batidas de veículos motorizados (MVCs) relacionadas ao uso de álcool entre homens menores de 21 anos nos últimos três anos
Meta: Reduzir número de ferimentos mortes relacionadas ao uso de álcool
Objetivo: Em 2005, reduzir em 50% a incidência de MVCs relacionada ao uso de álcool em homens menores de 21 anos
Expectativas Atividades Recursos
Sub-Objectivo A:
Aumentar as sanções legais e o cumprimento das leis para aqueles que conduzirem veículos sob a influência (DUI - driving under the influence)
♦ Aumentar o patrulhamento/cumprimento das leis nas rodovias do condado (por exemplo, pontos de verificação de consumo de álcool)
♦ Aumentar as sanções para DUI para homens menores de 21
♦ Financiamento suplementar para pontos de verificação
♦ Treinamento das autoridades de cumprimento das leis
Sub-Objectivo B:
Aumentar o conhecimento entre os menores de idade sobre os riscos associados ao ato consumir bebidas alcoólicas e dirigir
♦ Aumentar a participação de homens jovens nos programas de educação sobre o consumo de álcool e educação para motoristas
♦ Currículos de cursos de educação sobre o consumo de álcool
♦ Financiamento para programas de educação relacionados ao consumo de álcool e ao motorista
Sub-Objectivo C:
Eliminar a disponibilidade de álcool
para menores de 21 anos
♦ Reduzir o horário para venda de bebidas no condado
♦ Aumentar as penalidades legais e financeiras para aqueles que venderem para menores de 21 anos
♦ Equipe para realizar operações "à paisana" para monitorar vendedores
♦ Recursos para disseminar informações sobre o programa para pontos de venda de bebidas alcoólicas
Sub-Objectivo D:
Aumentar a solução colaborativa de problemas entre s partes interessadas da comunidade, órgãos e universidades
♦ Construir uma coalizão sustentável de parte interessadas
♦ Grupos da comunidade, organizações de profissionais e órgãos municipais
♦ Equipe do programa
23
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Um modelo de lógica é um mapa que ilustra graficamente como as atividades de seu programa levarão aos resultados esperados em curto —e longo —prazo. Um modelo de lógica esclarecerá se o seu programa faz sentido e se os resultados esperados são realistas, dadas as atividades planejadas. Em resumo, o modelo mostra o que seu programa espera atingir e como deve funcionar, com base em uma cadeia esperada de eventos que:
Vincula as especificações claras do problema/assunto que está
sendo abordado ao
Que você acredita ser necessário para alterar o problema (o investimento) para
Os procedimentos, atividades e produtos resultantes aos
Resultados de curto prazo para
As conseqüências finais (resultados de longo prazo)
(Adaptado de University of Wisconsin Evaluating Collaboratives: Reaching the Potential, Julho de
1999, G3658-8)
O modelo da lógica sintetiza os principais elementos do
programa em uma imagem de como o programa deve, supostamente, funcionar. Muitas vezes exibido em um fluxograma, mapa ou tabela, o modelo de lógica retrata a seqüência de etapas que leva aos resultados do programa. Um modelo de lógica simples deve se parecer com o que segue:
Necessidades, expectativas e
atividades se refletem no
desenvolvimento do Modelo de
Lógica.
Problema ou
assunto Investimentos Procedimentos,
atividades e
produtos
Resultados de
curto prazo (relacionados ao sub-objetivo)
Resultados de
longo prazo (relacionados à meta do programa)
Adolescentes grávidas não estão fazendo uso de serviços pré-natal
Se: Há um investimento de tempo e dinheiro
para desenvolver um diretório de recursos
assim: as adolescentes serão informadas sobre os serviços disponíveis
assim: as adolescentes serão capazes de obter acesso aos serviços para satisfazer suas necessidades
24
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Os modelos de lógica apresentam diversos benefícios. Eles: ♦ permitem que as partes interessadas aprimorem e
focalizem a direção do programa
♦ revelam premissas sobre as condições para efetividade do programa
♦ fornecem um quadro de referência para uma ou mais
avaliações do programa ♦ pode servir como uma base para estimativas dos efeitos do
programa em pontos terminais que não sejam diretamente
mensurados
Modelo de Lógica
Um modelo simples para o programa está ilustrado no seguinte:
No "formato de história", o modelo de lógica descreve um programa que diz "Quando os recursos para cumprimento da leis estiverem comprometidos, quando os recursos educacionais e as habilidades estiverem comprometidos e quando as pessoas se juntarem, haverá maior cumprimento das
Problema ou assunto Investimentos
Procedimentos, atividades e produtos
Resultados de curto prazo (relacionados ao sub-objetivo)
Resultados de longo prazo (relacionados à meta do programa)
Ferimentos e morte relacionados ao uso de álcool em homens menores de 21 anos
Se:
♦ os recursos para cumprimento das leis estão comprometidos
♦ os recursos educacionais e para capacitação estão comprometidos
♦ as pessoas se reúnem
♦ fortalecer o cumprimento das leis de DUI
♦ fornecer educação relacionada ao uso de álcool e aos motoristas
♦ favorecer mudanças na venda de bebidas alcoólicas
veremos
♦ aumento nas citações
♦ aumento no conhecimento dos riscos
♦ queda das vendas
♦ mudanças no comportamento de quem bebe e dirige
assim:
haverá redução de ferimentos e mortes em virtude do uso de álcool
25
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Uma descrição do contexto de um programa considera os importantes recursos do ambiente no qual o programa funciona. Isso inclui a compreensão do contexto em termos de
♦ história ♦ situação política ♦ geografia
♦ condições sociais e econômicas ♦ o que as outras organizações possuem
Uma avaliação realista e responsiva será sensível a uma ampla gama de potenciais influências sobre o programa. Uma compreensão do contexto permite que os usuários interpretem as
descobertas de forma precisa e avaliem seu potencial de generalização. Por exemplo, um programa para melhorara as condições de moradia em um bairro urbano pode ser um sucesso
tremendo, mas provavelmente não funcionaria da mesma maneira em uma cidade pequena no outro lado do país sem uma adaptação específica.
Contexto do
Programa
leis, maior fornecimento de serviços de educação e esforços para alterar as políticas de venda de bebidas alcoólicas. Quando essas atividades estiverem ocorrendo, veremos um aumento nas penalidades por dirigir sob a influência de álcool, aumento nas evidências de conhecimentos sobre os riscos relacionados ao seu consumo e uma queda na venda de bebidas alcoólicas para jovens menores de idade. Essas alterações, em última instância, levam à redução dos ferimentos e mortes relacionadas ao uso de álcool na população masculina menor de 21 anos de idade na nossa área."
Quando os membros da coalizão PRAID se reuniram para discutir como poderiam reduzir os ferimentos relacionados ao uso de álcool, primeiro discutiram os esforços anteriores. O divisão local do MADD obteve sucesso ao lutar por novas políticas relacionadas à venda e consumo de álcool no âmbito estadual, mas obteve pouco sucesso com a comissão do condado no passado. No entanto, dois novos comissários foram eleitos recentemente um deles perdeu um sobrinho em uma batida de veículo motorizado relacionada ao uso de álcool – um possível aliado para sua iniciativa. As partes
26
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
O estágio de desenvolvimento de um programa também
afeta o processo de avaliação. Por exemplo, uma avaliação de um novo programa pode diferir de maneira significativa de uma avaliação de um programa que já existe há alguns anos. Uma
forma de visualizar a intenção da avaliação em diferentes estágios é através de diferentes metas de avaliação em três estágios normalmente reconhecidos:
Estágio do Programa Meta da Avaliação
Planejamento: as atividades do programa não foram testadas
Refinar os planos o máximo possível
Implementação: as atividades do programa estão sendo testadas em campo e modificadas
Ver o que ocorre no "mundo real" e aprimorar as operações
Efeitos ou resultados: transcorreu tempo suficiente para que os efeitos do programa
emergem
Identificar e compreender os resultados do programa, incluindo os não intencionais
interessadas também discutiram o programa do DARE local e como este fez parte do programa de prevenção do uso de álcool para crianças menores durante vários anos. A coalizão do PRAID sabia que o departamento de polícia havia investido pesado no programa DARE, levantando preocupações de que as estratégias propostas possam ser percebidas como concorrentes dos programas existentes, como o DARE. Finalmente, os membros da coalizão refletiram sobre como tornar os componentes educacionais de seu programa relevantes para uma ampla variedades de estudantes – reconhecendo diferenças culturais e também reconhecendo que as pessoas aprendem de diversas formas. Conforme as partes interessadas do the PRAID foram refinando seu programa e a avaliação, perceberam esses aspectos.
27
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Aplicação de padrões
Como na etapa anterior, é possível garantir que a avaliação seja qualitativa através da incorporação de padrões na descrição do
programa. Os dois padrões que se aplicam de forma mais direta à Etapa 2—Descrever o Programa —são precisão e propriedade.
Conforme esta etapa é desenvolvida, as questões apresentadas
na tabela a seguir ajudarão a esclarecer e a atingir os referidos padrões.
Padrões da Etapa 2: Descrever o Programa
Questões Padrões
♦ A descrição do programa está completa?
♦ O contexto do programa foi documentado para que as possíveis influências sobre o programa possam ser identificadas?
Precisão: Garante que as descobertas possam ser consideradas corretas.
♦ A avaliação foi completa e justa ao avaliar todos os aspectos do programa, incluindo seus pontos fortes e fracos?
Propriedade: Garante que a avaliação será ética, conduzida respeitando os direitos e interesses dos envolvidos.
Em resumo, a Etapa 2—Descrever o Programa —descreve a
base para garantir uma avaliação de programa bem concebida. É importante ter mente que a extensão e a profundidade da
descrição variarão de acordo com cada avaliação de programas, significando que muitas atividades diferentes podem fazer parte do desenvolvimento da descrição. Diversas fontes de informações
podem ser reunidas para construir uma descrição bem concebida. Uma discussão com as partes interessadas pode confirmar a precisão de uma descrição de programa existente. Descrições dos
eventos que ocorrem podem comparadas à observação direta de atividades em campo. A abordagem de fatores contextuais (tais como rotatividade da equipe, recursos inadequados, pressões
políticas ou forte participação da comunidade) que podem afetar o programa podem ampliar ou reduzir a descrição do programa.
28
Quais são as metas, objetivos e estratégias definidas do programa?
Quais são as atividades, processos e produtos do programa vinculados aos seus
recursos?
Quais recursos podem estar disponíveis para a implementação do programa?
o que mais pode estar acontecendo na sua comunidade que poderia ter um impacto sobre
os eu programa? Que outros programas foram tentados e por quem?
Seu programa é novo ou existe há um ano ou mais? (Conforme for lendo a próxima etapa,
pense sobre como esse aspecto poderia influenciar o foco da sua avaliação.)
Pense a respeito da avaliação de programas na qual está envolvido. As questões a seguir podem ajudá-lo a refletir sobre como abordar a Etapa 2 —Descrever o Programa
29
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Focalizar o Projeto da Avaliação
Definição
Por que é importante atribuir foco ao projeto da
avaliação?
Essa questão envolve a determinação dos usuários e o uso da avaliação. O foco é a finalidade direta da avaliação. Algumas finalidades comuns podem ser:
♦ testar a efetividade do programa ♦ construir um caso para alterar as práticas do programa ♦ avaliar os efeitos de um programa em uma população
específica ♦ justificar suporte financeiro ou político contínuo
Considerações adicionais incluem certificar-se de que a abordagem escolhida para a avaliação responde às questões levantadas pelas partes interessadas e que o processo fornece
feedback contínuo em todos os níveis de operação do programa.
É uma condição dentro da
concessão ter um plano de
avaliação organizado desde
começo. É necessário que
relatórios periódicos sejam
enviados para o financiador
relatando o papel da avaliação no
processo.
Membro da Comunidade
Utilidade Propriedade
Precisão
Exeqüibilidade
PADRÕES
ETAPA 3
Focalizar o projeto da avaliação significa:
♦ executar o planejamento antecipado sobre o direcionamento da avaliação e quais etapas serão necessárias para chegar lá
♦ desenvolver um plano ou estratégia com foco bem definido para aprimorar a
utilidade da avaliação para o público-alvo pretendido
30
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Quais os aspectos envolvidos no foco do projeto da
avaliação?
Uma vez que tenha sido determinado para quem e ou para que
se destina a avaliação, há varias etapas para estabelecer o foco do projeto de avaliação. Elas incluem:
♦ determinar as necessidades de informação das diversas
partes interessadas ♦ avaliar as melhores técnicas para descrever e medir as
atividades de seu programa
♦ avaliar quais dados qualitativos e quantitativos podem estar disponíveis para você
♦ determinar o método que melhor responde às questões-
chave estabelecidas pelas partes interessadas ♦ preparar um contrato por escrito que resuma os
procedimentos de avaliação e especifique as funções e
responsabilidades de todos os envolvidos Há sete tópicos básicos a considerar ao estabelecer o foco de
uma avaliação:
Os usuários são as pessoas específicas que utilizarão as descobertas da avaliação. Como os usuários experimentam diretamente as conseqüências das escolhas conflitantes que
fazem parte de qualquer avaliação, eles têm o direito de participar na escolha do foco da avaliação. Quando os usuários são encorajados a esclarecer os usos futuros e identificar questões
prioritárias e métodos preferenciais, é mais provável que o foco da avaliação recaia sobre coisas que informarão e influenciarão ações futuras.
1. Usuários 3. Finalidade
2. Usos 4. Questões
5. Projeto
6. Métodos
7. Contratos
31
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Aqui, temos ilustrada uma lista dos usuários da avaliação e os usos futuros das informações:
Os usos descrevem o que será feito com o conhecimento adquirido a partir da avaliação. As informações coletadas podem apresentar diversos usos, que devem ser descritos em detalhes
durante a elaboração da avaliação. Essas informações alimentam a definição da finalidade da avaliação e as perguntas a serem feitas.
Usuários Usos
Departamento de Polícia Pode usar as informações da avaliação para determinar como alocar seus recursos internos de forma melhor servir à população.
Coalizão PRAID Pode empregar as informações da avaliação para dar suporte aos dados exigidos para obter financiamento adicional para sustentabilidade do programa.
Representantes da Cidade Podem usar as informações da avaliação para formular uma nova legislação relacionada a cada objetivo.
A finalidade se refere à intenção geral da avaliação. Uma
finalidade clara serve como base para as questões, projeto e métodos da avaliação. As organizações da comunidade podem se envolver na avaliação para:
♦ obter novos conhecimentos sobre as atividades do programa.
♦ aprimorar ou refinar as operações do programa (por
exemplo, processos ou estratégias do programa) ♦ determinar os efeitos de um programa através do
fornecimento de evidências referentes às contribuições do
programa para um objetivo de longo prazo. ♦ afetar os participantes do programa agindo como um
catalisador de uma mudança auto-direcionada (por
[A avaliação] é necessária
quando trabalhamos com
organizações externas. Há uma
demanda por apresentar uma
avaliação em andamento e ser
capaz de, você sabe, apresentar
dados quantitativos para mostrar
resultados.
Membro da Comunidade
Usuários e Usos
32
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
A principal finalidade da avaliação, conforme proposta pela coalizão PRAID era determinar se as metas do programa estabelecidas poderiam ser atingidas no ano de 2005. A
coalizão quis saber se seria possível perceber se as novas abordagens descritas na forma de objetivos específicos teriam algum efeito mensurável sobre a ocorrência de
mortes ou ferimentos relacionadas ao uso de álcool em homens jovens. Além disso, a coalizão estava interessada nos processos através dos quais a meta principal seria
atingida. Eles enxergaram a construção de relacionamentos entre os membros da coalizão PRAIS, os membros da comunidade, os prestadores de serviço, e os
representantes do governo local como a chave para a capacidade do projeto de efetivamente implementar seu plano de ação. Reconhecendo que a implementação de
objetivos específicos do programa apresentava o potencial para construir os recursos e habilidades da comunidade, bem como suas capacidades, os membros da coalizão
decidiram que a avaliação também deve focalizar a medição e descrição das alterações nos referidos processos da comunidade.
exemplo, ensinar habilidades de avaliação para a equipe e partes interessadas)
♦ construir a capacidade ou a habilidade de desenvolver
relacionamentos de confiança no trabalho entre os membros da coalizão, prestadores de serviços na área de saúde e representantes do governo local
As questões estabelecem os aspectos do programa que
serão abordados e encoraja as partes interessadas a revelarem as
questões que acredita que a avaliação deve responder. Questões formuladas de forma clara que abordam alterações em indivíduos, dentro de organizações ou em condados inteiros (unidades de
análise) ajudarão a guiar a seleção dos métodos a reunião de evidências.
Finalidade
33
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
As questões que os membros da coalizão PRAID identificaram foram estrategicamente vinculadas aos
objetivos do programa para revelar o que acreditavam que a avaliação deveria abordar.
(Continuação da tabela na página 34)
Objetivos do
Programa Questões de
Avaliação Estratégias de
Intervenção Resultados de
Curto Prazo Resultados de
Longo Prazo
Aumentar as sanções legais e o cumprimento das leis para aqueles que conduzirem veículos sob a influência (DUI)
As sanções legais e o aumento das patrulhas das rodovias reduzirá a incidência de comportamento DUI em homens menores de 21?
♦ Aumentar as patrulhas e o cumprimento da lei (por exemplo, pontos de verificação de uso de álcool)
♦ Aumentar as sanções relacionadas a DUI para homens menores de 21
Aumento do número de citações
Redução no número de batidas de veículos motorizados relacionadas ao uso de álcool
Aumentar o conhecimento entre os homens menores de 21 anos sobre os riscos associados ao ato consumir bebidas alcoólicas e dirigir
A participação de homens menores de 21 anos nos programas de educação relacionados ao uso de álcool e aos motoristas resultará em redução da taxa de morbidade e mortalidade relacionada ao uso de álcool?
Aumento da participação de homens nos programas de educação sobre o uso de álcool e voltados para motoristas
♦ Aumento do conhecimento sobre os riscos associados ao álcool
♦ Mudanças no comportamento de quem bebe e dirige
Redução nas taxas de ferimentos e mortes relacionadas ao uso de álcool na população masculina menor de 21 anos
Limitar a disponibilidade de álcool para homens menores de 21 anos
O aumento das sanções legais e tempo de reclusão relativa à venda de álcool para homens menores de 21 anos resultará em redução do número de menores de idade bebendo e dirigindo?
♦ Redução do horário de funcionamento para venda de bebidas alcoólicas no condado
♦ Aumento as penalidades legais e financeiras para aqueles que venderem bebida alcoólicas para homens menores de 21 anos
Queda na venda de álcool para homens menores de 21 anos
Redução nas taxas de ferimentos e mortes relacionadas ao uso de álcool na população masculina menor de 21 anos
Questões
34
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
(Continuação da tabela na página 33)
Objetivos do
Programa Questões de
Avaliação Estratégias de
Intervenção Resultados de
Curto Prazo Resultados de
Longo Prazo
Aumentar a
participação dos
cidadãos,
desenvolver
habilidades de
lideranças,
recursos e sociais e
interorganizacionais
O processo de
trabalho coletivo
para atingir a meta
do programa
desenvolverá a
capacidade da
comunidade?
♦ Reuniões regulares de
subgrupos da coalizão
PRAID para ajudar no
planejamento,
implementação e
avaliação do programa
Aumento do senso
de comunidade,
aprimoramento da
integração social
Aprimoramento
da solução de
problemas na
comunidade
O projeto se refere a como as questões, métodos e
processos gerais da avaliação são construídos. A avaliação deve: ♦ ser organizada desde o início para atingir usos acordados
específicos
♦ apresentar uma finalidade clara que esteja focada na utilidade do que for aprendido
♦ ajudar àqueles que realizam a avaliação a saberem quem
fará que com as descobertas O processo de desenvolvimento de um projeto claro pode
destacar as formas através das quais as partes interessadas, através de suas muitas contribuições, podem aprimorar a avaliação e facilitar o uso dos resultados.
Ao escolher os métodos de avaliação, os grupos normalmente consideram se os referidos métodos permitirão que as partes interessadas respondam efetivamente às questões que
estão sendo levantadas. Informações sobre como os dados da avaliação serão usados é a chave para tomadas de decisões referentes aos métodos. Diferentes questões de avaliação exigem
diferentes tipos de dados que, por sua vez, exigem diferentes tipos de métodos. A contagem de quantas vezes um evento ocorre é chamada de método quantitativo, ao passo que os métodos
qualitativos podem ser usados para desenvolver uma compreensão do contexto social no qual os eventos ocorrem.
35
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
A coalizão PRAID estava interessada na redução de ferimentos e mortes relacionadas ao uso de álcool entre os jovens do sexo masculino da comunidade. Ao selecionar um projeto para avaliar os efeitos de longo prazo da intervenção, a coalizão determinou que não havia nenhuma comunidade de tamanho e densidade demográfica semelhantes nas proximidades adequada para servir como um grupo de comparação. Levando em consideração os recursos e as questões de avaliação de interesse das partes interessadas, a coalizão decidiu que sua estratégia incluiria a avaliação de tendências ao longo do tempo, identificando problemas chave e determinando as relações entre os eventos chave e os resultados. A coalizão PRAID também considerou testar a eficácia dos programas de educação de motoristas e de uso de álcool através da comparação da população masculina menor de 21 anos da Cidade da Esperança com a população masculina menor de 21 anos em uma cidade de dimensões semelhantes que não tiveram treinamento. Em virtude de restrições financeiras e de considerações políticas, no entanto, essa abordagem não foi considerada exeqüível.
Diferentes projetos de avaliação podem exigir uma variedade de métodos, incluindo o s seguinte: ♦ observação sistemática do participante
♦ entrevistas estruturadas ou semi-estruturadas ♦ grupos de focos ♦ pesquisas de opinião descritivas ou analíticas
Os contratos resumem os procedimentos da avaliação,
esclarecem as funções e responsabilidades de todos e descreve como os procedimentos da avaliação serão implementados. Os elementos de um contrato incluem: instruções referentes aos
usuários, usos, finalidades, questões, projeto e métodos pretendidos, bem como um resumo do bens consumíveis, linha do tempo e orçamento. Um contrato pode ser um contrato legal, uma
carta de intenções ou um protocolo detalhado. A criação de um contrato estabelece uma compreensão mútua das atividades associadas à avaliação. Também fornece uma base para
modificação, se necessário.
Projeto e Métodos
36
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Aplicação de padrões
Como observamos nas etapas anteriores, é possível ajudar a garantir a qualidade de sua avaliação através da consideração de
padrões de avaliação relevantes ao longo do processo de avaliação.Os padrões que se aplicam mais diretamente à Etapa 3—Foco no Projeto da Avaliação—são utilidade,
exeqüibilidade, propriedade, e precisão. Conforme sua participação no estabelecimento do foco da avaliação, as questões apresentadas na tabela a seguir podem ajudá-lo a esclarecer e a
atingir os referidos padrões.
Padrões da Etapa 3: Focalizar o Projeto da Avaliação
Questões Padrões
♦ Como a avaliação pode ser planejada, conduzida e relatada para que, em troca, encorage seu uso pelas partes interessadas?
Utilidade: Garante que a avaliação seja útil e responde a questões diretamente relevantes para os usuários.
♦ Os procedimentos da avaliação são práticos? Eles irão manter as interrupções nas atividades diárias em um nível mínimo?
♦ Os interesses e necessidades políticas dos diversos grupos foram levadas em consideração no planejamento da avaliação?
♦ Os custos dos recursos técnicos e tempo foram avaliados?
Exeqüibilidade: Garante que a avaliação faça sentido, leva em consideração os interesses de diversos grupos e pode apresentar bom custo benefício.
♦ Os problemas de conflitos foram abordados de forma aberta e honesta?
♦ Foram planejados e implementados procedimentos consistentes, sensatos e éticos para garantir que as descobertas esteja corretas?
Propriedade: Garante que a avaliação será ética, conduzida respeitando os direitos e interesses dos envolvidos.
♦ As finalidades e procedimentos da avaliação foram descritos em detalhes?
♦ As finalidades e procedimentos podem ser identificados e avaliados?
Precisão: Garante que as descobertas possam ser consideradas corretas.
37
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Em resumo, a Etapa 3—Focalizar o Projeto da Avaliação — representa um processo através do qual um projeto é estruturado para capturar as informações que todas as partes interessadas
dentro do esforço concordam serem críticas. Ela garante que o projeto da avaliação atenda às necessidades de todos os usuários, que o processo responda às questões levantadas e que a
avaliação leve em consideração as restrições impostas pelo tempo e pela disponibilidade dos recursos técnicos.
38
Que tipos de necessidades de informações é mais provável que seus usuários
apresentem?
Como as informações produzidas pela avaliação poderiam ser usadas?
Quais são as possíveis questões de avaliação para o programa?
Quais tipos de evidências poderiam ajudá-lo a mostrar que o programa apresentou o efeito
esperado?
Como seria possível procurar pelas evidência necessárias?
Você pensou em quem poderia auxiliá-lo com relação aos aspectos técnicos e de projeto
da avaliação?
Pense a respeito da avaliação de programas na qual está envolvido. As questões a seguir podem ajudá-lo a organizar seus pensamentos com relação à Etapa 3—Focalizar o Projeto da Avaliação.
39
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Reunir e Avaliar Evidências
Definição
Por que é importante reunir evidências confiáveis?
As partes interessadas devem considerar as informações reunidas como verossímeis, confiáveis e relevantes para suas questões. A credibilidade está baseada nas questões levantadas no início do processo de avaliação e nos motivos das partes interessadas em perguntá-las. Em outras palavras, os padrões de credibilidade dependem das perguntas feitas.
A obtenção de evidências confiáveis reforça os resultados da avaliação e as recomendações que a ela se seguem. Reconhecendo que todos os tipos de dados apresentam limitações, é possível fortalecer a credibilidade do projeto de uma avaliação através do uso de diversos procedimentos para reunir, analisar e interpretas dados. O aumento da participação ativa das partes interessadas também aprimora a credibilidade, uma vez que as referidas partes estarão mais suscetíveis a aceitarem as conclusões da avaliação e a agirem de acordo com suas recomendações.
Utilidade Propriedade
Precisão
Exeqüibilidade
PADRÕES
ETAPA 4
Reunir e avaliar evidências significa:
♦ montagem:
• a matéria prima de uma boa avaliação
• informações que fornecem uma imagem bem definida do programa
• dado que foram analisados e sintetizados
♦ apresentação de resultados significativos
40
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Em algumas situações, pode ser necessário solicitar aos especialistas em avaliação conselhos sobre o(s) método(s) mais apropriado(s) a utilizar, dadas as restrições de dados, limitações de recursos e padrões de evidências estabelecidos pelas partes interessadas. Esse aspecto é especialmente importante em situações nas quais as preocupações com a qualidade dos dados são altas ou quando os erros ou inferências podem apresentar sérias conseqüências.
Uma parte essencial de uma boa avaliação é uma revisão do que é sabido, o que foi feito antes e o que foi feito em outro lugar. A revisão da literatura publicada e dos documentos não publicados pode ajudar a fortalecer o processo de elaboração do projeto de uma avaliação. Os participantes do programa e outras partes interessadas também podem ser importantes fontes de informações complementares. A familiaridade com outras avaliações ou pesquisas em intervenções similares (ou intervenções diferentes projetadas para abordar o mesmo problema) pode ajudar no desenvolvimento de critérios para julgamento de seu próprio programa.
Quais os aspectos envolvidos na reunião e análise de
evidências?
Os recursos de reunião de evidências que se seguem normalmente afetam o quão confiável uma avaliação é
considerada: 1. Indicadores
2. Fontes de evidências
3. Qualidade
4. Quantidade
5. Logística
6. Análise e síntese
Os indicadores são usados para julgar os programas. Um indicador é uma categoria de mudança. Os indicadores convertem conceitos gerais sobre um programa e seus efeitos esperados em peças específicas e mensuráveis. Eles devem refletir os aspectos mais significativos do programa para monitoramento. Diversos indicadores são normalmente necessários para rastrear a implementação e os efeitos de um programa de intervenção complexo.
41
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Exemplos de indicadores incluem:
Categoria da Mudança Exemplos de Medições
Aprimoramento na disponibilização de serviços (uma medida da capacidade do programa)
♦ Nível de satisfação do cliente
♦ Número de pacientes imunizados
Alterações no conhecimento, capacidades, comportamento individual
♦ Comportamento do participante
Alterações no status de saúde da população ♦ Taxas de ferimentos
♦ Taxas de mortalidade
Alterações no ambiente ♦ Programas, políticas e práticas
Modelos de lógica (consulte a Etapa 2) podem ajudar a
desenvolver indicadores. Um modelo da lógica pode ser usado como um modelo para definir um espectro completo de indicadores junto com o caminho que leva desde as atividades do programa até seus efeitos esperados. Os indicadores qualitativos e quantitativos podem ser desenvolvidos. As fontes de evidências em uma avaliação podem ser
pessoas, documentos ou observações. Mais de uma fonte pode ser usada para reunir evidências para um determinado indicador. De fato, a seleção de diversas fontes de evidências fornece uma oportunidade de incluir diferentes perspectivas sobre o programa, otimizando assim a credibilidade da avaliação. Por exemplo, a documentação do programa que reflete uma perspectiva interna (equipe) pode ser combinada com as entrevistas-chave informativas com os usuários do programa. A mistura de perspectiva fornece uma visão mais abrangente do programa. Além disso, a integração das informações qualitativas e quantitativas pode produzir evidências mais completas e úteis, satisfazendo as necessidades e expectativas de uma gama maior de partes interessadas.
Fontes de Evidências Selecionadas
♦ Pesquisas de opinião por escrito
♦ Entrevistas pesssoais ♦ Observação ♦ Análise de documentos ♦ Casos de referência ♦ Logs, formulários de
atividades, registros
♦ Avaliações de grupos ♦ Diários ou jornais ♦ Mapeamento geográfico ♦ Revisão por especialistas ou
autoridades no assunto ♦ Mapeamento do conceito
42
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
A coalizão PRAID identificou uma variedade de possíveis
indicadores que estão relacionados aos objetivos do programa. As possíveis fontes de evidências incluíram registros policiais, dados da sala de emergência do pronto-
socorro, dados de questionários de uma pesquisa de opinião realizada na comunidade para avaliar e monitorar a extensão do problema, entrevistas com informantes-chave com os
jovens que freqüentam as escolas locais e assim por diante. Os membros da coalizão também estavam interessados no uso de medidas padronizadas que possibilitassem a medição
de mudanças ao longo do tempo através dos locais. Finalmente para avaliar o progresso do programa, os membros da coalizão identificaram os indicadores do
processo e fontes de evidências para documentar os resultados de curto prazo.
Objetivos Indicadores Fontes de Evidências
Aumento das sanções legais para DUI (dirigir sob a influência) para homens menores de 21 anos
♦ Número de acusações de DUI para jovens menores de idade
♦ Registros policiais de violações
♦ Arquivos da corte juvenil
Usar os programas de educação do motorista e sobre o uso de álcool para aumentar o conhecimentos entre jovens sobre os riscos associados ao ato de beber e dirigir
♦ Nível de participação nos programa de educação de motoristas e sobre o uso de álcool
♦ Registros escolares para freqüência nos programas de educação para motoristas e sobre o uso de álcool
Limitar a disponibilidade de
álcool para homens jovens menores de 21 anos através do aumento das sanções legais e financeiras para venda de álcool para o referido grupo
♦ Número de inspeções on-site dos vendedores de bebidas alcoólicas da comunidade
♦ licenças para venda de bebidas alcoólicas no arquivo
♦ Violações dos registros dos vendedores de bebidas alcoólicas
♦ Inventário dos estabelecimentos que servem bebidas alcoólicas
Indicadores e Fontes
de Evidências
43
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Ao determinar o que era mais importante, a coalizão PRAID decidiu que instrumentos uniformes (inalterados ou padronizados) deveriam ser usados para aprimorar a qualidade dos dados das pesquisas da avaliação. Assim, o mesmo instrumento de coleta de dados foi usado em cada local de coleta de dados. Além disso, a coalizão desenvolveu um guia de entrevistas para entrevistas com informantes-chave. Outras etapas executadas para garantir a qualidade incluíram o treinamento dos entrevistadores. O treinamento também foi fornecido para indivíduos envolvidos na coleta, codificação e gerenciamento de dados. O treinamento enfatizou a manutenção padronizada de registros para garantir a integralidade dos dados. Alterações inesperadas nas práticas de manutenção de registros do órgão exigiram que a coalizão reconsiderasse se e como os registros do órgão poderiam ser utilizados; a coalizão também considerou as fontes de evidências substitutas que poderiam estar disponíveis. Os membros da coalizão foram cuidadosos em escolher fontes de dados razoavelmente completas, bem como acessíveis (por exemplo, registros policiais). Todas essas sações serviram para reduzir a quantidade de erros dos dados e aprimoraram sua confiabilidade geral.
A qualidade se refere à conveniência e à integridade das informações reunidas em uma avaliação. Indicadores bem-definidos facilitam a coleta de dados de alta qualidade confiáveis e
informativos. Outros fatores que afetam a qualidade incluem: ♦ projeto de instrumentos ♦ procedimentos de coleta de dados
♦ treinamento dos envolvidos na coleta de dados ♦ seleção de fontes ♦ codificação
♦ gerenciamento de dados ♦ verificação dos erros de rotina
A obtenção de dados de qualidade implica em escolhas conflitantes (ou seja, extensão x profundidade) Assim, as partes interessadas devem decidir no início do processo de avaliação o
que é mais importante. Uma avaliação prática deve esforçar-se em obter um nível de qualidade que corresponda aos padrões de credibilidade das partes interessadas.
Qualidade
44
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Os membros da coalizão PRAID decidiram usar dados qualitativos e quantitativos para desenvolver um panorama o mais amplo possível do programa. Primeiro, decidiram usar
entrevistas com informantes-chave para extrair informações da população menor de 21 anos. Depois que uma série de entrevistas foi conduzida, os entrevistadores começaram a
atingir um ponto de "saturação" na coleta de dados, no qual diferentes informantes-chave começaram a expressas padrões ou temas similares. Segundo, a coalizão coletou
dados junta a polícia, a corte juvenil e a hospitais abrangendo o período de três anos anterior à intervenção e dados de todo o ano da intervenção. Terceiro, as universidades em parceria
com a coalizão ajudaram outras partes interessadas a determinarem as evidências quantitativas necessárias para avaliar a efetividade do programa. Especificamente, a
coalizão determinou que o tamanho da amostra necessária para detectar uma diferença nos ferimentos e mortes de jovens relacionadas ao uso de álcool como um resultado da
intervenção.
A quantidade se refere à quantia de evidências reunidas em uma avaliação. As partes interessadas devem estimar antecipadamente a quantidade de informações que será exigida e
estabelecer critérios para decidir quando interromper a coleta de dados. A quantidade afeta o nível de confiança e precisão que os usuários podem apresentar (isto é, que certeza temos de que o
que aprendemos é verdade?). Ela também determina de forma parcial se a avaliação será capaz de detectar os efeitos do programa. Todas as evidências coletadas devem apresentar um
uso claro e antecipado.
Quantidade
45
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Os membros da coalizão PRAID determinaram que a população do estudo de homens jovens apresentaria maior probabilidade de participação em grupos de foco caso os especialistas e os líderes jovens fossem usados para negociar e facilitar os grupos. As reuniões do grupo do foco foram programadas em locais em que os homens jovens da cidade normalmente se reuniam.
Os membros da equipe de avaliação examinaram os dados do questionário pré e pós-intervenção, bem como os dados das entrevistas qualitativas para análise e sínteses. As
questões a seguir foram levantadas pelos membros da coalizão durante essa fase: Quais são as idéias, temas, padrões comuns dentro dos dados qualitativos e
quantitativos? Com que freqüência os dados aparecem?
A logística é os métodos, cronograma e infra-estrutura física para reunião e tratamento de evidências. Pessoas e organizações possuem preferências culturais que ditam caminhos aceitáveis
para perguntas e coleta de informações e influenciam a percepção de quem seria considerado como uma pessoa adequada para responder às questões (isto é, alguém conhecido dentro da
comunidade x um estranho de um órgão de saúde local). As técnicas usadas para reunir evidências em uma avaliação devem estar de acordo com as normas culturas de uma determinada
comunidade. Os procedimentos de coleta de dados também devem proteger o sigilo.
A análise e síntese são métodos para revelar e resumir as
descobertas da avaliação. Em avaliações que usam diversos métodos, os padrões em evidência são detectados através de:
♦ isolamento das descobertas importantes (análise)
♦ combinação das diferentes fontes de informações para atingir uma maior compreensão (síntese)
Análise e síntese envolvem a decisão de como organizar,
classificar, comparar e exibir as informações. Essas decisões são guiadas pelas questões que estão sendo formuladas, os tipos de dados disponíveis e, especialmente, pelas informações fornecidas
pelas partes interessadas e pelos futuros usuários primários.
Logística
Análise e Síntese
46
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Há alguma descoberta surpreendente? Todos os jovens do sexo masculino dentro das três escolas de nível médio indicadas participaram dos programas de educação?As respostas para
essas questões foram então exibidas graficamente em gráficos que rastrearam as alterações nas crenças, comportamento e participação na educação sobre uso de álcool. Os gráficos
também foram criados para mostrar o número de citações emitidas para homens jovens dentro de cada área geográfica ao longo de um determinado período de tempo.
Aplicação de padrões
Como observamos nas etapas anteriores, é possível ajudar a garantir a qualidade de sua avaliação através da consideração de padrões de avaliação relevantes ao longo do processo de
avaliação. Os dos padrões que se aplicam mais diretamente à Etapa 4—Reunir e Analisar Evidências—são utilidade e precisão. Conforme você participa da reunião e análise de
evidências, as questões apresentadas na tabela a seguir ajudarão a esclarecer e a atingir os referidos padrões.
Padrões da Etapa 4: Reunir e Analisar Evidências
Questões Padrões
♦ Chegou-se a um acordo sobre as técnicas para analisar e sintetizar as descobertas antes do início da coleta de dados?
♦ As informações coletadas abordam problemas pertinentes sobre o programa e é responsiva às necessidade de suas
partes interessadas?
Utilidade: Garante que a avaliação seja útil e
responde a questões diretamente relevantes para os usuários.
♦ As fontes de informações usadas no programa foram descritas em detalhes adequados?
♦ Os procedimentos para reunião de informações abordam os tópicos de validade e confiança internos?
♦ Há um sistema em funcionamento para identificação e correção de erros?
♦ O processo de análise de dados quantitativos e qualitativos foi eficaz em responder às questões-chave de sua avaliação?
Precisão: Garante que as descobertas sejam
consideradas corretas.
47
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Em resumo, a Etapa 4—Reunir e Analisar Evidências — representa um processo através do qual as informações sobre o programa no qual você está engajado podem ser reunidas e
sintetizadas para apresentação posterior. Ela garante que os benefícios da avaliação (os usos dessas informações) sejam claros para todas as partes interessadas e que os processos
seguidos satisfação o que foi acordado entre todos.
48
Quais conhecimentos e recursos você pode trazer para ajudar na definição de seus
métodos?
Quais fontes de informações você pode usar na avaliação (pessoas, documentos,
observações)?
Quais processos sistemáticos você pode usar para reunir informações?
Como você pode verificar os erros e fazer correções como parte do processo de reunião de
dados?
Quais técnicas de análise e síntese de dados você pode considerar?
Como o seu processo de análise pode responder às questões das partes interessadas de
maneira efetiva?
Pense a respeito da avaliação de programas na qual está envolvido. As questões a seguir podem ajudá-lo a refletir sobre como abordar a Etapa 4 —
Reunir e Analisar Evidências
49
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Justificar Conclusões
Definição
Por que é importante justificar conclusões?
As evidências reunidas para uma avaliação não necessariamente falam por si. Para substanciar e justificar as conclusões, é importante considerar cuidadosamente as evidência
a partir de uma variedade de perspectivas das partes interessadas. As conclusões se justificam quando são vinculadas às evidências reunidas e julgadas em comparação aos valores sobre os quais as
parte interessadas concordaram. Quando as comunidades, órgãos e outras partes interessadas concordam que as conclusões são justificadas, utilizarão os resultados da avaliação com mais
confiança. As conclusões podem ser fortalecidas através da busca por
explicações alternativas e demonstração de por que as evidências
não as apóiam. Quando há conclusões diferentes, porém igualmente bem apoiadas, pode ser útil apresentar cada conjunto de conclusões com um resumo sobre seus pontos fortes ou fracos.
Utilidade Propriedade
Precisão
Exeqüibilidade
PADRÕES
ETAPA 5
A justificativa de conclusões envolve:
♦ fazer alegações sobre o programa com base nas evidências reunidas
♦ justificação das alegações através da comparação de evidências com os valores das parte interessada
50
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
O objetivo central do programa de intervenção da
comunidade foi reduzir em 50% a incidência de batidas de veículos motorizados (MVCs) relacionadas ao álcool em homens menores de 21 anos no ano de 2005. Como uma
finalidade importante da avaliação era determinar os efeitos do programa, fazia sentido que a coalizão PRAID usasse o objetivo desse programa como um dos padrões para executar
julgamentos sobre o programa. O objetivo da construção de coalizões e parcerias na comunidade representou outro meio-chave de julgar o programa.
Quais os aspectos envolvidos na justificativa de
conclusões?
Quatro elementos principais estão envolvidos na justificativa de
conclusões:
Os padrões do programa (não confundir com os padrões da avaliação discutidos ao longo do presente documento) são fundamentais para uma avaliação correta. Eles refletem os valores
das partes interessadas sobre o programa. Padrões do programa: ♦ permitir que os avaliadores e partes interessadas realizem
julgamentos sobre o programa
♦ fornecer caminhos alternativos para comparar os resultados do programa
Quando as partes interessadas articulam e negociam seus valores, esses valores se tornam os padrões para que um programa seja considerado "bem-sucedido", "adequado" ou "mal-
sucedido". Exemplos de padrões de programas que podem ser usados para avaliar os resultados de um programa incluem os valores ou normas da comunidade, padrões profissionais, objetivos
do programa, critérios fixos de desempenho, desempenho através de programas anteriores ou similares, considerações sobre a exeqüibilidade e sutentabilidade, equidade social e outros valores
das partes interessadas.
Padrões do Programa
Padrões do Programa
Interpretação Julgamentos Recomendações
51
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Imagine que pulamos três anos no futuro. Nesse ponto no tempo,
as descobertas da avaliação mostram uma modesta redução nas batidas de veículos motorizados relacionadas ao uso de álcool entre os jovens do sexo masculino na área geográfica do projeto.
Conforme a coalizão PRAID se reúne para interpretar essas descobertas, podem tentar descobrir se cada uma das três estratégias amplas do programa (reforço do cumprimento da
lei/aumento das sanções, educação abrangente, redução da venda de álcool) teve um impacto no declínio documentado nas batidas relacionadas ao uso de álcool.
Como alternativa, os membros da coalizão podem estabelecer o foco na interpretação das
contribuições combinadas do conjunto de estratégias de intervenção, ao invés de
desconsiderar qualquer estratégia única.
O gráfico ilustra os dados coletados ao longo de um período de três anos. Ele
resume as citações emitidas para vendedores de álcool (por exemplo, lojas de bebidas,
bares) para a venda de álcool para menores e citações de trânsito relacionadas ao uso de
A interpretação é o esforço de descobrir o significado das descobertas da avaliação. A interpretação:
♦ conta com as informações e perspectivas que as partes
interessadas trazem para a avaliação ♦ é fortalecida através da participação e interação ativas das
partes interessadas
A descoberta de fatos sobre o desempenho de um programa
não é o suficiente para chegar a conclusões. Os fatos devem ser
interpretados para que seu significado prático seja compreendido.
Interpretação
Citações para venda de Álcool para Menores
e
Citações de trânsito para Menores que Beberam
Citações pela venda de álcool
Citações de trânsito
Número de citações
Ano 1 Ano 2 Ano 3
52
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
álcool emitidas para menores de idade que beberam na Cidade da Esperança (população de 22.781). Os dados podem ser analisados e interpretados para apurar se as
estratégias tiveram algum efeitos sobre as MVCs relacionadas ao uso de álcool.
A avaliação documentou um aumento nas patrulhas das rodovias a procura de menores que tenham bebido e estejam dirigindo em algumas áreas do condado nos finais-de-
semana selecionados. As partes interessadas do departamento de polícia, que enxergaram qualquer melhoria no desempenho como um sinal de sucesso, encararam essa
queda como uma razão para julgar o programa de forma positiva. No entanto, os membros da coalizão MADD, SADD e organizações comunitárias tinham uma expectativa de as
patrulhas em todo o condado seriam aumentadas em todos os finais de semana; como resultado, seu julgamento do desempenho do programa foi menos positivo do que o julgamento da polícia.
Os julgamentos são declarações sobre o mérito do
programa, sua validade e seu significado. Eles são formados quando as descobertas e interpretações são comparadas a um ou mais padrões selecionados do programa. Na formação de
julgamentos sobre um programa: ♦ diversos padrões de programas podem ser aplicados ♦ as partes interessadas podem atingir julgamentos
diferentes ou mesmo conflitantes Alegações conflitantes sobre a qualidade, valor ou importância
de um programa muitas vezes indicam que as partes interessadas estão usando padrões ou valores diferentes do programa ao formarem seus julgamentos. Esse tipo de desacordo pode impelir
as partes interessadas a esclarecerem seus valores e chegarem a um consenso sobre como o programa deve ser julgado.
Julgamentos
53
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Depois de realizar um fórum comunitário para interpretação
adicional dos resultados da avaliação e de julgar o programa, os membros da coalizão PRAID usaram os resultados para fazerem recomendações que foram apresentadas aos
comissários do e conselhos escolares do condado. Por exemplo, como a avaliação sugeriu que as patrulhas policiais nos finais de semana tiveram um impacto sobre o
comportamento de beber e dirigir de homens jovens, a coalizão recomendou que o nível de patrulhamento da polícia fosse aumentado permanentemente. No entanto, os
resultados da avaliação mostraram níveis baixos de participação dos estudantes de nível médio nas iniciativas educacionais do programa, levando os membros da coalizão
a recomendarem que estratégias comunitárias (ao invés das escolares) fossem desenvolvidas para aumentar a percepção dos jovens do sexo masculino sobre os perigos do álcool.
As recomendações são ações a serem consideradas como um resultado de uma avaliação. As recomendações exigem informações além das necessárias para formar o julgamento sobre
um programa. As recomendações: ♦ podem fortalecer uma avaliação quando antecipam e
reagem ao que os usuários querem saber
♦ pode minar a credibilidade de uma avaliação se não forem apoiadas por evidências o suficiente ou se não estiverem de acordo com os valores das partes interessadas
As chances de que as recomendações serão relevantes e bem
recebidas podem ser aumentadas através do compartilhamento de
um rascunho das recomendações, solicitando reações de diversas partes interessadas e apresentando opções ao invés de conselhos diretivos.
Aplicação de padrões
Como observamos nas etapas anteriores, é possível ajudar a
garantir a qualidade de sua avaliação através da consideração de padrões de avaliação relevantes ao longo do processo de avaliação. Os dois padrões que se aplicam mais diretamente à
Etapa 5—justificar Conclusões—são utilidade e precisão.
Recomendações
54
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Conforme você participa da justificativa das conclusões, as questões apresentadas na tabela a seguir podem ajudar a esclarecer e a atingir os referidos padrões.
Padrões da Etapa 5: Justificar Conclusões
Questões Padrões
♦ As perspectivas, procedimentos e análise lógica usados para interpretar as descobertas foram cuidadosamente descritos?
♦ As partes interessadas consideraram diferentes abordagens para a interpretação das descobertas?
Utilidade: Garante que a avaliação seja útil e
responde a questões diretamente relevantes para os usuários.
♦ É possível justificar explicitamente suas conclusões?
♦ As conclusões podem ser completamente compreendidas pelas
partes interessadas?
Precisão: Garante que as descobertas da avaliação
sejam consideradas corretas.
Em resumo, a Etapa 5—Justificar Conclusões —envolve a
interpretação dos resultados da avaliação, de forma que eles possam fazer sentido para todas as partes interessadas e refletir os valores das partes interessadas sobre o que consideram
importante. A conclusão da etapa pode ajudar as partes interessadas a considerarem quais ações tomar como resultado da avaliação.
55
Como seria possível envolver as partes interessadas na interpretação dos resultados da
avaliação de seu programa?
Caso as partes interessadas apresentem julgamentos conflitantes sobre seu programa,
como seria possível chegar a um consenso?
Quais informações você poderia usar para desenvolver recomendações para ação?
Como você poderia compartilhar suas recomendações com outras partes interessadas?
Pense a respeito da avaliação de programas na qual está envolvido. As questões a seguir podem ajudá-lo a organizar seus pensamentos com relação à Etapa 5—Justificar Conclusões
56
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Garantir o Uso e Compartilhamento das Lições Aprendidas
Definição
Por que é importante garantir uso e compartilhamento
das lições aprendidas?
É ingenuidade assumir que as lições aprendidas em uma avaliação serão necessariamente usadas na tomada de decisões e ação subseqüente. Os participantes da avaliação devem fazer um
esforço deliberado para promover o uso das descobertas da avaliação. Eles também têm uma responsabilidade de impedir o mal uso das descobertas. Os fatores que influenciam se os resultados
serão utilizados incluem: credibilidade do avaliador, divulgação das descobertas, esclarecimento dos relatórios, oportunidade e imparcialidade; e alterações no contexto do programa ou da
organização. A garantia do uso exige a preparação de uma estratégia desde os primeiros estágios da avaliação, bem como um olhar diligente das oportunidades para comunicar resultados e
influenciar as decisões do programa e/ou dos legisladores.
[A avaliação] é uma coisa boa de
se fazer por uma série de razões.
Mas vamos esclarecer que
muitas das decisões são
tomadas do ponto de vista
político e têm pouco ou nada a
ver com os bons resultados e o
valor do que está acontecendo.
Diretor do CBO
O uso dos resultados da avaliação de forma apropriada significa:
♦ tornar as partes interessadas cientes dos procedimentos e descobertas da avaliação
♦ considerar as descobertas nas decisões ou ações relacionadas ao programa
♦ garantir que aqueles que participam da avaliação a considerem benéfica
Utilidade Propriedade
Precisão
Exeqüibilidade
PADRÕES
ETAPA 6
57
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
O próprio processo de se executar uma avaliação é importante. Quando as pessoas são expostas à lógica, ao bom-senso e aos valores que guiam a avaliação, seu pensamento e comportamento
podem mudar profundamente. A participação em uma avaliação pode:
♦ encorajar as partes interessadas a basearem as decisões
em julgamentos sistêmicos em vez de assunções sem fundamento
♦ estimular as partes interessadas a esclarecerem sua
compreensão das metas do programa, desse modo melhorando sua capacidade de funcionar como uma equipe
♦ ajudar as partes interessadas a esclarecerem o que é
realmente importante através do processo de definição de indicadores
♦ tornar os resultados importantes alterando os reforços,
conectados em atingir resultados positivos, conforme quando os financiadores oferecem “concessões de bônus” ou “dividendos de resultado” a programas que mostram
alteração e melhora comunitárias significativas
O que está envolvido em assegurar o uso e dividir as
lições aprendidas?
Quatro elementos são importantes na certificação de que os
achados de uma avaliação são usados:
Preparação refere-se às etapas realizadas para estar pronto
para usar posteriormente os achados da avaliação. Através da
preparação, as partes interessadas podem: ♦ fortalecer sua capacidade de traduzir conhecimento novo
em ação adequada
♦ discutir como os achados potenciais podem afetar a tomada de decisão
♦ explorar implicações positivas e negativas dos resultados
potenciais e identificar diferentes opções de melhora do programa
Preparação Feedback Acompanhamento Disseminação
58
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
A evidência preliminar de patrulhas de estrada elevadas com
relação a menores bebendo e dirigindo provocou reações mistas de vários membros da coalizão PRAID. Os representantes do departamento de polícia observaram os
níveis de pessoal necessários para patrulhamento elevado como sendo insustentáveis devido a prioridades competitivas e exigências de segurança pública, considerando-se que
cidadão e representantes do MADD consideraram que os benefícios das patrulhas foram provavelmente equivalentes às escolhas. Através da preparação para a avaliação dos
resultados no princípio, os usuários primários e outras partes interessadas foram capazes de começarem a discutir possíveis decisões e ações.
Para fornecer feedback a e obter feedback de cada tipo de
parte interessada envolvida na coalizão PRAID, uma força tarefa de avaliação foi formada, coordenada por uma pessoa da equipe que tem fundamento. Dos primeiros estágios da
avaliação, a pessoa da equipe planejou e coordenou reuniões trimestrais para os membros da força tarefa, que, então, voltaram para seus próprios grupos (por exemplo, escolas de
ensino médio, polícia, a secretaria de saúde local, hospitais,
Feedback é a comunicação que ocorre entre todas as
pessoas envolvidas na avaliação. O Feedback, necessário em
todos os estágios do processo de avaliação, cria uma atmosfera de confiança entre as partes interessadas. No início de uma avaliação, o processo de dar e receber feedback mantém uma
avaliação em curso mantendo todas as pessoas informadas sobre como o programa está sendo implementado e como a avaliação está progredindo. Conforme a avaliação progride e os resultados
preliminares se tornam disponíveis, o feedback ajuda a assegurar que os usuários propostos principais e outras partes interessadas têm oportunidades de comentarem sobre as decisões da
avaliação. Feedback valioso pode ser obtido das partes interessadas através de discussões durante cada etapa da avaliação e dividindo de forma rotineira achados intermediários,
interpretações provisórias e relatórios de minuta.
Preparação
Feedback
59
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
distribuidores de bebida, MADD, SADD, outras organizações
com base na comunidade) para dividir o progresso do programa. Como a avaliação progrediu e os resultados preliminares da avaliação tornaram-se disponíveis, a pessoa
da equipe também usou uma variedade de outras abordagens para assegurar que todos os membros da coalizão permanecessem bem informados e capazes de fornecer
feedback. Estas incluem atualizações mais freqüentes através de e-mail, comunicação com base na Web e relatórios de impressão intermediários, bem como reuniões e discussões com os diferentes grupos representados pela força tarefa.
Como os resultados da avaliação para a intervenção foram
compilados e analisados, a pessoa da equipe da força tarefa continuamente lembra os membros da força tarefa dos usos propostos da avaliação. Embora os fornecedores de cuidados à
saúde e cidadãos tenham interesse em considerar as implicações dos resultados, mostrando um declínio nas vendas de álcool a homens menores de idade, outros membros da
coalizão, como distribuidores de bebida alcoólica e oficiais da cidade (preocupados com os rendimento fiscal relacionado ao álcool) procuraram distrair a atenção desses achados. O
acompanhamento da pessoa da equipe ajudou a manter a discussão focada nos resultados mais importantes da avaliação.
Embora o acompanhamento refira-se ao suporte de que
muitos usuários precisam por todo o processo de avaliação, essa
etapa, em particular, refere-se ao suporte de que é necessário após os usuários receberem os resultados da avaliação e começarem a atingir e justificar suas conclusões.
Acompanhamento ativo: ♦ lembra os usuários dos usos propostos do que foi
aprendido
♦ pode ajudar a prevenir o mal-uso dos resultados assegurando que a evidência seja aplicada às questões que eram o foco central da avaliação
♦ prevenir lições aprendidas de se tornarem perdidas e ignoradas no processo de tomada de decisões complexas ou políticas
Acompanhamento
60
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
O projeto produziu e disseminou relatórios de avaliação que limitaram jargão técnico e usaram lotes de gráficos, estórias e
exemplos. Além de usar relatórios e outros produtos por escrito para disseminação, os membros da coalizão PRAID sustentaram impulso e expandiram o alcance da avaliação
fazendo apresentações em reuniões de conselho escolar, assembléias de oficiais públicos e outros eventos da comunidade. Os membros da comunidade usaram as lições
do projeto para iniciarem planejamento e desenvolvimento de novas iniciativas com base na comunidade.
Disseminação é o processo de comunicação dos processos de avaliação ou lições aprendidas ao público relevante em uma maneira tempestiva, imparcial e consistente. Independentemente
de como as comunicações sejam estruturadas, o objetivo da disseminação é atingir a divulgação completa e relato imparcial. O planejamento de comunicações eficazes exige:
♦ discussão avançada da estratégia de relato com usuários propostos e outras partes interessadas
♦ consideração do timing, estilo, tom, fonte de mensagem,
veículo e formato dos produtos de informação
Aplicação de padrões
Como nós já observamos, você pode ajudar a assegurar a qualidade de sua avaliação considerando padrões de avaliação relevantes durante todo o processo de avaliação. Os três padrões
que mais diretamente se aplicam à Etapa 6—Garantir Uso e Dividir Lições Aprendidas—são utilidade, propriedade e precisão. Como você usa seus próprios resultados da avaliação, as
questões apresentadas na tabela a seguir podem lhe ajudar a esclarecer e alcançar esses padrões.
Disseminação
Eu deixei uma reunião sobre a
avaliação do Projeto X e esta não
foi para toda a comunidade. Foi
realmente para criadores de
política… Se você realmente
quer que as pessoas a usem,
[você precisa prestar atenção no]
uso da linguagem e usar outros
múltiplos formatos de mídia para
essa informação complexa real...
Diretor CBO
61
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
...
....
....
....
....
....
...
....
....
....
....
..
Padrões da Etapa 6: Garantir Uso e Dividir Lições Aprendidas
Questões Padrões
♦ Os participantes no grupo de avaliação são dignos de confiança e competentes?
♦ Os relatórios descrevem claramente o programa, incluindo seu
contexto e os fins, procedimentos e achados da avaliação?
♦ Você dividiu achados do meio do curso significativos e relatórios com os usuários de maneira que os achados possam
ser usados em um modelo tempestivo?
♦ Você planejou, conduziu e relatou a avaliação de maneiras que encorajam o acompanhamento pelas partes interessadas?
Utilidade: Garante que a avaliação seja útil e responde a questões
diretamente relevantes para os usuários.
♦? Você assegurou que os achados da avaliação (incluindo as limitações) possam ser acessados por todas as pessoas
afetadas pela avaliação e outras que têm o direito de receber os resultados?
Propriedade: Assegura que a avaliação é ética,
conduzida com relação aos direitos e interesses daqueles envolvidos.
♦ Os relatórios da avaliação refletem de forma imparcial e justa os achados da avaliação?
♦ Você tentou evitar as distorções que possam ser causadas pelos sentimentos pessoas e outras tendências?
Precisão: Assegura que os achados da avaliação são
considerados corretos.
Em suma, A Etapa 6—Assegurar Uso e Dividir Lições
Aprendidas—enfatiza a importância da tradução dos resultados em ação. Através do processo de preparação, feedback, acompanhamento e disseminação, os benefícios da avaliação se
tornam claros às partes interessadas. Essa etapa assegura que as lições aprendidas a partir de uma avaliação são divididas de uma maneira no que diz respeito às decisões do programa, criadores
de política e iniciativas com base na comunidade.
62
Como você poderia assegurar que as partes interessadas recebem e fornecem feedback
durante todo o processo de avaliação?
Como você poderia ter certeza de que as lições aprendidas são usadas?
Qual suporte é disponível para acompanhamento dos resultados da avaliação?
Que tipos de estratégias de comunicação podem ser adequados para seu programa e
partes interessadas?
Pense a respeito da avaliação de programas na qual está envolvido. As seguintes questões podem lhe ajudar a pensar sobre como abordar a Etapa 6—Garantir Uso e Dividir Lições Aprendidas.
63
Glossário
O seguinte glossário de termos é uma compilação de definições de numerosas fontes de avaliação.
Capacidade da Comunidade O compromisso, recursos e habilidades que uma comunidade
pode mobilizar e usas para determinar os assuntos e problemas
da comunidade e fortalecer os ativos da comunidade, as características das comunidades que afetam a capacidade destas de identificarem e determinarem as questões sociais,
econômicas e da saúde; o cultivo e uso de conhecimento transferível, habilidades, sistemas e outros recursos para afetar a alteração de nível da comunidade-e individual.
Dados Informações produzidas pela e usadas na avaliação - incluem números, palavras, figures ou qualquer tipo de informações usado.
Design da Avaliação Um blueprint, estratégia ou resumo para responder questões
sobre um programa. Inclui uma declaração clara sobre o objetivo e os planos para reunião, processo e interpretação das informações necessárias.
Métodos de Avaliação Opções de coleta de dados e estratégias selecionadas para igualar ou adaptar o design geral e responder as questões de avaliação. Os métodos dependem de conhecer para quem são
as informações, como serão usadas, que tipos de informações são necessários e quando, e os recursos disponíveis.
Avaliação Formativa Um subconjunto de avaliação de processo. Informações
coletadas para um período específico de tempo, quase sempre durante o início ou fase piloto de um projeto, para refinar e melhorar a implementação e solucionar os problemas não
previstos. Isso pode incluir esforços de monitoramento de programa para fornecer feedback contínuo e avaliar os resultados intermediários.
64
Avaliação de Impacto Analise de um programa atingiu alterações intermediárias desejadas em indivíduos, grupos de população ou organizações.
Indicadores Padrões usados para medir ou testar alterações. Os indicadores
podem ser no nível de indivíduos (por exemplo, alterações comportamentais), organizações (por exemplo, horas de serviço) ou comunidades (por exemplo, taxas de desemprego, variáveis
de qualidade de vida).
Avaliação de Resultado Examina os efeitos de um programa sobre situação de saúde, comumente definida em termos de taxas de morbidade (doença,
ferimento) e mortalidade (morte). Determina os efeitos de longo prazo de um programa ou intervenção.
Avaliação de Processo Determina questões relacionadas com como um programa é
implementado. Compara o que foi suposto a acontecer com o que realmente aconteceu. Responde questões sobre por que o programa foi bem-sucedido, falou, ou necessita de revisão.
Programa Uma série de atividades apoiadas por um grupo de recursos propostos para atingir resultados específicos entre os grupos particulares.
Avaliação de Programa A coleta sistemática, análise e relato de informações sobre as atividades, características e resultados de programas para fazer julgamentos sobre o programa, melhorar a eficácia do programa
e/ou informar decisões sobre a programação futura. A avaliação do programa com base na utilização é realizada para e com usuários primários específicos propostos para usos propostos,
específicos.
Dados Qualitativos Informações reunidas de entrevistas, observações ou documentos. Podem incluir descrições detalhadas de situações,
eventos, pessoas, interações, comportamentos observados e pensamentos próprios das pessoas sobre suas experiências, atitudes e crenças. Outras fontes de dados são extratos ou
passagens inteiras de documentos, correspondências, registros e históricos de caso.
65
Dados Quantitativos Informações de questionários, testes, instrumentos de observação padronizados (fixos, inalterados) e registros de programa. Enfatiza as coisas que podem ser contadas,
categorizadas e sujeitas à análise estatística.
Tamanho da Amostra Um subconjunto de casos (por exemplo, indivíduos, registros, comunidades) selecionado de uma população. Em pesquisa
quantitativa, amplas amostras geralmente aumentam a confiança em resultados de pesquisa. Um número total mínimo em uma amostra é importante para alguns testes estatísticos.
Pessoas Interessadas Pessoas que se preocupam sobre o que será aprendido a partir da avaliação e sobre o que será feito com o conhecimento obtido.
Avaliação Sumativa Conduzida após a conclusão do programa, quase sempre para o benefício de tomadores de decisão externos (por exemplo, agências de financiamento, escritórios de supervisão, outros
assuntos). Fornece dados para apoiar julgamentos sobre um valor do programa de maneira que as decisões possam ser tomadas sobre continuação ou expansão.
Temas Padrões ou idéias recorrentes que emergem como dados qualitativos são coletados, analisados e interpretados.
Unidades de Análise O foco primário da coleta e análise dos dados. Pode indivíduos,
grupos de pessoas (por exemplo, salas de aula), vizinhanças, cidades, estados ou países. As unidades podem também ser eventos ou incidentes (por exemplo, falhas na prestação de
serviço). Cada unidade pode exigir diferentes tipos de dados. O foco de análise também varia e afeta o que pode ser dito (por exemplo, se a unidade de análise for uma cidade, ninguém pode
fazer uma declaração sobre o impacto do programa sobre um indivíduo).
66
Recursos para Avaliação de Programas
Recursos com base na Web:
Centros para Controle e Prevenção de Doença: http://www.cdc.gov/eval/ W.K. Kellogg Foundation: http://www.wkkf.org/Publications/evalhdbk/
University of Kansas: http://ctb.lsi.ukans.edu/ctb
University of Toronto: http://www.utoronto.ca/shp/hcu University of Wisconsin Extension: http://www.uwex.edu/ces/pdante/evaluat.htm/
Publicações
Connell JP, Kubisch AC, Schorr LB, Weiss, CH. New Approaches to Evaluating Community Initiatives, New York, NY: Aspen Institute, 1995.
Fawcett SB, Paine-Andrews A, Francisco VT, Schulz J, Ritchter KP, et al. Evaluating community initiatives for health and development. In Evaluating Health Promotion Approaches, edited by I Rootman and D McQueen. Copenhagen, Denmark: World Health Organization — in press.
Fawcett SB, Sterling TD, Paine Andrews A, Harris KJ, Francisco VT, et al. Evaluating Community Efforts to Prevent Cardiovascular Diseases. Atlanta, GA, Centers for Disease Control and
Prevention, National Center for Chronic Disease Prevention and Health Promotion, 1995. Fetterman DM, Kaftarian SJ, Wandersman A. Empowerment Evaluation: Knowledge and Tools for
Self-assessment and Accountability. Thousand Oaks, CA: Sage Publications, 1996. Patton MQ, Utilization-focused Evaluation. Thousand Oaks, CA: Sage Publications, 1997.
Rossi PH, Freeman HE, Lipsey MW. Evaluation: A Systematic Approach. Newbury Park, CA: Sage Publications, 1999.
67
Publicações, continuação
Shadish WR, Cook TD, Leviton LC. Foundations of Program Evaluation. Newbury Park, CA: Sage
Publications, 1991. Taylor-Powell E, Steele S, Douglas M. Planning a program evaluation. Madison, WI: University of
Wisconsin Cooperative Extension, 1996 (see web based entry on page 66). University of Toronto, Health Communication Unit at the Center for Health Promotion, Evaluating
Health Promotion Programs (see web based entry on page 66).
