605

AR

TIG

O A

RT

ICL

E

É possível avaliar um imperativo ético?

Is it possible to assess an ethical imperative?

1 Centro de Estudos,Pesquisa e Documentaçãoem Cidades Saudáveis(Cepedoc CidadesSaudáveis), SecretariaMunicipal de Saúde de São Paulo.Av. Dr. Arnaldo 715,01246-904, São Paulo SP.akermanm.ops@terra.com.br2 Cepedoc CidadesSaudáveis.3 Instituto de Saúde,Secretaria Estadual de Saúdede São Paulo, CepedocCidades Saudáveis.

Marco Akerman 1

Rosilda Mendes 2

Cláudia Maria Bógus 3

Abstract Stakeholders and institutions involvedin implementing public policies, of which healthpromotion is the main axis, have discussed theneed to improve evaluation processes in order toappropriately understand the results of these ac-tions. This issue has been approached with diverseemphasis – seeking elements that demonstrate theeffectiveness of the actions, and developing par-ticipatory evaluation tools that address the philo-sophical principles of the health promotion . Thisarticle briefly presents the main current perspec-tives of health promotion assessment based pri-marily on the following references: a book pub-lished by WHO, in 2001, updates the state-of-theart in evaluation of health promotion; an initia-tive by PAHO implemented in the past years withan emphasis on participatory evaluation meth-odologies; and a project on evidence and effective-ness carried out by IUHPE, as of 2002. Finally, itaddresses a set of values and principles that couldguide health promotion assessment. Moreover, thepaper discusses three critical variables related todeveloping a participatory evaluation process in ahealthy city project.These perspectives demon-strate the importance of establishing a conceptuallandmark for evaluation, and that health promo-tion assessment is not exempt from values andprinciples.Key words Assessment, Health promotion,Healthy city, public policies

Resumo Na implementação de políticas públi-cas que têm a promoção da saúde como eixo, ato-res sociais e instituições têm discutido a necessi-dade de aprimorar processos avaliativos para co-nhecer, adequadamente, os resultados de taisações. O tema tem sido abordado com ênfases dis-tintas: buscando elementos que evidenciam a efe-tividade das ações, e desenvolvendo ferramentasparticipativas de avaliação que contemplam osprincípios filosóficos do movimento da promoçãoda saúde. O artigo recupera as principais perspec-tivas quanto à avaliação em promoção da saúdetomando como principais referências: um livropublicado pela OMS em 2001 que atualiza o “es-tado da arte” em avaliação da promoção da saú-de, uma iniciativa da OPAS desenvolvida nos úl-timos anos, com ênfase na avaliação participati-va, e um projeto sobre evidências e efetividade daUIPES, desenvolvido a partir de 2002. Por fim, oartigo destaca um conjunto de valores e princípiosque podem nortear a avaliação em promoção dasaúde e, a partir da análise de uma experiência, otrabalho discute 3 variáveis críticas de um pro-cesso participativo de avaliação de um projeto demunicípio saudável. Estas perspectivas denotama importância de construir um marco conceitualpara a avaliação em promoção da saúde que nãoestá isenta de valores e de princípios.Palavras-chave Avaliação, Promoção da saúde,Município saudável, Políticas públicas

Ake

rman

,M.e

t al

.606606606606606606606606

Introdução

Na implementação de políticas públicas quetêm a promoção da saúde como eixo, atores so-ciais têm discutido a necessidade de aprimorarprocessos avaliativos para conhecer, adequada-mente, os resultados de tais ações. As institui-ções de investigação e gestão vêm se ocupandodo tema da avaliação, desenvolvendo metodo-logias de monitoramento e avaliação de pro-gramas, ações e atividades, para subsidiar aspolíticas públicas.

Destacamos que, mais que atender aos ape-los legítimos de financiadores de projetos, for-muladores de políticas e “tomadores” de deci-são em demonstrar a efetividade de procedi-mentos (WHO, 1998; Buvinich, 1999; Belloniet al., 2000), também estamos preocupados emcomo fazer com que uma metodologia de ava-liação possa contribuir para o aprendizado, aação e a transformação de práticas sociais.

Esta discussão não é nova, e permeia a lite-ratura de avaliação em promoção da saúde,tendo sido descrita como “um debate entre po-sitivistas e estruturalistas” (Wimbusch & Wat-son, 2000) que ainda não chegaram a nenhumconsenso sobre o que é efetividade em umcampo de intervenções tão complexas.

Vários autores e organismos internacionaisvêm abordando o tema da avaliação em pro-moção da saúde com ênfases distintas: a pri-meira busca elementos que evidenciam a efeti-vidade das ações, como por exemplo, os traba-lhos de Davies & MacDonald (1998), IUHPE(1999), Perkins et al. (1999), McQueen (2000;2002), Wimbush & Watson (2000), e outra quedesenvolve ferramentas participativas de avali-ação que contemplam os princípios filosóficosdo movimento da promoção da saúde, como,por exemplo, os trabalhos de Wallerstein et al.(1997) e Springett (1998).

Nutbean (1998) procura evitar a polariza-ção entre estes dois caminhos dizendo que éimportante fomentar desenhos que combinem asvantagens das diferentes abordagens de investi-gação, de maneira que se perceba qual estarámais adequada para cada estágio do programa.A avaliação deve ser formatada de acordo com asnecessidades e circunstâncias dos programas, poisnenhuma abordagem isolada será adequada pa-ra todos os tipos de programa.

Perspectivas em avaliação da promoção da saúde

A palavra perspectiva nos faz pensar em “olha-res”, “pontos de vista”, “aquilo que se espera nofuturo” ou, até mesmo, “esperança”.

Olhar em perspectiva pode significar, tam-bém, ver objetos guardando-se uma certa dis-tância. Certamente, não é a postura que adota-mos neste artigo, pois o nosso envolvimentocom este assunto é quase visceral e nos deixapleno de inquietações.

Sim, vamos trazer outros olhares e pontosde vista, pois o campo está eivado de distintasconcepções e práticas. Entretanto, vamos sereconômicos na apresentação desses outrosolhares para não sermos redundantes.

Uma das mais recentes publicações sobreavaliação em promoção da saúde (WHO, 2001)revela no seu título – Evaluation in health pro-motion: principles and perspectives (Avaliaçãoem promoção da saúde: princípios e perspecti-vas) – a mesma preocupação dos editores destenúmero da Ciência e Saúde Coletiva.

Vários dos capítulos contidos nessa publi-cação como, por exemplo, “A framework forhealth promotion evaluation” (“Um marcoconceitual para a avaliação em promoção dasaúde”) de Rootman et al. (2001); “Beyondprocess and outcome evaluation: a comprehen-sive approach for evaluating health promotionprogrammes” (“Além da avaliação de processoe resultados: uma abordagem ampliada paraavaliar programas de promoção da saúde”) dePotvin et al. (2001) e “Evaluation in health pro-motion: synthesis and recommendations”(“Avaliação em promoção da saúde: síntese erecomendações”) de Goodstadt et al. (2001)apresentam os principais aspectos do atual de-bate no campo da avaliação em promoção dasaúde.

Entretanto, vale frisar, que a perspectiva(“ponto de vista”) expressa no livro é, predo-minantemente, a dos países desenvolvidos, poisos autores envolvidos, por exemplo, no capítu-lo final, o de “síntese e recomendações” (Goods-tadt et al., 2001) estão inseridos em organiza-ções canadenses (Potvin et al., 2001, Goodstadtet al. 2001, Rootman, 2001), americana (McQueen& Anderson, 2001) e inglesa (Springett, 2001).

Por outro lado, importa saber que a pers-pectiva desses autores sobre promoção da saú-de não está guiada pelos cânones da biomedi-cina e que eles se guiam pelos princípios do“empoderamento”, da integralidade, da partici-

Ciên

cia & Saú

de C

oletiva,9(3):605-615,2004

607

pação, da intersetorialidade, da eqüidade, dasustentabilidade e da combinação de estraté-gias múltiplas para promover saúde como for-mulação de políticas públicas, mudanças orga-nizacionais, desenvolvimento social, leis, advo-cacia, educação e comunicação (Rootman,2001).

Quanto à avaliação, a perspectiva propostapelos idealizadores do livro é a de estimular eapoiar abordagens e práticas inovadoras de ava-liação em promoção da saúde (Rootman, 2001).E para tal, os autores identificaram nove im-portantes dimensões que poderiam fertilizar oterreno para que iniciativas inovadoras sobreavaliação em promoção da saúde possam pro-liferar: 1) é um campo em evolução; 2) podecontribuir para a prática; 3) padece da falta dedemonstração de evidências de efetividade deiniciativas concretas; 4) envolve uma gama am-pla de abordagens e modelos; 5) oferece possi-bilidade de utilização de abordagens tantoquantitativas quanto qualitativas; 6) utilizauma grande quantidade de disciplinas e abor-dagens da área de ciências sociais; 7) tem comobase uma gama variada de modos de planejaras iniciativas; 8) requer teoria e marco concei-tual para ser efetiva; e 9) propicia novos papéispara avaliadores e pesquisadores (Goodstadt etal., 2001).

Uma outra perspectiva neste campo, dignade nota, é a iniciativa da Organização Pan-Americana da Saúde (OPAS) em indicar dire-trizes para formuladores de política e gestoresno que concerne à avaliação em promoção dasaúde (PAHO, 2004a), além de desenvolver ummarco conceitual e metodologias para a avalia-ção participativa de ações comunitárias e inter-setoriais voltadas para a promoção da saúde(PAHO, 2004b).

Nessas duas abordagens, foi considerada aperspectiva de países em desenvolvimento, poiso grupo responsável pela elaboração deste ma-terial contou com representantes de países daAmérica do Sul e Central. Sua perspectiva estácalcada na advocacia de políticas públicas vol-tadas para a promoção da saúde e na participa-ção ativa dos sujeitos das iniciativas no proces-so avaliativo.

O “Global Programme on Health Promoti-on Effectiveness” (Programa Global em Efetivi-dade da Promoção da Saúde) impulsionadopela União Internacional de Promoção e Edu-cação em Saúde (UIPES) a partir de 2002, emcolaboração com a Organização Mundial daSaúde (OMS) é, também, uma outra perspecti-

va sobre avaliação em promoção da saúde, quepode ser consultada na página www.iuhpe.org– clicando na “página principal” em projects.Esta iniciativa está representada em todas as re-giões do mundo, sendo que a iniciativa Latino-Americana denomina-se Proyecto sobre Evi-dencias de Efectividad en Promoción de la Sa-lud. Dentre vários objetivos que se propõeatingir, a iniciativa busca demonstrar para osgestores a efetividade da promoção da saúde epara tal apoiará o desenvolvimento de projetosde avaliação neste campo. Concentra sua pers-pectiva, então, em construir uma base de evi-dências em promoção da saúde.

Ainda vale referir algumas observações im-portantes feitas por Restrepo (2001). Ela enfa-tiza que a avaliação deve ser considerada partedo planejamento das iniciativas de promoçãoda saúde e, assim, a prática avaliativa deve serdesenvolvida por meio de um planejamentoque potencialize a participação social e a sus-tentabilidade das ações.

Especificamente, quanto à avaliação deprojetos e iniciativas de municípios saudáveis,Werna & Harpham (1995) já recomendavam acombinação de indicadores de processo – emespecial os relacionados com os processos departicipação e de fortalecimento da comunida-de e das instituições – e de impacto, conside-rando o tempo de desenvolvimento das ações eo contexto local e a priorização dos problemas,sem sobrepor indicadores internacionais sobreaqueles gerados no nível local .

Por fim, Hartz (1999; 2000) ressalta que oprocesso de avaliação envolve a coleta de dadose o processamento e análise da informação. As-sim, é fundamental um planejamento adequa-do desde o início para que a coleta do materialatenda às perguntas que se pretende responder.A avaliação supõe a utilização de um conjuntode modelos, instrumentos e técnicas. É funda-mental a construção de um modelo teórico, ex-plicitando como se espera que a política e/ou oprograma exerça sua influência e a existênciade dispositivos institucionais que regulamen-tem o processo de avaliação, além da pluralida-de metodológica.

Introduzindo a nossa perspectiva

Uma perspectiva, olhar ou ponto de vista, nãodeve estar descolada do lugar de onde se situa“quem olha” ou “emite pontos de vista”, mes-mo que este olhar e opinião sejam efetuados à

Ake

rman

,M.e

t al

.608608608608

distância, como quando se olha em perspectivaquadros em uma exposição ou se analisamproblemas.

Mesmo na distância, os pés do sujeito queolha algo ou, enuncia postulados, estão firmesem um determinado chão.

Os autores deste artigo enunciam sua pers-pectiva de um lugar social e acadêmico relacio-nado com a promoção da saúde: 1) estão en-volvidos em uma das perspectivas, acima,enunciadas, pois são membros do grupo queelaborou e testou os materiais e recursos paraavaliação participativa promovida pela OPAS(PAHO, 2004b); 2) são membros da diretoriado Cepedoc – um centro de documentação einvestigação que concentra suas atividades depromoção da saúde em iniciativas de municí-pios saudáveis no Estado de São Paulo; 3) esti-veram envolvidos nos últimos três anos comuma iniciativa concreta de avaliação participa-tiva no município de Bertioga, SP (Akerman etal., 2002b); e 4) pesquisam outras agendas ur-banas que promovam a participação social e aintersetorialidade (Mendes et al., 2002), poisentendem não ser prerrogativa do “municípiosaudável” a contribuição exclusiva para a for-mulação de políticas públicas integradas, parti-cipativas, eqüitativas e sustentáveis.

Tudo que vale a pena ser feito, vale a penaser avaliado. Por isso, compartilhamos com vá-rios atores sociais suas indagações sobre “sefunciona, ou não”, o que estamos fazendo e so-bre qual é o objeto da nossa atuação (Quadro 1).

Esses depoimentos reforçam a necessidadede termos de demonstrar como as iniciativasparticipativas e intersetoriais voltadas para aformulação de políticas públicas direcionadaspara a melhoria da qualidade de vida produ-zem mudanças. Neste sentido, a avaliação cum-priria um papel que não é absoluto em deter-minar, ou não, a validade deste tipo de iniciati-vas, mas um eixo reflexivo sobre caminhos(Akerman et al., 2002a).

Avaliar é produzir um “juízo de valor oumérito” para alguma ação humana sobre o am-biente social. Utiliza-se, para tal intento, umconjunto de procedimentos metodológicos.Nos primórdios, avaliadores consideravam queos fatos “falavam por si mesmos” e que a avali-ação era isenta de valores. Esta teoria vem sen-do cada vez mais criticada dado que os progra-mas sociais sempre trazem valores implícitos.

O campo da promoção da saúde é exemplarneste sentido, pois está permeado de valoresem disputa, e isto re-significa o processo avali-ativo que contemplaria em seu desenho a ex-plicitação de óticas, valores e princípios.

Quadro 1 Manifestações de atores sociais relacionados com objetivos e “resultados”de iniciativas de municípios saudáveis.

• Vocês acham que dizer aos prefeitos de cidades brasileiras que uma iniciativa de município saudável “empodera” a população é suficiente para eu influenciá-los a ingressar no movimento?

Depoimento do coordenador do projeto Promoção da Saúde do Ministério da Saúde em reuniãorealizada em 2001 com especialistas para discutir formas de advogar a iniciativa de municípios saudáveis junto com os prefeitos.

• Como saber se uma cidade está se tornando saudável? / Que resultados concretos vocês têm que podem demonstrar a melhora da qualidade de vida nas cidades onde vocês atuam?

Perguntas de jornalistas em entrevistas concedidas pela equipe do Cepedoc Cidades Saudáveis sobre as iniciativas que apoiamos.

• Desde o início eu pensei que estávamos aqui para melhorar a conscientização da população e não para resolver os problemas de esgoto da cidade.

Questionamento de um membro da Comissão Intersetorial do Projeto Bertioga Município Saudável em uma reunião de avaliação da iniciativa.

Ciên

cia & Saú

de C

oletiva,9(3):605-615,2004

609

Valores e princípios que podem guiar a avaliação em promoção da saúde

Promover saúde é promover a vida. É compar-tilhar possibilidades para que todos possam vi-ver seus potenciais de forma plena. É percebera interdependência entre indivíduos, organiza-ções e grupos populacionais e os conflitos de-correntes desta interação. É reconhecer que acooperação, solidariedade e transparência, co-mo práticas sociais correntes entre sujeitos,precisam ser, urgentemente, resgatadas. Pro-mover a saúde é uma imposição das circuns-tâncias atuais que apontam para a necessidadeimperiosa de novos caminhos éticos para a so-ciedade.

Para que a promoção da saúde, então, sejapraticada nessa perspectiva e não apenas comoum conjunto de procedimentos que informame capacitam indivíduos e organizações ou quecontrolem determinantes de grupos popula-cionais, a sua avaliação poderia contribuir comeste caminho, e não sendo, então, um procedi-mento meramente técnico, explicitaria valorese princípios.

Com o intuito de aprofundar esse debate,em fevereiro de 2001, um grupo de trabalhoapoiado pela Organização Pan-Americana daSaúde (OPAS), e que contou com a participa-ção de dois dos autores deste artigo, reuniu-seem Antígua (Guatemala) e aprofundou o deba-te da avaliação de políticas e/ou programas depromoção da saúde. Por meio de uma metodo-logia participativa, o grupo pactuou um con-junto de valores e princípios norteadores daavaliação em promoção da saúde. O quadro 2,adaptado pelos autores do presente artigo,mostra o resultado desse trabalho.

Não se pretende com os valores e princípiosacima enumerados estabelecer uma “bula” paraa avaliação. O “deve ser” explicitado nas condi-ções, características condições dos princípiosapontados, mais que um “dever” do processoavaliativo, é um posicionamento que delimitao “direito” dos sujeitos da avaliação.

A avaliação de um projeto ou programa,usualmente, mede, após um período de sua re-alização, se foram atingidos ou não os objeti-vos propostos e, muitas vezes, estabelece umalinha de base de medida em relação ao iníciodo projeto ou programa. Um empreendimentosocial participativo e intersetorial, em que hajauma pluralidade de perspectivas e uma alta ro-tatividade de atores que participam, possui um“alvo móvel”; e um objetivo estabelecido, por

exemplo, no começo da iniciativa, pode não es-tar mais ativo e em seu lugar terem surgido ou-tros objetivos. Esta característica, também,compromete a construção de uma linha de ba-se analítica e respectivos indicadores. Então,uma avaliação focada na análise do alcance deobjetivos de médio e longo prazo pode não seradequada, mas avaliações participativas e emtempo real poderiam minimizar esta questão.

O caso do Projeto Bertioga Município Sau-dável (PBMS) ilustra esta reflexão.

O caso de Bertioga: um processo de avaliação e suas variáveis críticas

O Projeto Bertioga Município Saudável (PBMS)iniciou suas atividades em março de 2000, apartir do estabelecimento do convênio de coo-peração entre a Universidade de São Paulo(USP) e a Prefeitura do Município de Bertioga(Faculdade de Saúde Pública, 2000).

A estância balneária de Bertioga está loca-lizada no litoral do Estado de São Paulo na re-gião Administrativa da Baixada Santista daqual fazem parte outros oito municípios. Deacordo com o último censo de 2000 a popula-ção possui cerca de 32.000 residentes, sendoque nos meses de dezembro a fevereiro chega a250.000 habitantes.

O PBMS priorizou nesse primeiro ano asações de intervenção por meio da metodologiada pesquisa-ação, técnicas participativas, visan-do à mobilização de atores sociais e a criaçãode espaços coletivos de discussão e de fomentodo projeto nas diversas regiões do município.

No período de três anos, foram realizadoslevantamentos das lideranças locais, capacita-ções, oficinas de trabalho e reuniões periódi-cas, com o objetivo de mobilizar e envolver asociedade civil e setores do governo, em umprocesso de identificação dos problemas e defi-nição de estratégias de negociação e definiçãode políticas públicas locais.

Imbuídos da necessidade de buscar cami-nhos metodológicos para a avaliação deste con-texto de ações e vontades nos deparamos comdesafios críticos ao seu desenvolvimento quecompartilhamos com o leitores.

A primeira variável crítica

Definição de um desenho metodológico ava-liativo suficiente para captar todos os aspectosenvolvidos em projetos dessa natureza, que pres-

Ake

rman

,M.e

t al

.610610610

Quadro 2Valores, princípios e condições para avaliação da promoção da saúde.

Valores/Princípios Condições

Eqüidade, Justiça Social e Solidariedade

Contextualizar a iniciativa que se quer avaliar

Ter sentido prático

Oportunizar a participação como espaço para a inclusão social

Estar ancorada em múltiplos métodos

Estar comprometida com o fortalecimento de grupos sociais

Conduzir para um processo de aprendizagem dos atores sociais envolvidos

(continua)

• O processo avaliativo deve revelar todas as premissas teóricas, ideológicas epolíticas sobre as quais se baseia e explicitar as relações de poder existentes,incluindo aquelas que envolvem o avaliador.

• A avaliação deve levar em conta a diversidade e ser um instrumento de reflexãosobre como a iniciativa trata as iniqüidades.

• A avaliação deve respeitar e valorizar os conhecimentos e as experiências locais.• A avaliação deve transmitir um espírito de esperança, felicidade, amor e alegria.

• O processo da avaliação deve levar em consideração o contexto local dainiciativa, inclusive as barreiras e os elementos facilitadores.

• A avaliação deve reconhecer e explicitar as diferenças das identidades culturais,sociais e econômicas entre os distintos focos da avaliação, sejam eles populações,grupos sociais, comunidades, organizações, indivíduos.

• O processo avaliativo deve ser capaz de responder: “quem”, “por que” e “como”.• A avaliação deve estar integrada ao planejamento e orientada para a ação e para a

mudança.• O processo avaliativo deve contribuir para a criação de novos recursos na

comunidade.• A avaliação deve reconhecer a necessidade de criar variadas formas de divulgar

resultados e de fortalecer os grupos sociais.

• O processo avaliativo deve envolver de forma apropriada aqueles que possueminteresse legítimo na iniciativa.

• A avaliação deve garantir que os grupos sociais, que estão tendo sua saúde equalidade de vida afetados pela iniciativa, participem do processo avaliativo.

• A avaliação deve garantir que os grupos, tradicionalmente excluídos das políticaspúblicas, possam compartilhar e apropriar-se tanto do processo deimplementação da iniciativa, quanto da avaliação propriamente dita.

• A multiplicidade de métodos deve refletir os princípios da promoção da saúde.• A avaliação deve utilizar uma combinação equilibrada de métodos, técnicas e

instrumentos qualitativos e quantitativos.• A avaliação deve obter informação de distintas fontes de dados.• A avaliação deve focar em estrutura, processo e resultados de curto ou longo

prazo, dependendo do estágio da iniciativa.• O processo avaliativo deve produzir indicadores que sejam oportunos e

apropriados ao contexto da iniciativa.

• A avaliação deve se basear nas potencialidades da comunidade.• A avaliação deve apoiar a solução de problemas locais.• A avaliação deve assegurar a eqüidade, permitindo que todos os atores sociais

sejam ouvidos, principalmente aqueles advindos dos grupos mais vulneráveis ecom menor poder.

• A avaliação deve gerar informação que possa ser usada para a advocacia dapromoção da saúde.

• A avaliação deve estimular o co-aprendizado entre atores.• O processo avaliativo deve encorajar o diálogo e a reflexão e facilitar todas as

formas de desenvolvimento do conhecimento para todos os envolvidos.• A avaliação deve reconhecer que aprendizagem é a chave para o desenvolvimento

de capacidades para os grupos e organizações locais.• A avaliação deve conduzir para a ação e para a mudança.

Ciên

cia & Saú

de C

oletiva,9(3):605-615,2004

611

supõem a elaboração de agendas locais partici-pativas e o fortalecimento dos sujeitos sociais.

Optou-se por um desenho metodológicoque privilegiava o componente participativo.Foi realizada, permanentemente, a avaliaçãoformativa ou de processo, que tinha por objeti-vo prover informações essenciais sobre o pro-cesso desenvolvido, para facilitar a introduçãode mudanças durante a ação em Bertioga. To-das as atividades descritas têm registros de per-cepções e sugestões que foram sendo incorpo-radas visando solucionar problemas não pre-vistos no planejamento e se certificar de que ocaminho a ser percorrido levaria a resultadosesperados inicialmente.

Assim, cada passo concluído resultou naelaboração de recomendações específicas quedeveriam promover mudanças necessárias e ca-minhos futuros a serem perseguidos pelo pro-jeto. Foram utilizadas técnicas participativasque favoreceram a integração das pessoas, quepuderam opinar, esclarecer suas dúvidas e de-fender pontos de vista diferentes.

Esse tipo de avaliação formativa pode sertraduzida como um elemento motivador, noqual os envolvidos puderam acompanhar o seupróprio desenvolvimento. Trata-se de uma ava-liação que “olha para frente”, para correções ouadequações e procura afetar as decisões coti-dianas, operativas. Portanto, esse tipo de avali-ação, também chamada de avaliação contínua,é realizada durante a implantação do projeto,ou em sua fase de operação, para indicar quali-tativamente o grau de mudança produzida, emrelação ao processo e envolvimento dos atores(Cohen & Franco, 1994; Contandriopoulos etal., 2000).

A esta avaliação participativa que já se de-senvolvia foi incorporado o caminho imple-mentado pela Parceria do Novo México, quepublicou um manual completo para o desen-volvimento de proposta participativa em avali-ação – Participatory evaluation workbook forcommunity initiatives (Wallerstein et al., 1997;2002).

Este material, produzido na Universidadedo Novo México, foi sendo readaptado a partirda constituição de um grupo de trabalho daOrganização Pan-Americana da Saúde (Was-hington/EUA) e se transformou em Participa-tory evaluation of healthy municipalities: a prac-tical resource kit for action, finalizado em agos-to de 2003, e que será aplicado por meio da re-alização de estudos multicêntricos em váriospaíses das Américas, entre os quais o Brasil.

Essa avaliação participativa desenvolve-seem oito estágios que se complementam e se re-troalimentam, simultaneamente: 1) comparti-lhar uma história comum; 2) criar uma visãocomum de futuro; 3) identificar os diversosatores com interesse no processo avaliativo; 4)identificar metas, objetivos e indicadores; 5)identificar estratégias para se alcançar metas;6) coletar dados e construir indicadores; 7)analisar dados; e 8) comunicar resultados(Wallerstein et al., 1997) (Figura 1).

Este processo pressupõe: um desenho com-partilhado entre comunidade, técnicos e finan-ciadores; que as habilidades e conhecimentosproduzidos no desenrolar do programa sejamtransferidos para os membros da comunidade;que haja contínuo processo de retroalimenta-ção e reflexão e, finalmente, pressupõe um en-volvimento de diferentes atores sociais no pro-cesso de avaliação.

Quadro 2 (continuação)Valores, princípios e condições para avaliação da promoção da saúde.

Valores/Princípios Condições

Ser consistente com os propósitos da promoção da saúde

• A avaliação deve se adaptar ao contexto local.• A avaliação deve demonstrar sensibilidade para a complexidade e para a

dinâmica do contexto.• A avaliação deve refletir as necessidades dos envolvidos.• A avaliação deve ser viável em termos dos recursos locais envolvidos.• A avaliação deve ser acessível e entendida por todos os envolvidos.• A avaliação deve ser planejada por todos os atores sociais envolvidos.• A avaliação deve estar sustentada nas concepções básicas da iniciativa.

Ake

rman

,M.e

t al

.612

Figura 1Passos do processo de avaliação.

Fonte: Wallerstein N, Maltrud K & Polacsek M. Participatory evaluation workbook for community initiatives – Healthier Communities. New Mexico – 1997.

A segunda variável crítica

Decisão quanto ao foco da avaliação, pois is-to significa definir e/ou rever as próprias metaspropostas pelos projetos.

A metodologia proposta pelo material pre-via, inicialmente, a definição de princípios. Ogrupo debateu a lista preliminarmente propos-ta e agregou outros princípios que representa-vam aspectos do contexto local.

Essa etapa foi desenvolvida por uma Comis-são de Avaliação, em várias reuniões e o consen-so foi facilmente alcançado. No entanto, após adefinição dos princípios, iniciou-se a discussãodos objetivos e metas da avaliação, ou seja, fo-ram formuladas “perguntas avaliativas” que po-deriam permitir refletir sobre o que avaliar doprocesso vivenciado na iniciativa e onde chegar.Partiu-se de questões simples, que direciona-

ram o “olhar avaliativo”: O que é avaliar? Comochegamos até aqui? O que fazer para que a ava-liação seja melhor? Essa discussão realizadacom a Comissão Intersetorial permitiu o apro-fundamento de algumas questões metodológi-cas, como por exemplo, a importância da defi-nição clara e precisa dos objetivos de uma avali-ação, as questões de representatividade e a ex-plicitação dos princípios do processo avaliativo.

Esse foi o momento em que surgiram asmaiores dificuldades. O grupo de atores sociaisque se formou em torno da iniciativa BertiogaMunicípio Saudável encontrou, inicialmente,dificuldades para atingir grau de consenso emrelação a metas e objetivos que fossem de inte-resse comum.

Apesar de individualmente serem atoresque já participavam de outras organizações so-ciais, a sua agregação em torno de um movi-mento, como o Projeto Município Saudável, que

1Compartilhar uma história

4Identificar metasobjetivos eindicadores

5Identificarestratégias para se alcançar metas

3Identificar os diversosatores com interesseno processo avaliativo

2Criar uma visãocomum

8Comunicarresultados

7Analisar dados

6Coletar dados e construirindicadores

{

Início

vv

v

v

v

v

v v

Ciên

cia & Saú

de C

oletiva,9(3):605-615,2004

613

considera a cidade um todo, trouxe um grau decomplexidade para a definição de metas e ob-jetivos comuns diferentes de suas práticas vivi-das anteriormente, mais segmentadas e especí-ficas dentro de territórios mais bem definidos,isto é seus bairros de origem.

Inicialmente, considerou-se que as metas eos objetivos do processo de avaliação pudessemser definidas em função da lista de problemasexistentes na saúde, na educação, na habitação,no meio-ambiente, no saneamento, etc., que fo-ram identificados em todas as oficinas realiza-das pelo PBMS. Porém, esse caminho foi infru-tífero porque o grupo não conseguiu identifi-

car as ações relacionadas com os problemas le-vantados. O que havia era a percepção dessegrupo de participantes de que outras iniciati-vas no município poderiam fortalecer o ideá-rio do movimento de municípios saudáveis.

As reflexões, desencadeadas no processo deavaliação, junto com a atividade de identifica-ção de iniciativas locais que estivessem desen-volvendo ações concretas sobre problemas per-cebidos pela sociedade, permitiram traçar umobjetivo comum: articular e apoiar a formaçãode uma rede social de iniciativas locais.

A citação de uma participante da populaçãoe da equipe de avaliação explicita o objetivo a ser

Figura 2Modelo lógico: fortalecimento de iniciativas saudáveis.

Criar critérios para definir uma iniciativa saudável

Mapear iniciativassaudáveis

Realizar Encontro em dezembro de 2002

Realizar Oficinas de Sensibilização

Criação de espaçoscomuns

Registro de todas as iniciativas

Identificação das necessidades das iniciativas

Capacitação das Iniciativas

Identificar as iniciativas saudáveisde Bertioga

Criar cooperação entre as iniciativas

Criar espaços de comunicação entre as iniciativas

Fortalecimento de cada Projeto

Fortalecer iniciativassaudáveisv

vv

v

v

vvv

v

v

v

v

v

v

vv

Ake

rman

,M.e

t al

.614

Colaboradores

M Akerman, R Mendes & CM Bógus trabalharam na defi-nição do tema e dos aspectos abordados, pesquisa biblio-gráfica, acompanhamento da experiência Projeto Bertio-ga Município Saudável, análise dos dados, redação final ena revisão do artigo

avaliado: o papel do Projeto Bertioga MunicípioSaudável em aumentar a coesão social na cidadede Bertioga. Com isto o Projeto Bertioga Muni-cípio Saudável irá fortalecer e ser fortalecido poriniciativas já existentes, mas que atuam isolada-mente. Estaremos fomentando estas células paraque se transformem num grande organismo e estaserá a nossa base para empreitadas maiores.

A formulação de um marco lógico avaliati-vo (Jordan, 1999; Pfeiffer, 2000), em que ativi-dades, estratégias, objetivos e metas são explici-tadas (componente cinco do “ciclo avaliativo”),foi realizada como uma possibilidade de clarearos objetivos e metas do processo avaliativo. Es-perava-se que este modelo pudesse auxiliar nadefinição dos dados a serem coletados e dos in-dicadores a serem construídos e monitorados(Figura 2). Mas o marco lógico não conseguiuser incorporado como um elemento da avalia-ção. Algumas hipóteses podem ser levantadaspara justificar isso: ele não parece ter tido a ca-pacidade de captar todas as dinâmicas presen-tes e também exigia um grande esforço de siste-matização e retroalimentação da iniciativa.

A terceira variável crítica

Incorporação, na gestão, dos elementos decor-rentes da prática avaliativa.

Uma pesquisa, realizada em 2002, na qualgestores de quatro cidades paulistas, incluindoBertioga, foram entrevistados quanto à incor-poração da avaliação na gestão local, apontou adesvalorização do processo em curso na cidade(Mendes et al., 2002). O depoimento de um as-sessor indica como o gestor entende a questão:a avaliação das políticas públicas da cidade é re-alizada através do prefeito, um conhecedor pro-fundo da comunidade. Isto indica a resposta aotrabalho da administração. Ele tem claro um di-agnóstico. Uma única vez que se consultou umapessoa de fora da cidade, que utilizou um instru-mento sistematizado de pesquisa, concluiu-seque a sua avaliação era igual à percepção do pre-

feito (...) o prefeito é da área de saúde e sabe dosproblemas da área.

Isso só reitera as dificuldades encontradasno desenvolvimento do projeto na cidade, on-de o gestor local pouco se envolveu e investiucom um trabalho compartilhado de co-respon-sabilidade. Então, deve-se concluir que nãohouve nenhuma intervenção na gestão local?Ao contrário, do que possa parecer, ocorreu aelaboração de uma proposta para o Plano Di-retor de Bertioga, pela comunidade envolvidano projeto, que vem sendo debatido com a Câ-mara Municipal (Comaru, 2004). Ou seja, odesejo por uma cidade melhor tem se manifes-tado na arena política.

Observações finais

O caminho percorrido pelo artigo retratou odebate corrente que se processa no campo daavaliação em promoção da saúde.

As três perspectivas internacionais assinala-das (Rootman et al., 2001; PAHO, 2004a; 2004b;IUHPE, 2002) e a perspectiva dos autores desteartigo, fundada na sua prática concreta de ava-liação, representam, de alguma maneira, o de-bate travado na literatura e nos fóruns de pro-moção da saúde no Brasil e no mundo.

Estas perspectivas denotam a busca porum marco conceitual para a avaliação, a neces-sidade de se advogar aos “tomadores” de deci-são a prática sistemática da avaliação, o uso demúltiplos métodos para a construção de umabase de evidências e os dilemas advindos de suaaplicação.

Enfatizamos que a avaliação em promoçãoda saúde não está isenta de valores e de princí-pios e que estes precisam ser explicitados pelosatores da avaliação como “roteiro” ético doprocesso avaliativo.

Este debate seguirá evoluindo, mas já exis-te um consenso: de que necessitamos, cada vezmais, de boas práticas avaliativas e de boas prá-ticas em promoção da saúde.

Agradecimentos

Agradecemos a contribuição da professora Nina Wallers-tein da Universidade do Novo México (EUA), nas discus-sões e na elaboração do Marco Lógico do Projeto BertiogaMunicípio Saudável.

Ciên

cia & Saú

de C

oletiva,9(3):605-615,2004

615

Referências bibliográficas

Akerman M et al. 2002a. Avaliação em promoção dasaúde: foco no município saudável. Revista de SaúdePública 36(5):638-646.

Akerman M, Mendes R, Bógus CM, Westphal MF &Wallerstein N 2002b. Desarrollo de metodología deevaluación participativa en municipiso saludables.Anais do II Congreso Chileno de Promoción de laSalud, p. 145, Santiago, Chile.

Belloni I, Magalhães H & Sousa LC 2000. Metodologia deavaliação em políticas públicas. Cortez, São Paulo.(Coleção Questões da nossa época; v. 75).

Buvinich R 1999. A importância da avaliação de progra-mas e projetos sociais. Fundação Banco do Brasil. Vi-vavoz. setembro: 8.

Cohen E & Franco R 2000. Avaliação de projetos sociais. 4a

ed. Vozes, Petrópolis.Comaru FA 2004. Políticas de habitação e desenvolvimento

urbano em municípios saudáveis: o caso de Bertioga.Tese de doutorado. Faculdade de Saúde Pública daUniversidade de São Paulo.

Contandriopoulos AP, Champagne F, Denis JL & PineaultR 2000. A avaliação na área da saúde: conceitos e mé-todos, pp. 29-47. In ZMA Hartz (org.). Avaliação emsaúde: dos modelos conceituais à prática na análise daimplantação de programas. 1a reimpressão. Fiocruz,Rio de Janeiro.

Davies JK & MacDonald G 1998. Evidence and effective-ness in health promotion: striving for certainties, Rout-ledge, Londres.

Faculdade de Saúde Pública da Universidade de São Pauloe Prefeitura Municipal de Bertioga 2000. ProjetoBertioga Município Saudável. Relatório Técnico.

Goodstadt M et al. 2001. Evaluation in health promotion:synthesis and recommendations, pp. 517-533. InWHO-Europe Evaluation in Health Promotion: princi-ples and perspectives. WHO-Europe, Copenhague.

Hartz ZMA 1999. Avaliação dos programas de saúde: pers-pectivas teórico-metodológicas e políticas institu-cionais. Ciência & Saúde Coletiva 4(2):341-353.

Hartz ZMA 2000. Explorando novos caminhos na pes-quisa avaliativa das ações de saúde, pp.19-28. In ZMAHartz. (org.). Avaliação em saúde: dos modelos con-ceituais à prática na análise da implantação de progra-mas. 1a reimpressão. Fiocruz, Rio de Janeiro.

[IUHPE] International Union for Health Promotion andEducation 1999. The Evidence of Health Promotion Ef-fectivenesss. ECSC-EC-EAEC, Luxemburgo.

[IUHPE] International Union for Health Promotion andEducation 2002. Global Programme on Health Promo-tion Effectiveness. Disponível em <www.iuhpe.org>

Jordan G 1999. The state of the art of logic modeling. Amer-ican Evaluation Association Conference.

McQueen D 2000. Strenthening the Evidence Base ForHealth Promotion. A Report on Evidence for theFifthh Global Conference on Health Promotion.Méxic (DF): WHO.

McQueen D 2002. The evidence debate. Journal of Epi-demiological Community Health 56(2):83-84.

Mendes R, Bógus CM & Akerman M 2002. A percepçãodos gestores municipais sobre projetos de melhoriade qualidade de vida nas cidades. Anais da 3a Con-ferência Regional Latino-Americana de Promoção daSaúde e Educação para a Saúde. São Paulo.

Nutbean D 1998. Evaluating health promotion – progress,problems and solutions. Health Promotion Interna-tional 13(1):27-44.

[PAHO] Pan-American Health Organization 2004a.Health Promotion evaluation: Recommendations forPolicymakers in the Americas. Washington DC (noprelo).

[PAHO] Pan-American Health Organization 2004b.Paticipatory Evaluation of Healthy Municipalities: apractical resource kit for acction. Washington DC (noprelo).

Perkings ER, Sinmett I & Wright L 1999. Evidence-basedhealth promotion. Wiley, Inglaterra.

Pfeifer P 2000. O quadro lógico: um método para plane-jar e gerenciar mudanças. Revista do Serviço Público51(1):81-123.

Potvin L, Haddad S & Frohlich KL 2001. Beyond processand outcome evaluation: a comprehensive approachfor evaluating health promotion programmes, pp.45-62. In WHO-Europe Evaluation in Health Promo-tion: principles and perspectives. WHO-Europe,Copenhagen.

Restrepo H 2001. Generalidades sobre evaluación de ex-periencias y proyectos de promoción de la salud, pp.212-217. In H Restrepo & H Málaga (orgs.). Promo-ción de la salud: cómo construir vida saludable. Edito-rial Médica Panamericana. Bogotá.

Rootman I, Goodstadt M, Potvin L & Springett J 2001. Aframework for health promotion evaluation, pp. 7-38. In WHO-Europe Evaluation in Health Promotion:principles and perspectives. WHO-Europe, Copenha-gue.

Springett J 1998. Practical Guidance on Evaluationg HealthPromotion. WHO-Europe, Copenhague.

Wallerstein N, Maltrud K & Polacseck M 1997. Participa-tory Evaluation Workbook for Community Initiatives.New Mexico Department of Health, Public HealthDivision, Healthier Communities Unit.

Wallerstein N, Maltrud K & Polacseck M 2002. Participa-tory evaluation model for coalitions: the develop-ment of system indicators. Health Promotion Practice3(3):361-373.

Werna E & Harpham T 1995. The evaluation of healthycity projects in developing countries. Habitat Inter-national. 19(3):1-13.

[WHO] WHO Regional Office for Europe. 1998. HealthPromotion Evaluation: recommendations to policy-makers. Copenhagen.

[WHO] WHO Regional Office for Europe. 2001. Evalua-tion in Health Promotion: principles and perspectives.WHO-Europe. Copenhague.

Wimbusch E & Watson J 2000. An evaluation frameworkfor health promotion: theory, quality and effective-ness. Evaluation 6(3):301-321.

Artigo apresentado em 24/4/2004Aprovado em 20/06/2004Versão final apresentada em 26/6/2004