Aprender a definir e melhorar estratégias organizacionais através da avaliação

Professora Patricia RogersBetterEvaluaçãoRoyal Melbourne Institute of Technology, Melbourne, Australia

Avaliação para o Investimento Social Privado: Estratégia Organizacional

www.betterevaluation.org

2

Aprender a definir e melhorar as estratégias organizacionais através da avaliação

2

A avaliação para definir e melhorar estratégias

organizacionais

O que queremos dizer com avaliação?

Diferentes tipos de avaliação

nos diferentes estágios de um programa ou projeto

Como apoiar o aprendizado

através da avaliação?

2

3RMIT University

Avaliação

Combina valores e evidência para responder a perguntas como:

• Estamos fazendo a coisa certa?

• Estamos fazendo as coisas de maneira certa?

3 3

4RMIT University

Uma visão estreita, menos útil da avaliação – vem no final, e foca a pergunta: “Cumprimos nossos objetivos”?

4

Mainstreaming Social Inclusion http://www.europemsi.org/index.php

Implementação

1. Rationale

2. Objectivos3. Apreciação

4. Monitoramento

5. Avaliação 6. Feedback

4

Análise Situacional –necessidades e oportunidades

Desenho de programa ou política

Implementação das atividades e gerenciamento em curso

Melhoria contínua

Resultados e impactos Avaliação

(incluindo o monitoramento)

Uma visão mais ampla, mais útil da avaliação – feita ao longo do ciclo da política/programa

Baseado em Funnell 2006 Designing an Evaluation

O que é necessário? O que devemos dar

conta?

Como deveria ser feito isto?

Como está indo?Como podemos

melhorar à medida que avançamos?

Funcionou? Valeu a pena?

5

6

Tipos de avaliação – classificação por foco e momento

Análise das necessidades O que é preciso? Quais são as necessidades não atendidas?

Desenho da intervenção Qual a mehor maneira de desenhar a intervenção?

Monitoramento Como está indo o processo? (Relatórios regulares das métricas)

Avaliação do processo Como está indo? (pesquisas periódicas)?A implementação está indo de acordo com o planejado? O que foi feito em um programa inovador?

Resultado/Avaliação do impacto

Que mudanças ocorreram? Para quem?

Avaliação Econômica A intervenção foi custo/efetiva? (comparada às alternativas)? Qual foi a relação custo/benefício?

Adaptado de Owen (2006), Rossi, Lipsey & Freeman (2003)

6

7RMIT University

A avaliação para definir estratégias organizacionais

7

O ABC DO PLANEJAMENTO ESTRATÉGICO

AONDE VOCÊ ESTÁ Missão e mandatos Estrutura e Sistemas

ComunicaçõesProgramas e Serviços

Pessoas e capacidadesOrçamento

Apoio

BAONDE VOCÊ QUER

Missão e mandatosEstrutura e Sistemas

ComunicaçõesProgramas e Serviços

Pessoas e capacidadesOrçamento

Apoio

CCOMO CHEGAR LÁPlano estratégicoplanos de TI e

RHComunicaçõesContratações e treinamentoReestruturação e

EngenhariaAlocação orçamentária

QUESTÕES ESTRATÉGICAS

Visão, Missão e Meta

Formulação da Estratégia

Imple

men

taçã

o da

Estr

atég

ia

7

8RMIT University

A avaliação para definir estratégias organizacionais

8

O ABC DO PLANEJAMENTO ESTRATÉGICO

AONDE VOCÊ ESTÁ Missão e mandatos Estrutura e Sistemas

ComunicaçõesProgramas e Serviços

Pessoas e capacidadesOrçamento

Apoio

BAONDE VOCÊ QUER

Missão e mandatosEstrutura e Sistemas

ComunicaçõesProgramas e Serviços

Pessoas e capacidadesOrçamento

Apoio

CCOMO CHEGAR LÁPlano estratégicoplanos de TI e

RHComunicaçõesContratações e treinamentoReestruturação e

EngenhariaAlocação orçamentária

QUESTÕES ESTRATÉGICAS

Visão, Missão e Meta

Formulação da Estratégia

Imple

men

taçã

o da

Estr

atég

ia

9

Avaliação para apoiar o aprendizado sobre onde você está

• Análise da Situação

• Avaliação das necessidades

• Análise SWOT – Fortalezas (S), Fraquezas (W), Oportunidades (O), Ameaças (T)

• Mapeamento dos Recursos

• Análise das fortalezas

9

10

Avaliação para apoiar o aprendizado sobre onde você quer chegar

• Esclarecimento sobre os Valores

10

11

O Que é sucesso em termos de:

11

Resultados e Impactos

Distribuição dos benefíciosProcessos

12

Tipos de valores

12

Valores Tácitos

Valores Negociados

Valores Formais,Explícitos

12

13

Avaliação para apoiar o aprendizado sobre como chegar lá

• Teoria da mudança– Uma teoria sobre como ocorre a mudança (mecanismo de mudança)– Uma teoria sobre quais ações podem acionar esse mecanismo de mudança

• Síntese do que podemos aprender com os outros

13

14

Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais

• Avaliação de programas e projetos• Como está indo?

– Monitoramento do desempenho– Controle de Qualidade – estamos fazendo certo?– Melhoria da Qualidade/pesquisa da ação – como podemos melhorar a

implementação?

14

15

Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais

• Avaliação dos programas e projetos• Funcionou? De que maneira, em quais situações e para quem funcionou? O

que contribuiu para que funcionasse?– A Teoria da mudança informa a avaliação de impacto

– Métodos para responder às questões descritivas (o que aconteceu?) – mensurações, indicadores, descrições

– Métodos para responder às questões causais (o que fez a mudança ocorrer?) – delineamentos e estratégias de pesquisa experimental, quase-experimental e não experimental

– Métodos para responder às questões avaliativas (foi bom o resultado? Valeu a pena)

15

16

Especifique questões chave de Avaliação

Tipo Escopo ExemplosDescritivo

O que ocorreu? Qual é a situação?

Como foi implementado o programa ?•Quem participou do programa?•Onde foi aplicado? Quais foram as mudanças?•Os objetivos foram atingidos?•Que outras mudanças ocorreram?

16

17

Especifique questões chave de Avaliação

Tipo Escopo ExemplosCausal O que produziu as

mudanças observadas?

Quais foram os impactos do programa?•O programa contribuiu para que os impactos e outros resultados pretendidos fossem produzidos? •Qual foi a contribução de outros programas e de outros fatores?

17

18

Especifique questões chave de Avaliação

Tipo Escopo ExemplosAvaliativo

Foi positivo? De que maneiras poderia ser melhor? É essa a melhor opção?

De maneira geral, foi bem sucedido?•O serviço entregue estava de acordo com os padrões combinados?•O programa foi custo/efetivo? •Quais foram seus pontos fortes e fracos?•Para quem o programa foi efetivo?

18

19

Especifique questões chave de Avaliação

Tipo Escopo ExemplosAção O que deveria ser

feito?O programa deveria ser continuado/deveria ganhar escala?Que mudanças deveriam ser feitas?

19

19

20

Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais

• Avaliação da carteira de programas e projetos• Qual é a cobertura transversal nas áreas de importância?

20

Não lucrativo Lucrativo

Fortemente vinculado à missão

Vínculo fraco com a missão

Bell, Masaoka & Zimmerman (2010) Non Profit Sustainability: Making Strategic Decisions for Financial Viability. Jossey-Bass

21RMIT University

Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais

• Avaliação da carteira de programas e projetos• Qual é o equilíbrio entre valor e certeza?

21

Valor

Certeza

21

22

Tipos de aprendizado necessários

Quando … É sensato …Sabemos o que funciona e porque Assegurar o acompanhamento dos processos

(monitorar)Demonstrar o valor do que está sendo feito (advocacy)

Não sabemos se funciona Analisar processo e resultados (teoria do teste)

Não sabemos qual é o melhor caminho

Documentar os processos e o contexto e comparar desempenhos (resultados, eficiência)

Não sabemos o que poderia funcionar

Usar a pesquisa/aprendizado e compartilhar os resultados

22

23

Fontes de informação sobre métodos e processos de avaliação

23

24

Fontes de informação sobre métodos e processos de avaliação

24

25

26

27

28

Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais

28

Que tipos de avaliação precisamos? Como podemos fazer isso?

Que tipos de aprendizado pecisamos que a avaliação apoie? Como podemos fazer isso?