Indicadores Para Monitoramento de Programas e Projetos

Programa deDesenvolvimento

Gerencial

Educaçãocontinuada

Indicadores para

Monitoramento de Programas e Projetos

Governo do Estado de São Paulo

Governador Cláudio Lembo

Secretário-Chefe da Casa Civil Rubens Lara

Subsecretária de Gestão e Recursos Humanos Evelyn Levy

Fundação do Desenvolvimento Administrativo – Fundap

Diretora Executiva Neide S. Hahn

Programa de Desenvolvimento Gerencial Programa de Desenvolvimento Gerencial Programa de Desenvolvimento Gerencial Programa de Desenvolvimento Gerencial –––– Educação Continu Educação Continu Educação Continu Educação Continuaaaadadadada

Diretora Técnica Maria de Fátima Infante de Araújo

Coordenadora Maria Stela Reis

Equipe Técnica Laís Macedo de Oliveira Maria Cristina Costa Pinto Galvão Maria G. Mariantonia Chippari

Consultoras Augusta E. E. H. B. do Amaral Rovena Negreiros

Assistência de coordenação André de Vasconcelos Apostila

Texto Carlos Alberto Monteiro Aguiar Claudia Antico Fernando Assumpção Galvão Kleber Fernandes de Oliveira Paulo de Martino Jannuzzi

Preparação e revisão Eloisa Pires e Vera Zangari

Editoração eletrônica Julia Y. Kurose

Apostila de uso exclusivo da Fundap. Reprodução proibida.

Fundap Rua Cristiano Viana, 428

05411-902 São Paulo SP

Telefone (011) 3066 5500

www.fundap.sp.gov.brwww.fundap.sp.gov.brwww.fundap.sp.gov.brwww.fundap.sp.gov.br

São Paulo, 2006

Sumário

IntroduçãoIntroduçãoIntroduçãoIntrodução.................................................................................................2

Texto Texto Texto Texto 1:1:1:1: O Planejamento Estratégico e a Necessidade de Instrumentos de Monitoramento ...................................................................3

Texto 2Texto 2Texto 2Texto 2: Uso de Indicadores na Gestão Pública .....................................9

Texto 3Texto 3Texto 3Texto 3: Indicadores Econômicos e Sociais no Brasil ........................... 14

Texto 4Texto 4Texto 4Texto 4: Sistemas de Indicadores, Painéis e Índices de Monitoramento ..................................................................... 26

Texto 5: Texto 5: Texto 5: Texto 5: Aspectos Metodológicos da Construção e Análise de Indicadores ............................................................................ 31

2

Introdução

Um dos principais desafios que se impõe à gestão pública comprometida com

resultados é o da produção de indicadores destinados às atividades de

diagnóstico, monitoramento e avaliação de programas e projetos.

Um sistema regular de informações contribui para o alcance de maior eficiência na

alocação de recursos, de eficácia e qualidade dos serviços prestados à população

e produz bases sustentáveis para a tomada de decisões.

Os indicadores são úteis para todos os gerentes que precisam planejar algum tipo

de programa ou projeto, para a execução de ações, para a análise de projetos ou

para o gerenciamento da rotina de trabalho. Constituem-se, além disso, em

subsídios para as atividades de planejamento público e formulação de políticas

sociais, possibilitando o monitoramento das condições de vida e bem-estar da

população.

A preocupação com a obtenção de indicadores para o acompanhamento de

resultados deve estar presente desde a formulação dos objetivos pretendidos,

durante a execução dos planos de ação e, ao final, para a avaliação. É necessário,

no momento da formulação dos programas, prever a organização de

procedimentos de coleta e tratamento de informações específicas e confiáveis em

todas as fases do ciclo de sua implementação, que permitam a construção de

indicadores de monitoramento desejados.

3

T E X T O

1 O Planejamento Estratégico e a Necessidade de Instrumentos de Monitoramento

Objetivo de aprendizagem:

Reconhecer a importância do uso de indicadores para o

gerenciamento de programas e projetos vinculado aos

processos de planejamento, monitoramento e avaliação

na gestão pública.

O grande desafio que o Estado deve enfrentar para o desempenho de seu

papel tem sido definido, pela atual gestão, como sendo o de “processar o

atendimento às demandas da sociedade, em contexto de complexidade e crise

política e, ao mesmo tempo adequar-se às pressões externas de

internacionalização da economia e dos mercados”.

Para poder atender às demandas da sociedade, o Estado se estrutura em

sistema organizacional, que constitui a administração pública. Um dos principais

objetivos que se colocam para o Dirigente é o de aumentar a eficácia da

organização pública, o que se obtém apenas pela melhoria de sua gestão1.

Para que isso seja possível, é fundamental dispor de capacidade e instrumentos

que permitam ao ator social identificar as mais relevantes demandas da sociedade

(objetivos ou problemas a serem equacionados); a explicação das razões de sua

existência (suas causas); a formulação de uma proposta de ação (plano de

governo) e sua implementação.

Como decorrência, temos que é essencial a produção de informações que

alimentem e orientem o processo de tomada de decisão em todas as suas

instâncias bem como possibilitem o acompanhamento sistemático das ações

desenvolvidas e o resultado produzido pelas mesmas.

As Ações Governamentais

As ações governamentais são sempre conduzidas por instituições do Estado,

orientadas por políticas expressas em legislação e outros documentos; observam

regras próprias ditadas pelo direito público e administrativo, são submetidas a

determinações do sistema político e financiadas, em sua essência, por recursos

púbicos oriundos da arrecadação tributária.

1 O termo gestão é aqui empregado como sendo o desenvolvimento do conjunto de atribuições que

compreendem desde a elaboração de um plano de ação até sua implementação.

4

Da mesma forma que ocorre com as ações desenvolvidas pelas organizações

voltadas para o mercado, precisam ser eficientes no emprego dos recursos, posto

que públicos e escassos por definição.

No campo privado, o resultado tem cunho exclusivamente econômico-

financeiro, o que torna os conceitos de eficácia e eficiência quase que

coincidentes, facilitando sobremaneira o processo de planejamento,

monitoramento, avaliações e controle de suas ações, ao contrário do que ocorre

no setor público, no qual, mais que eficientes, as ações precisam ser eficazes, ou

seja, impactar a realidade social que se busca transformar, produzindo o resultado

almejado.

Organizações e Sistemas Organizacionais

O Estado atua por intermédio de ações que são desenvolvidas por

organizações ou sistemas organizacionais.

Muitos arranjos organizacionais são possíveis tendo em vista um objetivo ou

objetivos específicos, desde uma célula de trabalho dentro de uma organização

maior até arranjos que perpassam várias organizações, constituindo sistemas

organizacionais mais estruturados ao estilo das “holdings”, até sistemas menos ou

quase nada estruturados, como as “redes” constituídas por diferentes organizações.

Para que a gestão e o monitoramento sejam eficazes, é fundamental que os

responsáveis pela sua concepção e condução se localizem de forma precisa na

estrutura de suas organizações ou sistemas organizacionais.

Gestão de Processos X Gestão de Programas/Projetos

Quando os produtos e serviços disponibilizados por uma organização (ou

sistema organizacional) têm características iguais ou assemelhadas, as atividades

e insumos necessários à produção podem ser padronizados, constituindo-se o

processo no foco da preocupação do gestor, no norte da estruturação da

organização e, portanto, no principal objeto a ser monitorado.

Quando, ao contrário, a ênfase recai no desenvolvimento de um produto

singular resultante de um esforço temporário, o sistema de monitoramento deve

igualmente ser específico, enfatizando indicadores de execução.

A maior parcela das organizações privadas situa-se no primeiro caso, o que

justifica o desenvolvimento de metodologias de gestão por processos e a

importância da gestão da qualidade.

A gestão de programas e projetos é sempre mais complexa, visto que os

mesmos são sempre fatores que aumentam a turbulência na organização e

exigem estruturação e processos de trabalho específicos e igualmente

temporários, competindo com a estrutura formal na alocação de seus recursos.

Da mesma forma, a singularidade torna extremamente difícil a mensuração da

eficiência e eficácia, e inviabiliza a idéia da melhoria contínua do processo.

A Gestão por Objetivos

5

Toda organização tem por missão o atingimento de um conjunto de objetivos.

A persecução desses objetivos requer recursos de toda ordem – políticos,

organizacionais, técnicos, científicos, tecnológicos, econômicos, institucionais-

legais, de tempo etc. – que serão dispendidos para o desenvolvimento de

processos de trabalho que resultarão na disponibilização de bens ou serviços à

sociedade.

À relação entre insumos (recursos) e produtos, denomina-se eficiência. Assim,

uma gestão será tão mais eficiente quanto menos recursos empregar para a

produção de um mesmo “quantum” de bens ou serviços. Esses produtos

impactam a realidade e a transformam, provocando uma mudança situacional que

contribui para o atingimento da situação almejada. Esse é o resultado da ação

empreendida, que se constitui na contra-face dos objetivos.

Uma ação é, portanto, mais ou menos eficaz, na exata medida do atingimento

dos objetivos ou mudanças situacionais propostas, em função do impacto dos

produtos disponibilizados.

O Planejamento como Condição Necessária

Só é possível monitorar algo que é previamente conhecido e definido.

Fundamental para que seja viável o monitoramento da ação governamental, a

especificação dos elementos que a compõem, como objetivos, recursos,

processos, tempo, produtos e resultados esperados.

Essa definição só ocorre como resultado de um processo de reflexão anterior,

ou seja, do processo de planejamento.

No caso de utilização de metodologia de planejamento por problemas, é

fundamental que o problema a ser atacado esteja bem definido, nominado e

descrito em todas suas dimensões, e de forma a permitir a aferição de sua

magnitude.

Os descritores do problema se constituem, portanto, nos indicadores que

representam a situação inicial e permitem o monitoramento do problema e a

aferição dos resultados alcançados.

No caso de fixação de objetivos, é fundamental definir metas para que se

possam mensurar os resultados obtidos, a partir da apuração e análise dos

indicadores propostos.

Da mesma forma, um programa ou projeto deve ser desenhado contendo

todos os elementos acima mencionados, de forma a poder ser monitorado

durante sua implementação.

Funções do Sistema de Monitoramento

O monitoramento é essencial para que o governante e o gestor conheçam a

evolução da situação que enfrentam e apreciem os resultados de suas ações, de

forma a ser possível a tomada de decisões que possam resultar em modificações

tempestivas.

6

A estatística tradicional não cumpre essa função adequadamente, por

demandar muito tempo entre a ocorrência de um fato, a captura do dado que o

comprova, e a disponibilização da informação decorrente. Dessa forma, é preciso

monitorar indiretamente a realidade, mediante o uso de indicadores.

Características Básicas de um Sistema de Monitoramento

No monitoramento, o usuário é muito bem definido, e a informação é destinada

a subsidiar decisões relacionadas a uma ação que está em desenvolvimento, e a

conhecer e, se possível, mensurar o impacto dessa ação, comparando-o com o

esperado ou planejado.

A informação é ultra-seletiva, pois se destina a um usuário concreto com

interesses específicos. O excesso de informações pode tirar o foco do gestor

daquelas questões que são fundamentais.

No monitoramento, é crucial que a informação chegue ao gestor em tempo

eficaz, pois se destina a possibilitar a tomada de decisões destinadas a corrigir

oportunamente uma ação em andamento. Grande parte das informações são

perecíveis, portanto têm de ser constantemente atualizadas para não perderem seu

valor.

A produção pode ser descentralizada, de forma a permitir sua alimentação em

tempo eficaz em cada nível de utilização.

Um sistema de monitoramento opera com um conjunto de indicadores e sinais

que são significativos para um conjunto ou um usuário específico.

Essas características tornam mais complexo o desenho e a operacionalização

de um bom sistema de monitoramento que parece, em teoria, simples.

Técnicas de Formulação de Indicadores

A representação de uma variável relevante que preenche os requisitos

necessários para constituir-se em ferramenta eficiente e eficaz à gestão pública,

seja ela índice ou indicador gráfico ou numérico, requer conhecimentos do objeto a

ser monitorado, mas também a utilização de técnicas específicas para sua

definição, estruturação, alimentação, apresentação e interpretação.

Quando se trabalha com indicadores sociais, fundamentais para a definição das

prioridades governamentais (seleção de problemas, ou definição de objetivos)

bem como na posterior aferição de resultados, é desejável o conhecimento,

mesmo que não aprofundado dos conceitos fundamentais de estatística descritiva,

que é objeto de um dos temas desse curso.

Categorias de Indicadores de Gestão

Todas as etapas que envolvem a ação governamental, a partir de sua

concepção até a mudança situacional resultante de seu impacto na realidade, bem

como os meios de produção e demais fatores que interferem no processo

produtivo, podem ser acompanhadas e monitoradas, incluindo o contexto no qual

está sendo ou será desenvolvida.

7

Para cada dimensão a ser acompanhada, temos indicadores específicos que

podem ser classificados, grosso modo, em: Indicadores de Recursos, de

Processos, de Desenvolvimento, de Programas e Projetos, de Produtos e de

Resultados. De sua análise individual ou das relações entre eles teremos

indicadores de qualidade, eficiência, eficácia etc.

Podem e devem ainda ser monitoradas as principais variantes que impactam o

problema de forma intensa, influindo no resultado a ser alcançado.

Como um planejador e gestor pode apenas controlar a qualidade de seu plano

e de sua implementação, mas não as circunstâncias nas quais ele será

desenvolvido, é fundamental que sejam monitorados os posicionamentos dos

principais atores ante as ações planejadas, bem como as variáveis de contexto

que compõem o cenário.

Requisitos Necessários aos Indicadores de Gestão

Um indicador de gestão é uma representação numérica de uma variável

importante para um nível determinado de responsabilidade.

É importante que ele assegure que essa representação seja significativa da

variável, que ele seja pertinente para a responsabilidade considerada, que sua

quantificação seja confiável e que se possam avaliar os resultados por

comparação com uma meta inicial ou um padrão esperado, além da já salientada

necessidade de ser atualizado e disponibilizado em tempo eficaz.

Centros de Responsabilidade e de Decisão

A estrutura de uma organização, tendo em vista a realização de objetivos,

representa a forma como as atividades e as responsabilidades são organizadas e

o processo decisório é realizado; não importa se se trata de um programa, um

projeto, um órgão ou uma instituição.

Todo arranjo organizacional encarregado de produzir algo deve ser analisado

em função da responsabilidade e do poder de tomar decisões para que se possa

estabelecer coerentemente a natureza das informações gerenciais necessárias,

bem como sua periodicidade de alimentação e disponibilização.

Sistema de Monitoramento por Painéis de Controle

A montagem de um sistema de monitoramento passa por desenhar o conjunto

de indicadores de desempenho necessário a cada centro de responsabilidade,

definir a periodicidade de alimentação, as fontes de informação, as rotinas de

alimentação e seus responsáveis.

Assim, o acompanhamento de um programa, um projeto etc. pode requerer um

conjunto de painéis de controle, com temporalidades diferentes, em função da

necessidade específica dos diferentes centros de responsabilidade.

É necessário ter muito clara a diferença entre um sistema de monitoramento e

um sistema de informações, bem como esclarecer os conceitos de bancos de

dados. Deve-se, também, estabelecer a distinção entre monitorar e avaliar. A

8

estruturação e operação de um sistema de monitoramento de programas e

projetos será um tema específico do curso.

9

T E X T O

2 O Uso de Indicadores na Gestão Pública


Apresentar conceitos básicos, tipologia e propriedades

dos indicadores apropriados a formulação, execução,

monitoramento e avaliação de ações, programas e

projetos.

O uso de indicadores facilita o planejamento, ao apontar para movimentos

significativos de variáveis relevantes em programas, projetos ou ações. Torna-se,

assim, instrumento fundamental para subsidiar as propostas de intervenção na

realidade, visando a um impacto positivo; o monitoramento e a avaliação são

necessários à gestão governamental.

Para que possam ser avaliados, programas e projetos devem ser desenhados.

Para que se possa avaliar determinado programa e, durante a execução, gerenciar

seu plano de ação, os objetivos declarados devem ser traduzidos em formas

mensuráveis. A partir da comparação entre as medidas obtidas e aquelas

esperadas, pode-se ajustar o plano e a estratégia utilizados, tomar medidas

preventivas para aumentar a eficiência e a eficácia das ações, estabelecer ou

revisar as metas e orientar o processo de avaliação. Sem que haja objetivos e/ou

problemas descritos e definidos por indicadores precisos, quantitativa e

qualitativamente, não é possível planejar de forma eficaz a intervenção a ser feita e

definir o conjunto de iniciativas (programas, projetos e ações) a serem

implementados.

O uso de indicadores vinculados aos processos de planejamento,

monitoramento e avaliação da gestão pública requer critérios consistentes para a

escolha adequada das informações em diferentes etapas desses processos. Os

indicadores são dotados de propriedades e podem ser classificados de formas

distintas, tornando-se fundamental avaliar sua aderência às propriedades

desejáveis, como também fazer uma reflexão crítica sobre sua natureza, para

entender seu papel em um sistema de indicadores para o gerenciamento de

programas e projetos.

1. Propriedades dos Indicadores2

2 Texto a seguir baseado nos conceitos apresentados em Jannuzzi, 2001 – Indicadores Sociais no Brasil.

10

Um dos critérios fundamentais para a escolha adequada dos indicadores, a

serem usados no processo de formulação, execução, monitoramento e avaliação

de ações, programas e projetos, é a análise de seus atributos. A aderência dos

indicadores a um conjunto de propriedades desejáveis justifica e legitima sua

produção e sua utilização.

• Relevância:Relevância:Relevância:Relevância: é uma das propriedades fundamentais dos indicadores escolhidos

em um sistema de formulação e avaliação de programas. Devem responder à

demanda de monitoramento da agenda governamental de prioridades

definidas em áreas temáticas centrais (saúde, educação etc.).

• Validade:Validade:Validade:Validade: é importante que se disponha de medidas representativas do

conceito abstrato que o indicador pretende operacionalizar.

• ConfiabilidadeConfiabilidadeConfiabilidadeConfiabilidade: : : : é uma propriedade relacionada à qualidade do levantamento dos

dados empirícos. Medidas confiáveis atribuem maior validade aos indicadores.

• Grau de cobertura:Grau de cobertura:Grau de cobertura:Grau de cobertura: deve-se procurar empregar indicadores de boa cobertura

territorial ou populacional, que sejam representativos da realidade empírica em

análise. Indicadores de cobertura parcial também podem ser úteis, desde que

possam produzir conhecimento relevante, válido e confiável sobre dinâmicas

específicas.

• SensibilidadeSensibilidadeSensibilidadeSensibilidade: : : : é importante dispor de medidas capazes de refletir mudanças

relativas às ações previstas nos programas, e que possibilitem avaliar

rapidamente os efeitos de determinada intervenção.

• EspecificidadeEspecificidadeEspecificidadeEspecificidade: : : : é necessário utilizar medidas que possam refletir alterações

estritamente ligadas às mudanças relacionadas à dimensão de interesse.

• IntelIntelIntelInteligibilidadeigibilidadeigibilidadeigibilidade: : : : recomenda-se que os procedimentos metodológicos e

critérios adotados para a construção dos indicadores sejam explicitados de

forma clara e objetiva. Esse é um atributo fundamental para garantir

transparência no uso programático do indicador.

• CCCComunicabilidadeomunicabilidadeomunicabilidadeomunicabilidade: : : : um bom indicador deve ser facilmente compreendido, para

que possa ser legitimado tecnicamente e auxilie na implementação de

programas.

• FactibilidadeFactibilidadeFactibilidadeFactibilidade para obtenção:para obtenção:para obtenção:para obtenção: a obtenção factível do indicador (tempo e custo)

é um aspecto crucial para sua construção e seleção para acompanhamento de

qualquer programa público.

• Periodicidade na atualização:Periodicidade na atualização:Periodicidade na atualização:Periodicidade na atualização: a periodicidade com que o indicador pode ser

atualizado é importante para que se possa acompanhar a mudança social,

avaliar o efeito de programas implementados e corrigir eventuais distorções de

implantação. É fundamental que o indicador seja disponibilizado em tempo

eficaz para permitir a tomada de decisões pertinentes.

• DesagregabilidadeDesagregabilidadeDesagregabilidadeDesagregabilidade: : : : é importante que os indicadores possuam

desagregabilibdade populacional e territorial. Deve ser possível construir

indicadores referidos à população-alvo dos programas, a espaços geográficos

reduzidos, a grupos sociodemográficos ou a grupos vulneráveis específicos.

• HistoricidadeHistoricidadeHistoricidadeHistoricidade:::: é uma característica relacionada à comparabilidade dos

indicadores, o que possibilita a inferência de tendências, como também a

avaliação dos efeitos de programas implementados. O ideal é que as cifras,

em diferentes pontos temporais, sejam compatíveis, do ponto de vista

conceitual, e tenham confiabilidade similar.

De uma perspectiva aplicada, é raro dispor de indicadores que se constituam

com todas essas propriedades. O importante é que sua escolha seja

11

fundamentada em uma avaliação crítica e consistente de suas propriedades, tendo

em vista que é fundamental garantir a validade dos indicadores utilizados, a

confiabilidade das medidas calculadas e sua transparência metodológica.

2. Tipologia dos Indicadores

Há vários sistemas classificatórios para os indicadores, de acordo com sua

natureza ou tipo, e que podem ser utilizados como auxílio para o critério de

escolha no ciclo de formulação, execução, acompanhamento e avaliação de

ações, programas e projetos.

Indicadores quantitativos e qualitativosIndicadores quantitativos e qualitativosIndicadores quantitativos e qualitativosIndicadores quantitativos e qualitativos

Os indicadores quantitativos referem-se às ocorrências concretas ou entes

empíricos da realidade social, construídos a partir das estatísticas públicas

disponíveis ou pesquisas de campo.

Os indicadores qualitativos correspondem a medidas construídas a partir da

avaliação dos indivíduos ou especialistas, com relação a diferentes aspectos da

realidade, levantadas em pesquisas de opinião pública ou grupos de discussão.

Indicadores simples ou compostosIndicadores simples ou compostosIndicadores simples ou compostosIndicadores simples ou compostos

É um critério de diferenciação obtido a partir da quantidade de informação

usada para sua definição e de sua complexidade metodológica. Os indicadores

simples são construídos a partir de uma estatística específica e referidos a uma

dimensão social elegida. Os indicadores compostos, também conhecidos como

indicadores sintéticos, são elaborados mediante a aglutinação de dois ou mais

indicadores simples, referidos a uma mesma ou diferentes dimensões da

realidade.

Classificação temáticaClassificação temáticaClassificação temáticaClassificação temática

É a classificação mais comum dos indicadores – sua divisão segundo a área

temática da realidade social a que se referem. Há, assim, os indicadores de saúde

(percentual de crianças nascidas com peso adequado, por ex.), os indicadores

educacionais (escolaridade média da população de quinze anos ou mais, por ex.),

os indicadores de mercado de trabalho (rendimento médio real do trabalho, por

ex.), os indicadores demográficos (taxa de mortalidade, por ex.), os indicadores

habitacionais (densidade de moradores por domicílio, por ex.), os indicadores de

segurança pública e justiça (roubos a mão armada por cem mil habitantes, por

ex.), os indicadores de infra-estrutura urbana (percentual de domicílios com

esgotamento sanitário ligado à rede pública, por ex.), os indicadores de renda e

desigualdade (nível de pobreza, por ex.).

Há classificações temáticas ainda mais agregadas, como Sistemas de

Indicadores Sociais, Indicadores Socioeconômicos, de Condições de Vida, de

Qualidade de Vida, Ambientais, ou de Desenvolvimento Humano.

12

IIIIndicadores Insumo, Pndicadores Insumo, Pndicadores Insumo, Pndicadores Insumo, Processorocessorocessorocesso e Resultado e Resultado e Resultado e Resultado

É um tipo de classificação bastante relevante para a utilização no ciclo de

formulação, execução, monitoramento e avaliação de ações, programas e projetos

públicos, uma vez que traz uma diferenciação quanto à natureza operacional da

medida a ser utilizada.

Os indicadores-insumo correspondem à qualificação e à mensuração do

conjunto de recursos (humanos, materiais, institucionais, econômico-financeiros,

científicos, tecnológicos etc.) necessários à implementação das iniciativas que

compõem um plano, e sua efetiva utilização no processo de produção.

Os indicadores-resultado buscam dimensionar o impacto dos produtos e

serviços na realidade social, estando, portanto, relacionados aos objetivos finais

dos programas públicos. Visam a mensurar o efeito das políticas sociais, ou seja,

seu resultado.

Os indicadores-processo são indicadores intermediários, que traduzem o

esforço operacional de alocação e organização dos recursos para obtenção de

bens e serviços (produtos) a serem disponibilizados.

Indicadores Indicadores Indicadores Indicadores paraparaparapara avaliação de eficiência, eficácia e efetividade avaliação de eficiência, eficácia e efetividade avaliação de eficiência, eficácia e efetividade avaliação de eficiência, eficácia e efetividade

Esse tipo de classificação também possui especial interesse nos processos de

planejamento, acompanhamento e avaliação dos programas públicos.

Os indicadores utilizados para a avaliação da eficiência propõem-se a mensurar

a relação insumo-produto; quanto menos recursos forem utilizados para a

produção de bens e serviços, com características, qualidade e em quantidade

equivalentes, maior será a eficiência apurada. Esse tipo de indicador está

relacionado à dimensão da produtividade – medem a proporção de recursos

consumidos em relação às saídas dos serviços.

Os indicadores usados para avaliar a eficácia têm por objetivo mensurar a

relação entre o produto disponibilizado e o resultado alcançado; em que medida a

disponibilização dos bens e serviços para a sociedade provoca a mudança

almejada e possibilita o alcance dos objetivos. Esses indicadores estão ligados à

dimensão da qualidade – focam a relação entre a satisfação do cliente e as

características dos serviços.

E os indicadores destinados à avaliação da efetividade social buscam mensurar

os efeitos/impactos dos programas públicos para a sociedade.

Indicadores no ciclo de formulação e avaliação de programasIndicadores no ciclo de formulação e avaliação de programasIndicadores no ciclo de formulação e avaliação de programasIndicadores no ciclo de formulação e avaliação de programas

O ciclo de formulação, execução, acompanhamento e avaliação de programas

públicos pode ser considerado nas etapas de Diagnóstico, Formulação,

Implementação e Avaliação. Cada uma dessas etapas envolve o uso de um

conjunto de indicadores de diferentes naturezas e propriedades, em função das

necessidades intrínsecas das atividades aí envolvidas. Os indicadores constituem-

se em insumos básicos e indispensáveis em todas as fases desse processo,

trazendo elementos e subsídios distintos. Cada fase requer o emprego de

13

indicadores específicos, ou seja, cada aspecto deve ser avaliado por meio de

indicadores adequados.

Na etapa de elaboração do Diagnóstico, são necessários indicadores de boa

confiabilidade, validade e desagregabilidade, que cubram as diversas temáticas da

realidade social. Esses indicadores viabilizam a caracterização empírica do

contexto socioeconômico e espacial, e evidenciam a gravidade dos problemas,

carências e demandas. É preciso construir um retrato amplo e detalhado sobre a

situação social vivenciada pela população, para orientar a definição das questões

prioritárias a atender, os formatos dos programas a implementar, as estratégias e

ações a desenvolver. Constitui-se no ponto a partir do qual se poderá avaliar se o

programa está provocando as mudanças e os objetivos previstos.

Na etapa de Formulação (e também seleção de programas), pode-se atuar

com um conjunto mais reduzido de indicadores, selecionados a partir dos objetivos

norteadores definidos como prioritários pela agenda político-social vigente. Os

indicadores do tipo insumo traduzem em termos quantitativos a magnitude dos

recursos exigidos pelos diferentes programas sugeridos.

Na etapa de Implementação e execução dos programas, são necessários

indicadores de monitoramento, que devem possuir, principalmente, sensibilidade,

especificidade e periodicidade. Os indicadores de processo permitem monitorar a

alocação operacional de recursos humanos, físicos e financeiros planejados. Em

geral, as informações produzidas pelas agências estatísticas não são

suficientemente específicas para os propósitos de monitoramento de programas.

A principal característica de um indicador de monitoramento reside na sua

disponibilização em tempo eficaz para permitir a tomada de decisão gerencial.

Na Avaliação dos programas implementados, indicadores de diferentes tipos

podem ser usados para medir a eficiência, eficácia e efetividade social das

soluções sugeridas.

O acompanhamento de programas e projetos requer a estruturação de um

sistema de indicadores que, além de específicos, sensíveis e periódicos, permitam

monitorar sua implementação na lógica do ciclo de formulação, execução e

avaliação. São necessários indicadores que permitam monitorar o dispêndio

realizado por algum tipo de unidade operacional prestadora de serviços ou

subprojeto; o uso dos recursos humanos, financeiros e físicos; a geração de

produtos e a percepção dos efeitos sociais mais amplos dos programas.

Monitoramento e avaliação de programas são termos cunhados para designar

procedimentos de acompanhamento, focados na análise da eficiência, eficácia e

efetividade desses programas. São processos analíticos organicamente

articulados, sucedendo-se no tempo, com o propósito de subsidiar o gestor

público com informações acerca dos recursos empregados, especificações e

quantidade dos produtos, do ritmo e forma de implementação dos programas

(indicadores de monitoramento) e dos resultados e efeitos almejados (indicadores

de avaliação).

14

T E X T O

3 Indicadores Econômicos e Sociais no Brasil


Identificar as principais fontes de dados sociais e

econômicas do Sistema Estatístico Brasileiro e as

disponíveis no Estado de São Paulo; e os principais

indicadores sociais e econômicos para

acompanhamento da conjuntura socioeconômica do

Estado.

1. Fontes de dados e indicadores sociais e econômicos

O conjunto de pesquisas e fontes de dados para produção de indicadores

sociais e econômicos compõe o que se denomina Sistema Estatístico Nacional

(SEN). Comparativamente a outros da América Latina e Ásia, o SEN brasileiro é

reputado como relativamente abrangente e confiável. Em grandes linhas, esse

sistema subdivide-se em Subsistema de Estatísticas Sociais (SES) e Subsistema de

Estatísticas Econômicas (SEE), cada qual com suas pesquisas, registros e fontes

de dados.

1.1. Subsistema de Estatísticas Sociais (SES)1.1. Subsistema de Estatísticas Sociais (SES)1.1. Subsistema de Estatísticas Sociais (SES)1.1. Subsistema de Estatísticas Sociais (SES)

As duas principais pesquisas do SES brasileiro são o Censo Demográfico –

realizado geralmente de 10 em 10 anos, desde 1940 – e a Pesquisa Nacional por

Amostra de Domicílios (PNAD) – levantada anualmente já há mais de três décadas.

Além do Censo Demográfico e da PNAD, o IBGE tem realizado, de forma mais

regular, procurando atender à demanda por informações municipais mais

periódicas, a Pesquisa Nacional de Assistência Médico-Sanitária (AMS), a Pesquisa

de Informações Básicas Municipais (MUNIC) e a Pesquisa Nacional de

Saneamento Básico (PNSB).

Além de atualizar o quantitativo populacional do país, Estados e municípios, o

Censo Demográfico constitui-se em uma fonte muito rica de indicadores de

diagnóstico da realidade social, pelo escopo temático, desagregabilidade territorial

e populacional e comparabilidade inter-regional. Tal fato decorre do uso de um

questionário adicional mais detalhado, aplicado em uma amostra dos domicílios

particulares, além do questionário básico empregado de forma exaustiva pelo

território. No Censo 2000, foram levantados na amostra do censo mais de 70

quesitos de informação, cobrindo características domiciliares, infra-estrutura

urbana, características demográficas e educacionais dos indivíduos, inserção da

mão-de-obra, rendimentos, acesso a alguns programas públicos etc. Os

15

indicadores dessas dimensões analíticas podem ser computados para diversos

grupos sociodemográficos (por sexo, raça/cor, estratos de renda etc.) e escalas

territoriais que chegam ao nível de agregações de bairros de municípios (áreas de

ponderação). As informações levantadas através do questionário básico permitem

computar indicadores até mesmo do setor censitário (conjunto de cerca de 200 a

300 domicílios na zona urbana, para os quesitos levantados no questionário

básico, aplicados em todos os domicílios do país).

Através de um software de fácil manipulação – Estatcart – pode-se extrair do

Censo 2000 estatísticas, indicadores sociais e cartogramas referentes a diferentes

temas, em diferentes níveis geográficos: estados, municípios, áreas de

ponderação e setores censitários, como ilustrado através da Figura 1. Podem-se

elaborar diagnósticos bastante específicos em escopo – como a da População

ocupada em Ciências e Artes em municípios paulistas – ou em termos geográficos

– bolsões de domicílios sem acesso à rede de água em Macapá. Através do uso

de áreas de ponderação, pode-se conseguir garantir especificidade temática de

informações levantadas no questionário da amostra do Censo com boa

desagregabilidade territorial, como ilustra o cartograma de Pessoas com algum

tipo de deficiência em Campinas.

Figura 1: Cartogramas de Indicadores Sociais extraídos do Figura 1: Cartogramas de Indicadores Sociais extraídos do Figura 1: Cartogramas de Indicadores Sociais extraídos do Figura 1: Cartogramas de Indicadores Sociais extraídos do EstatcartEstatcartEstatcartEstatcart com Censo 2000com Censo 2000com Censo 2000com Censo 2000

Domicílios particulares sem banheiroDomicílios particulares sem banheiroDomicílios particulares sem banheiroDomicílios particulares sem banheiro Brasil 2000Brasil 2000Brasil 2000Brasil 2000

Profissionais de Ciências e Artes Profissionais de Ciências e Artes Profissionais de Ciências e Artes Profissionais de Ciências e Artes Estado de São Paulo 2000Estado de São Paulo 2000Estado de São Paulo 2000Estado de São Paulo 2000

Pessoas com algum tipo de deficiência Pessoas com algum tipo de deficiência Pessoas com algum tipo de deficiência Pessoas com algum tipo de deficiência ddddeeeeclaradaclaradaclaradaclarada Campinas SP 2000 (Área de PondCampinas SP 2000 (Área de PondCampinas SP 2000 (Área de PondCampinas SP 2000 (Área de Pondeeeeração)ração)ração)ração)

Domicílios sem acesso à rede de Domicílios sem acesso à rede de Domicílios sem acesso à rede de Domicílios sem acesso à rede de aaaabastecim. águabastecim. águabastecim. águabastecim. água Macapá AP 2000 (Setor Censitário)Macapá AP 2000 (Setor Censitário)Macapá AP 2000 (Setor Censitário)Macapá AP 2000 (Setor Censitário)

16

A PNAD procura atualizar as informações levantadas pelo Censo Demográfico

ao nível do país, unidades da Federação e principais regiões metropolitanas. Como

a amostra é muito menor que a usada por ocasião do censo – por questões de

custo e agilidade na coleta – a pesquisa não comporta o uso de seus dados na

escala municipal. De qualquer forma, a PNAD é um levantamento fundamental para

atualizar os indicadores sociais do país e dos Estados, além de se prestar à coleta

de informações mais específicas, de interesse dos ministérios e outros agentes,

através de questionários suplementares anexados ao principal. Anualmente, seus

resultados compõem a Sinopse de Indicadores Sociais para o país, assim como o

Brasil em Dados, publicações fundamentais para acompanhamento da conjuntura

social brasileira.

A AMS corresponde a um censo de estabelecimentos de saúde no país,

identificando volume e qualificação de pessoal, equipamentos e outros recursos

disponibilizados para atendimento médico-sanitário da população. Com isso,

pode-se ter uma idéia mais clara e precisa do nível e diversidade da oferta de

serviços de saúde pelo país, através da construção de indicadores de esforços de

políticas na área de saúde.

A MUNIC contempla, anualmente, o levantamento de um conjunto amplo de

informações junto às prefeituras dos mais de 5 mil municípios brasileiros. Nessa

pesquisa, levantam-se dados sobre a estrutura administrativa, nível de

participação e formas de controle social (existência de conselhos municipais),

existência de legislação e instrumentos de planejamento municipal (como a

institucionalização do Plano de Governo, Plano Plurianual de Investimentos, Plano

Diretor, Lei de Parcelamento do Solo, dentre outros), a disponibilidade de recursos

para promoção da justiça e segurança (existência da delegacia de mulheres,

juizados de pequenas causas etc.), além da existência de equipamentos

específicos de comércio, serviços da indústria cultural e lazer, como bibliotecas

públicas, livrarias, jornais locais, ginásios de esporte. Essa pesquisa permite, pois,

construir indicadores que possibilitam retratar o grau de participação e controle

popular da ação pública, que permitam caracterizar o estágio de desenvolvimento

institucional das atividades de planejamento e gestão municipal pelo país.

A PNSB veio a complementar esse quadro informacional sobre os municípios

brasileiros com a coleta de dados sobre Abastecimento de Água, Esgotamento

Sanitário, Limpeza Urbana e Sistema de Drenagem Urbana. Pode-se, assim, dispor

de outros indicadores mais informativos sobre a estrutura e qualidade dos serviços

17

de infra-estrutura urbana, que não se limitam a apontar o grau de cobertura

populacional atendida. Com os dados levantados nessa pesquisa, é possível

construir indicadores de volume de água ofertada per capita, do tipo de

tratamento e volume da água distribuída à população, de volume e destino do

esgoto e lixo coletado, dentre outros aspectos.

Há também esforços louváveis de várias instituições públicas, além do IBGE,

em disponibilizar informações de seus cadastros e registros de forma mais

periódica, fato que se deve à necessidade não só de monitoramento da ação

governamental, mas também de facilidades que as novas tecnologias de

informação e comunicações têm proporcionado. Os órgãos estaduais de

estatística, o Ministério da Saúde, da Educação, do Trabalho, do Desenvolvimento

Social, da Previdência Social, das Cidades, a Secretaria do Tesouro Nacional

disponibilizam, pela Internet, informações bastante específicas – em escopo

temático e escala territorial – a partir de seus registros e sistemas de controle

internos, que podem ser úteis para construir indicadores de monitoramento de

programas (Quadro 1).

Quadro 1: Algumas das fontes oficiais para atualização periódica Quadro 1: Algumas das fontes oficiais para atualização periódica Quadro 1: Algumas das fontes oficiais para atualização periódica Quadro 1: Algumas das fontes oficiais para atualização periódica de Ide Ide Ide Innnndicadoresdicadoresdicadoresdicadores

FonteFonteFonteFonte SítioSítioSítioSítio ConteúdoConteúdoConteúdoConteúdo

IBGE www.ibge.gov.br Estatísticas sociais e econômicas diversas, em diferentes níveis de atualização e desagregação territorial, acessíveis nas publicações, no @Cidades, Sidra e BME.

Órgãos estaduais de estatística

www.anipes.org.br Pelo sítio da Associação Nacional das Instituições de Planejamento, Pesquisa e Estatística podem-se acessar os órgãos estaduais e as informações dos mesmos.

Ministério da Saúde

www.datasus.gov.br Estatísticas de mortalidade por causas Atendimentos no SUS Registro de Vacinações

Ministério da Educação

www.inep.gov.br Estatísticas educacionais Docentes e equipamentos Avaliação de desempenho educacional

Ministério do Trabalho

www.tem.gov.br Estatísticas mensais do Cadastro Geral de Empregados e Desempregados Relação Anual das Informações Sociais

Ministério do Desenvolvimento Social

www.mds.gov.br Indicadores de Pobreza e Indigência Acesso aos Programas de Transferência de Renda

Ministério da Previdência Social

www.mpas.gov.br Benefícios e Auxílios concedidos Contribuintes Acidentes de Trabalho

Ministério das Cidades

www.cidades.gov.br Indicadores urbanos e saneamento Déficit habitacional

Secretaria do Tesouro Nacional

www.stn.fazenda.gov.br Transferências de recursos Execução orçamentária Receitas e Despesas municipais

18

Algumas instituições têm procurado desenvolver medidas-síntese da realidade

social, de forma a apreender o comportamento “médio” ou situação “típica” da

mesma em termos do Desenvolvimento Humano, Qualidade de Vida,

Vulnerabilidade Social etc. Como mostrado no Quadro 2, tem havido muitas

propostas de indicadores sintéticos no Brasil, com maior ou menor grau de

sofisticação metodológica, elaborados por pesquisadores de universidades,

órgãos públicos e centros de pesquisa, motivadas, por um lado, pela necessidade

de atender as demandas de informação para formular políticas e tomar decisões

nas esferas públicas; e, por outro, pelo sucesso do IDH e seu impacto nesses

últimos 15 anos na disseminação da cultura de uso de indicadores junto aos

círculos políticos. Em que pese sua disseminação, o uso e a aplicabilidade desses

indicadores sintéticos como instrumentos de avaliação da efetividade social das

políticas públicas ou como instrumentos de alocação prioritária do gasto social

estão sujeitos a questionamentos de natureza substantiva e metodológica. O uso

dos mesmos como instrumento analítico requer conhecimento da metodologia de

sua construção – aliás, o que se aplica a qualquer indicador.

Quadro 2: Alguns dos indicadores sintéticos propostos no BrasilQuadro 2: Alguns dos indicadores sintéticos propostos no BrasilQuadro 2: Alguns dos indicadores sintéticos propostos no BrasilQuadro 2: Alguns dos indicadores sintéticos propostos no Brasil

Instituição promotoraInstituição promotoraInstituição promotoraInstituição promotora Índice proÍndice proÍndice proÍndice propostopostopostoposto

Fundação João Pinheiro MG IDH-M: Índice de Desenvolvimento Humano Municipal ICV: Índice de Condições de Vida Municipal

Fundação CIDE RJ

IQM: Índice de Qualidade Municipal - verde IQM: Índice de Qualidade Municipal - carências IQM: Índice de Qualidade Municipal - necessidades habitacionais IQM: Índice de Qualidade Municipal - sustentabilidade fiscal

Fundação SEADE – SP

IPRS: Índice Paulista de Responsabilidade Social IVJ: Índice de Vulnerabilidade Juvenil IPVS: Índice Paulista de Vulnerabilidade Social

Fundação Economia e Estatística RS

ISMA: Índice Social Municipal Ampliado

Sup. Estudos Econômicos e Sociais da Bahia SEI BA

IDS: Índice de Desenvolvimento Social IDE: Índice de Desenvolvimento Econômico

Prefeitura Municipal de Belo Horizonte/PUC-Minas MG

IQVU: Índice de Qualidade de Vida Urbana IVS: Índice de Vulnerabilidade Social

INEP/Cedeplar/NEPO IMDE: Indicador Municipal de Desenvolvimento Educacional

1.2. 1.2. 1.2. 1.2. Subsistema de Estatísticas EconômicasSubsistema de Estatísticas EconômicasSubsistema de Estatísticas EconômicasSubsistema de Estatísticas Econômicas

Dentre o conjunto de instituições que produzem, compilam, analisam e

disseminam as estatísticas econômicas – isto é, dentre as instituições que

compõem o Subsistema de Estatísticas Econômicas –, o IBGE tem um papel

central, seja como coordenador desse Sistema, seja como produtor de

informações. Tais funções foram assumidas ao longo do século passado, através

da transferência das responsabilidades de compilação de registros administrativos

dos Ministérios (em especial da Agricultura), a partir de sua fundação e pela

atribuição de elaborar os Censos Agropecuários e Econômicos a partir dos anos

19

1920. Esses Censos constituíram-se, por bom tempo, nas principais fontes de

dados econômicos disponibilizados pela instituição, pela cobertura espacial e

escopo investigativo.

A partir dos anos 1960 e décadas seguintes, o IBGE veio a implantar uma série

de pesquisas econômicas conjunturais, reestruturadas nos anos 90, de forma a

constituir um Sistema (Quadro 3) sob a égide integradora e estruturadora das

Contas Nacionais. Ao longo do período, ampliaram-se não apenas as áreas de

coleta das pesquisas, como também as áreas de divulgação das estatísticas. Em

função de restrições orçamentárias e complexidade operacional, os Censos

Econômicos deixaram de ser realizados depois do último levantamento de 1985,

sendo substituídos pela conjugação das pesquisas amostrais e o cadastramento

contínuo de empresas no país – Cadastro Central de Empresas, o qual é

continuamente atualizado a partir das informações aportadas pela Relação Anual

de Informações Sociais (RAIS), pelo Cadastro Nacional de Pessoas Jurídicas

(CNPJ) e as pesquisas amostrais do IBGE, permitindo que anualmente se possa

produzir estatísticas e indicadores econômicos acerca de pessoal ocupado,

remunerações, surgimento e fechamento de empresas, com razoável nível de

detalhamento territorial e setorial.

O Sistema de Contas Nacionais é o Sistema Síntese das Estatísticas

Econômicas de um país, e tem como função básica a mensuração da produção

econômica nacional ao longo do ano, desagregada por atividade econômica e

setor institucional, e sua contrapartida em termos de fatores de produção

utilizados como capital, mão-de-obra etc. O PIB, produzido no âmbito desse

sistema, é o indicador mais abrangente da produção e crescimento econômico,

cobrindo os bens e serviços finais produzidos na esfera pública e privada, no país

e suas regiões. São divulgados através de relatórios trimestrais – estimativas

conjunturais – e relatórios consolidados anuais, que se diferenciam pela precisão,

escopo e desagregação setorial e geográfica das estatísticas econômicas.

O acompanhamento da evolução dos preços de produtos e serviços ofertados

na economia brasileira é a função do Sistema Nacional de Índices de Preços ao

Consumidor (SINPC) e do Sistema Nacional de Pesquisa de Custos e Índices de

Preços da Construção Civil (SINAPI). O SINPC permite o acompanhamento dos

bens e serviços consumidos pelas famílias, segundo a pauta de consumo

levantada nas Pesquisas de Orçamentos Familiares (POF), realizadas até então

nas regiões metropolitanas de Belém, Fortaleza, Recife, Salvador, Belo Horizonte,

Rio de Janeiro, São Paulo, Curitiba e Porto Alegre, Brasília e município de Goiânia.

Além dessas pesquisas, o IBGE realiza diversos outros levantamentos junto a

estabelecimentos agropecuários, industriais, comerciais, prestadores de serviços,

com periodicidades diversas (mensais, trimestrais, semestrais e anuais), e

diferentes planos de divulgação territorial (Brasil, UFs e regiões).

Quadro 3: Estatísticas Econômicas do IBGEQuadro 3: Estatísticas Econômicas do IBGEQuadro 3: Estatísticas Econômicas do IBGEQuadro 3: Estatísticas Econômicas do IBGE

SistemaSistemaSistemaSistema Escopo temático/pesquiEscopo temático/pesquiEscopo temático/pesquiEscopo temático/pesquisasasasa

Sistema de Contas Nacionais Mensuração da produção econômica, discriminada por setor de atividade e por fator de produção

Cadastro Central de Empresas Registro de Pessoal Ocupado, Salários, Fundação e fechamento de empresas, Constituição Jurídica

Sistema Nacional de Índice de Comportamento da variação dos preços de produtos e

20

Preços ao Consumidor serviços consumidos pelas famílias conforme renda: INPC - 1 a 8 sm IPCA – 1 a 40 sm IPCA-E 1 a 40 sm (ref. 15o dia do mês corrente p/ 15o anterior)

Sistema Nacional de Pesquisa de Custos e Índices da Const. Civil

Levantamento de preços de materiais e salários pagos na construção civil, saneamento e infra-estrutura

Agropecuária

Censo Agropecuário; Produção Agrícola Municipal; Produção da Extração Vegetal e da Silvicultura; Pesquisa Pecuária Municipal; Pesquisa de Estoques; Pesquisa do Leite; Pesquisa do Couro; Pesquisa de Abate de Animais; Produção de Ovos de Galinha; Levantamento Sistemático da Produção Agrícola

Indústria

Pesquisa Industrial Anual – Empresa; Pesquisa Industrial Anual – Produto; Pesquisa Industrial Mensal de Produção Física; Pesquisa Industrial Mensal de Emprego e Salários; Pesquisa Anual da Indústria da Construção Civil

Comércio e Serviços Pesquisa Anual dos Serviços; Pesquisa Anual do Comércio; Pesquisa Mensal do Comércio

Além do IBGE, há outras instituições produtoras de estatísticas econômicas

primárias como os Ministérios da Fazenda, do Desenvolvimento, Trabalho, Banco

Nacional de Desenvolvimento Econômico e Social (BNDES), Banco Central,

Fundação Getúlio Vargas; as Confederações Patronais (como CNI, FIESP,

FECOMÉRCIO); Associações e Sindicatos Patronais (como ANFAVEA, Sindipeças,

ELETROS, ABPO); os grupos editoriais especializados (como Gazeta Mercantil,

EXAME, Valor); o Sebrae, além de empresas de pesquisa, como IBOPE e NIELSEN.

Quadro 4: Principais Produtores de Informação EconômicaQuadro 4: Principais Produtores de Informação EconômicaQuadro 4: Principais Produtores de Informação EconômicaQuadro 4: Principais Produtores de Informação Econômica

InstituiçãoInstituiçãoInstituiçãoInstituição Produtos informacionaisProdutos informacionaisProdutos informacionaisProdutos informacionais Endereço EletrônicoEndereço EletrônicoEndereço EletrônicoEndereço Eletrônico

ACNielsen Retail Highlights www.acnielsen.com.br

BACEN Boletim do Banco Central do Brasil Relatório de Inflação

www.bacen.gov.br

BNDES Sinopse Econômica www.bndes.gov.br

CNI Indicadores Industriais www.cni.org.br

FGV Conjuntura econômica www.fgv.br

FIPE/USP Boletim de informações da FIPE www.fea.usp.br

FUNDAP Indicadores DIESP www.fundap.sp.gov.br

FIESP Levantamento de Conjuntura Nível de Emprego

www.fiesp.org.br

IBGE

Lista de Indicadores Conjunturais e Boletins de Contas Nacionais Trimestrais, Pesquisa Mensal de emprego, Pesquisa Mensal do Comércio, Pesquisa Industrial Mensal, Índice Nacional de Preços ao Consumidor

www.ibge.gov.br

Inst.Economia UNICAMP

Política econômica em foco www.ie.unicamp.br

Inst.Economia Economia & Conjuntura www.ie.ufrj.gov.br

21

UFRJ

IEDI Carta do IEDI – Inst. Estudos para o desenvolvimento industrial

www.iedi.org.br

IPEA Boletim de Conjuntura www.ipea.gov.br

Ministério da Fazenda

Dívida Pública Mobiliária Federal Interna e Mercado Aberto

www.fazenda.gov.br

Ministério do Trabalho

Análise mensal do

mercado de trabalho formal www.mtb.gov.br

Sebrae-SP Indicadores Sebrae-SP www.sebraesp.com.br

Instituto de Economia Agrícola

Informações Econômicas www.iea.sp.gov.br

Confederação Nacional do Comércio

Evolução da Conjuntura Econômica www.cnc.com.br

Juntamente com as informações do IBGE, os dados coletados por essas

instituições são usados para monitoramento conjuntural da economia brasileira por

diversas instituições, que as divulgam de forma analisada em Boletins de

Conjuntura (Quadro 4). Esses boletins são documentos de importante leitura para

se manter atualizado com relação à evolução recente da economia e das

perspectivas da mesma para os próximos meses, na medida em que trazem as

interpretações de técnicos especializados quanto a um conjunto amplo de

indicadores de diferentes fontes, de diferentes dimensões do sistema econômico,

com nível maior ou menor de antecedência/conseqüência de fatores

macroeconômicos nacionais e internacionais, expressos sob forma de números,

índices, taxas, variações mensais ou taxas dessazonalizadas.

1.31.31.31.3. . . . A produção de indicadores sA produção de indicadores sA produção de indicadores sA produção de indicadores sociais e econômicos no SEADE ociais e econômicos no SEADE ociais e econômicos no SEADE ociais e econômicos no SEADE

As instituições de estatística e secretarias de planejamentos nos estados

também produzem, compilam e disseminam dados e indicadores sociais e

econômicos. Com base em pesquisas primárias, em pesquisas do IBGE, em

registros administrativos das Secretarias e órgãos governamentais, levantamentos

em cartórios e outros estabelecimentos, essas instituições produzem trabalhos

analíticos, boletins conjunturais e bases de dados (disponíveis em CD-ROM’s e

Internet) com informações acerca da população, panorama social e conjuntura da

economia regional. Assim, de forma complementar às pesquisas do IBGE, é possível

dispor de alguns indicadores sociais e econômicos mais específicos para municípios

e regiões.

Dentre essas instituições destaca-se a Fundação Sistema Estadual de Análise

de dados – Seade – pelo fato de desenvolver pesquisas primárias para

levantamento de dados socioeconômicos, além de dispor de um conjunto amplo

de produtos informacionais que abordam questões relacionadas à dinâmica

demográfica, social e econômica paulista. No Sistema de Estatísticas Sociais e

Econômicas do Seade destacam-se a Pesquisa de Emprego e Desemprego (PED),

a Pesquisa de Condições de Vida (PCV), a Pesquisa Municipal Unificada (PMU), o

Sistema de Estatísticas Vitais (VIT), o Sistema de Informações dos Municípios

Paulistas (IMP), a Pesquisa de Atividade Econômica Paulista (PAEP), o Guia de

22

Investimentos e Geração de Empregos e a Pesquisa de Conjuntura da Pequena e

Média Empresa (PECOMPE).

A PED foi implantada pelo Seade, em 1985, na Região Metropolitana de São

Paulo, e depois levada a outras regiões – Região Metropolitana de Salvador, de

Belo Horizonte, de Porto Alegre, de Recife e Distrito Federal –, constituindo uma

rica base de séries históricas de indicadores de mercado de trabalho

metropolitano no país, já que levanta mensalmente estatísticas do trabalho,

permitindo avaliar os efeitos da conjuntura econômica sobre o nível de

desemprego e rendimentos. Os conceitos de atividade, trabalho e desocupação, o

protocolo de coleta e o desenho do plano amostral são diferentes dos

empregados na PME do IBGE, levando à computação de indicadores que, em

geral, em termos de nível, são diferentes; mas, em termos de tendência no tempo,

são semelhantes. A PCV, tal como a PNAD do IBGE, é uma pesquisa de natureza

multitemática, levantando informações que podem ser usados para construção de

indicadores de diferentes dimensões da realidade social (habitação, trabalho,

educação, saúde, acesso a programas sociais, rendimentos e pobreza).

A PMU coleta informações sobre a capacidade organizacional, administrativa e

financeira das prefeituras, além de aspectos específicos de programas públicos lá

desenvolvidos. As VIT constituem um rico acervo de informações sobre os eventos

vitais (nascimentos, óbitos, casamentos etc.) no Estado, permitindo a construção

de vários indicadores relevantes e periódicos no campo da Saúde Pública (taxa de

mortalidade infantil, por causas etc.). O IMP reúne um conjunto amplo de

indicadores sociais e econômicos para a totalidade dos municípios paulistas,

muitos deles em séries históricas de décadas. Nele se podem obter indicadores

anualmente atualizados pelas estatísticas e registros das diversas secretarias de

Estado, concessionárias públicas e outras instituições.

Quadro 5: Quadro 5: Quadro 5: Quadro 5: Principais Pesquisas do SeadePrincipais Pesquisas do SeadePrincipais Pesquisas do SeadePrincipais Pesquisas do Seade

Sistema/ PeSistema/ PeSistema/ PeSistema/ Pessssquisaquisaquisaquisa EscopoEscopoEscopoEscopo Desagregação Desagregação Desagregação Desagregação geográfgeográfgeográfgeográfiiiicacacaca

Periodicidade Periodicidade Periodicidade Periodicidade DDDDiiiivulgaçãovulgaçãovulgaçãovulgação

Pesquisa de Emprego e Desemprego

Estatística do mercado de trabalho como pessoal ocupado, taxa de dês emprego e nível de rendimento médio

Região Metr. S. Paulo Região do ABC

Em outros estados: DF, RMs de Salvador, Belo Horizonte, Recife, Porto Alegre

Mensal, com resultados em até 30 dias do mês de referência

Pesquisa de Condições de Vida

Educação, acesso a Saúde, Habitação, Trabalho, Rendimentos, Acesso a Programas Sociais, Pobreza

Região Metropolitana de São Paulo

Interior do Estado

Algumas regiões

1990: Só RMSP

1994

1998

Pesquisa de Municipal Unificada

Gestão Pública Municipal, Instrumentos de planejamento

Estrutura organizacional

Municípios 1992

1995

1997

1999

2003

Estatísticas Vitais Estatísticas derivadas do Registro Civil como taxas de mortalidade infantil, por

Estado

Regiões (diversas agregações) Municípios

Atualização anual

23

causas etc. agregações) Municípios

Informações dos Municípios Paulistas

Indicadores municipais multitemáticos, provenientes de Registros de Secretarias, Concessionárias, etc.

Estado

Regiões (diversas agregações) Municípios

Atualização anual

Pesquisa de Atividade Econômica Paulista

Receita, Valor adicionado, pessoal ocupado, inovação tecnológica, tecnologia de informação, automação e gestão administrativa

Estado

Interior

Grandes Regiões do interior

Qüinqüenal

1o lev. Ref. 1996

2o lev. Ref. 2001

Guia de Investimentos e Oferta de Empregos

Investimentos anunciados por empresas, por setor de atividade, origem do capital e tipo de investimento

Regiões Administrativas do Estado e Municípios


Pesquisa de Conjuntura da Pequena e Média Empresa (com SEBRAE)

Faturamento, pessoal ocupado, gasto com salários das pequenas e médias empresas

Região Metropolitana de São Paulo

Interior do Estado


A PAEP traz informações acerca da receita, pessoal ocupado, política de

recursos humanos, tecnologia de informação e dados acerca das mudanças dos

processos de gestão, automação, produção e inovação tecnológica nas empresas

sediadas no estado, para os anos de referência de 1996 e 2001, com possibilidade

de desagregação por grandes regiões no Estado. A PECOMPE, já citada

anteriormente, é realizada através de convênio com o Sebrae levantando

mensalmente dados sobre faturamento, pessoal ocupado e gastos com salários

em uma amostra de pequenas e médias empresas, permitindo a desagregação de

resultados por setor (Indústria, Comércio e serviços) para a Região Metropolitana

de São Paulo e interior do Estado. O Guia de Investimentos permite o

monitoramento das tendências do investimento produtivo no Estado de São Paulo,

organizados em tabelas que discriminam, para as diversas regiões e municípios do

Estado, os investimentos anunciados segundo origem do capital (país sede da

empresa), tipo de investimento (implantação, ampliação, modernização) e setor de

atividade.

Além dessas pesquisas, a Fundação SEADE tem também produzido diversos

Indicadores Sociais Sintéticos, para auxiliar na formulação e tomada de decisão

quanto à alocação dos recursos públicos e priorização das políticas sociais como o

IPRS – Índice Paulista de Responsabilidade Social –; o IVJ – Índice de

Vulnerabilidade Juvenil; e o IPVS – Índice Paulista de Vulnerabilidade Social. Cada

índice foi desenvolvido para atender uma perspectiva diferente de orientação em

políticas públicas, empregando diferentes variáveis e referidos a unidades

territoriais também específicas.

24

Quadro 6: Quadro 6: Quadro 6: Quadro 6: Principais Índices Sociais Principais Índices Sociais Principais Índices Sociais Principais Índices Sociais do do do do SeadeSeadeSeadeSeade

ÍndÍndÍndÍndiiiicececece ObjetivoObjetivoObjetivoObjetivo Fontes de Fontes de Fontes de Fontes de

ddddaaaadosdosdosdos

Unidade Unidade Unidade Unidade

territorterritorterritorterritoriiiialalalal

Aspectos Aspectos Aspectos Aspectos

metodológicosmetodológicosmetodológicosmetodológicos

IPRS Indicador qualitativo

(tipologia),

desenvolvido para

atender demanda da

Assembléia

Legislativa de São

Paulo, para

identificar o estágio

de desenvolvimento

social dos 645

municípios paulistas,

segundo nível de

riqueza, longevidade

e escolaridade

Diversos registros

administrativos

disponíveis no

SEADE,

compilados das

informações

provenientes de

Secretarias

Estaduais e

outros órgãos

Municípios Tipologia construída através da

aplicação da análise fatorial e de

agrupamentos

RiquezaRiquezaRiquezaRiqueza

� Consumo residencial de energia

elétrica

� Consumo de energia elétrica na

agricultura, no comércio e nos

� serviços

� Remuneração média dos

empregados com carteira

assinada

� Valor adicionado fiscal per capita

Longevidade Longevidade Longevidade Longevidade

� Taxa de mortalidade infantil

� Taxa de mortalidade perinatal

� Taxa de mortalidade de 15 a 39

� Taxa de mortalidade de 60 anos

e mais

Escolaridade Escolaridade Escolaridade Escolaridade

� % de jovens de 15 a 17 anos com

ensino fundamental


pelo menos quatro anos de

estudo


ensino médio

� % de crianças de 5 a 6 anos que

freqüentam pré-escola

IVJ Instrumento auxiliar

na escolha de áreas

de intervenção de

programas na área

da Sec. Est. Cultura,

para identificar

distritos da cidade de

São Paulo com

maiores níveis de

vulnerabilidade de

jovens

Censo

Demográfico

2000 e Sistema

de Estatísticas

Vitais

Distritos da

cidade de São

Paulo

Índice construído através de análise

fatorial, com base nas variáveis:

� Taxa anual de crescimento

populacional entre 1991 e 2000;

� Percentual de jovens, de 15 a 19

Anos, no total da população do

distrito;

� Taxa de mortalidade por

homicídio da população

masculina de 15 a 19 anos;

� Percentual de mães

adolescentes, de 14 a 17 Anos,

no total de nascidos vivos;

� Valor do rendimento nominal

médio mensal, dos responsáveis

por domicílios particulares

permanentes;

� Percentual de jovens de 15 a 17

anos que não freqüentam

IPVS identificar áreas

intramunicipais com

grande

concentração de

famílias pobres.

Instrumento auxiliar

na focalização de

programas de

transferência de

renda

Censo

Demográfico

2000

Setor

Censitário 2000

(agrupamento

contíguo de

aproximadame

nte 300

domicílios,

independentem

ente do porte

populacional do

município onde

se localizam)

Índice construído através de análise

fatorial, com base nas variáveis:

� Anos médios de estudo do

responsável pelo domicílio;

� % de responsáveis pelo domicílio

com ensino fundamental

completo;

� % de responsáveis com renda

até 3 salários mínimos;

� Rendimento nominal médio do

responsável pelo domicílio;

� % de responsáveis pelo domicílio

alfabetizados;

� Idade média do responsável pelo

domicílio;

� % de responsáveis com idade

até 29 anos;

� % de pessoas com até 4 anos

25

no total de residentes

26

T E X T O

4 Painéis de Monitoramento e Avaliação de Programas e Projetos


Apresentar o conceito de Painel de Monitoramento e

Avaliação como ferramenta essencial para apoio ao

gerenciamento de programas e projetos.

A construção de painéis de monitoramento e avaliação constitui-se num dos elementos fundamentais para o gerenciamento de programas e projetos. Um painel bem elaborado, atualizado e bem utilizado pode propiciar um significativo ganho de qualidade e eficiência gerenciais. É um instrumento que auxilia o gestor a selecionar, organizar e administrar as informações relevantes para a tomada de decisões estratégicas ou operacionais.

Serão apresentadas, aqui, orientações básicas e dicas para a construção e utilização de painéis de monitoramento e avaliação de programas e projetos.

1. A utilização de indicadores na gestão de programas

Princípio da finalidade ou da eficácia

A aplicação da racionalidade gerencial na gestão pública tem origem na administração por objetivos (Peter Drucker) e busca construir uma “lógica de resultados” a par da “lógica de meios”, tão característica da gestão das burocracias públicas.

Nos últimos tempos, a administração pública é cada vez mais confrontada com a extensão da natureza de suas atividades, com a redução relativa de seus meios, ao mesmo tempo em que é mais cobrada na sua eficácia. Resulta daí a maior busca de experiências, visando a introduzir o gerenciamento por objetivos, seja no âmbito da gestão das instituições públicas, seja no âmbito da gestão de projetos específicos.

William Edwards Deming (1900-1993), conhecido como o “profeta da qualidade” e “filósofo do gerenciamento”, um dos nomes mais influentes no renascimento econômico do Japão, proferiu a célebre frase:

“Não se gerencia o que não se mede, não se mede o que não se define, não se define o que não se entende, não há sucesso no que não se gerencia”.

Ao destacar as palavras-chave – entender, definir, medir, gerenciar e sucesso – pode-se depreender que o sucesso tem início no entendimento da situação; assa pela definição da trajetória e seus indicadores; exige a medição ou aferição da situação em cada momento, para que se possa tomar decisões acertadas e, assim, chegar ao resultado esperado. Percebe-se, desse modo, que os indicadores e sua aferição (medição) têm lugar de destaque no processo gerencial de sucesso.

Indicadores e o ciclo de gestão pública

A gestão de programas está inserida no contexto de formulação, execução, acompanhamento e avaliação, que compõem o ciclo da gestão pública; envolve diversas fases, assim como o uso de diferentes tipos de indicadores.

27

Os indicadores utilizados na fase de análise da situação ou diagnóstico são de natureza distinta daqueles referentes à fase de execução e avaliação dos resultados, como já mencionado em capítulo anterior. É importante destacar que o painel de monitoramento e avaliação de programas aplica-se melhor às duas últimas fases.

a) Diagnóstico ou análise da situação atual

Esta fase envolve a análise de indicadores sociais relacionados à temáticas diversas, que possam orientar a identificação de problemas e demandas prioritários. O que se pretende é diagnosticar, comparar, classificar e analisar tendências, por meio de indicadores já existentes.

b) Formulação ou concepção do programa

A partir do diagnóstico realizado, são estabelecidos os objetivos do programa, seu público-alvo e/ou tema, suas diretrizes e ações (projetos e atividades operacionais) e a previsão dos recursos necessários.

Nesta fase, é importante que haja a definição dos indicadores de monitoramento e avaliação, com a concepção dos quatro grupos de indicadores essenciais para a gestão de programas: insumos, projetos, atividades e resultados.

Desse modo, os objetivos podem ser traduzidos em indicadores e metas; a natureza dos produtos finais deve ser especificada, assim como um cronograma com a previsão orçamentária (investimento) no âmbito dos projetos; os produtos estratégicos, os indicadores e metas de processo devem ser definidos, bem como o custeio estimado para a etapa das atividades.

c) Gerenciamento da execução

Nesta fase, o painel de monitoramento e acompanhamento das atividades ganha vida, com a verificação da pertinência dos indicadores e das metas definidas na fase anterior.

A comparação entre os valores aferidos e as metas estabelecidas irá oferecer ao gestor, e demais interessados, um quadro para avaliação do andamento da execução. Uma boa concepção e um bom planejamento não são suficientes para garantir resultados. É necessária uma boa execução da estratégia adotada e, neste momento, os indicadores, se bem concebidos, são a base para a tomada de decisão segura e bem fundamentada.

d) Avaliação dos resultados

A avaliação deve estar integrada à rotina do gerenciamento, trazendo maior garantia de eficácia, uma vez que produz um senso de compromisso e alinhamento da equipe com os resultados esperados. A avaliação permanente desloca naturalmente o foco para o cliente da ação e não para a ação em si, propiciando o ajuste das estratégias e conseqüente correção de rota durante a execução e a produção de melhores resultados.

2. Gerenciamento e o “Sistema de Pilotagem”

O sistema de pilotagem é um instrumento a serviço do gerenciamento e se constitui numa ferramenta fundamental de ajuda para a tomada de decisões. Geralmente, é constituído de duas categorias: o “painel de controle” e os “diários de bordo”.

� Painel de Controle: é um suporte informativo (documento em papel ou em sistema informatizado), que contém e apresenta informações de síntese, sob a forma de indicadores, e permitem ao gerente conhecer a situação global em tempo útil para tomar decisões de percurso.

� Diários de bordo: são conteúdos informativos mais específicos sobre os objetivos e os resultados esperados, sobre a natureza do empreendimento e das ocorrências ao longo da gestão. Incluem também os painéis de controle das autoridades subordinadas. Podem conter sínteses de estudos, relatórios, situações de orçamento e finanças, estatísticas etc.

A simbologia dessas duas figuras remete à experiência de conduzir uma aeronave ou uma embarcação onde é necessário ter informações a tempo de tomar decisões de percurso, tendo em vista chegar a um objetivo determinado. Essas informações devem ser encontradas nos diários de bordo, que devem conter dados e informações, previamente armazenados, do planejamento de viagem e das ocorrências ao longo do percurso, ou no painel de controle, que deve estar constituído de informações necessárias para acompanhar e avaliar a rota e as condições de navegação. Essa simbologia nos permite perceber a natureza das ferramentas propostas, mas não deve confundir-nos quanto às diferenças de complexidade entre a gestão de programas governamentais e a tarefa de dirigir equipamentos que permitem controle quase completo das variáveis técnicas envolvidas.

28

3. Sistema de pilotagem x Sistema de informações

O sistema de pilotagem diferencia-se de um sistema de informações. Os sistemas de informações captam, em geral, um conjunto de informações acerca de uma atividade ou um propósito e costumam ser o mais abrangente possível. Suas informações têm caráter perene e são armazenadas ao longo do tempo para permitir análises as mais diversas e de diferentes interesses e propósitos. São exemplos de sistemas de informações, no âmbito de organizações públicas, o sistema de informações educacionais, o sistema de informações em saúde pública, o sistema de informações de segurança pública, o sistema de cadastro de veículos automotores etc.

Por outro lado, o sistema de pilotagem configura-se como um sistema de informações específico, aplicado à gestão de determinado empreendimento, seja ele uma organização, um programa ou um projeto determinado. Suas informações têm relevância temporal, perdendo seu sentido fora do tempo útil da informação. É um sistema voltado para informar o dirigente acerca de aspectos importantes do desempenho da organização ou do programa ao longo da gestão. Assim, é um sistema que se aproveita dos sistemas de informações, mas atende às necessidades específicas da gestão do empreendimento.

Assim, para cada empreendimento deve ser construído um sistema de pilotagem específico, em função das necessidades de acompanhamento, avaliação e tomada de decisões gerenciais próprias ao empreendimento e visando aos resultados esperados.

Nesse sentido, é fundamental ter muito claro os principais aspectos constitutivos da organização ou projeto que dão o sentido e a direção à gestão, bem como explicitam os resultados almejados. São eles que devem orientar a formulação do sistema de pilotagem. Esses aspectos são em geral tratados no âmbito do planejamento estratégico e são identificados na missão, na visão de futuro, nas diretrizes estratégicas, nas funções ou missões das áreas constitutivas da organização ou projeto, nas atividades ou produtos decorrentes das operações, projetos ou ações governamentais.

Esse conjunto de aspectos faz parte do que chamamos no início deste texto de “lógica de resultados”, pois o foco são os objetivos. Adotamos o conceito de objetivo como sendo “um resultado mensurável a ser atingido pelo responsável de uma unidade de trabalho em um dado prazo”.

4. Nível de informação e nível de decisão

Para tomar decisões gerenciais, seja de correção de percurso ou de desempenho em um empreendimento, são necessárias diferentes informações e a tomada de decisão deve ser feita em níveis distintos de responsabilidade na estrutura de comando do empreendimento. Assim, os diferentes gestores de uma mesma organização ou projeto terão responsabilidades diferentes e precisarão de informações mais detalhadas ou mais sintéticas, conforme as necessidades das decisões a serem tomadas.

Quanto ao nível de informação, um gestor específico fará uso sistemático e periódico do seu “painel de controle”, com os indicadores de síntese e sinais de alerta para acompanhar e avaliar de modo rápido seu empreendimento. Sempre que precisar de uma informação mais completa e abrangente, deverá fazer uso do seu “diário de bordo”, que deve conter relatórios da organização, estudos e estatísticas sobre o empreendimento, os painéis de controle dos subordinados etc. Se necessitar de um nível mais abrangente de informação, fará uso dos sistemas de informações existentes na organização ou fora dela.

Quanto ao nível de decisão, o sistema de pilotagem deve variar em função do nível de responsabilidade do gestor no empreendimento. Conteúdos diferentes e adequados às necessidades de cada nível devem compor os instrumentos do sistema de pilotagem.

29

5. Composição do painel de controle

Considerando que um painel de controle deve focar o gerenciamento do programa, seus componentes básicos devem ser:

1) Indicadores de insumos ou recursos: previsão versus utilização dos

recursos, especialmente os financeiros (tanto de investimento quanto de

custeio);

2) Indicadores de andamento do projeto: previsão versus execução dos

“produtos” da fase de estruturação do programa (infra-estrutura física,

tecnológica, metodológica e demais recursos);

3) Indicadores de operação ou atividade: previsão versus realização das

atividades operacionais de rotina, destacando os principais “produtos” e

“processos” correspondentes; e

4) Indicadores de resultado: metas versus resultados alcançados.

Com um painel atualizado, o gerente do programa poderá acompanhar a execução (indicadores dos grupos 2 e 3); avaliar a eficiência, comparando a execução com o consumo dos recursos; e verificar a eficácia, comparando os indicadores de resultado (grupo 4) com os de insumos (grupo 1).

Modelo referencial para a construção do Painel de Controle para o monitoramento de um Programa

Projetos Atividades

SituaSituaçção ão

DesejadaDesejada

População Alvo

Beneficiários ou usuários

Ind

ica

do

res d

e I

mp

ac

to

Indicadores de execução (projeto)

Indicadores de atividades rotineiras (processo)

Indicadores de resultado

Resultado

Esperado

0

20

40

60

80

100

%

1 2 3 4 5 6 7 8 9 10 11 12

Meses

Benefício Concedido

Previsto Realizado

0

20

40

60

80

100

%

1 2 3 4 5 6 7 8 9 10 11 12

Meses

Benefício Concedido

Previsto Realizado

Sociedade

Indicadores de insumos (investimento e custeio)

E volução

0%10%20%30%40%50%60%70%80%90%

100%

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Meses

Av

an

ço

fís

ico

Previsto Real izado

E volução

0%10%20%30%40%50%60%70%80%90%

100%

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Meses

Av

an

ço

fís

ico

Previsto Real izado

Operação

Avanço Financeiro Custo operacional

Estruturação

SituaSituaçção ão

AtualAtual

Sociedade

População Alvo

Beneficiários ou usuários

Ind

ica

do

res S

ocia

is

Painel de Bordo do Programa

Situação objeto da intervenção

30

6. Dicas para construção do painel de controle

A construção do painel de controle deve ser o mais simples possível para que não se torne um obstáculo. Seu desenvolvimento deve ser encarado como um processo de aprendizagem em que a experiência vai enriquecendo a capacidade de melhorar o conjunto das informações e sua utilização.

A seguir, são apresentadas algumas dicas para sua construção:

• Não se fixe demais em modelos: não existe um modelo ideal. Seu painel de controle deve “grudar” na realidade e nas prioridades de seu programa;

• Busque um formato que seja suficientemente comunicativo a todos interessados Normalmente, a representação gráfica do previsto versus o realizado oferece boa aceitação e rápida assimilação para a maioria dos envolvidos na gestão;

• Não exagere nos detalhes. Não acumule em seus painéis de controle um excesso de informações que podem ser facilmente encontradas em outros lugares. O painel de controle do programa não deve substituir o sistema de informação das organizações ao qual programa esteja vinculado;

• Utilize poucos e bons indicadores. O excesso de informação produz desinformação. Valem mais alguns indicadores confiáveis do que muitos indicadores incertos;

• Envolva a equipe na formulação, formatação e manutenção do painel. Ele é um instrumento gerencial coletivo e seus colaboradores devem aderir à sua concepção para contribuir na sua alimentação e utilização;

• Reserve um campo para observações. Sempre surgem situações inesperadas e/ou a necessidade de noticiar um acontecimento importante, seja o alcance de uma meta parcial ou um ponto de controle do projeto, por exemplo.

• Reproduza periodicamente as informações do painel em um relatório pré-formatado para distribuir aos interessados no acompanhamento do programa, seja para a prestação de contas, seja como instrumento de motivação para os colaboradores internos ou externos.

31

T E X T O

5 Aspectos Metodológicos da Construção e Análise de Indicadores


Introduzir os conceitos da estatística descritiva para a

construção de Indicadores.

A rápida difusão de procedimentos estatísticos, impulsionada pela incorporação

de computadores à maior parte das atividades profissionais, exige do gestor

público o desenvolvimento de habilidades tanto na área da Informática quanto na

de Análise Estatística.

A Análise Quantitativa, por sua vez, só pode ser realizada de forma confiável,

mediante o domínio de um conjunto de conceitos estatísticos básicos. Os

equívocos analíticos provocados pela inobservância de um quadro conceitual

podem ser ainda agravados se essas estatísticas forem calculadas sem o

conhecimento de suas aplicabilidades e limitações. Não raro, pode-se chegar a

conclusões equivocadas justamente pelo uso aleatório de algumas medidas

estatísticas.

Ao conhecimento necessário para o uso da Estatística e mediante o

refinamento analítico obtido com o constante exercício metodológico, pode-se

lançar mão de ferramentas capazes de abreviar o trabalho de análise requerido

em quase todas as etapas da Gestão Pública.

1. Conceitos básicos

O trabalho de análise estatística aplicada à gestão e ao monitoramento de

projetos deve-se iniciar com a seleção criteriosa das variáveis a serem utilizadas.

O gestor precisa ter clareza de que, embora essa definição seja aparentemente

trivial, as variáveis diferem entre si quanto à sua natureza. O Quadro 1 sistematiza

essa tipologia.

Variável

Qualitativa

Quantitativa

Nominal

Ordinal

Discreta

Contínua

Dicotômica

Quadro 1 Quadro 1 Quadro 1 Quadro 1 –––– Tipos de Variáveis Tipos de Variáveis Tipos de Variáveis Tipos de Variáveis

32

As variáveis qualitativas são aquelas que, como o próprio nome sugere,

exprimem uma qualidade. Essa qualidade de interesse pode ser de caráter ordinal,

onde seus atributos apresentem determinada hierarquia interna, como, por

exemplo, o nível de instrução e o estado civil. Se os atributos da variável qualitativa

não constituem essa hierarquia interna, afirma-se tratar de uma variável nominal,

de que são exemplos as variáveis Sexo e Lugar de Nascimento.

Por outro lado, as variáveis podem expressar números, sendo, portanto,

denominadas variáveis quantitativas. Se as variáveis resultam de um processo de

medição, assumindo valores decimais, são denominadas variáveis contínuas.

Entretanto, se resultam de contagem, assumindo valores inteiros, são definidas

como variáveis quantitativas discretas.

Nos procedimentos amostrais, que incluam alguma modelagem estatística, é

comum quantificar algumas variáveis qualitativas. Pode-se, por exemplo, criar uma

escala de valores, onde a gradação entre “pouco=1”, “médio=2” e “muito=3” possa

ser utilizada para medir o grau de aceitação de uma ação governamental por parte

de determinada população. Pode-se, ainda, atribuir um valor “1” ao atributo de

interesse e “0” aos demais atributos. Esse último procedimento utiliza variáveis

binárias ou dicotômicas.

Estabelecido esse quadro conceitual sobre os tipos de variáveis, trata-se agora

da forma adequada de representação tabular e gráfica dessas informações.

Observe nas tabelas 1 e 2 que o grau de instrução dos 36 empregados possui

apresentação tabular distinta da verificada nos salários. Essa última variável,

devido ao diferentes valores que assume, foi agrupada em classes de salários.

No que se refere à representação gráfica, note que o grau de instrução pode

ser representado pelo gráfico de setores (pizza), enquanto os salários são

representados por barras justapostas, visto tratar-se de variáveis contínuas.

Figura 1 - Gráfico em setores para o grau de instrução

Fundadmental

33%

Médio

50%

Superior

17%

Figura 2 - Histograma das faixas salariais

0

2

4

6

8

10

12

14

4,00 a 8,00 8,00 a 12,00 12,00 a 16,00 16,00 a 20,00 20,00 a 24,00

Grau de Instrução Freqüência (ni) Proporção (fi) Porcentagem (fi)*100

Fundadmental 12 0,33 33,33

Médio 18 0,50 50,00

Superior 6 0,17 16,67

Total 36 1,00 100,00

Fonte: Bussab & Morettin, p. 12, 2002

Tabela 1

Freqüência e porcentagens dos 36 empregados da seção de orçamentos da

Cia. MB, segundo grau de instrução Faixa de salário Freqüência (ni) Proporção (fi) Porcentagem (fi)*100

4,00 8,00 10 0,28 27,78

8,00 12,00 12 0,33 33,33

12,00 16,00 8 0,22 22,22

16,00 20,00 5 0,14 13,89

20,00 24,00 1 0,03 2,78

Total 36 1 100


Tabela 2

Freqüência e porcentagens dos 36 empregados da seção de orçamentos da

Cia. MB, por faixa de salário

33

A definição das variáveis, a serem utilizadas no trabalho de monitoramento ou

avaliação de ações e projetos, constitui a parte inicial do tratamento estatístico.

Nos estágios que se seguem a esse, é usual o emprego de algumas medidas

como Razão, Proporção, Taxa e Índice. Ocorre que, em alguns casos, nota-se

certa confusão entre os seus conceitos, fato que pode dificultar o entendimento

acerca do que se deseja mensurar.

Define-se Razão como a relação, comumente por cem (%) ou por mil (‰),

entre dois valores que pertencem a populações diferentes. Por exemplo, o total de

alunos do sexo masculino e o total do sexo feminino, consumo de energia elétrica

por hora etc. A forma matemática que exprime essa relação é a seguinte:

100*B

A

X

XRz = ou 1000*

B

A

X

XRz = (1)

Se esses valores ou grandezas pertencem a uma mesma população, sendo o

numerador parte do denominador, a relação calculada é proporcional e sua forma

é a seguinte:

100*PrXA

Xop a

= ou 1000*PrXA

Xop a

= (2)

Para medir a intensidade de uma variação no tempo, crescimento ou

decrescimento, utilizamos as taxas. Em outras palavras, o emprego de taxas só se

justifica quando existe uma dimensão temporal envolvida, ou seja, pelo menos dois

pontos no tempo (T0 e T1).

100*10

11,0 −=∆ tempo

T

T

TTX

X ou 1000*1

0

11,0 −=∆ tempo

T

T

TTX

X (3)

As definições acima permitem compreender que, em muitos casos, calcula-se

de uma forma e dá-se o nome de outra. Isso acontece, por exemplo, com a

medida de analfabetismo. Quando se divide o total de analfabetos pela população

de um país, tem-se a proporção de analfabetos e não a taxa de analfabetismo.

Essa última seria, portanto, o total de analfabetos no tempo T1 em relação ao total

no T0, conforme equação 3, acima.

Pode-se argumentar, contudo, que o termo “proporção de analfabetos” não

possui a mesma facilidade de entendimento por parte do grande público, daí a

preferência pela “taxa”. Mediante um impasse desse tipo, aconselha-se a

utilização do termo “índice”, dada sua maior flexibilidade conceitual, ou seja, pode-

se utilizar o termo “índice de analfabetismo” de forma a facilitar o entendimento

mais amplo, sem prejuízo ao quadro conceitual aqui tratado.

O cálculo de taxas, razões, proporções e índices auxiliam sobremaneira as

análises quantitativas, mas são medidas, de certo modo, pouco refinadas.

Tomando como exemplo o analfabetismo, não se pode conhecer através dessas

medidas a idade média das pessoas caracterizadas como analfabetos, nem em

que idade ou grupo etário essa condição é mais intensa. Assim, sempre que for

34

necessário um conjunto de medidas mais refinadas, de forma a resumir

determinada característica de uma população ou de parte dela, recorre-se à

Estatística Descritiva.

2. Análise Estatística: descrevendo os números

2.1 2.1 2.1 2.1 –––– Medidas de Tendência Central Medidas de Tendência Central Medidas de Tendência Central Medidas de Tendência Central

A Análise Descritiva de um conjunto de dados permite que o gestor público faça

uma primeira aproximação de algumas características de interesse a partir da

base de dados estudada. O cálculo de medidas-resumo, como o valor médio,

dominante e mediano, fornece ao técnico informações sobre a tendência de esses

dados se concentrarem ou não no centro da distribuição.

O valor médio de uma distribuição deve ser calculado de acordo com a

natureza da variável em estudo. Se os números representam grandezas

aritméticas gerais, usa-se a média aritmética (4); no entanto, se se trata de taxas,

a medida adequada é a média geométrica (5).

a) Média) Média) Média) Média a a a aaaaritmética:ritmética:ritmética:ritmética: define-se como a razão entre a soma dos termos e o total

de termos, podendo essa relação ser ponderada.

n

x

x

n

i

i∑=

=1

_

ou

i

n

i

n

i

ii

f

fx

x

∑

∑

=

==

1

1_

*

(4)

Como exemplo, observe o cálculo da média para os dados da tabela a seguir.

=

b) Média b) Média b) Média b) Média ggggeométrica:eométrica:eométrica:eométrica: é a raiz n-ésima do produto dos “n” termos diferentes de

zero e positivos, simples ou ponderados.

Faixa de salário Freqüência (fi) x i x i*fi

4,00 8,00 10 6 60 8,00 12,00 12 10 12012,00 16,00 8 12 9616,00 20,00 5 14 7020,00 24,00 1 16 16

Total 36 362


Freqüência e porcentagens dos 36 empregados da seção de

orçamentos da Cia. MB, por faixa de salário

Tabela 2

i

n

i

n

i

ii

f

fx

x

∑

∑

=

==

1

1_

* 05,1036

362_

==x

35

nnig xxx *...*

_

= ou n f

n

f

igni xxx *...*

_

= (5)

Exemplo b1: Cálculo da média geométrica qüinqüenal das taxas de crescimento

do PIB brasileiro entre 1980 e 2000.

As estatísticas acima calculam um valor que em média represente o conjunto

de dados estudados. Portanto, será tanto melhor quanto mais homogêneas forem

tais informações. No entanto, em alguns casos, pode-se notar que há

determinados valores, de maior ou menor magnitude, que se distanciam dos

demais. Nessas circunstâncias, onde existam valores extremos, a utilização da

média pode não ser adequada na medida em que esses valores extremos (outliers)

possam distorcer a estatística. Em seu lugar, utiliza-se a moda ou a mediana como

estatísticas.

c) c) c) c) MMMModaodaodaoda:::: é o valor mais freqüente ou dominante verificado em uma distribuição.

Admita, a título de exemplo, os seguintes dados X={1,2,3,3,4}. É fácil observar que

o valor 3 é o de maior freqüência (2 vezes). Quando se trata de números simples,

é possível que não exista moda, ou seja, que cada número da distribuição apareça

apenas uma vez. Nesse caso, a distribuição é denominada amodal.

Pode-se ainda calcular essa estatística para os dados agrupados em classe,

sendo esse procedimento mais complexo que o anterior. Aqui utilizaremos o

método de King para calcular essa estatística, conforme abaixo:

hpostfantf

postflMo *

__

_

++= (6)

Onde, l é o limite inferior da classe modal;

f_post é a freqüência simples posterior da classe modal;

f_ant é a freqüência simples anterior da classe modal;

19,31,3*...*8,34

_

==gx 8,31,3*2,4*8,34 2_

==gx

Períodos %∆ 1980−85 3,8

∆ 1985−90 4,2

∆ 1990−95 2,1

∆ 1995−00 3,1

Tabela 3 - Taxas decrescimento do PIB, 1980-

2000Períodos %

∆ 1980−85 3,8

∆ 1985−90 4,2

∆ 1990−95 4,2

∆ 1995−00 3,1

Tabela 4 - Taxas decrescimento do PIB, 1980-

2000

36

h é a amplitude da classe modal.

Exemplo c1: Cálculo da moda dos dados contidos na Tabela 2 a seguir.

Ou seja, o salário dominante da empresa é R$9,8SM.

d) d) d) d) MMMMedianaedianaedianaediana:::: é a terceira medida de tendência central e divide a distribuição

ordenada de dados em duas partes iguais, 50% abaixo e 50% acima dela. Seu

cálculo também é relativamente simples. A título de exemplo, admita a distribuição

com cinco elementos, X1={1,3,4,5,9}. Logo, o valor 4 e que ocupa a terceira

posição, é o que divide o conjunto de dados ordenados de forma crescente em

duas partes iguais. Já na distribuição com seis elementos, X2={1,3,4,5,7,9}, o

elemento mediano está entre os números 4 e 5, ou seja está entre o terceiro e o

quarto valores. Em síntese, quando se tratar de uma distribuição com número de

observações ímpar, a mediana ocupará a posição 2

1+n, que, no primeiro caso, é

32

15=

+=Me , indicando que a mediana é 4. Quando o número de observações

for par, a mediana é obtida através da média simples entre os elementos 2

n e o

seguinte. No exemplo com X2={1,3,4,5,7,9}, a mediana é obtida calculando a média

entre o terceiro e o quarto elementos ( .5,42

54=

+

O cálculo da mediana para dados agrupados em classes exige um trabalho

maior que o apresentado acima. Utilizando as informações da Tabela 2 a seguir,

calcula-se a mediana seguindo os passos abaixo:

1º - Construção da Freqüência Acumulada Abaixo de (Fac_abaixo);

2º - Cálculo do elemento de ordem ou elemento mediano 2

nEMe = ,

independentemente do total de observações;

3º - Identificação da classe mediana;

4º - Cálculo do valor mediano, através de:

Faixa de salário Freqüência (ni)

4,00 8,00 10

Classe Modal 8,00 12,00 12

12,00 16,00 8

16,00 20,00 5

20,00 24,00 1

Total 36


Tabela 2

Freqüência e porcentagens dos 36

empregados da seção de orçamentos da

Cia. MB, por faixa de salário

8,94*108

88 =

++=Mo

37

(7)

No exemplo, temos que construída a freqüência acumulada abaixo de

(Fac_abaixo – 1° passo), obtemos:

2º passo – O elemento mediano está na: 018

2

36==MeE posição

3º passo – A classe mediana será aquela que contiver o 18º elemento, ou seja, a

que tiver a freq_abaixo maior ou igual a 18. Essa classe é de 8 a 12 SM.

4º passo – O valor mediano estará, portanto, entre 8 e 12 SM, sendo estimado

conforme a equação 7.

Dos cálculos acima, tem-se que metade dos funcionários da empresa ganha

até 10,7 SM.

Feitos esses cálculos, pode-se agora analisar a distribuição de salários dessa

empresa. Essas estatísticas indicam que:

i) o salário médio é de 10,05 SM;

ii) o salário mediano é de 10,7 SM;

iii) o salário dominante é de 9,8 SM.

Note que o salário dominante (9,8 SM), sendo inferior à média (10,05 SM),

indica a existência de importante número de empregados com baixo salário

relativo. Por outro lado, o valor assumido pelo salário mediano (10,7), superior às

outras estatísticas, sugere a existência de funcionários com elevados salários.

2.2 2.2 2.2 2.2 –––– Medidas de dispersão Medidas de dispersão Medidas de dispersão Medidas de dispersão

A análise descritiva deve também considerar o grau de heterogeneidade desse

conjunto de dados. Conforme visto anteriormente, pode-se utilizar esse conceito

para decidir sobre que medida de tendência central é a mais indicada para resumir

um conjunto de dados.

hf

abaixoacumFacElMe

Me

Me *__−

+=

Faixa de salário Freqüência (ni) Fac_abaixo

4,00 8,00 10 10

Me 8,00 12,00 12 2212,00 16,00 8 3016,00 20,00 5 3520,00 24,00 1 36

Total 36


Freqüência e porcentagens dos 36 empregados da

seção de orçamentos da Cia. MB, por faixa de salário

Tabela 2

SMMe 7,104*12

10188 =

−+=

38

a) a) a) a) DesvioDesvioDesvioDesvio----ppppadrão:adrão:adrão:adrão: a quantificação dessa heterogeneidade ou a dispersão de

um conjunto de dados é obtida calculando-se o desvio-padrão. Define-se desvio-

padrão como a média quadrática dos resíduos centrados, padronizada pela raiz

quadrada. A lógica desse cálculo consiste em dimensionar a distância ao quadrado

de cada ponto em relação à média dos pontos. A seguir, formaliza-se o desvio-

padrão:

n

fxx

dp

n

i

ii∑=

−

=1

2_

*

(8)

A Tabela 2 apresenta a coluna construída com o denominador da equação 8. O

somatório desse denominador é divido pelo total de observações e obtida a raiz

quadrada.

Observando que o desvio-padrão é de 2,92 SM, pode-se ainda construir uma

medida relativa de concentração, utilizada principalmente na comparação da

variabilidade entre duas populações. Trata-se do Coeficiente de Variação.

b) b) b) b) Coeficiente de Variação:Coeficiente de Variação:Coeficiente de Variação:Coeficiente de Variação: mede a variabilidade de um conjunto de dados, em

termos percentuais. Essa estatística é obtida dividindo o desvio-padrão pela

respectiva média vezes 100, conforme abaixo:

100*_

x

dpCV = (9)

Para os dados da Tabela 2, temos que o coeficiente de variação é:

%05,29100*05,10

92,2==CV , ou seja, os dados acima apresentam uma

variabilidade de 29% da média.

3. Inferência Estatística: Compreendendo o todo por meio das partes

Faixa de salário Freqüência (fi) xi xi*fi (xi-x)2*fi

4,00 8,00 10 6 60 164,475 8,00 12,00 12 10 120 0,03712,00 16,00 8 12 96 30,24716,00 20,00 5 14 70 77,79320,00 24,00 1 16 16 35,336

Total 36 362 307,889


Freqüência e porcentagens dos 36 empregados da seção de orçamentos da Cia. MB,

por faixa de salário

Tabela 2

=

−

=

∑=

n

fxx

dp

n

i

ii

1

2_

*

92,236

889,307==

39

3.1 Conceitos básicos de inferência estatística3.1 Conceitos básicos de inferência estatística3.1 Conceitos básicos de inferência estatística3.1 Conceitos básicos de inferência estatística

As técnicas de amostragem ou levantamentos amostrais são procedimentos

estatísticos utilizados para se produzir conhecimento sobre instantâneos da

realidade ou sobre características de uma população. Sendo esse conhecimento

obtido por meio do estudo de parte da população ou universo, define-se que

amostraramostraramostraramostrar significa selecionar uma parte desse universo, a partir da qual se pode

analisar ou inferirinferirinferirinferir sobre determinadas características da população.

Definições importantes:Definições importantes:Definições importantes:Definições importantes:

PopulaçãoPopulaçãoPopulaçãoPopulação ou Universoou Universoou Universoou Universo é o conjunto de todos os elementos. Amostra é parte

representativa da população.

AmostraAmostraAmostraAmostra é uma parte do universo.

Unidade AmostralUnidade AmostralUnidade AmostralUnidade Amostral representa o elemento ou elementos disponíveis para

análise no processo amostral.

CensoCensoCensoCenso é uma pesquisa em que todos os elementos que formam a população

são entrevistados.

Pesquisa AmostralPesquisa AmostralPesquisa AmostralPesquisa Amostral analisa a parte da população selecionada na amostra.

O censo e a amostra diferem essencialmente quanto à dimensão da pesquisa,

ou seja, enquanto a primeira estuda a população, a segunda é aplicada em parte

dela. Essa distinção implica saber em que circunstância deve-se optar por uma

outra modalidade. Em situações em que a população seja pequena ou os dados

populacionais estiverem disponíveis, deve-se optar pelo censo. Exceto em tais

circunstâncias, deve-se optar pelas pesquisas amostrais, principalmente devido à

sua potencialidade em promover excelentes resultados – desde que observados

os aspectos metodológicos – com menores custo e tempo.

Em termos gerais, parte fundamental do trabalho empregado em um processo

amostral baseia-se em dois pressupostos gerais. O primeiro diz respeito à

capacidade de uma parte (amostra) conter informações que sejam

suficientemente representativas do todo (universo). Em segundo lugar, admite-se

que os possíveis erros nessa representação sejam minimizados pela combinação

entre a sobrestimação e subestimação da característica de interesse.

Formalmente, uma amostra deve apresentar três características:

i) precisão: diz respeito à distância entre a verdadeira informação

(desconhecida) na população e a que foi estimada por meio da amostra. A

medida dessa precisão é o erro padrão;

ii) eficiência: é uma medida relativa obtida da comparação entre os diversos

tipos de amostra no sentido de utilizar aquele que produza os melhores

resultados, tanto em termos quantitativos quanto de economia de tempo de

recursos;

iii) correção ou ausência de viés: está relacionada com a capacidade de o

condutor da pesquisa evitar possíveis vieses ou erros sistemáticos, de forma

a evitar super ou subestimativas.

40

Tratando especificamente dos tipos de amostragem, são classificadas em dois

grupos:

• não-probabilísticas: são aquelas em que a seleção dos elementos da amostra

é influenciada pela preferência ou julgamento do pesquisador. Assim, não se

conhece a probabilidade de um elemento fazer parte da amostra, da mesma

forma que não permite conclusões acerca da população. As principais

modalidades de amostragens não-probabilísticas são:

a) amostras por conveniência: são aquelas selecionadas de acordo com a

conveniência explícita da pesquisa. Esse procedimento, apesar de pouco

confiável, é utilizado com fins exploratórios, em que o objetivo principal seja

obter informações pontuais sobre dado assunto, como, por exemplo, a

aceitação do sabor de determinado produto, muito realizada em

supermercados;

b) amostras intencionais: são aquelas onde os casos a serem analisados são

escolhidos por apresentarem determinada característica de interesse da

pesquisa. Seria o caso, por exemplo, de selecionar dentre os fumantes

aqueles que apresentem problemas respiratórios crônicos. Também nessa

modalidade de pesquisa não se pode fazer qualquer consideração sobre

essa característica no universo.

c) amostra por cotas: deriva da amostra intencional e o pesquisador busca

reproduzir a mesma composição do universo. Um dos aspectos desse

procedimento, além da impossibilidade de inferência, é justamente a

necessidade de conhecimento prévio sobre a composição da população,

informação que em alguns casos pode estar indisponível.

• amostragem probabilística: consiste no procedimento amostral em que todos

os elementos da população têm probabilidade conhecida de pertencer à

amostra. Se a probabilidade de pertencimento à amostra é a mesma para

cada elemento da população, tem-se um caso particular de amostragem,

denominada “probabilística simples”, que será tratado a seguir.

Vale, contudo, formalizar os principais estágios de um levantamento amostral.

3.2 Principais fases dos levanta3.2 Principais fases dos levanta3.2 Principais fases dos levanta3.2 Principais fases dos levantamentos amostraismentos amostraismentos amostraismentos amostrais

A inferência estatística, parte complementar e posterior à coleta de dados, é o

procedimento sobre o qual são derivadas conclusões sobre a população ou

universo com base nas informações amostrais e envolve duas partes essenciais: o

teste de hipótese e a estimação. A estimação é o cálculo obtido na amostra que

estatisticamente mais se aproxima da característica de interesse manifestada pela

população. Por exemplo, quando uma pesquisa eleitoral afirma, a partir de uma

amostra de 2 mil pessoas, que o candidato A possui 58% das intenções de voto,

estima-se que esse percentual deva ser o mesmo manifestado pela população do

município pesquisado.

O procedimento do teste de hipótese constitui-se, na verdade, em um teste

estatístico em que o resultado obtido leva o pesquisador a aceitar ou rejeitar a

hipótese de nulidade.

41

Nesse sentido, as fases de uma pesquisa amostral podem ser estruturadas da

seguinte forma:

1ª fase: Construções conceituais1ª fase: Construções conceituais1ª fase: Construções conceituais1ª fase: Construções conceituais

i) Formulação do problema: expressa algo de interesse que é objeto do estudo

da pesquisa. Construção do quadro conceitual;

ii) Definição precisa das variáveis e seus conceitos.

Essas duas fases marcam a passagem do enfoque abstrato para a

representação concreta e observável do objeto da pesquisa.

2ª fase: Plane2ª fase: Plane2ª fase: Plane2ª fase: Planejamento e amostrajamento e amostrajamento e amostrajamento e amostra

Nessa fase da pesquisa, duas atividades são de igual importância para o

andamento do estudo:

i) a formulação do plano de coleta, em que será definido o tipo de estudo

(descritivo ou analítico), as variáveis a serem observadas, os fatores a serem

controlados e os grupos populacionais a serem separados para comparação;

ii) o desenho amostral ou plano amostral, que contém a definição do tipo de

amostragem (sistemática, casual simples, estratificada, por conglomerados)

e dimensionamento da amostra.

Nesse momento, também são realizados estudos-pilotos para detectar e corrigir

alguns problemas estruturais ou mesmo calcular inicialmente algumas estatísticas.

3ª fase: Operações3ª fase: Operações3ª fase: Operações3ª fase: Operações

A coleta de dados é seguida pelo processamento, pelas análises dos dados e,

finalmente, pela interpretação dos resultados.

4. Aspectos Metodológicos da Construção e Análise de

Indicadores

O conteúdo quantitativo abordado até agora serve de base para duas principais

tarefas – monitoramento e gestão de projetos. As técnicas de estatística descritiva

permitem conhecer determinadas características de um conjunto de dados,

tenham eles caráter censitário, amostral probabilístico ou não-probabilístico.

No transcorrer das atividades de acompanhamento e gestão de projetos, as

duas ferramentas aqui tratadas – a estatística descritiva e as técnicas de

amostragem – podem ser combinadas de forma a permitir ao gestor visualizar o

comportamento da variável em estudo.

Tal procedimento consiste em utilizar os dados estatísticos para construção de

gráficos de controle de processos. Na literatura especializada em controle de

qualidade são encontradas diversas metodologias de monitoramento de

processos dos mais variados tipos. As que serão apresentadas a seguir denominam-

se Gráfico de Controle de Amplitude (R) e Controle da Média (X-barra) e são utilizadas

conjuntamente para monitorar a variabilidade e a média do processo,

respectivamente.

42

4.1. Gráficos de Controle para a Amplitude (R) e 4.1. Gráficos de Controle para a Amplitude (R) e 4.1. Gráficos de Controle para a Amplitude (R) e 4.1. Gráficos de Controle para a Amplitude (R) e para a Média Aritmpara a Média Aritmpara a Média Aritmpara a Média Aritméééética Xtica Xtica Xtica X----

barrabarrabarrabarra

Os gráficos R e X-barra para monitoramento de processos indicam se, ao longo

de determinado período, o processo está sob controle, ou seja, se a variabilidade

observada no transcurso do acompanhamento ocorre dentro de um intervalo

aceitável. Uma vez que o processo esteja em controle, passa-se à avaliação da

média.

O estabelecimento desses intervalos para o gráfico de controle R implica o

cálculo de um limite superior (LCS) e outro inferior (LCI), sendo dado conforme as

equações abaixo:

2

3__

3d

dRRLCI −= e

2

3__

3d

dRRLCS += (10)

onde,

_

R = amplitude média de cada subgrupo amostral;

d3= relação empírica entre o desvio padrão e o desvio padrão da

amplitude para tamanhos de amostra diferentes;

d2= relação empírica entre o desvio padrão e a amplitude para

tamanhos de amostra diferentes.

Os valores d3 e d2 estão tabelados segundo o tamanho da amostra de cada

subgrupo (Ver anexo).

Exemplo de construção do Gráfico para Controle de Amplitude (R)Exemplo de construção do Gráfico para Controle de Amplitude (R)Exemplo de construção do Gráfico para Controle de Amplitude (R)Exemplo de construção do Gráfico para Controle de Amplitude (R)

Admita a situação em que você foi designado para acompanhar o desempenho

do atendimento de emergência de um pronto-socorro da capital depois da

implantação de uma nova rotina. Esse acompanhamento foi feito durante vinte dias

consecutivos, a partir de uma amostra aleatória de quatro casos de emergência. O

tempo desde a chegada do paciente à emergência até sua instalação na unidade

de tratamento foi medida em minutos, conforme apresenta a Tabela 3, a seguir.

Para construir o Gráfico para Controle de Amplitude deve-se calcular a

amplitude do tempo de atendimento (tempo máximo – tempo mínimo), conforme

ilustram as colunas A, B e C.

43

1 2 3 4 Temp_Min (A) Temp_Max(B)Amplitude (R)

(C=B-A)1 7,2 8,4 7,9 4,9 4,9 8,4 3,52 5,6 8,7 3,3 4,2 3,3 8,7 5,43 5,5 7,3 3,2 6,0 3,2 7,3 4,14 4,4 8,0 5,4 7,4 4,4 8,0 3,65 9,7 4,6 4,8 5,8 4,6 9,7 5,16 8,3 8,9 9,1 6,2 6,2 9,1 2,97 4,7 6,6 5,3 5,8 4,7 6,6 1,98 8,8 5,5 8,4 6,9 5,5 8,8 3,39 5,7 4,7 4,1 4,6 4,1 5,7 1,6

10 1,7 4,0 3,0 5,2 1,7 5,2 3,511 2,6 3,9 5,2 4,8 2,6 5,2 2,612 4,6 2,7 6,3 3,4 2,7 6,3 3,613 4,9 6,2 7,8 8,0 4,9 8,0 3,114 7,1 6,3 8,2 5,5 5,5 8,2 2,715 7,1 5,8 6,9 7,0 5,8 7,1 1,316 6,7 6,9 7,0 9,4 6,7 9,4 2,717 5,5 6,3 3,2 4,9 3,2 6,3 3,118 4,9 5,1 3,2 7,6 3,2 7,6 4,419 7,2 8,0 4,1 5,9 4,1 8,0 3,920 6,1 3,4 7,2 5,9 3,4 7,2 3,8

R_médio 3,3

Atendimento

Tabela 3 - Tempo de atendimento por pacientePacientes e

MinutosDia

Calculada a amplitude (coluna C), obtém-se a média das amplitudes, _

R

(R_médio)= 3,3, cuja informação é utilizada no cálculo dos limites inferior e

superior, conforme segue.

93,023,43,3059,2

88,03,3*33,3 −≅−=−=LCI e

62,723,439,3059,2

88,03,3*33,3 ≅+=+=LCI

Logo, os limites dentro dos quais a variação de atendimento será julgada e

controlada são definidos por -0,93, representado por 0 e 7,62 minutos. Em

seguida, constrói-se um gráfico para representar o comportamento dos

atendimentos realizados nos vinte dias considerados.

Note que o Gráfico E1 indica a inexistência de pontos situados fora dos limites

de controle. Isso indica que o processo apresentou variabilidade dentro do

aceitável, principalmente tratando-se de cuidados médicos, em que o tempo

representa uma variável de grande relevância.

Vale ressaltar que se esse resultado indicasse de perda de controle (pontos

fora dos limites), seria inviável a construção do Gráfico de Controle para a Média.

44

Gráfico E1 - Amplitude dos Tempos de Atendimento

0,0

1,0

2,0

3,0

4,0

5,0

6,0

7,0

8,0

9,0

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Dias

Min

uto

s

Amplitude de atendimento

Amplitude Média

Limite Superior

Limite Inferior

Para construir o Gráfico de Controle da Média, é necessário calcular a média

global (X-duas barras), que no caso em questão é a média da média dos

atendimentos. As equações para estimar os limites são dadas a seguir:

nd

RXLCI

*3

2

−−−

−= e nd

RXLCS

*3

2

−−−

+= (11)

Onde “n” é o tamanho da amostra, que nesse caso é de quatro atendimentos.

Atendimento

1 2 3 4 Média1 7,2 8,4 7,9 4,9 7,12 5,6 8,7 3,3 4,2 5,53 5,5 7,3 3,2 6,0 5,54 4,4 8,0 5,4 7,4 6,35 9,7 4,6 4,8 5,8 6,26 8,3 8,9 9,1 6,2 8,17 4,7 6,6 5,3 5,8 5,68 8,8 5,5 8,4 6,9 7,49 5,7 4,7 4,1 4,6 4,8

10 1,7 4,0 3,0 5,2 3,511 2,6 3,9 5,2 4,8 4,112 4,6 2,7 6,3 3,4 4,313 4,9 6,2 7,8 8,0 6,714 7,1 6,3 8,2 5,5 6,815 7,1 5,8 6,9 7,0 6,716 6,7 6,9 7,0 9,4 7,517 5,5 6,3 3,2 4,9 5,018 4,9 5,1 3,2 7,6 5,219 7,2 8,0 4,1 5,9 6,320 6,1 3,4 7,2 5,9 5,7

5,9

Tabela 4 - Tempo de atendimento por paciente

Dia

Pacientes e Minutos

Média global

Calculada a média global (5,9), podem ser estabelecidos os limites da média,

conforme abaixo:

45

8,31,29,54*326,2

3,339,5 =−=−=LCI e

81,29,54*326,2

3,339,5 =+=+=LCS

O Gráfico E2 ilustra o comportamento do tempo médio de atendimento nos

vinte estudados. Observa-se inicialmente que dois pontos ultrapassam os limites

de controle, indicando possíveis problemas de fluxo. Importa salientar que, além

dessa perspectiva de monitoramento, os gráficos de controle permitem que sejam

observadas algumas tendências, como a que ocorre entre o 5º e o 16º dias.

Observe que entre os cinco primeiros dias o comportamento do tempo médio de

atendimento assume uma tendência de diminuição, aumentando, então, a partir

desse dia.

Gráfico E2 - Controle do Tempo Médio de Atendimento

0,0

1,0

2,0

3,0

4,0

5,0

6,0

7,0

8,0

9,0

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Dias

Min

uto

s

Tempo Médio de Atendimento

Média Global

Limite Superior

Limite Inferior

46

N ú m e r o d e o b s e r v a ç õ e s n a a m o s t ra d 2 d 3

2 1 ,1 2 8 0 ,8 5 33 1 ,6 9 3 0 ,8 8 84 2 ,0 5 9 0 ,8 8 05 2 ,3 2 6 0 ,8 6 46 2 ,5 3 4 0 ,8 4 87 2 ,7 0 4 0 ,8 3 38 2 ,8 4 7 0 ,8 2 09 2 ,9 7 0 0 ,8 0 8

1 0 3 ,0 7 8 0 ,7 9 71 1 3 ,1 7 3 0 ,7 8 71 2 3 ,2 5 8 0 ,7 7 81 3 3 ,3 3 6 0 ,7 7 01 4 3 ,4 0 7 0 ,7 6 31 5 3 ,4 7 2 0 ,7 5 61 6 3 ,5 3 2 0 ,7 5 01 7 3 ,5 8 8 0 ,7 4 41 8 3 ,6 4 0 0 ,7 3 91 9 3 ,6 8 9 0 ,7 3 32 0 3 ,7 3 5 0 ,7 2 92 1 3 ,7 7 8 0 ,7 2 42 2 3 ,8 1 9 0 ,7 2 02 3 3 ,8 5 8 0 ,7 1 62 4 3 ,8 9 5 0 ,7 1 22 5 3 ,9 3 1 0 ,7 0 8

R e p ro d u z id o d e L e v in e , 2 0 0 0

A n e x o 1 - F a to r e s p a r a o s G rá f ic o s d e C o n tr o le

Indicadores Para Monitoramento de Programas e Projetos

Documents

Transcript of Indicadores Para Monitoramento de Programas e Projetos