Metodologia para definição de indicadores e metas da...

INSTITUTO NACIONAL DE COLONIZAÇÃO E REFORMA AGRÁRIA – INCRA

DIRETORIA DE GESTÃO ESTRATÉGICA – DE

Coordenação-Geral de Monitoramento e Avaliação da Gestão – DEA

Divisão de Avaliação da Gestão – DEA-2

Metodologia para definição de

indicadores e metas da Avaliação

Institucional – 5º Ciclo

Brasília, setembro de 2015.

1

Sumário

HISTÓRICO DE REVISÕES 2

INTRODUÇÃO 3

METODOLOGIA 3

AVALIAÇÃO DE DESEMPENHO 3

INDICADORES 5

CONCEITOS 5

CLASSIFICAÇÃO 6

HISTÓRICO 7

PROPOSTA DE INDICADORES 10

SUPERINTENDÊNCIAS REGIONAIS DO INCRA NOS ESTADOS 10

MÉTODO PARA DEFINIÇÃO DE METAS 31

META PARA O EXERCÍCIO 31

MÉDIA DE EXECUÇÃO DOS EXERCÍCIOS ANTERIORES 32

METAS GLOBAIS E INTERMEDIÁRIAS - MÉDIA DE EXECUÇÃO DOS EXERCÍCIOS ANTERIORES PARA O PRIMEIRO EXERCÍCIO

32

METAS GLOBAIS - MÉDIA DE EXECUÇÃO ALCANÇADA NOS EXERCÍCIOS ANTERIORES PARA O SEGUNDO EXERCÍCIO 32

METAS INTERMEDIÁRIAS - MÉDIA DE EXECUÇÃO ALCANÇADA NOS EXERCÍCIOS ANTERIORES PARA O SEGUNDO EXERCÍCIO

33

SOBRE A AFERIÇÃO DAS METAS 38

CONCLUSÃO 39

ANEXO I – MODELO DE PLANILHA DE APURAÇÃO DE METAS GLOBAIS 40

ANEXO II – MODELO DE PLANILHA DE APURAÇÃO DE METAS INTERMEDIÁRIAS 40

REFERÊNCIAS 42

2

Histórico de Revisões

Data Versão Descrição Autor

07/08/2015 1.0 Criação do documento Willian C. Santana

01/09/2015 1.1 Revisão

3

Introdução

A definição de parâmetros para definição de indicadores e metas que influenciam

diretamente no cálculo de gratificações que impactam nos proventos dos servidores não é

uma tarefa fácil. A questão da remuneração já se mostrou, há muito tempo, ser um dos

maiores desafios da administração, principalmente quando as gratificações de desempenho

são, na maioria dos casos, maior que o salário base dos servidores.

Sobre a avaliação de desempenho, qualquer proposta, por melhor que seja, deve tentar se

equilibrar na tênue linha que separa a motivação dos servidores e seu nível de satisfação com

seu ambiente de trabalho bem como deve buscar ser clara e não fugir aos objetivos previstos

no artigo 140 da Lei nº 11.784/2008:

“I – promover a melhoria da qualificação dos serviços públicos; e

II – subsidiar a política de gestão de pessoas, principalmente quanto à

capacitação, desenvolvimento no cargo ou na carreira, remuneração

e movimentação de pessoal.”

Em que pese a legislação prever que a avaliação possui dois entes (art. 141, Lei 11.784/2008),

o servidor e a instituição (órgão), cabe apenas ao primeiro o ônus do não alcance das metas

como se dele dependesse todo seu resultado. Com isso em mente deve-se ter o cuidado,

quando da definição de indicadores e metas, para que estas sejam realistas e condizentes

com a estrutura operacional da autarquia, bem como que considere o histórico de

execuções que são um bom indício da capacidade de operacionalização do órgão.

“Importante ressaltar que o bom ou mau desempenho não é

responsabilidade apenas do indivíduo. Outras variáveis, relativas à

natureza da tarefa e ao contexto, devem ser amplamente

consideradas em todas as etapas da gestão do desempenho, assim

como a diferenciação entre os tipos de desempenho: medido

enquanto processo (indicador de eficiência) ou enquanto produto

(indicador de eficácia).” (BRASIL, 2013)

O presente trabalho visa apresentar a nova metodologia para definição de indicadores e

metas para fins de avaliação de desempenho institucional.

Metodologia

Para a elaboração do presente trabalho foi realizado estudo das planilhas de cálculo que

realizaram as aferições relativas aos vários ciclos de Avaliação Institucional no Instituto

Nacional de Colonização e Reforma Agrária – INCRA e documentação pertinente, bem

como interpretação do arcabouço legal que versa sobre o tema. Procurou-se também

verificar como outras instituições realizam suas avaliações além de rever alguns conceitos

básicos sobre indicadores e avaliação de desempenho.

Avaliação de Desempenho

O art. 141 da Lei nº 11.784/2008 define avaliação de desempenho como o monitoramento

sistemático e contínuo da atuação individual do servidor e institucional dos órgãos e das

entidades que compõem o Sistema de Pessoal Civil da Administração Federal (SIPEC), tendo

como referência suas metas globais e intermediárias.

4

O ciclo de avaliação de desempenho proposto pelo Decreto nº 7.133/2010 apresenta as

seguintes etapas: publicação das metas institucionais globais; pactuação inicial dos

compromissos de trabalho (construção do plano de trabalho); acompanhamento do

desempenho; avaliação parcial dos resultados; apuração final das pontuações para

fechamento das avaliações institucional e individual; publicação do resultado final e retorno

aos avaliados. (§ 1º do art. 10, Decreto 7.133/2010).

Figura 1 - Ciclo da Avaliação de Desempenho

Fonte: Brasil, 2013.

A Avaliação de Desempenho Institucional com vistas à repercussão percentual no valor da

gratificação dos servidores do INCRA e de outros órgãos foi regulamentada pelo Decreto N°.

7.133, publicado em 2010. O Decreto instituiu os seguintes percentuais para a Avaliação de

Desempenho:

5

Tabela 1 - Distribuição percentual da avaliação de desempenho

Avaliação Individual Avaliação Institucional

Avaliação Global Avaliação Intermediária

20% 80%

As Metas Globais expressam o esforço de toda a organização no alcance de seus resultados

finalísticos. As Metas Intermediárias devem ser definidas em consonância com as metas

globais, segmentadas por unidade de avaliação e previamente acordadas entre as chefias,

as equipes de trabalho e os servidores. As Metas Individuais são metas de desempenho

pactuadas entre o servidor e a respectiva chefia em consonância com as metas

intermediárias correspondentes à equipe de trabalho a qual pertence.

O percentual de alcance das metas institucionais intermediárias e globais são aferidas através

de indicadores, cuja apuração final resulta em uma pontuação.

Indicadores

Com a evolução da forma de apresentação orçamentária onde se privilegia mais o aspecto

gerencial do orçamento, existe a necessidade de não só verificar com o que o governo

gastou, mas também o que foi feito pelo governo, se o plano de governo foi ou está sendo

cumprido. Para tanto é necessário que existam, além dos tradicionais e indispensáveis

instrumentos de prestação de contas (balanços, demonstrativos de resultado e outros

relatórios contábeis), outros instrumentos que, através da utilização de variáveis passíveis de

mensuração possam “indicar” o grau de cumprimento das metas e objetivos ou mesmo a

comparação com outros padrões conhecidos.

Nesse contexto, a produção e o tratamento de informações permitem a ampliação do

conhecimento sobre as políticas públicas. Isto ganha destaque em um momento que o

Estado busca ampliar sua capacidade de fazer e entregar bens e serviços a sociedade,

reforçando o processo de aprendizado necessário para viabilizar a implementação das

políticas.

Na gestão pública, os indicadores são instrumentos que contribuem para identificar e medir

aspectos relacionados a um determinado fenômeno decorrente da ação ou da omissão do

Estado. A principal finalidade de um indicador é traduzir, de forma mensurável, um aspecto

da realidade dada (situação social) ou construída (ação), de maneira a tornar operacional

a sua observação e avaliação.

Conceitos

O indicador é uma medida, de ordem quantitativa ou qualitativa, dotada de significado

particular e utilizada para organizar e captar as informações relevantes dos elementos que

compõem o objeto da observação. É um recurso metodológico que informa empiricamente

sobre a evolução do aspecto observado. (BRASIL, 2012, apud Ferreira, Cassiolato e Gonzales;

2009).

Para o IBGE os indicadores são ferramentas constituídas de variáveis que, associadas a partir

de diferentes configurações, expressam significados mais amplos sobre os fenômenos a que

se referem. (BRASIL, 2012).

6

O Plano Plurianual 2012-2015 concebe os indicadores como instrumentos que possibilitam a

identificação e aferição de aspectos de determinada política pública e, uma vez apurado

periodicamente, auxiliam o monitoramento da evolução de uma determinada realidade,

gerando subsídios para a avaliação (BRASIL, 2012).

Em suma, indicadores são informações que permitem descrever, classificar, ordenar,

comparar ou quantificar de maneira sistemática aspectos de uma realidade e que atendam

às necessidades dos tomadores de decisões.

Classificação

a) Indicadores de Gestão

Essa classificação permite separar os indicadores de acordo com a sua aplicação nas

diferentes fases do ciclo de gestão de uma política pública, quais sejam: antes, durante ou

depois de sua Implementação. Esses indicadores podem divididos nos seguintes tipos: Insumo,

Processo, Produto, Resultado ou Impacto, conforme tabela a seguir.

Tabela 2 - Tipos de Indicadores de Gestão

Tipo Descrição Fase

Insumo Indicadores que têm relação direta com os recursos a serem

alocados, ou seja, com a disponibilidade dos recursos humanos,

materiais, financeiros e outros a serem utilizados pelas ações de

governo.

Antes

Processo Medidas que traduzem o esforço empreendido na obtenção dos

resultados, ou seja, medem o nível de utilização dos insumos

alocados.

Durante

Produto Medida de alcance das metas físicas. São indicadores que

expressam as entregas de produtos ou serviços ao público-alvo.

Depois

Resultado Medidas que expressam, direta ou indiretamente, os benefícios

no público-alvo decorrentes das ações empreendidas no

contexto de uma dada política e têm particular importância no

contexto de gestão pública orientada a resultados.

Depois

Impacto Indicadores que possuem natureza abrangente e

multidimensional, têm relação com a sociedade como um todo

e medem os efeitos das estratégias governamentais de médio e

longo prazos. Na maioria dos casos estão associados aos

objetivos setoriais e de governo.

Depois


b) Indicadores de Avaliação de Desempenho

Essa classificação possui foco maior na avaliação dos recursos alocados e dos resultados

alcançados. Segundo essa ótica, os indicadores podem ser de Economicidade, Eficiência,

Eficácia e Efetividade.

7

Tabela 3 - Tipos de indicadores de desempenho

Tipo Utilidade

Economicidade Medem os gastos envolvidos na obtenção dos insumos (materiais,

humanos, financeiros etc.) necessários às ações que produzirão os

resultados planejados. Visa a minimizar custos sem comprometer os

padrões de qualidade estabelecidos e requer um sistema que

estabeleça referenciais de comparação e negociação

Eficiência Essa medida possui estreita relação com produtividade, ou seja, o

quanto se consegue produzir com os meios disponibilizados. Assim,

a partir de um padrão ou referencial, a eficiência de um processo

será tanto maior quanto mais produtos forem entregues com a

mesma quantidade de insumos, ou os mesmos produtos e/ou

serviços sejam obtidos com menor quantidade de recursos

Eficácia Aponta o grau com que um Programa atinge as metas e objetivos

planejados, ou seja, uma vez estabelecido o referencial (linha de

base) e as metas a serem alcançadas, utiliza-se indicadores de

resultado para avaliar se estas foram atingidas ou superadas

Efetividade Mede os efeitos positivos ou negativos na realidade que sofreu a

intervenção, ou seja, aponta se houve mudanças

socioeconômicas, ambientais ou institucionais decorrentes dos

resultados obtidos pela política, plano ou programa. É o que

realmente importa para efeitos de transformação social.


A Orientação Normativa nº 7 de 31 de agosto de 2011, publicada no Diário Oficial da União

nº 169 de 01/09/2011, que estabelece diretrizes para a realização das avaliações de

desempenho individual e institucional e o pagamento das gratificações de desempenho a

que se refere o Decreto nº 7.133/2010, estabelece em seu artigo 12, § 1º, que para fins de

aferição das metas globais, poderão ser utilizados indicadores de eficiência, eficácia e

efetividade. O mesmo normativo estabelece, em seu artigo 14, que devem ser estabelecidos

indicadores de desempenho para as metas intermediárias.

Histórico

Traçando um histórico recente de como os indicadores e metas eram estabelecidos no

âmbito do Incra, tomamos como base os critérios utilizados para definição dos indicadores

do 4º ciclo de avaliação institucional (01/05/2014 até 30/04/2015).

Durante o processo de planejamento 2014-2015 foram discutidas as diretrizes, ações e metas

das áreas finalísticas e de gestão do INCRA. Neste mesmo processo, cada Superintendência

Regional indicou quais metas deveriam compor a Avaliação Institucional. A partir das

escolhas feitas pelas SRs, foram ranqueados aqueles indicadores que possuíram mais

indicações. Selecionaram-se, então, todos aqueles que foram indicados por 50% ou mais das

SRs como metas Globais.

Em consonância com o Plano de Ação para o biênio 2014-2015 e de acordo com os

indicadores apontados pelas SRs em seus planejamentos, desenvolvidos nas oficinas

realizadas no primeiro semestre de 2014, foram definidas Metas Intermediárias para as

seguintes Unidades de Avaliação: 30 Superintendências Regionais do INCRA,

Superintendência Nacional de Regularização Fundiária da Amazônia Legal (SRFA), Unidade

8

Avançada de Altamira-PA, Gabinete da Presidência, Procuradoria Federal Especializada,

Auditoria Interna e Diretorias do INCRA/Sede (DT, DD, DF, DA, DE).

Para compor as metas das diretorias do INCRA Sede foram considerados os projetos

estratégicos desenvolvidos no âmbito do processo de planejamento, conforme definido na

Portaria nº 412, de 30 de julho de 2014, publicada no DOU, Seção I de 14 de agosto de 2014.

O Gabinete da Presidência, Procuradoria Federal Especializada e a Auditoria Interna foram

avaliados pelo percentual de cumprimento das metas globais.

Em que pese o caráter participativo, esse método permitiu com que um número muito grande

de indicadores fossem alocados pelas unidades de avaliação (Superintendências Regionais).

Isso também acarretou uma desigualdade “matemática” enquanto permitiu que

determinada SR tivesse uma quantidade de indicadores diferentes de outra como, por

exemplo, a SR-08/SP que possuía 29 (vinte e nove) indicadores contra apenas 10 (dez)

indicadores da SR-26/TO.

Neste contexto, por exemplo, caso uma SR que tivesse um maior número de indicadores

obtivesse o mesmo resultado nos mesmos indicadores de uma SR que tivesse uma quantidade

menor de indicadores, sua pontuação tenderia a ser menor que a segunda tendo em vista

que o resultado final é feito sobre a média de execução de todos os indicadores. Isso pode

causar um viés na interpretação dos resultados e na consequente avaliação das unidades.

No método utilizado no 4º ciclo de avaliação, a forma encontrada para que houvesse

alinhamento entre as metas pactuadas pelas SRs e as metas globais, conforme previsto no §

5º, inciso II do art. 5º do Decreto 7.133/2010 e demais instrumentos legais foi a repetição dos

mesmos indicadores globais como metas intermediárias obrigatórias, com algumas exceções.

Com base no resultado final da avaliação do 4º ciclo, verificou-se que a média de alcance

das metas intermediárias foi de 71%, sendo que 17 (dezessete) SRs tiveram execução abaixo

dessa média, 5 (cinco) entre 71% e 74%, 7 (sete) entre 80% e 88%, uma com 90% e outra com

100%. Caso as metas intermediárias estivessem em consonância com as metas globais,

conforme definido no §5º, inciso II, art. 5º do Decreto 7.133/2010 e no art. 10 da Portaria MDA

33/2013, a tendência seria que o resultado das metas globais estivesse mais próximo desses

70%, sendo que o alcance foi de 95%, o que corrobora com a ideia de um possível

desalinhamento entre o que foi definido como meta intermediária e as metas globais.

Tabela 4 - Avaliação de Desempenho - Metas Institucionais Intermediárias - Resultado Final 4º

Ciclo

SR %

SUPERINTENDÊNCIA REGIONAL DO ESTADO DO AMAPÁ - SR 21/AP 100,00%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DO CEARÁ - SR 02/CE 90,17%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DO RIO GRANDE DO SUL - SR 11/RS 88,35%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DE SERGIPE - SR 23/SE 84,28%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DO PARANÁ - SR 09/PR 91,01%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DO MATO GROSSO DO SUL - SR 16/MS 80,78%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DO PARÁ - SR 01/PA 85,56%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DO MARANHÃO - SR 12/MA 80,64%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DE PERNAMBUCO - SR 03/PE 80,53%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DA BAHIA - SR 05/BA 74,69%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DO RIO GRANDE DO NORTE - SR 19/RN 73,43%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DE ALAGOAS - SR 22/AL 73,36%

SUPERINTENDÊNCIA REGIONAL DO MÉDIO SÃO FRANCISCO - SR 29/MSF 72,04%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DO RIO DE JANEIRO - SR 07/RJ 71,16%

9

SUPERINTENDÊNCIA REGIONAL DO ESTADO DE SÃO PAULO - SR 08/SP 70,96%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DO MATO GROSSO - SR 13/MT 69,45%

SUPERINTENDÊNCIA REGIONAL DO DISTRITO FEDERAL E ENTORNO - SR 28/DFE 68,91%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DO ACRE - SR 14/AC 68,04%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DE TOCANTINS - SR 26/TO 67,74%

SUPERINTENDÊNCIA REGIONAL DO SUL DE MARABÁ/PA - SR 27/MBA 62,51%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DE GOIÁS - SR 04/GO 70,41%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DA PARAÍBA - SR 18/PB 65,12%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DE RONDÔNIA - SR 17/RO 64,81%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DE MINAS GERAIS - SR 06/MG 70,22%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DE SANTA CATARINA - SR 10/SC 64,05%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DO AMAZONAS - SR 15/AM 64,60%

SUPERINTENDÊNCIA REGIONAL DE SANTARÉM/PA - SR 30/STM 57,70%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DO ESPÍRITO SANTO - SR 20/ES 56,06%

UNIDADE AVANÇADA DE ALTAMIRA/ANAPU 54,78%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DE RORAIMA - SR 25/RR 48,58%

SUPERINTENDÊNCIA REGIONAL DO ESTADO DO PIAUÍ - SR 24/PI 40,35%

Uma outra hipótese lógica que corrobora com esse possível desalinhamento seria a

possibilidade de ocorrer justamente o contrário, ou seja, que algumas unidades de avaliação

tivessem suas pontuações maiores que a das metas globais. Por exemplo: Se a meta

intermediária relacionada ao crédito fosse “Contratos de beneficiários aptos, assinados e

inseridos no SNCCI” ao invés de simplesmente o mesmo indicador da meta global “Número

de famílias com crédito instalação ou equivalente concedido”, no caso de uma SR ter inserido

toda sua demanda no sistema, ou seja, tivesse feito sua parte no esforço, essa teria 100% de

alcance enquanto a meta global, por motivos diversos, não alcançou os 100%.

Ainda com base nos resultados alcançados no 4º ciclo de avaliação, foi feita uma análise

junto aos indicadores de metas intermediárias para verificação do seu nível de ajustamento

(consonância) com as metas globais. Os indicadores que, por sua própria natureza, não

possuíam nenhuma relação com alguma meta global não foram considerados nessa análise.

Utilizando-se o coeficiente de correlação de Pearson1, observou-se que, com exceção dos

indicadores que, na realidade, são os mesmos indicadores globais e que foram repetidos

como indicadores intermediários, dos 73 (setenta e três) indicadores intermediários utilizados

por diversas SRs, encontrou-se apenas 4 (quatro) com uma forte correlação com a meta

global, ou seja, a sua execução contribuiu diretamente para o alcance da meta global.

1 Correlação de Pearson (ƿ): 0.70 para mais ou para menos indica uma forte correlação; 0.30 a 0.7

positivo ou negativo indica correlação moderada e 0 a 0.30 Fraca correlação.

10

Tabela 5 - Correlação entre indicadores intermediários e globais - 4º Ciclo de Avaliação

Fonte: Elaboração própria.

Pelo exposto conclui-se existir um forte viés na interpretação dos resultados alcançados nas

metas intermediárias pelas unidades de avaliação em relação ao resultado alcançado nas

metas globais, ou seja, não se pode afirmar, com certeza, que determinada SR teve melhor

ou pior desempenho em relação à outra com base na comparação dos percentuais de

atingimento das suas metas.

Proposta de Indicadores

Para elaboração do Plano de Trabalho que tem por objetivo estabelecer as metas de

desempenho individual e as metas intermediárias de desempenho institucional, faz-se

necessário dotar as Unidades de Avaliação de, no mínimo, os indicadores que melhor

apontarão para o alcance das metas.

Superintendências regionais do Incra nos Estados

Considerando que a metodologia para o planejamento das ações do Incra em 2015 sofreu

fortes mudanças que impediram que o método aplicado no 4º ciclo fosse replicado para o

5º e considerando ainda que os indicadores globais para o 5º Ciclo de Avaliação já foram

divulgados, conforme Portaria 176 de 30 de abril de 2015, foi realizado pela Divisão de

Avaliação da Gestão DEA-2 em conjunto com a Divisão de Monitoramento da Gestão – DEA1

uma proposta de indicadores para as metas institucionais intermediárias com base em

metodologias recomendadas pelo TCU e pelo MPOG.

Tipo Indicador Descrição do IndicadorCorrelação

(ƿ)

Global Número de famílias assentadas

Intermediária Número de famílias assentadas 1,0000

Global Número de famílias atendidas com assistência técnica

Intermediária Número de famílias atendidas com assistência técnica 1,0000

Intermediária Número de famílias atendidas com Assistência Técnica (BSM) 0,7437

Intermediária Número de famílias atendidas com Assistência Técnica (Territórios da Cidadania) 0,8301

Global Área total de imóveis vistoriados

Intermediária Área total de imóveis vistoriados 1,0000

Global Número de Servidores do INCRA capacitados

Intermediária Número de Servidores do Incra capacitados 0,9992

Global Número de atualizações cadastrais realizadas no SNCR

Intermediária Número de atualizações cadastrais realizadas no SNCR 1,0000

Global Número de atualizações cadastrais realizadas no SIPRA

Intermediária Número de atualizações cadastrais realizadas no SIPRA 1,0000

Intermediária Número de famílias assentadas 0,9977

Global Número de famílias em RB demandantes de construção enviadas às entidades organizadoras (EO)

Intermediária Número de famílias em RB demandantes de construção enviadas às entidades organizadoras (EO) 1,0000

Intermediária

Número de famílias beneficiadas com implantação e recuperação de Infraestrutura Básica

demandantes de habitação (modalidade construção) no Programa Nacional de Habitação Rural-PNHR,

prioritariamente para as rotas Assentamentos Verdes e Semiárido

0,8760

GlobalNúmero de famílias beneficiadas com implantação e/ou recuperação de infraestrutura básica em

projetos de assentamento

IntermediáriaNúmero de famílias beneficiadas com implantação e/ou recuperação de infraestrutura básica em

projetos de assentamento1,0000

Intermediária

Número de famílias beneficiadas com implantação e recuperação de Infraestrutura Básica

demandantes de habitação (modalidade construção) no Programa Nacional de Habitação Rural-PNHR,

prioritariamente para as rotas Assentamentos Verdes e Semiárido

0,6093

Global Redução de Custos de manutenção administrativa

Intermediária Redução de Custos de manutenção administrativa 0,9510

11

Com base nas metas globais, bem como no rol de indicadores monitorados, foram propostos

25 (vinte e cinco) indicadores que foram classificados conforme método proposto pelo TCU

(análise de trade-off). Para tanto, foi montada uma matriz de avaliação cujos critérios

eliminatórios e classificatórios seguiram as recomendações contidas nas orientações do

Ministério do Planejamento, Orçamento e Gestão – MPOG (Brasil, 2012). A matriz de avaliação

e as respectivas ponderações constam na Tabela 6.

O objetivo foi o de definir quais seriam os indicadores a serem utilizados pelas

Superintendências Regionais. Os indicadores foram previamente qualificados visando manter

sua consonância com as metas globais da avaliação institucional.

12

Tabela 6 – Matriz de avaliação de indicadores para metas institucionais intermediárias para as Superintendências Regionais ¹

13

Fontes: ¹Metodologia: Adaptado do Guia Metodológico do Ministério do Planejamento, Orçamento e Gestão - Indicadores de Programa (Brasil, 2010). ²Classificação: Técnica

de Indicadores de Desempenho para Auditorias (Brasil, 2011) ³Critérios: Indicadores - Orientações Básicas Aplicadas à Gestão Pública, MPOG (Brasil, 2012).

14

Observações sobre a avaliação de alguns indicadores propostos

Com relação ao critério classificatório C6 é importante ressaltar que os indicadores cuja a

fonte é a Wiki Incra2 foram classificados como pouco estáveis em função da ferramenta

permitir a livre edição dos dados, por se tratar, exatamente, de um sistema de

desenvolvimento colaborativo. O indicador “Percentual de títulos de concessão emitidos

dentro do prazo estipulado em portaria para famílias assentadas até 60 dias antes do término

do ciclo de avaliação” foi classificado como pouco estável em função da rotina de

atualização da informação no SIPRA ainda não estar bem disseminada na autarquia.

Para o critério classificatório C8, os indicadores cuja fonte é a Wiki Incra foram classificados

como pouco disponíveis em função das dificuldades de atualização das informações com a

frequência desejável; os indicadores cuja fonte é o site do INCRA/DOU foram classificados

como pouco disponível em função de necessitarmos que as áreas finalísticas repassem os

dados de execução à DEA e essa rotina ainda necessita ser pactuada; e o indicador

“Percentual de títulos de concessão emitidos dentro do prazo estipulado em portaria para

famílias assentadas até 60 dias antes do término do ciclo de avaliação” foi classificado como

pouco disponível pelo mesmo motivo arrolado acima. O indicador relacionado ao SisPES

recebeu “0” no critério eliminatório C5 tendo em vista que ainda não temos dados sobre a

possibilidade de aferição do % de dados preenchidos pelo próprio sistema. O indicador

“Número de Unidades Municipais de Cadastramento (UMC) mantidas no período” recebeu

pontuação zero no critério C2 devido sua utilidade ser menor que os demais indicadores de

interesse da diretoria ao qual está ligado.

Os indicadores “% de diminuição no custo de telefonia em relação ao período do exercício

anterior” e “Valor de manutenção administrativa efetivamente economizado em relação ao

exercício anterior (água, energia e telefone)” receberam uma pontuação 0 (zero) no quesito

classificatório “Auditabilidade” tendo em vista que o acesso às informações no SIAFI e/ou

Tesouro Gerencial estão restritas a poucos servidores, logo, a obtenção, tratamento,

formatação, difusão e interpretação das informações não está disponível a qualquer pessoa,

como sugere esse tipo de critério.

Para a seleção final dos indicadores foi utilizado como parâmetro os que obtivessem

pontuação final maior ou igual a 60% da maior pontuação final obtida. Esse parâmetro torna-

se necessário em função do número restrito de indicadores possíveis para cada meta global,

além de se tratar de um percentual nem muito restritivo, nem muito permissivo.

Do total de 25 (vinte e cinco) indicadores propostos, foram selecionados 19 (dezenove). Três

indicadores não foram selecionados por não alcançarem uma pontuação mínima de 60% e

três por não atenderem requisito eliminatório.

A pontuação total que subsidiou a análise de trade-off seguiu a seguinte fórmula:

Total = C1 x C2 x C3 x C4 x C5 ((C6 x Peso6) + (C7 x Peso7) + (C8 x Peso8))

Onde:

Total – Pontuação Total;

C1 a C5 – Critérios de eliminatórios;

C6 a C8 – Critérios classificatórios;

Peso6 a Peso8 – Peso de cada critério classificatório.


2 Sistema de desenvolvimento colaborativo de documentos do INCRA (wiki.incra.gov.br)

15

O percentual em relação à maior nota foi obtido seguindo a seguinte expressão:

P = (Total ÷ 46) x 100

Onde:

P = % em relação à maior pontuação;

46 = constante equivalente à maior pontuação obtida pelos indicadores.

Os indicadores selecionados foram minuciosamente detalhados, conforme segue:

Detalhamento dos indicadores - SRs

% de famílias homologadas no SIPRA no período

O que o indicador mostra: O percentual de famílias que foram homologadas no Sipra em relação à meta de famílias que a serem assentadas no mesmo período

Unidade: Família

Indicador global ao qual está relacionado: 1. Número de famílias assentadas

Periodicidade de apuração: Trimestral

Fonte de dados: Sipra

Forma de coleta dos dados: Consolidação mensal do relatório "233" do Sipra em Planilha Eletrônica

Métrica(s) da execução:

QF - Quantidade de famílias homologadas no Sipra no período MF - Meta de famílias a serem assentadas no período

Fórmula de cálculo da execução: (QF / MF) x 100

Métrica(s) para a meta do exercício vigente. Quando não previsto no caderno de metas, justificar a meta proposta:

QFn - Quantidade de famílias homologadas no Sipra no período onde "n" representa um exercício anterior MFn - Meta de famílias a serem assentadas no período onde "n" representa um exercício anterior

Fórmula de cálculo da meta do exercício vigente:

{[(QF / MF) x 100]1 + [(QF / MF) x 100]2 + [(QF / MF) x 100]3 + [(QF / MF) x 100]4}/ 4

O que pode causar um resultado aquém da meta:

Alto número de candidatos não aptos. Indisponibilidade de terras.

Qual o impacto de um resultado aquém da meta:

Menor contribuição na meta global de assentamento de famílias

O que pode representar um resultado muito acima da meta:

Erro na estimativa da meta. Demanda reprimida cuja viabilidade de atendimento tenha sido propiciada após a definição da meta.

Vinculação Programática ou diretriz institucional:

211A - PO 06 - Cadastro, Seleção e Homologação de Famílias Benef do PNRA

Número de famílias candidatas cadastradas no Sipra no período

O que o indicador mostra: A quantidade de famílias com batimento, que foram cadastradas no Sipra como candidatas no período.

Unidade: Família

Indicador global ao qual está relacionado: 1. Número de famílias assentadas



Forma de coleta dos dados:

16

Métrica(s) da execução: NFC - Número de famílias candidatas cadastradas no Sipra no período

Fórmula de cálculo da execução: NFC


NFCn - Número de famílias candidatas cadastradas no Sipra no período onde "n" representa um exercício anterior


[(NFC1) + (NFC2) + (NFC3) + (NFC4)] / 4


Baixa demanda.


Impacto negativo na meta global tendo em vista um número menor de candidatos ao assentamento


Pequena oferta de "vagas" em relação à demanda na região.



Número de famílias efetivamente atendidas com assistência técnica (com registro no SIATER)

O que o indicador mostra: Quantidade de famílias que foram efetivamente atendidas pelo serviço de ATER e cujos atendimentos foram registrados no Siater

Unidade: Família

Indicador global ao qual está relacionado: 2. Número de famílias atendidas com assistência técnica


Fonte de dados: Siater

Forma de coleta dos dados: Consolidação dos dados fornecidos pelo MDA cuja fonte é o Siater. São removidas as repetições do Código de Beneficiário.

Métrica(s) da execução: NFAter - Número de famílias efetivamente atendidas com assistência técnica (com registro no SIATER)

Fórmula de cálculo da execução: NFAter


NFAtern - Número de famílias efetivamente atendidas com assistência técnica (com registro no SIATER) onde "n" representa um exercício anterior


[(NFAter1) + (NFAter2) + (NFAter3) + (NFAter4)] / 4


Falta de prestadoras de ATER aptas à contratação em quantidade suficiente para atendimento da demanda.


Menor qualificação técnica para o desenvolvimento dos projetos de assentamento




210S - PO 03 - Assistência técnica e extensão Rural p/ Reforma Agrária

17

Número de famílias em chamadas públicas publicadas no período

O que o indicador mostra: A quantidade de famílias que foram consideradas para fins de contratação do serviço de Ater na jurisdição da SR no período de avaliação

Unidade: Família

Indicador global ao qual está relacionado: 2. Número de famílias atendidas com assistência técnica


Fonte de dados: Site do INCRA/DOU

Forma de coleta dos dados: Pesquisa no portal do Incra, página relativa às chamadas públicas para ATER e confirmação de publicação do edital no Diário Oficial da União

Métrica(s) da execução: NFCAter - Número de famílias em chamadas públicas publicadas no período

Fórmula de cálculo da execução: NFCAter


NFCAtern - Número de famílias em chamadas públicas publicadas no período onde "n" representa um exercício anterior


[(NFCAter1) + (NFCAter2) + (NFCAter3) + (NFCAter4)] / 4


Erro na estimativa da meta. Problemas na operacionalização/confecção dos instrumentos para contratação.


Menor qualificação técnica para o desenvolvimento dos projetos de assentamento



Observação:

Para fins de histórico de execução do indicador foi considerado, para o 5º ciclo de avaliação, apenas o incremento de famílias dos exercícios em relação ao exercício anterior (novas famílias por exercício). Considerando que quanto maior a média menor é a tendência da realização de novas chamadas públicas e quanto menor a média é maior a tendência de realização de novas contratações, para esse indicador a SR poderá informar a meta estimada, justificando a escolha.



Quantidade de contratos de crédito de beneficiários qualificados, assinados e atualizados no SNCCI

O que o indicador mostra:

A quantidade de contratos do novo crédito para beneficiários que atendam aos requisitos normativos que foram efetivamente lançados no SNCCI com a informação sobre a data de assinatura do contrato. Mostra também a demanda já qualificada para receber o novo crédito.

Unidade: Família

Indicador global ao qual está relacionado: 3. Número de famílias com novo crédito instalação da Reforma Agrária concedido

18


Fonte de dados: SNCCI

Forma de coleta dos dados: Consolidação de relatório emitido utilizando o SNCCI

Métrica(s) da execução: QC - Quantidade de contratos, para famílias qualificadas, inseridos no SNCCI no período

Fórmula de cálculo da execução: QC


FAn - Famílias atendidas com o crédito instalação QC - Quantidade de contratos, para famílias qualificadas, inseridos no SNCCI onde "n" representa um exercício anterior


Antes da possibilidade de estabelecimento de linha de base do novo crédito: [(FA1) + (FA2) + (FA3) + (FA4)] / 4 Após 2 exercícios de execução do novo crédito: [(QC1) + (QC2) + (QC3) + (QC4)] / 4


Falta de CCU/CDRU ou outro documento válido de titulação da família. Falta de inscrição no CADÚnico, irregularidade ocupacional ou cadastral da família ou a falta de atendimento de qualquer um dos pré-requisitos estabelecidos no normativo do crédito ou no Decreto 8.256/2014.


Não liberação dos recursos em conta conforme programação/meta estabelecida pela sede com consequente impacto negativo no alcance da meta global.


Demanda reprimida por crédito cuja viabilidade de atendimento tenha sido propiciada após a definição da meta, atendimento de demandas judiciais ou recomendações de órgãos de controle ou falha na definição da demanda inicial.

Observação:

Seguindo a mesma regra do indicador global ao qual está relacionado, optou-se por fazer a média 2011-2013 com base no antigo crédito instalação, por se tratar da mesma ação institucional e 2014 com base no novo crédito.



Área total de imóveis vistoriados com trabalho de campo concluído no período

O que o indicador mostra: A área total dos imóveis que foram vistoriados e cujo trabalho de campo foi concluído

Unidade: Hectare

Indicador global ao qual está relacionado: 4. Área de imóveis vistoriados com laudo entregue


Fonte de dados: SIR

Forma de coleta dos dados: Compilação de dados do módulo de monitoramento do SIR

Métrica(s) da execução: ATV - Área total de imóveis vistoriados com trabalho de campo concluído no período

Fórmula de cálculo da execução: ATV

19


ATVn - Área total de imóveis vistoriados com trabalho de campo concluído no período onde "n" representa um exercício anterior


[(ATV1) + (ATV2) + (ATV3) + (ATV4)] / 4


Reduzido número de servidores credenciados para executar a tarefa.


Prejuízo no andamento de processos avaliação para obtenção de imóveis


Observação:

Considerando que a área de imóveis vistoriados com laudo entregue é a área máxima a ser vistoriada com trabalho de campo concluído, optou-se por utilizar a meta relativa à área de imóveis vistoriados com laudo entre como meta limitante para o exercício 2015.


211A - PO 07 - Vistoria e Avaliação para Obtenção de Imóveis Rurais

Número de imóveis com levantamento de Cadeia Dominial concluída no período

O que o indicador mostra: Quantidade de imóveis com levantamento da cadeia dominial concluída no período

Unidade: Família

Indicador global ao qual está relacionado: 4. Área de imóveis vistoriados com laudo entregue


Fonte de dados: SIR

Forma de coleta dos dados: Compilação de dados do módulo de monitoramento - SIR

Métrica(s) da execução: NICD - Número de imóveis com levantamento de Cadeia Dominial concluída no período

Fórmula de cálculo da execução: NICD


NICDn - Número de imóveis com levantamento de Cadeia Dominial concluída no período onde "n" representa um exercício anterior


[(NICD1) + (NICD2) + (NICD3) + (NICD4)] / 4


Reduzido número de servidores credenciados para executar a tarefa.


Prejuízo no andamento de processos avaliação para obtenção de imóveis



211A - PO 07 - Vistoria e Avaliação para Obtenção de Imóveis Rurais

20

Índice de abrangência de capacitação

O que o indicador mostra: Indica o percentual de servidores da jurisdição que participaram de alguma capacitação oferecida.

Unidade: %

Indicador global ao qual está relacionado: 5. Número de Servidores do INCRA capacitados


Fonte de dados: SIR/DA


Consolidação dos dados de capacitação informados no SIR. Para o cômputo da meta global será adicionada a capacitação dos servidores da sede (caso não tenha sido incluído esse indicador para a Diretoria - DA).

Métrica(s) da execução: NSC - Nº de servidores que participaram das atividades de capacitação NSJ - Nº total de servidores na jurisdição da SR

Fórmula de cálculo da execução: (NSC / NSJ) x 100


NSCn - Nº de servidores que participaram das atividades de capacitação onde "n" representa um exercício anterior NSJn - Nº total de servidores na jurisdição da SR onde "n" representa um exercício anterior


{[(NSC / NSJ) x 100]1 + [(NSC / NSJ) x 100]2 + [(NSC / NSJ) x 100]3 + [(NSC / NSJ) x 100]4} / 4


Alto número de candidatos não aptos. Indisponibilidade de terras.


Menor contribuição na meta global de assentamento de famílias





Número de Unidades Municipais de Cadastramento (UMC) implantadas no período


Indica o número de Unidades Municipais de Cadastramento (UMC) implantadas. A UMC constitui-se em repartição pública instalada no município que representa a autarquia através de servidor público municipal de provimento efetivo e credenciado para realizar atualizações de dados de imóveis rurais.

Unidade: Unidade

Indicador global ao qual está relacionado: 6. Número de atualizações cadastrais realizadas no SNCR


Fonte de dados: SIR

Forma de coleta dos dados: Compilação das informações do SIR acumulando mês a mês.

Métrica(s) da execução: UMCI - Unidades Municipais de Cadastramento (UMC) implantadas no período

Fórmula de cálculo da execução: UMCI

21


UMCIn - Unidades Municipais de Cadastramento (UMC) implantadas no período onde "n" representa um exercício anterior


[(UMCI1) + (UMCI2) + (UMCI3) + (UMCI4)] / 4


Problemas na pactuação com os municípios ou outros entes para a criação das UMCs.


Impacto negativo na atualização do cadastro de imóveis rurais


Interesse na abertura de UMC por parte de municípios não previstos anteriormente.


2105 - PO 01 - Gerenciamento e Fiscalização do Cadastro Rural

Número de Unidades Municipais de Cadastramento (UMC) mantidas no período


Indica o número de Unidades Municipais de Cadastramento (UMC) mantidas no período. A UMC constitui-se em repartição pública instalada no município que representa a autarquia através de servidor público municipal de provimento efetivo e credenciado para realizar atualizações de dados de imóveis rurais. Após a implantação é necessário manter a UMC em funcionamento.

Unidade: Unidade



Fonte de dados: SIR

Forma de coleta dos dados: Compilação das informações do SIR acumulando mês a mês.

Métrica(s) da execução: UMCM - Número de Unidades Municipais de Cadastramento (UMC) mantidas no período

Fórmula de cálculo da execução: UMCM


UMCMn - Número de Unidades Municipais de Cadastramento (UMC) mantidas no período onde "n" representa um exercício anterior


[(UMCM1) + (UMCM2) + (UMCM3) + (UMCM4)] / 4


Problemas na repactuação com os municípios ou outros entes para a manutenção das UMCs.


Impacto negativo na atualização do cadastro de imóveis rurais


Não se aplica


2105 - PO 01 - Gerenciamento e Fiscalização do Cadastro Rural

22

% de atualizações cadastrais realizadas no Sipra em relação à demanda por atualização


O percentual de atualizações feitas nos cadastrados dos beneficiários no Sipra em relação à demanda existente. A demanda deve, preferencialmente, ser baseada em dados previamente levantados constando erros ou duplicação de CPF, falta de informação de número de documentos de identidade, falta de filiação, falta de número de processo individual, falta de informação do número do lote para PAs loteados, falta de informação de documento de titulação, datas inconsistentes, etc.

Unidade: %

Indicador global ao qual está relacionado: 7. Número de atualizações cadastrais realizadas no SIPRA




Relatório "410" do Sipra consolidando mês a mês. Quando informada, será utilizada a base que gerou a demanda por atualização com as atualizações realizadas.

Métrica(s) da execução: QA - Quantidade de atualizações realizadas no Sipra no período DA - Demanda de atualizações para a SR

Fórmula de cálculo da execução: (QA / DA) x 100


QAn - Quantidade de atualizações realizadas no Sipra no período onde "n" representa um exercício anterior DAn - Demanda de atualizações para a SR onde "n" representa um exercício anterior


{[(QA / DA) x 100]1 + [(QA / DA) x 100]2 + [(QA / DA) x 100]3 + [(QA / DA) x 100]4} / 4


Falta de informação sobre os erros existentes. Falta de acesso ao Sipra com perfil apropriado para as atualizações.


Saneamento de erros de cadastro no Sipra prejudicado. Maior índice de erros na qualificação de cadastros para emissão de cartões do novo crédito pela instituição financeira. Aumento da possibilidade de aumento de erros na identificação de beneficiários. Possibilidade aumento de erro na emissão de certidões.


Quantidade de erros encontrados nos cadastros maior que os identificados (a análise dos documentos constantes no processo individual pode resultar na identificação de mais erros que no processo eletrônico. Ex.: CPF correto, porém de outra pessoa)


Não se aplica

23

Índice de análises individuais realizadas nos processos para emissão de RB para o PMCMV demandantes de construção


A quantidade de análises individuais realizadas para qualificação das famílias visando emissão de RB para o Programa Minha Casa Minha Vida em relação à quantidade demandada pelas Entidades Organizadoras em processos para construção de novas casas no período.

Unidade: %

Indicador global ao qual está relacionado: 8. Número de famílias em RB demandantes de construção enviadas às entidades organizadoras (EO)


Fonte de dados: Wiki


Consolidação de dados das planilhas postadas pelos asseguradores de Planejamento das SRs na Wiki, com base nas informações prestadas pelas áreas que emitem as RBs para o PMCMV.


QA - Quantidade de análises individuais realizadas nos processos para emissão de RB para o PMCMV na modalidade construção QF - Quantidade de famílias demandantes nos processos para emissão de RB para o PMCMV na modalidade construção

Fórmula de cálculo da execução: (QA / QF) x 100


QAn - Quantidade de análises individuais realizadas nos processos para emissão de RB para o PMCMV na modalidade construção onde "n" representa um exercício anterior QFn - Quantidade de famílias demandantes nos processos para emissão de RB para o PMCMV na modalidade construção onde "n" representa um exercício anterior


{[(QA / QF x 100]1 + [(QA / QF x 100]2 + [(QA / QF x 100]3 + [(QA / QF x 100]4} / 4


Falta de estrutura operacional e/ou de servidores para realizar a análise individual das demandas


Emissão de RB para o PMCMV menor que o esperado


Erro na estimativa da meta


211A - PO 08 - Implantação e Recuperação de Infraestrutura Básica em Projetos de Assentamento

Índice de efetividade na emissão de RB para o PMCMV para famílias demandantes de construção

O que o indicador mostra: Quantidade de famílias constantes nas RBs enviadas às EO em relação à meta de emissão de RB para a modalidade construção

Unidade: %

Indicador global ao qual está relacionado: 8. Número de famílias em RB demandantes de construção enviadas às entidades organizadoras (EO)


24



Consolidação de dados das planilhas postadas pelos asseguradores de Planejamento das SRs na Wiki, com base nas informações prestadas pelas áreas que emitem as RBs para o PMCMV.


QF - Quantidade de famílias constantes nas RBs em processos da modalidade construção encaminhadas às entidades organizadoras MF - Meta de famílias para encaminhamento de RB na modalidade construção na jurisdição da SR no período

Fórmula de cálculo da execução: (QF / MF) x 100


QFn - Quantidade de famílias constantes nas RBs em processos da modalidade construção encaminhadas às entidades organizadoras onde "n" representa um exercício anterior MFn - Meta de famílias para encaminhamento de RB na modalidade construção na jurisdição da SR no período onde "n" representa um exercício anterior


{[(QF / MF x 100]1 + [(QF / MF x 100]2 + [(QF / MF x 100]3 + [(QF / MF x 100]4} / 4


Falta de estrutura operacional e/ou de servidores para realizar a análise individual das demandas. Duplicidade na demanda oriunda da EO (beneficiário para o qual já foi emitida RB para outra EO). Existência de beneficiários inaptos para acesso ao programa (Ex.: renda superior ao teto permitido, inscrição no CADMUT, ocupação irregular, problema cadastral, etc.)


Impacto negativo no número de contratações junto ao agente financeiro visando a construção de casas nos projetos de assentamento na jurisdição da SR


Demanda envida pelas EOs às SRs maior que a meta estimada



Número previsto de famílias para atendimento em convênios ou licitações em obras de implantação e/ou recuperação de infraestrutura básica publicadas no período


Quantidade de famílias constantes nos instrumentos visando a implantação e/ou recuperação de infraestrutura básica em projetos de assentamento na jurisdição da SR no período

Unidade: Família

Indicador global ao qual está relacionado:

9. Número de famílias beneficiadas com implantação e/ou recuperação de infraestrutura básica em projetos de assentamento


Fonte de dados: Site do INCRA/DOU

Forma de coleta dos dados: Pesquisa no portal do Incra, página relativa às chamadas públicas para infraestrutura e

25

confirmação de publicação do instrumento legal utilizado no Diário Oficial da União


NFI - Número previsto de famílias para atendimento em convênios ou licitações em obras de implantação e/ou recuperação de infraestrutura básica publicadas no período

Fórmula de cálculo da execução: NFI


NFIn - Número previsto de famílias para atendimento em convênios ou licitações em obras de implantação e/ou recuperação de infraestrutura básica publicadas no período onde "n" representa um exercício anterior


[(NFI1) + (NFI2) + (NFI3) + (NFI4)] / 4


Redução do orçamento. Cancelamento de contrados


Impacto negativo no desenvolvimento dos assentamentos. Comprometimento de pré-requisito para o desenvolvimento de outras políticas públicas.




Índice de famílias atendidas com obras contratadas para implantação e/ou recuperação de infraestrutura básica para famílias assentadas em projetos de assentamento


Quantidade de famílias atendidas em contratos de obras para implantação e/ou recuperação de infraestrutura básica em projetos de assentamento em relação à meta de famílias a serem atendidas em contratos de obras para implantação e/ou recuperação de infraestrutura básica em projetos de assentamento. Apenas obras contratadas.

Unidade: %

Indicador global ao qual está relacionado:

9. Número de famílias beneficiadas com implantação e/ou recuperação de infraestrutura básica em projetos de assentamento


Fonte de dados: SIR

Forma de coleta dos dados: Compilação dos dados do SIR


QF - Quantidade de famílias atendidas em contratos de obras para implantação e/ou recuperação de infraestrutura básica em projetos de assentamento NFC - Número previsto de famílias para atendimento em convênios ou licitações em obras de implantação e/ou recuperação de infraestrutura básica no período

Fórmula de cálculo da execução: (QF / NFC) x 100

26


QFn - Quantidade de famílias atendidas em contratos de obras para implantação e/ou recuperação de infraestrutura básica em projetos de assentamento onde "n" representa um exercício anterior NFCn - Número previsto de famílias para atendimento em convênios ou licitações em obras de implantação e/ou recuperação de infraestrutura básica no período onde "n" representa um exercício anterior


{[(QF / NFC x 100]1 + [(QF / NFC x 100]2 + [(QF / NFC x 100]3 + [(QF / NFC x 100]4} / 4


Redução do orçamento. Cancelamento de contrados


Impacto negativo no desenvolvimento dos assentamentos. Comprometimento de pré-requisito para o desenvolvimento de outras políticas públicas.




% de diminuição no consumo de energia elétrica em kWh/m² em relação ao período do exercício anterior


A diminuição ou aumento real no consumo de energia elétrica da unidade. Permite a comparação do consumo entre as SRs tendo em vista que a unidade é kWh/m². Alinhamento da autarquia com o estabelecido na Portaria MPOG nº 23/2015 e na Portaria Conjunta SLTI/SOF MPOG nº 8/2015.

Unidade: %

Indicador global ao qual está relacionado: 10. Redução de Custos de manutenção administrativa (%) ³


Fonte de dados: SisPES. DA

Forma de coleta dos dados: Verificação de dados no SisPES


CE1 - Consumo de energia elétrica em kWh/m² do mês do período atual CE2 - Consumo de energia elétrica em kWh/m² do mês equivalente ao atual no período anterior Onde: kWh/m² = Consumo (kWh) dividido pela Área Construída da unidade (m²). Campos do SisPES: ([Consumo de Ponta em kWh] + [Consumo Fora de Ponta em kWh]) / ([Área construída total em metros quadrados])

Fórmula de cálculo da execução: [(CE2 - CE1) / CE2] x 100


Não se aplica


Indicador de redução. Base: Exercício anterior

27


Aumento no consumo de energia (ondas de calor inesperadas, aumento do número de colaboradores, mudança de prédio, não observância das recomendações contidas na Portaria MPOG 23/2015, etc.)


Impacto nulo ou negativo na diminuição dos gastos com energia elétrica


Diminuição inesperada no consumo de energia por motivos diversos (diminuição de servidores, troca de equipamentos por outros mais eficientes, etc.)


2000 - PO 03 - Administração da unidade

% de diminuição no consumo de água em m³/pessoal total em relação ao período do exercício anterior


A diminuição ou aumento real no consumo de água da unidade. Permite a comparação entre as SRs tendo em vista a utilização de m³/pessoal. Alinhamento da autarquia com o estabelecido na Portaria MPOG nº 23/2015 e na Portaria Conjunta SLTI/SOF MPOG nº 8/2015.

Unidade: %

Indicador global ao qual está relacionado: 10. Redução de Custos de manutenção administrativa



Forma de coleta dos dados: Leitura de planilha disponibilizada pelos asseguradores de planejamento na Wiki contendo o registro mensal do consumo de água em litros


CA1 - Consumo de água em m³/pessoal do mês do período atual CA2 - Consumo de água em m³/pessoal do mês equivalente ao atual no período anterior Onde: m³/pessoal = Consumo (m³) dividido pela quantidade de pessoal na unidade (servidores, terceirizados, estagiários, etc.). Campos do SisPES: ([Consumo em metros cúbicos]) / ([ativos] + [terceirizados] + [outros])

Fórmula de cálculo da execução: [(CE2 - CE1) / CE2] x 100


Não se aplica


Indicador de redução. Base: Exercício anterior


Aumento no consumo de água (aumento do número de colaboradores, problemas de vazamento nas instalações, mudança de prédio, não observância das recomendações contidas na Portaria MPOG 23/2015, etc.)


Impacto nulo ou negativo na diminuição dos gastos com água

28


Diminuição inesperada no consumo de água por motivos diversos (diminuição de servidores, conserto/substituição de instalações hidráulicas ineficientes ou com defeito, etc.)



% de preenchimento de dados no SisPES

O que o indicador mostra: O percentual de preenchimento de informações relativas ao consumo de água e energia elétrica no SisPES, conforme portaria MPOG 23/2015.

Unidade: %

Indicador global ao qual está relacionado: 10. Redução de Custos de manutenção administrativa


Fonte de dados: SisPES. DA


Verificação da quantidade de meses com dados preenchidos no SisPES no mesmo período da avaliação. O preenchimento deve abranger, pelo menos, um exercício anterior ao atual de forma a permitir a comparação do consumo atual com o anterior.


QMA - Quantidade de meses preenchidos com dados de consumo de água QME - Quantidade de meses preenchidos com dados de consumo de energia elétrica

Fórmula de cálculo da execução: [(QMA + QME) / 24] x 100


Não se aplica


Fixo: 100%


Não preenchimento de dados no SisPES. Falta de acesso ao sistema.


Impossibilidade de apuração da efetiva redução de custos através da ferramenta implementada pelo MPOG com essa finalidade. A avaliação contínua dos resultados alcançados pode subsidiar os gestores na tomada de decisões que podem influenciar no alcance das metas.


Não se aplica



Preenchimento mensal do módulo de monitoramento em cumprimento da IN Incra nº 55/2009


Preenchimento integral dos dados monitorados pelo SIR dentro do prazo determinado na IN 55/2009 e respectiva homologação, não sendo considerados o preenchimento realizado em períodos posteriores por solicitação da superintendência.

Unidade: Sistema preenchido e homologado

29

Indicador global ao qual está relacionado: Todos

Periodicidade de apuração: Mensal

Fonte de dados: SIR


Pesquisa do preenchimento no módulo de monitoramento do SIR onde será verificado se os dados foram informados na totalidade (100%) dentro do prazo legal.

Métrica(s) da execução: PI - Percentual de preenchimento integral mensal dos dados monitorados no SIRA

Fórmula de cálculo da execução:

PI = 100% = 1 | PI < 100% = 0 (Será considerado "1" apenas quando o percentual de preenchimento tempestivo for igual a 100%)


MPI - Meta Preenchimento


MPI = 12


Problemas de ordem tecnológica que possam causar indisponibilidade do sistema e/ou problemas de impedimento de acesso ao local de trabalho (casos fortuitos como, por exemplo, ocupação de prédios públicos, etc.)


Impossibilidade de apuração tempestiva dos dados para fins de avaliação e monitoramento das ações executadas pela autarquia com reflexo nos documentos oficiais como a Prestação de Contas da Presidência da República - PCPR, Relatório de Gestão, Sistema Integrado de Orçamento e Planejamento - SIOP, etc. e na própria Avaliação de Desempenho Institucional. A avaliação contínua dos resultados alcançados pode subsidiar os gestores na tomada de decisões que podem influenciar no alcance das metas.


Não se aplica

Observação:

Haverá prazo para informação dos dados no SIR para os meses anteriores à publicação desse indicador para que as SRs possam preencher todos os dados afim de não as prejudicar na contagem das metas.


Não se aplica

% de hectares cadastrados no SNCR fiscalizados


O percentual de hectares que foram fiscalizados em relação ao total cadastrado e atualizado no período no SNCR. A fiscalização abrange a coesão dos dados declarados em relação às informações cadastrais constantes no SNCR.

Unidade: Hectare


Periodicidade de apuração: Semestral

Fonte de dados: SNCR

Forma de coleta dos dados: Relatórios DFC/NEF - Núcleo de Estudos Fundiários.

30


NHF - Número de hectares fiscalizados em relação ao total cadastrado e atualizado no SNCR no período NHT - Número de total de hectares cadastrados e atualizados no SNCR no período

Fórmula de cálculo da execução: (NHF / NHT) x 100


NHTp - número de total de hectares cadastrados e atualizados no SNCR no período onde "p" corresponde ao exercício anterior


NHTp x 5%


Reduzido número de servidores lotados no Serviço de Cadastro.


Prejuízos para a qualificação das informações declaradas no SNCR.


Maior fidedignidade das informações constantes da base do SNCR.


2105 - PO 02 - Regularização Fundiária - Gerenciamento e Fiscalização do Cadastro Rural

% de hectares no SIGEF certificados fiscalizados

O que o indicador mostra: Mostrará o percentual de área fiscalizada em relação ao total de área certificada via SIGEF no exercício anterior.

Unidade: Hectare


Periodicidade de apuração: Semestral

Fonte de dados: SIGEF, Acervo Fundiário Digital e SNCR

Forma de coleta dos dados: Levantamento de propriedades junto a fonte de dados coordenado pelo comitê nacional de certificação e pela DFG


NHF - Número de hectares certificados fiscalizados no período NHT - Número de total de hectares certificados no SIGEF no período anterior

Fórmula de cálculo da execução: (NHF / NHT) x 100


NHTp - número de total de hectares cadastrados e atualizados no SIGEF no período onde "p" corresponde ao exercício anterior


NHTp x 10%


Reduzido número de servidores credenciados no Serviço de Cartografia


Necessidade de rever fluxo de fiscalização da certificação


Qualidade, significa que a malha certificada está de acordo com o declarado pelo responsável técnico e pelo proprietário do imóvel.


210U - PO 0C - Regularização Fundiária - Estruturação, Implantação e Manutenção dos Sistemas Cadastrais e Cartográficos

31

Método para definição de metas

Visando ainda contribuir com a construção do Plano de Trabalho bem como manter

alinhamento com os preceitos legais, foi construída uma metodologia para definição das

metas.

O fator principal que influenciou o método foi a observância dos índices alcançados nos

exercícios anteriores, que está definida no § 3º, inciso II, art. 5º do Decreto 7.133/2010:

“§ 3º As metas referidas no § 2º devem ser objetivamente mensuráveis, utilizando-se

como parâmetros indicadores que visem a aferir a qualidade dos serviços

relacionados à atividade finalística do respectivo órgão ou entidade de lotação,

levando-se em conta, no momento de sua fixação, os índices alcançados nos

exercícios anteriores.” (Grifamos).

O método também levou em consideração o previsto no § 3º, inciso II, art. 5º do mesmo

decreto no que tange à elaboração de metas em consonância com o processo de

planejamento da autarquia (diretrizes, políticas e metas governamentais).

Neste sentido a metodologia prevê que as metas terão seus valores fixados mediante

comparação entre os valores estabelecidos no planejamento anual da autarquia e a média

de execução alcançada nos exercícios anteriores, prevalecendo a que for menor, conforme

expressão a seguir:

Meta para o exercício

Onde:

m = meta do exercício para fins de avaliação institucional;

mea = média de execução alcançada nos exercícios anteriores;

mp = meta prevista no planejamento anual da autarquia.

Considerando que a avaliação institucional abrange exercícios diferentes, m1 representará a

meta do primeiro exercício e m2 a meta do segundo exercício.

O motivo de se ter o planejamento como limitador das ações está diretamente relacionado

às questões orçamentárias e financeiras, pois de nada adianta estabelecer uma meta

superior à capacidade da autarquia em financiá-la ou esta ser superior às diretrizes atuais do

órgão.

Na hipótese de não previsão da meta no planejamento anual da autarquia, as metas terão

seus valores fixados conforme à média (simples) de execução alcançada nos exercícios

anteriores, salvo os casos onde não há histórico de execuções e se faz necessária a definição

das metas até que se tenha uma série histórica.

A média de execução a ser considerada no cômputo das metas para fins de avaliação,

deverá considerar em seu cálculo a execução dos últimos 4 (quatro) exercícios, com peso 2

(dois) para o último. Caso inexista execução, por falta de meta definida ou por outro fator de

força maior, em um ou mais dos 4 (quatro) últimos exercícios, a média deverá levar em

𝑚𝑒𝑎 > 𝑚𝑝 𝑚 = 𝑚𝑒𝑎

𝑚𝑒𝑎 ≤ 𝑚𝑝 𝑚 = 𝑚𝑝

32

consideração apenas a quantidade de exercícios onde houve execução, com peso 2

aplicado ao último exercício disponível, observando-se a fórmula a seguir:

Média de execução dos exercícios anteriores

Onde:

me = média de execução dos exercícios anteriores;

xn = execução de cada um dos quatro últimos exercícios;

ne = constante relativa ao número de exercícios considerados na média somado a 1 (um) relativo ao

peso 2 aplicado no último exercício.

A média de execução alcançada das metas globais e intermediárias relativas ao primeiro

exercício, a ser considerado no cômputo das metas para fins de avaliação (m1), deverá

considerar em seu cálculo a execução dos últimos 4 (quatro) exercícios, evidenciando o

último exercício como linha de tendência aplicando peso 2 (dois) para este, observando-se

a fórmula a seguir:

Metas Globais e Intermediárias - Média de execução dos exercícios

anteriores para o primeiro exercício

Onde:

mea1 = média de execução dos exercícios anteriores para o primeiro exercício – metas globais e

intermediárias;

me = média de execução dos exercícios anteriores.

A média de execução alcançada a ser considerada no cômputo das metas globais do

segundo exercício para fins de avaliação, conforme m2, deverá considerar em seu cálculo a

média encontrada conforme fórmula descrita anteriormente (me) multiplicada pelo

percentual, até o limite de 25% (vinte e cinco por cento), do desvio padrão da média de

execução dos últimos 4 (quatro) exercícios, observando-se as fórmulas a seguir:

Metas Globais - Média de execução alcançada nos exercícios

anteriores para o segundo exercício

Onde:

meag = média de execução alcançada nos exercícios anteriores para o segundo exercício – metas

globais;

pdp = percentual do desvio padrão em relação à média de execução dos 4 (quatro) últimos exercícios;


25% = constante conforme limite admitido para o desvio padrão em relação à média de execução dos

4 (quatro) últimos exercícios.

𝑚𝑒 = 𝑥4 + 𝑥3 + 𝑥2 + (𝑥1 × 2)

𝑛𝑒 + 1

𝑚𝑒𝑎1 = 𝑚𝑒

𝑚𝑒𝑎𝑔 = 𝑝𝑑𝑝 > 25% 𝑚𝑒 − 𝑚𝑒 × 25%

𝑚𝑒𝑎𝑔 = 𝑝𝑑𝑝 ≤ 25% 𝑚𝑒 − 𝑚𝑒 × 𝑝𝑑𝑝

33

Onde:

pdp = percentual do desvio padrão em relação à média de execução dos 4 últimos exercícios;

dpm = desvio padrão em relação à média dos quatro últimos exercícios;

me = média de execução dos exercícios anteriores.

Onde:

dpm = desvio padrão em relação à média dos quatro últimos exercícios;

Xn = execução de cada um dos quatro últimos exercícios;

Ẋ = média dos quatro últimos exercícios.

A média de execução alcançada a ser considerada no cômputo das metas intermediárias

do segundo exercício para fins de avaliação, conforme m2, deverão ser definidas na faixa de

execução encontrada dentro dos limites do desvio padrão da média de execução dos

últimos 4 (quatro) exercícios até o limite de 25% (vinte e cinco por cento), observando-se as

fórmulas a seguir:

Metas Intermediárias - Média de execução alcançada nos exercícios

anteriores para o segundo exercício

Limite inferior:

Limite médio:

Limite superior:

Onde:

meaii = média de execução alcançada nos exercícios anteriores para o segundo exercício, metas

intermediárias – limite inferior;

meaim = média de execução alcançada nos exercícios anteriores para o segundo exercício, metas

intermediárias – limite médio;

meais = média de execução alcançada nos exercícios anteriores para o segundo exercício, metas

intermediárias – limite superior;

pdp = percentual do desvio padrão em relação à média de execução dos 4 (quatro) últimos exercícios;


25% = constante conforme limite admitido para o desvio padrão em relação à média de execução dos

4 (quatro) últimos exercícios.

𝑝𝑑𝑝 =𝑑𝑝𝑚

𝑚𝑒× 100

dpm = 𝑥1 − 𝑋 2 + 𝑥2 − 𝑋 2 + ⋯ + 𝑥𝑛 − 𝑋 2

𝑛 − 1

𝑝𝑑𝑝 > 25% 𝑚𝑒𝑎𝑖𝑖 = 𝑚𝑒 − 𝑚𝑒 × 25%

𝑝𝑑𝑝 ≤ 25% 𝑚𝑒𝑎𝑖𝑖 = 𝑚𝑒 − 𝑚𝑒 × 𝑝𝑑𝑝

𝑚𝑒𝑎𝑖𝑚 = 𝑚𝑒

𝑝𝑑𝑝 > 25% 𝑚𝑒𝑎𝑖𝑠 = 𝑚𝑒 + 𝑚𝑒 × 25%

𝑝𝑑𝑝 ≤ 25% 𝑚𝑒𝑎𝑖𝑠 = 𝑚𝑒 + 𝑚𝑒 × 𝑝𝑑𝑝

34

Na hipótese da SR definir meta fora do intervalo, essa escolha deve vir acompanhada de

justificativa feita pelo Superintendente. Neste caso o Diretor da diretoria cujo indicador esteja

relacionado, decidirá por sua utilização ou não como meta para fins de Avaliação

Institucional da SR.

A metodologia prevê uma diferenciação entre a forma de escolha entre a meta global e a

intermediária. Enquanto é possível escolher um valor dentro de um intervalo para definição

das metas intermediárias, o método disponibiliza apenas o limite inferior desse intervalo para

escolha das metas globais. Isso evita que, na hipótese de as unidades de avaliação

escolherem apenas os valores do limite inferior, não se tenha uma execução, mesmo que

total, abaixo da meta esperada, mesmo que as unidades atinjam a pontuação máxima.

Uma das dificuldades no acompanhamento da avaliação de desempenho diz respeito à não

coincidência do período de avaliação com o exercício fiscal. Considerando que o ciclo de

avaliação abrange 8 (oito) meses de um exercício e 4 (quatro) meses do exercício seguinte,

as metas calculadas, conforme métodos descritos anteriormente, serão ajustadas seguindo a

proporção de 2/3 das metas do primeiro exercício e de 1/3 do exercício seguinte, conforme

segue:

Onde:

mc = meta, para fins de avaliação institucional, para o ciclo de avaliação;

m1 = meta, para fins de avaliação institucional, para o primeiro exercício abrangido pela avaliação;

m2 = meta, para fins de avaliação institucional, para o segundo exercício abrangido pela avaliação.

Na hipótese de criação de indicadores cujos parâmetros para definição das metas não sejam

passíveis de apuração, conforme os critérios definidos nesta metodologia, as metas deverão

ser pactuadas com as unidades de avaliação com base em instrumentos que demonstrem a

possibilidade de aferição tempestiva das mesmas. A partir daí, então, através do

monitoramento contínuo será possível criar uma base e o acompanhamento do indicador.

No exemplo contido na Tabela 7 são calculadas as metas globais para os indicadores para

as metas globais utilizando-se a metodologia proposta.

No exemplo, o indicador “1. Número de famílias assentadas” teve a meta limitada pela média

de execução, enquanto o indicador “4. Área de imóveis vistoriados com laudo entregue”

teve sua meta definida com base na limitação do Plano de Metas (ou diretriz institucional).

Na Tabela 8 são calculadas algumas metas intermediárias para uma SR com base na

metodologia.

Na simulação, os indicadores “Índice de abrangência de capacitação” e “Índice de famílias

atendidas com obras contratadas para implantação e/ou recuperação de infraestrutura

básica para famílias assentadas em projetos de assentamento”, que estão com os valores da

coluna “Metas PM ou diretriz institucional 2015 (mp)” em destaque, tiveram seus valores

calculados pela média, tendo em vista a inexistência desses indicadores no caderno de

metas (Plano de Metas) da autarquia para o exercício de 2015. Para estes casos, utilizou-se a

Métrica para a meta do exercício vigente quando não previsto no caderno de metas ou nas

diretrizes institucionais conforme consta detalhamento dos indicadores.

Ainda no exemplo, a SR pactuou as metas utilizando valores dentro do intervalo proposto. Os

valores escolhidos estão em destaque para fins de exemplo (na prática a unidade poderá

escolher qualquer valor entre o limite inferior e o limite superior). Ressalta-se que, segundo o

𝑚𝑐 = 𝑚1 ×2

3 + 𝑚2 ×

1

3

35

método, o valor escolhido servirá para definir a meta do segundo exercício abrangido pela

avaliação (no exemplo, 2016), para fins de comparação com o valor previsto no plano de

metas, prevalecendo o que for menor. No caso do indicador “Índice de famílias atendidas

com obras contratadas para implantação e/ou recuperação de infraestrutura básica para

famílias assentadas em projetos de assentamento”, mesmo escolhendo o limite inferior de

356,63%, o método faz o ajuste para o limite imposto no planejamento que, no caso, é de

100%.

Em todos os casos, os valores em percentual, quando maiores que 100%, são normalizados em

100%.

36

Tabela 7 - Simulação da definição das metas globais com base na metodologia proposta

37

Tabela 8 - Simulação da definição das metas intermediárias para uma unidade de avaliação (SR) com base na metodologia proposta

38

Sobre a aferição das metas

O percentual médio de cumprimento das metas institucionais globais, considerará até duas

casas decimais e será calculado observando-se a seguinte fórmula:

Onde:

pcmg = Percentual médio de cumprimento das metas institucionais globais;

∑ %mg = % atingimento meta global 1 +% atingimento meta global 2 + ... + % atingimento

meta global n;

ng = número de metas globais.

O acompanhamento do percentual de cumprimento das metas globais será feito através de

planilha que demonstra o percentual de atingimento, conforme modelo no anexo 2.

O percentual médio de cumprimento das metas institucionais intermediárias, considerará até

duas casas decimais e será calculado observando-se a seguinte fórmula:

Onde:

pcmi = Percentual médio de cumprimento das metas institucionais intermediárias;

∑ %mg = % atingimento meta intermediária 1 +% atingimento meta intermediária 2 + ... + %

atingimento meta intermediária n;

ni = número de metas intermediárias.

O acompanhamento do percentual de cumprimento das metas intermediárias será ser feito

através de planilha que demonstre o percentual de atingimento, conforme modelo no anexo

3.

O percentual de atingimento de cada meta, caso ultrapasse 100% será normalizado em 100%

e caso seja negativo, corresponderá à 0% e será calculado observando-se a seguinte fórmula:

Onde:

pm = Percentual de atingimento da meta (global ou intermediária);

r = resultado obtido;

m = meta prevista.

39

Conclusão

Com esse método, procurou-se a definição de indicadores pautados nas recomendações

metodológicas do MPOG e TCU bem como buscou-se a redução da quantidade utilizada

anteriormente fazendo com que, na medida do possível, todas as unidades de avaliação

possuíssem a mesma quantidade de indicadores.

A definição das metas levou em consideração, além do histórico de execução, as limitações

orçamentárias e as diretrizes institucionais, sempre dentro de um limite plausível,

permanecendo o que for menor, conforme preceitua a legislação pertinente à avaliação de

desempenho.

40

Anexo I – Modelo de planilha de apuração de metas globais

Anexo II – Modelo de planilha de apuração de metas intermediárias

42

Referências

Brasil. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Orçamento

Federal. Indicadores de Programas – Guia Metodológico. Brasília: MPOG, Secretaria

de Planejamento e Investimentos Estratégicos, 2010.

Brasil. Tribunal de Contas da União. Técnica de indicadores de desempenho para

auditorias. Brasília: TCU, Secretaria de Fiscalização e Avaliação de Programas de

Governo, 2011.

Brasil. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Orçamento

Federal. Indicadores - Orientações Básicas Aplicadas à Gestão. Brasília: MPOG,

Secretaria de Planejamento e Investimentos Estratégicos, 2012.

Brasil. Ministério do Planejamento, Orçamento e Gestão. Manual de Orientação para

a Gestão do Desempenho. Brasília: MPOG, Secretaria de Orçamento Federal, 2013.

Metodologia para definição de indicadores e metas da...

Documents

Transcript of Metodologia para definição de indicadores e metas da...