1
Auditoria de Desempenho:Por quê? Como? Para quê?
Porto Alegre, setembro de 2009
2
Sumário
1 - O que é Anop2 - Auditoria Operacional ou de
Conformidade?3 - Anop: vale a pena?4 - Como fazer?
3
1 - O que é Auditoria de Desempenho
AtividadeInput Output Outcome
EfetividadeEconomicidade Eficiência
Manter custos baixos
Fazer o máximo com os recursos disponíveis
Alcançar os resultados estipulados
O modelo insumo-produto
Intenção
5
Principais Dimensões de Desempenho
6
Conceito
Auditoria de Desempenho (ou ANOp)
Exame independente da eficiência e da efetividade das atividades, dos programas e dos organismos da Administração Pública, prestando a devida atenção à economia, com objetivo de realizar melhorias.
Diretrizes para Aplicação de Normas de Auditoria de Desempenho
Organização Internacional de Entidades Fiscalizadoras Superiores
INTOSAI (ISSAI 3000/1.1)
7
Outras Dimensões
Qualidade Transparência Participação social Sustentabilidade Articulação institucional Aplicação de boas práticas Eqüidade
8
Requisitos para um auditor de desempenho (ISSAI 3000/2.2)
– Conhecimentos técnicos
• metodologia das ciências sociais, investigação científica, métodos de investigação qualitativa e quantitativa, técnicas de coleta de dados, técnicas de análise de dados.
• administração pública, planejamento e orçamento público, políticas públicas.
9
Requisitos para um auditor de desempenho
(ISSAI 3000/2.2)
– Competências pessoais
• habilidade analítica• criatividade• receptividade• habilidade de relacionamento pessoal• boa habilidade em comunicação oral e
escrita• integridade• persistência• discernimento
10
2 - Desempenho ou conformidade?
Auditoria de
Desempenho
Auditoria de
Conformidade
Como um
Juiz/Magistrado
Como um analista
de políticas
públicas
Como um consultor organizacional
Como um auditor
público
De acordo com a Lei
Verdade científica, explanação
De acordo com as regras e regulamentos oficiais
Contribui para a melhoria da organização
12
Dilema: auditoria de desempenho ou de conformidade?
– "Existe uma pressão por parte da opinião pública para que os órgãos de controle atuem prioritariamente no combate à corrupção.
– No entanto, os tribunais de contas têm buscado, cada vez mais, enfatizar os instrumentos de avaliação dos resultados com ênfase na divulgação das boas práticas administrativas.
– Como conciliar estes dois focos de controle?"
13
Um falso dilema
– Como identificar corrupção sem olhar para resultados?
– Avaliar resultados leva a:• conhecer melhor o funcionamento da administração
pública;• desenvolver visão sistêmica;• identificar pontos de ineficiência;• priorizar ações de controle em pontos mais sensíveis.
– O adequado controle externo pressupõe interação entre a avaliação de resultados e as ações de combate à fraude e corrupção.
– Desempenho e conformidade são aspectos complementares do controle.
14
“O caráter distinto da auditoria operacional não deve ser considerado como um argumento que prejudique a
colaboração entre os dois tipos de auditoria.”
(ISSAI3000/1.2)
Há algo de especial em ANOp?
• Auditoria de Desempenho não tem suas raízes na forma de auditoria comum ao setor privado,
• mas na necessidade por uma análise independente e ampla de aspectos econômicos, de eficiência e efetividade de programas ou instituições governamentais, feito de forma não recorrente.
ISSAI 3000/1.2
15
16
3 – Auditoria de desempenho:vale a pena?
Introduzir Anop não é fácil
• Ambiente político• Cultura administrativa• Hábitos e cultura interna das instituições• Recursos e competências• Infraestrutura e práticas• Engajamento da alta administração
Mas quem faz diz que vale a pena
% do esforço dedicado pelas EFS a diferentes atividades
Instituição Auditoria de desempenho
Auditoria financeira
Outras atividades
Holanda Rekenkamer
69 31
Inglaterra NAO 38 43 19
Suécia RRV 09 21 70
Finlândia VTV 48 35 17
19
Government Accountability Office GAO - EUA
– 90% de mandatos e demandas do Congresso• 80% auditoria de desempenho• 20% auditoria financeira
– Relatórios e testemunho e briefings perante comissões do Congresso
• 189 vezes em 2003: 1043 ações foram tomadas pelas agências em decorrência da atuação do GAO (2003).
– 2.176 recomendações• 82% implementadas em até cinco anos
TCU gera benefício de R$ 4,1 bilhões no 2º trimestre/2009
Auditoria no BPC• economia potencial de cerca de
R$ 2,6 bilhões, em cinco anos
Auditoria no PROUNI/FIES• economia potencial de cerca de
R$ 1,1 bilhão em quatro anos
• 2 Trabalhos geram benefício potencial de R$ 3,7 bilhões• Cerca de 90% dos benefícios totais
Resultado imediato: ações estruturantes dos Ministérios.
21
4 – Como fazer?
22
Planejamento
ExecuçãoComentário do gesto
r
Apreciação
Divulgação
Ciclo de Auditoria
Monitoramento
Seleção
Análise e Relatório
Plano estratégico
23
Seleção de auditoriasTema de Maior Significância
Teste de nova estratégia de seleção
• Um novo paradigma para a elaboração de um plano de fiscalização
– Planos de fiscalização por TEMAS - FUNÇÕES de governo• Comparar os comparáveis• Agenda plurianual• Diferentes modalidades de fiscalização
– A partir de um diagnóstico completo• Não apenas de características dos programas ou órgãos de governo• Considera as demandas diagnosticadas• Aproveita diagnósticos já realizados e experiência anterior
– Abordagem do geral para o específico (TOP-DOWN)• Facilita o desenvolvimento do conhecimento• Visão sistêmica das áreas a auditar• O planejamento das auditorias não parte do “zero”
24
A construção do “plano de fiscalização”
• Mapeamento de intervenções governamentais (políticas, programas)
• Diagnósticos dos problemas na sociedade• Associação entre problemas e intervenções• Análise orçamentária e institucional-legal• Divisão do tema em subtemas• Análise por subtemas - materialidade - relevância - risco
25
Planejamento da auditoria
– Diagnóstico– Validação– Definição dos critérios de auditoria– Projeto de auditoria– Teste Piloto– Painel de referência– Revisão do projeto– Relatório de planejamento– Preparação para trabalhos de campo
26
Planejamento Principais técnicas de diagnóstico
Mapa de Processos Mapa de Produtos e
Impactos Análise SWOT Análise dos
Stakeholders Diagrama de
Verificação de Riscos Verificação de
Controles Internos Benchmarking Análises quantitativas
Mapa de Processos e Mapa de Produtos e ImpactosMapa de Processos e Mapa de Produtos e ImpactosFonte: Equipe de AuditoriaFonte: Equipe de Auditoria
27
Execução da auditoria: Achados
– Condição (O que está ocorrendo?)• Situação Real
– Critério (O que deveria estar ocorrendo?)• Metas, objetivos, padrões e regulamentos, boas práticas
– Causa (Por que existe uma desconformidade?)• Razões para fatos indesejáveis ocorrerem ou fatos
desejáveis não ocorrerem
– Efeito (E daí?)• Resultado ou impacto da desconformidade
– Proposta de ação (O que deve ser feito?)• Análise que irá auxiliar a proposta de encaminhamento
28
CR
ITÉ
RIO
CO
ND
IÇÃ
O
AC
HA
DO
CAUSA
EFEITO
Achados: relação de Causa e Efeito
É possível estabelecer relação de causa e efeito?
É necessário estabelecer relação de causa e efeito?
29
Exemplo
ASSISTÊNCIA SOCIAL
BPC
30
Associação entre problemas e intervenções
– As políticas sociais não nascem dissociadas da realidade em que estão inseridas.
– São concebidas e implementadas com o objetivo de combater e solucionar os problemas presentes na sociedade.
Principais problemas combatidos por políticas de assistência social:
pobreza, desigualdade, insegurança alimentar, rompimento de vínculos
familiares, violência doméstica.
Principais políticas para mitigar vulnerabilidades:
transferência de renda,
entrega de alimentos
processados ou in natura,
trabalhos especializados de
assistentes sociais e psicólogos
com famílias desestruturadas.
31
Divisão do temaAgrupamento de dezenas de programas e ações em quatro grandes
políticas:
– Transferências de Renda Condicionada (Bolsa Família);– Pensões Não-Contributivas (Benefícios de Prestação Continuada -BPC -
Idosos e Deficientes Físicos);– Segurança Alimentar (não limitada a programas sob responsabilidade
do MDS);– Assistência Social Stricto Senso.
Critérios para divisão do tema:
– Literatura acadêmica sobre o tema;– Importantes diferenças de escopo entre políticas.
32
Análise por subtemas
1º Critério - Materialidade orçamentária dos programas ou ações
– A materialidade orçamentária vem acompanhada da abrangência no alcance de beneficiários (Bolsa Família e BPC).
2.º Critério - Possibilidade de ocorrência de fraudes e desvios devido à debilidade dos sistemas de controle
– (Controles Internos dos Ministérios, Controles Sociais, Controles Exercidos pela CGU)
3º Critério - Possibilidade de ineficácia das políticas propostas.
Assistência Social: Evolução de gastosEm 2008 o BPC: atendeu 2,9 milhões de beneficiários transferiu R$14,5 bilhões
Estimativa do Erro de Inclusão do BPCDistribuição Acumulada de Beneficiários do BPC, Usando o Conceito de Família
GFD do IBGE, Segundo Renda Familiar per capita - 2006
Fonte: Pnad (2006)
Principais Conclusões sobre a Subcobertura do BPC
1. Considerando apenas os erros de inclusão de alta intensidade– existia em 2006 uma subcobertura de 27% do público alvo– algo como 800.000 pessoas para aquele ano;
2. A oportunidade da auditoria em avaliar os controles– A expansão do BPC, para atender todo seu público alvo,
poderia significar um risco– pois algumas das deficiências possibilitavam a inclusão e a
permanência de grande contingente de pessoas não elegíveis.
O sistema de controle do BPC é efetivo na detecção e na resolução de casos de erros e fraudes?
Temas Averiguados pela Auditoria
1. Renda: renda mensal per capita inferior a um quarto de salário mínimo;
2. Condição de Incapacidade: incapacitadas para a vida independente e para o trabalho;
3. Impossibilidade de Acúmulo do Benefício: não pode ser acumulado pelo beneficiário com qualquer outro no âmbito da seguridade social ou de outro regime, salvo o da assistência médica;
4. Condição de Vida: benefício só deve ser concedidos a beneficiários vivos.
Estimativa de Fraudes no BPC
Critério de renda
Perícia médica denegatória
Óbitos informados
Acúmulo de benefícios
Beneficiários não localizados
6,36% 4,8% 5,04% 1,5% 18,58%
Percentual de Benefícios que não atendem os critérios do programa
Há 678 mil benefícios com revisão pendente.
Fonte: REVBPC e SUB
Limitações no Acompanhamento de Critérios de Elegibilidade
Critério de Elegibilidade Limitações de Acompanhamento
Renda Per Capita 1. Informalidade de 80 a 90% dos beneficiários e familiares;2. Bases de dados empregadas alcançam apenas universo de
trabalhadores formalizados.
Condição de Incapacidade 1. Forma de medir incapacidade ainda é objeto de controvérsia nos meios especializados;
2. Incapacidade para o trabalho, pode ser parcialmente averiguada não apenas por laudos periciais mais também por bases de dados similares às utilizadas para controlar critério de renda,
Impossibilidade de Acúmulo de Benefício
1. Bases de dados empregadas alcançam apenas benefícios administrados pelo INSS, para o caso dos aposentados;
2. Inexistência de convênios com quase totalidade de estados e municípios para disponibilização de dados sobre outros benefícios.
Condição de Vida 1. Dificuldade Intrínseca: muitos óbitos não são informados aos cartórios, tornando impossível sua averiguação por meio de cruzamento de dados;
2. Existem duas bases de dados relacionadas a óbitos: SISOB e SIM, sendo que apenas a primeira é utilizada para cruzamentos pelo INSS.
Limitações para realização do processo de revisão universal de benefícios
Benefícios que deveriam ser revisado até
2007
BenefíciosSelecionados
para serem revisados
Benefícios não localizados não
concluídosRevisão
concluída
5,7 milhões 1,8 milhões (31%)
238 mil 1,28 milhões(22%)
Inviabilidade de Revisar Universalmente os Benefícios
Obs 1 – Os benefícios concedidos após julho/2003 não sofreram nenhuma revisão;Obs 2 - Após a primeira revisão, os benefícios não foram revisados novamente.
Exemplos da Introdução de Novos Cruzamentos de Dados
Critérios de cruzamento Ocorrências
Beneficiários Com Veículos 103.961
Nº de Veículos Encontrados para Beneficiários
138.572
Uso da base do Renavam como Proxy
Tipo de Cruzamento Critérios de cruzamento
Ocorrências
CPF 16.211
Propriedade de Terra
CPF + Nome 15.393
CPF + Nome + Nome da mãe
13.750
Uso da base do Incra como Proxy
Exemplos da Introdução de Novos Cruzamentos de Dados
Critérios de cruzamento Ocorrências
CPF 1.591
CPF + Nome 1.472
Uso da base de CNPJ como Proxy (beneficiários sócios de empresa)
Critérios de cruzamento Ocorrências
Total de Empregados 17.114
Deficientes empregados (Benefícios - 30 e 87)
8.320
Renda superior a R$ 650,00/mês
1.969
Servidores públicos 2.620
Uso da base da Rais como Proxy
Proxy Geográfica • Proxies usadas como ferramenta de controle em
contraposição ao seu uso como critério de elegibilidade.
Intervalos de Diferença entre Renda do Setor
Censitário e Renda dos Beneficiários
Número de Beneficiários e Familiares por Intervalo de Renda per capita familiar
Percentual de Beneficiários e Familiares por Intervalo
de Renda
> 1 Salário Mínimo 618.376 13%(0,5 SM – 1 SM] 1.094.833 23%(0,25 SM – 0,5 SM] 1.283.345 27%(0 SM – 0,25 SM] 1.046.374 22%<= 0 SM 749.037 15%
Diferenças de Renda Entre Beneficiários e Renda do Setor Censitário
Fonte: Pnad
Como aprimorar o acompanhamento de erros e fraudes no BPC
1. Primeiro Passo - Permitiria a montagem de sistema de marcação de benefícios que selecionaria casos com maior probabilidade de ocorrência de erros e de fraudes;
2. Segundo Passo – Entrevistas, realizadas preferencialmente por assistentes sociais, em amostra de benefícios considerados como de risco.
Cuidados Legais:É necessário regulamentar a validade jurídica do parecer efetuado pelo
assistente social sobre a avaliação social a ser realizada sobre os beneficiários marcados por avaliações prévias de risco.
Top Related