Scoring de Risco de Contratos Públicos:

Aprendizagem supervisionada + Multicritério

ContextualizaçãoFaturamento x Empregados

ContextualizaçãoPodemos antecipar situações como essa?

Existem características que podem diferenciar empresas boas de ruins?Exemplo: Quantidade de atividades cadastradas

No geral: média de atividades por empresa

Com negócios com o governo:

Com punições suspensivas:

1,996,10

11,61

Propostas1. Usar técnicas de Machine Learning para

classificar empresas e contratos.

2. Criar modelo de decisão para auditoria, incluindo variáveis logísticas.

Risco do contratoRisco da empresa

Questões Logísticas• Unidade já está no plano de auditoria?• É Capital?• Existe equipe apropriada?

MCDA

Abordagem MetodológicaModelo de aprendizagem supervisionada para os 2 primeiros modelos

Processo básico de aprendizagem de máquina supervisionada.

Trade off viés x variância

Abordagem MetodológicaEscolha de varáveis preditoras com base em teorias econômicas

Qtde de lances

Qtde de participantesTipo de produto

Qualidade da Especificação

Frequência do item comprado

Idade das empresas

Frequência de participação dos licitantes

Porte das empresas

Histórico de Punições

SISPP ou SISRP

Idade no SICAF

Economia de Custos de Transação

Teoria dos Leilões

Teoria dos Jogos

Complexidade do objeto

Modelo 1: Risco do Fornecedor1ª Fase: Identificação das dimensões de risco

• Qtde média de lances por compra

• Percentual de sucesso

• Políticos• Doações de campanha

• Alertas CGU• CNEP/CEPIM/SIASG

• Qtde de Funcionários• Ocupação do sócio• Faturamento / funcionário

Capacidade Operacional

Histórico Punitivo

CompetiçãoVínculos

Modelo 1: Risco do Fornecedor2ª Fase: Montagem da base de dados

A)1446 empresas, sendo:a. 723 do grupo de “Alto Risco”, eb. 723 do grupo de “Baixo Risco” (Undersampling)

B)49 variáveis preditorasC)1 variável dependente (LABEL)

Critérios para qualificação como de “Alto Risco”:• Ter tido contrato vigente em 2015 ou 2016.• Ter sido punido nesses anos com uma das seguintes penalidades:

• Suspensão temporária de licitar (previsto na Lei nº 8666/93);• Impedimento de licitar e contratar (previsto na Lei nº 10520/02);• Declaração de inidoneidade (previsto na Lei nº 8666/93).

2011 2013 2014 2015 20162012

Modelo 1: Risco do Fornecedor2ª Fase: Montagem da base de dados

Test(30%)

Learning(70%)

D) Separação em treino e teste

Cross Validation

Modelo 1: Risco do Fornecedor3ª Fase: Identificação das variáveis mais importantes com algoritmo Stepwise

Selecionadas 29 variáveis

Quantidade de atividades

Valor doado em eleições

Alertas da CGU

Salário dos sócios

Quantidade de funcionários

Idade da empresa

Modelo 1: Risco do Fornecedor4ª Fase: Tunning

Algoritmo: GLMnet (Regressão Logística)Parâmetros de finais de penalização:

= 0 = 1

Modelo 1: Risco do Fornecedor5ª Fase: Criação do modelo final utilizando a base de treino completa

Resultados: Matriz de Confusão

6ª Fase: Aplicação do modelo na base de teste

Valor doado em eleições

Alertas da CGU

Quantidade de funcionários

Idade da empresa

Quantidade de atividades

Salário dos sócios

Resultados: Interpretação

Modelo 2: Risco do Contrato1ª Fase: Identificação das dimensões de risco

• Qtde de funcionários• Porte da empresa

• Complexidade do objeto• Qualidade na especificação

• Qtde de participantes• Qtde de lances

• Alertas da CGU

Irregularidades na

Licitação

Competitividade do

processo

EmpresaAspectos gerais da licitação

tf-idf

Modelo 2: Risco do Contrato5ª Fase: Criação do modelo final utilizando a base de treino completa

Resultados: Matriz de Confusão6ª Fase: Aplicação do modelo na base de teste

Resultados: Interpretação

Quantidade de atividadesda empresa

Contrato é de serviço

Desconto obtido

Lances por participante

Quantidade de sócios da empresa

Complexidade

Risco do processo

Risco da empresa

Questões Logísticas

Modelo 3: Seleção de casos para auditoria

+

+

=Score de Auditoria

• Unidade já está no plano de auditoria?

• É Capital?• Existe equipe apropriada?• E o valor?

Modelo 3: Seleção de casos para auditoria

Decisão MulticritérioAnalytic Hierarchy Process (AHP)

Matriz de comparação dos pares de critérios

Modelo 3: Seleção de casos para auditoria

Critérios para avaliação final dos contratos

• Risco inerente do fornecedor• Risco do contrato• Unidade auditada fica na Capital?• Unidade auditada já no Plano Anual de Auditoria?• Ação governamental já está priorizada?• Há necessidade/disponibilidade de equipe especializada• Valor

Modelo 3: Seleção de casos para auditoria

Simulação: aplicando o AHP para contratos com alto risco

• Contrato que tinha o maior risco caiu para 45º. Por que?• Baixo valor• Unidade fora do plano de auditoria

• Contrato que era o 20º em risco subiu para primeiro. Por que?• Capital• Unidade já ia ser auditada• Valor alto

Conclusões

Como atuar preventivamente?

Aplicação imediata: modelo de risco para compras de TI

Criação de repositório compartilhado de indicadores / códigos

Obrigado!Leonardo Sales

leonardo.sales@cgu.gov.br