III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de...

15
1 III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE INSCRIÇÃO Órgão/Entidade: Universidade Federal do Rio Grande do Norte Titular da Ouvidoria: Elias Jacob de Menezes Neto E-mail: [email protected] Telefones: (84) 3215-3883 / (84) 991936089 Contato (pessoa): Elias Jacob de Menezes Neto Município: Natal Unidade da Federação: RN Poder: ( X ) Executivo ( ) Legislativo ( ) Judiciário Ente: ( X ) Federal ( ) Estadual ( ) Municipal ( ) Outro Categoria: ( ) Desenvolvimento de capacidade institucional ( ) Promoção da simplificação e desburocratização ( ) Fomento à participação e ao controle social (X) Tecnologia na Ouvidoria Título da prática: Uso de inteligência artificial e automação na melhoria do tempo de resposta de Ouvidoria

Transcript of III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de...

Page 1: III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de Menezes Neto E-mail: eliasjacob@reitoria.ufrn.br ... As novas possibilidades de uso

1

III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA

FICHA DE INSCRIÇÃO

Órgão/Entidade: Universidade Federal do Rio Grande do Norte

Titular da Ouvidoria: Elias Jacob de Menezes Neto

E-mail: [email protected]

Telefones: (84) 3215-3883 / (84) 991936089 Contato (pessoa): Elias Jacob de Menezes Neto

Município: Natal Unidade da Federação: RN

Poder: ( X ) Executivo ( ) Legislativo ( ) Judiciário Ente: ( X ) Federal ( ) Estadual ( ) Municipal ( ) Outro

Categoria:

( ) Desenvolvimento de capacidade institucional ( ) Promoção da simplificação e desburocratização ( ) Fomento à participação e ao controle social (X) Tecnologia na Ouvidoria

Título da prática: Uso de inteligência artificial e automação na melhoria do tempo de resposta de Ouvidoria

Page 2: III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de Menezes Neto E-mail: eliasjacob@reitoria.ufrn.br ... As novas possibilidades de uso

2

DESCRIÇÃO DA PRÁTICA

Trata-se de relato sobre prática que faz uso de automação e de inteligência artificial (Deep Learning) na Ouvidoria da Universidade Federal do Rio Grande do Norte, com impactos positivos nos indicadores de tempo de resposta dos pedidos de acesso à informação e das manifestações do FalaBR. O objetivo da prática é agregar tecnologia de ponta à melhoria da qualidade e agilidade do serviço prestado pelas Ouvidorias.

A prática aqui relatada teve início em 01/06/2019, com a mudança da gestão da Universidade e da Ouvidoria e teve a seguinte pergunta de partida: como o uso da automação e da inteligência artificial podem colaborar para melhoria das Ouvidorias, otimizando o uso dos recursos econômicos/humanos e melhorando os indicadores de atendimento ao cidadão?

As novas possibilidades de uso da inteligência artificial para melhoria da eficiência pública demonstram que um dos grandes desafios do Brasil, no século XXI, será a melhoria da governança no setor público, ou seja, o desenvolvimento de “[...] um conjunto de mecanismos de liderança, estratégia e controle postos em prática para avaliar, direcionar e monitorar a gestão, com vistas à condução de políticas públicas e à prestação de serviços de interesse da sociedade”.1

É através da governança no setor público que o Estado poderá maximizar a eficiência no uso dos recursos disponíveis para viabilizar o seu projeto de proteção da democracia e de transformação social. Busca-se, pois, garantir a consecução do interesse público em todos os momentos, o que exige a observação de uma série de requisitos, dentre eles a definição das intervenções necessárias para otimizar o alcance dos resultados esperados2.

Nessa busca por otimização do uso de recursos na Ouvidoria da UFRN, a ciência de dados e a inteligência artificial são importantes aliadas na melhoria dos processos internos3. Há uma tendência mundial no aumento do uso de dados para alimentar mecanismos de aprendizado de máquinas, que permitem aos computadores aprender diretamente a partir de exemplos, localizando padrões que não foram explicitamente especificados no software4.

Por aprendizado de máquinas (machine learning), refere-se ao ramo dos estudos de inteligência artificial que usa técnicas estatísticas avançadas para, a partir de informações pretéritas, permitir que as máquinas possam “ganhar experiência” e possam tomar decisões ou fazer previsões similares a um ser humano. Uma das subáreas do aprendizado de máquina utilizada nesta prática é conhecida como aprendizado profundo (Deep Learning). Em linhas gerais, trata-se de um conjunto de técnicas que pretende simular o funcionamento do sistema nervoso humano, com a criação de “neurônios artificiais”, que nada mais são do que unidades de cálculo capazes, por exemplo, proceder avaliações complexas de informações em linguagem natural (textos de manifestações e respostas).

A grande vantagem do uso de técnicas de aprendizagem profunda é a sua possibilidade de utilizar grandes volumes de dados, tipicamente gerados com a proliferação dos sistemas eletrônicos

1 TRIBUNAL DE CONTAS DA UNIÃO. Governança Pública: referencial básico de governança aplicável a órgãos e entidades da administração pública e ações indutoras de melhoria. Brasília: Tribunal de Contas da União, 2014. p. 5-6. 2 INTERNATIONAL FEDERATION OF ACCOUNTANTS. International Framework: good governance in the public sector. New York: International Federation of Accountants, 2014. p. 10. 3 VERHULST, S.; YOUNG, A. Open Data in Developing Economies: Towards Building Evidence Base on What Works and How. Cape Town: African Minds, 2017. 276 p. 4 RIERKE,A.; BOGEN, M.; ROBINSON, D. Public Scrutiny of Automated Decisions: Early Lessons and Emerging Methods. [s.]. Omidyar Network, 2018. Disponível em < https://www.omidyar.com/insights/public-scrutiny-automated-decisions-early-lessons-and-emerging-methods >. p. 9.

Page 3: III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de Menezes Neto E-mail: eliasjacob@reitoria.ufrn.br ... As novas possibilidades de uso

3

na Administração Pública, tais como o FalaBR e o e-SIC5. O uso de Deep Learning é importante porque, para além das simples automações, permite que o sistema desenvolvido na Ouvidoria da UFRN agregue poder decisório e capacidades analíticas avançadas em seu fluxo, especialmente para: 1) avaliar a qualidade das respostas das unidades (no caso dos pedidos de acesso à informação); 2) auxiliar na escolha da unidade de destino da manifestação do cidadão e 3) gerenciar riscos de modo proativo, prevendo qual o tempo necessário para que uma unidade interna responda à demanda de Ouvidoria, permitindo o deslocamento de recursos humanos para as situações com maior riscos.

Dentre as tarefas acima, talvez a mais importante e complexa seja a escolha da unidade interna de destino da manifestação, o que ganha ainda mais relevo e virtude da natureza descentralizada das Universidades Federais. No caso da UFRN, são, ao todo, 555 unidades que podem ser demandadas pelo cidadão, de modo que cabe à Ouvidoria realizar a correta análise da unidade para fins de encaminhamento da manifestação. Qualquer erro nesta etapa pode resultar em vários dias de atraso na resposta ao cidadão, com impacto negativo na percepção da qualidade do serviço recebido e nos indicadores de tempo de resposta.

Cada manifestação de Ouvidoria/LAI resulta na instauração de um processo único no sistema da instituição, contendo o teor da demanda do cidadão e orientações gerais. Ato contínuo, o processo é enviado para uma das 555 unidades que podem ser responsáveis pela elaboração da resposta/atendimento da demanda. Ainda, há o cadastramento em um fluxo próprio do tipo kanban6, que permite o acompanhamento das demandas pendentes, aquelas com atraso da unidade e, de forma geral, o gerenciamento dos processos em andamento, conforme figura abaixo:

5 De modo sintético: a metodologia escolhida para incorporar estes avanços tecnológicos à prática da Ouvidoria da UFRN foi desenvolvida por Howard e Ruder (2018), sendo denominada Universal Language Model Fine-Tuning (ULMFiT). Trata-se de uma abordagem baseada no pré-treinamento de um modelo linguístico (Language Model - LM) em um grande corpus de assuntos variados – como, por exemplo, livros, artigos e, comumente, a enciclopédias públicas, como a Wikipédia –, com posterior refinamento em um dataset de domínio específico. As características mais marcantes desta opção tecnológica são a diminuição do custo final de treinamento do classificador, maior capacidade de generalização e maior acurácia. A abordagem ULMFiT utiliza um tipo de rede neural recorrente (RNN) denominado AWD-LSTM (Averaged stochastic gradient descend Weight-Dropped Long Short Term Memory) (MERITY et al, 2017). Essa arquitetura parte do uso de uma LSTM comum e aplica extensivamente técnicas de regularização e otimização. As AWD-LSTM proporcionam um desempenho superior às LSTM comuns nas tarefas de classificação de textos (KRAUSE et al, 2018; YANG et al, 2018). HOWARD, J; RUDER, S. Universal Language Model Fine-tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2018. KRAUSE, B; KAHEMBWE, E; MURRAY, I; RENALS, S. Dynamic Evaluation of Neural Sequence Models. Proceedings of the 35th International Conference on Machine Learning, PMLR 80:2766-2775, 2018. MARITY, S; KESKAR, N. S; SOCHER, R. Regularizing and Optimizing LSTM Language Models. arXiv preprint. Ago. 2017. YANG, Z.; DAI, Z.; SALAKHUTDINOV, R.; COHEN, W. W. Breaking the softmax bottleneck: A high-rank rnn language model. International Conference on Learning Representations 2018. 6 “Kanban é um termo de origem japonesa e significa literalmente “cartão” ou “sinalização”. Este é um conceito relacionado com a utilização de cartões para indicar o andamento dos fluxos de produção em série. Nesses cartões são colocadas indicações sobre uma determinada tarefa, por exemplo, “para executar”, “em andamento” ou “finalizado”. A utilização de um sistema Kanban permite um controle detalhado de produção com informações sobre quando, quanto e o que produzir. O método Kanban foi inicialmente aplicado em empresas japonesas de fabricação em série e está estreitamente ligado ao conceito de “just in time”.”

Page 4: III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de Menezes Neto E-mail: eliasjacob@reitoria.ufrn.br ... As novas possibilidades de uso

4

Grande parte dos processos no fluxo ocorrem de modo automatizado. As rotinas

automatizadas pela Ouvidoria podem ser sistematizadas abaixo, sendo identificado em quais instantes é realizada a análise por um modelo de Deep Learning:

Rotina 1: Cadastramento de novas demandas

1 – Acessar os sistemas e-SIC e FalaBR para verificar se existem novas demandas dos cidadãos, comparando os números dos processos com uma lista daqueles que já foram cadastrados internamente; 2 – Autuar as novas manifestações como processo individual no sistema processual eletrônico da instituição; 3 – Redigir uma minuta a ser encaminhada para a unidade competente para resposta, contendo o texto da demanda e orientações gerais sobre procedimentos e prazos. O texto da manifestação deverá ser analisado para evitar repassar elementos identificadores da sua autoria à unidade respondente (uso de Deep Learning); 4 – Decidir, dentre as 555 unidades existentes na UFRN, qual delas é responsável pela resposta e efetuar o encaminhamento do processo interno (uso de Deep Learning); 5 – Cadastrar as manifestações no kanban da Ouvidoria; 6 – Enviar o processo instaurado para revisão por servidor da Ouvidoria (a verificação manual não é imprescindível do ponto de vista técnico, mas, considerando a natureza muitas vezes sensível das manifestações, optamos pela confirmação humana das decisões em etapas críticas que foram automatizadas); 7 – Prever o tempo de resposta que a unidade necessitará para responder a demanda, notificando os servidores da Ouvidoria caso haja risco de demora, o que resultará em atenção especial àquela manifestação (uso de Deep Learning);

Rotina 2: Acompanhamento das demandas não finalizadas 1 – Verificar, por meio do sistema processual da instituição, as movimentações que ocorreram em todos os processos não finalizados; 2 – Acessar o sistema FalaBR/CGU para identificar se houve resposta aos pedidos de complementação eventualmente realizados. Caso positivo, fazer os encaminhamentos necessários tanto no sistema processual eletrônico da instituição quanto no kanban da Ouvidoria; 3 – Inserir as movimentações processuais no cartão próprio daquele processo, que foi criado no kanban da Ouvidoria; 4 – No sistema processual eletrônico da instituição, receber e arquivar os processos contendo respostas às demandas; 5 – No caso das manifestações de acesso à informação, avaliar a qualidade da resposta da unidade e informar aos servidores da Ouvidoria em caso de potencial desconformidade (uso de Deep Learning);

Page 5: III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de Menezes Neto E-mail: eliasjacob@reitoria.ufrn.br ... As novas possibilidades de uso

5

6 – Redigir minuta de resposta ao cidadão com base na resposta fornecida pela unidade competente no processo recebido na etapa anterior (uso de Deep Learning); 7 – No kanban da Ouvidoria, inserir a minuta e a cópia integral do processo no cartão correspondente àquela demanda, movendo-lhe para a coluna apropriada de revisão pessoal da resposta pelo Ouvidor; 8 – Após revisão da resposta, inserir a resposta no sistema e-SIC ou FalaBR e arquivar o cartão do kanban (exceto em denúncias e comunicações, onde o uso de Deep Learning ainda está em fase de testes para identificar a aptidão, envolvimento de servidor, empresa ou de ocupante de cargo DAS 4+). 9 – Acompanhar, no caso do e-SIC, se há interposição de recurso pelo cidadão. Caso positivo, enviar para análise manual do SIC/UFRN.

Rotina 3: Acompanhamento do Portal de Dados Abertos da UFRN 1 – Acessar todos os conjuntos de dados presentes no Portal de Dados Abertos da UFRN (72, atualmente) e, em cada um deles, identificar se a data de última atualização é superior à periodicidade prevista para aquele conjunto; 2 – Abrir cada um dos recursos de todos os datasets e procurar por inconsistências nos dados; 3 – Caso as verificações anteriores apontem qualquer problema, gerar alerta a ser enviado à Superintendência de Informática da UFRN, informando que provavelmente há algum erro no script de extração de dados;

A automação das rotinas acima teve impactos positivos na qualidade do atendimento

prestado pela Ouvidoria da UFRN, onde também funciona o Serviço de Informação ao Cidadão da entidade. Além do Ouvidor, a unidade conta com apenas duas servidoras, que são responsáveis pelo atendimento, em média, de 70 manifestações de Ouvidoria e 24 pedidos de acesso à informação por mês. Considerando os tempos médios de resposta, chegamos à conclusão de que, em qualquer momento da semana, há cerca de 20 processos sob acompanhamento direto da ouvidoria, com aproximadamente 5 demandas novas por dia útil.

Sem o uso de inteligência artificial, estes níveis de demanda consumiriam:

• Rotina 1 – 20 minutos por processo cadastrado e 5 minutos por verificação sem processos

• Rotina 2 – 5 minutos por processo pendente e 20 minutos por processo recebido • Rotina 3 – 8 horas por ciclo completo de verificações

Em termos simples, considerando 6 novos processos e igual número de processos baixados por dia útil; um acervo pendente de 20.75 processos em qualquer dia; a realização de quatro verificações por dia nas duas primeiras rotinas e, por fim, um ciclo da “rotina 3” por semana, o sistema adotado consegue evitar uma carga de trabalho 1098 minutos (18,3 horas) de trabalho manual por dia, ou seja, o equivalente a dois novos servidores na unidade.

Esta solução é completamente escalável, com potencial de impactos ainda mais expressivos em Ouvidorias de maior porte (com mais demandas). Considerando-se apenas o valor médio anual gasto com um cargo de “Assistente em Administração” (R$67.000), a imagem abaixo mostra uma projeção dos recursos financeiros economizados pela solução em três Ouvidorias de diferentes tamanhos e com tempos de resposta parecidos ao da UFRN:

Page 6: III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de Menezes Neto E-mail: eliasjacob@reitoria.ufrn.br ... As novas possibilidades de uso

6

No caso da UFRN, estima-se que a solução proporcione a economia de R$153.284,82 por

ano. Dentre as 101 Instituições Federais de Ensino Superior (IFES), considerando apenas as informações do e-SIC e do FalaBR (ou seja, mesmo ignorando que os números lá estão subestimados em virtude da adesão tardia das Ouvidorias ao FalaBR), estimamos uma economia que varia entre R$23.070,33 e R$441.820,80 a depender do tamanho da Ouvidoria, com uma projeção de economia anual da ordem de 13.4 milhões de reais (R$ 13.413.512,15) para as 101 IFES (planilha anexada). Com a migração das Ouvidorias para o sistema FalaBR, este valor tende a aumentar ainda mais.

Além de permitir que a Ouvidoria funcione com menor força de trabalho que seria necessária somente para lidar com as suas demandas básicas, as verificações automatizadas são muito mais frequentes do que se ocorressem manualmente. Também evitam os erros humanos nas rotinas, melhorando, de modo geral, os indicadores de tempo de resposta da Ouvidoria da UFRN.

A solução desenvolvida desburocratiza a rotina de trabalho e libera a equipe da Ouvidoria para que realize atividades eminentemente humanas: o atendimento presencial dos cidadãos e o diálogo constante – presencial e telefônico – com as unidades demandadas, inclusive com o oferecimento de suporte personalizado para que os gestores construam respostas de qualidade, satisfazendo, assim, as expectativas do cidadão.

1 ano 3 anos 5 anos0

0.2M

0.4M

0.6M

0.8M

1M300 demandas/mês200 demandas/mês100 demandas/mês

Recursos economizados no decorrer de 5 anos (por tamanho de Ouvidoria)

R$ x 1

.000

.000

Page 7: III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de Menezes Neto E-mail: eliasjacob@reitoria.ufrn.br ... As novas possibilidades de uso

7

HISTÓRICO DA IMPLEMENTAÇÃO

Em outubro de 2018, a então Reitora da UFRN, por meio da Secretaria de Gestão de Projetos (SGP), determinou a criação de um novo fluxo de processo a ser utilizado para a resposta dos pedidos de acesso à informação. Os indicadores de tempo de resposta passaram a melhorar em virtude da realização de uma força-tarefa para reversão do quadro anterior, que apresentava elevado tempo médio e ausência de respostas em diversas ocasiões.

Em junho de 2019, com a posse da nova gestão da instituição, houve mudança nos quadros de diversos órgãos, inclusive da Ouvidoria. A partir de então, passou-se a aprimorar o fluxo criado pela SGP para tratamento dos pedidos de acesso à informação e, também, o mesmo fluxo foi adaptado às demandas de Ouvidoria. Em paralelo, foi definitivamente desativado o canal anterior para manifestações de Ouvidoria (sistema próprio), adotando-se o e-OUV/FalaBR como portal único de processamento das manifestações. Como vantagem principal, a existência de uma API no sistema FalaBR facilitou a construção da solução.

O atual Ouvidor (e desenvolvedor principal da solução tecnológica objeto deste relato) é docente e pesquisador da instituição, possuindo experiência anterior em pesquisas e desenvolvimento de ferramentas de aprendizagem profunda para o Poder Judiciário e Advocacia-Geral da União. Essa proximidade prévia com a criação de soluções tecnológicas para o Poder Público permitiu o desenvolvimento da solução em tempo razoavelmente curto. Os resultados foram rápidos e o sistema foi ganhando funcionalidade em curtos espaços de tempo.

Os impactos da solução são notórios. Com base nos dados do Relatório e-SIC/CGU e do Painel Resolveu?/CGU, entre 01/06/2019 e 30/09/2019, foram processados, na Ouvidoria, 95 pedidos de acesso à informação e 272 manifestações de Ouvidoria. O tempo médio de resposta foi de 2,54 e 4,66 dias no e-SIC e no FalaBR, respectivamente. No mesmo período do ano anterior, sem a solução aqui proposta, os tempos foram de 30,72 e 175,95 dias para o e-SIC e o FalaBR, respectivamente. O tempo médio de respostas antes e depois da solução pode ser visto no gráfico abaixo

Como resultado, o tempo médio de resposta da UFRN aos pedidos de acesso à informação (plataforma e-SIC) diminuiu cerca de 12 vezes em relação ao mesmo período de 2018. No caso das

e-SIC FalaBR0

50

100

150

jun-set 2018jun-set 2019

Tempo médio de respostas da UFRN no e-SIC e FalaBR

dias

Page 8: III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de Menezes Neto E-mail: eliasjacob@reitoria.ufrn.br ... As novas possibilidades de uso

8

manifestações de Ouvidoria (FalaBR), o tempo diminuiu quase 38 vezes em relação a 2018. Após a incorporação da solução tecnológica deste relato, 100% das manifestações de Ouvidoria e pedidos de acesso à informação passaram a ser respondidos dentro do prazo legal, garantindo ao cidadão um serviço de qualidade, mesmo diante do reduzido quadro de servidores da Ouvidoria da UFRN. Trata-se, portanto, de um exemplo de alto impacto da implementação de uma solução de TI em Ouvidorias.

Page 9: III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de Menezes Neto E-mail: eliasjacob@reitoria.ufrn.br ... As novas possibilidades de uso

9

RELEVÂNCIA DA PRÁTICA EM RELAÇÃO AOS CRITÉRIOS DO REGULAMENTO

Acreditamos que esta experiência pode ser replicada por todas as Ouvidorias do Poder Público Federal com pouquíssimo esforço, sendo adequada, também, para outros entes federativos. O nosso propósito, com a presente submissão, é fazer chegar ao conhecimento das demais Ouvidorias que a tecnologia pode, sim, contribuir positivamente para a melhoria da eficiência dos processos internos da Administração Pública mesmo em ambientes que, como as Ouvidorias, lidam com demandas tão complexas.

No que diz respeito à “criatividade e inovação”, desconhecemos prática similar em Ouvidorias de qualquer ente federativo. Não há, até onde sabemos, nenhuma Ouvidoria que utilize aprendizagem profunda no processamento de manifestações e na automação de processos internos na sua atividade finalística. Ainda assim, fica evidente o caráter inventivo da prática, que adaptou um conhecimento prévio do pesquisador/Ouvidor em outra esfera (Judiciário) para a criação de soluções adequadas à Ouvidoria. Em um cenário de escassez de recursos, a inventividade da proposta garantiu que a Ouvidoria da UFRN, mesmo com quadro reduzido, pudesse solucionar um elevado número de manifestações em tempo curtíssimo.

No quesito “custo-benefício”, todas as soluções foram implementadas com o uso de ferramentas de código-aberto (open source), sem software proprietário. Isto garantiu, literalmente, custo zero com aquisição de licenças pela Universidade para o desenvolvimento do projeto. Além disso, por aproveitar capital intelectual e infraestrutura de TI já utilizadas nas pesquisas do Ouvidor, o desenvolvimento da solução também teve custo zero para a Universidade. O uso dos sistemas e-SIC/CGU e FalaBR/CGU, assim como a API Me-OUV, gratuitos para a instituição, facilitaram o processo de obtenção de dados sem adicionar qualquer custo à solução.

Em relação ao quesito “impactos da iniciativa / contribuição para a efetividade”, entendemos que a prática aqui relatada gera valor tanto para o usuário do serviço público quanto para a própria instituição. Por um lado, os cidadãos são diretamente beneficiados com a redução expressiva do tempo de resposta para as suas manifestações, obtendo acesso mais célere à resolução da sua demanda, o que gera um ciclo virtuoso de participação social na coisa pública, essencial para as democracias contemporâneas. Por outro lado, a administração também é beneficiada pela solução, que gera maior eficiência na prestação do serviço público, aproveita o conhecimento desenvolvido pela própria Universidade e produz mais resultados com uma quantidade menor de servidores.

Relevante ressaltar que a solução apresentada vai ao encontro da missão institucional da UFRN, que inclui o compromisso com a democracia, a cidadania e a produção e difusão do conhecimento científico com o intuito de promover desenvolvimento econômico e social. Ainda, é compatível com os objetivos de desenvolvimento sustentável nº 9 e 16, centrados na inovação tecnológica e no desenvolvimento de instituições públicas mais democráticas e acessíveis ao cidadão.

Sobre o último ponto, “simplicidade e replicabilidade”, a solução foi construída em formato modular, de modo a ser facilmente adaptada a qualquer contexto de Ouvidoria. O uso de uma linguagem de programação extremamente popular – Python – torna o código acessível a um elevado número de técnicos capazes de fazer eventuais ajustes ou a manutenção do sistema, garantindo ampla disponibilidade de mão de obra e baixo custo com pessoal técnico.

Page 10: III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de Menezes Neto E-mail: eliasjacob@reitoria.ufrn.br ... As novas possibilidades de uso

10

A Instrução Normativa nº 7, de 8 de maio de 2019, ao tornar compulsório o uso da plataforma FalaBR por toda a Administração Federal, garante que o módulo de comunicação com o sistema de Ouvidoria seja utilizável sem nenhum ajuste por qualquer Ouvidoria do Poder Executivo Federal e por todas aquelas que utilizem o sistema FalaBR (e, por conseguinte, a API Me-OUV). No caso da comunicação com o kanban, também é dispensável eventual modificação, pois o sistema pode ser incorporado, com pouco ou nenhum esforço, às soluções kanban comercialmente disponíveis, o que é feito por meio de uma API.

O módulo de comunicação com o processo eletrônico interno da instituição é compatível com o SIPAC (Sistema Integrado de Patrimônio, Administração e Contratos), desenvolvido pela UFRN. Atualmente, diversas instituições do Brasil já utilizam os sistemas SIG, o qual inclui o SIPAC, conforme é possível observar na ilustração abaixo:

Assim, todas as instituições acima que utilizarem o SIPAC como plataforma de processo eletrônico poderão, sem nenhuma adaptação, incorporar a solução aqui apresentada. No caso daquelas que adotarem outros sistemas – como o SEI! – serão necessárias pequenas adaptações, com baixa carga de trabalho – estima-se que a adaptação da solução a outros sistemas de processo eletrônico prescinda de apenas 40 horas técnicas.

Considerando a natureza da tecnologia empregada – Deep Learning –, é possível treinar os modelos classificadores e preditivos com os dados já existentes em qualquer Ouvidoria. O uso de transferência de aprendizagem torna trivial a tarefa de treinar o modelo com novos dados, um processo rápido e barato. No caso específico das 101 Instituições Federais de Educação Superior, dada a provável semelhança de estrutura e de demandas que chegam à Ouvidoria, o modelo treinado pela UFRN provavelmente poderá ser aplicado diretamente, sem, sequer, exigir novo treinamento.

Por fim, vale ressaltar uma das características mais marcantes da solução: sua escalabilidade. Os ganhos de produtividade são diretamente proporcionais ao número de demandas tratadas pela Ouvidoria que utilizará a solução, sem que, para isto, seja necessário redimensionar o sistema. Logo, se a Ouvidoria da UFRN economiza mais de 18 horas de trabalho diárias com a solução desenvolvida, outra instituição, com 10 vezes mais demandas, irá economizar, aproximadamente, 10 vezes mais horas de trabalho.

Page 11: III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de Menezes Neto E-mail: eliasjacob@reitoria.ufrn.br ... As novas possibilidades de uso

11

Natal, 20 de outubro de 2019.

__________________________________________________

Assinatura

Declaro que tomei conhecimento do Regulamento do III Concurso de Boas Práticas da Rede Nacional de Ouvidorias Representante do órgão ou entidade.

Page 12: III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de Menezes Neto E-mail: eliasjacob@reitoria.ufrn.br ... As novas possibilidades de uso

MANIFESTAÇÕES - INSTITUTOS E UNIVERSIDADES FEDERAIS 01/01/2019 a 01/10/2019

Instituição

e-SIC Fala-BR Demanda de trabalho Estimativas

Número de manifestações Tempo de resposta (dias) Número de manifestações Tempo de resposta (dias)Processos/dia útil (FalaBR +

e-SIC)

Tempo médio de resposta em

dias úteis (FalaBR + e-

SIC)

Média de processos

simultâneos (FalaBR + e-

SIC)

Carga de trabalho

automatizável (horas/dia)

Economia financeira com

pessoal (R$/ano)

1 Universidade de Brasília 398 11.75 1103 16.18 8.34 9.31 56.93 45.11 $377,831.222 Universidade Federal da Grande Dourados 94 16.94 286 21.96 2.11 12.97 20.07 16.39 $137,268.663 Universidade Federal de Goiás 226 13.74 686 29.02 5.07 14.25 52.96 40.28 $337,376.934 Universidade Federal de Mato Grosso 160 15.40 308 27.35 2.60 14.25 27.17 21.45 $179,615.835 Universidade Federal de Mato Grosso do Sul 150 5.27 730 10.00 4.89 5.09 18.25 17.02 $142,584.276 Universidade Federal da Bahia 259 18.19 359 14.50 3.43 10.90 27.44 22.18 $185,750.357 Universidade Federal do Sul da Bahia 134 11.02 208 15.50 1.90 8.84 12.32 11.08 $92,778.628 Universidade Federal do Recôncavo da Bahia 143 9.70 141 17.76 1.58 9.15 10.59 9.71 $81,340.929 Universidade Federal da Lusofonia Afro-Brasileira 120 8.66 230 21.41 1.94 10.02 14.29 12.42 $104,056.45

10 Universidade Federal da Paraíba 275 17.08 276 25.63 3.06 14.24 31.96 24.95 $208,927.1711 Universidade Federal do Cariri 122 2.77 45 18.80 0.93 7.19 4.89 5.48 $45,892.9912 Universidade Federal de Alagoas 230 11.54 436 19.48 3.70 10.34 28.06 22.77 $190,703.5913 Universidade Federal de Campina Grande 177 35.88 106 35.80 1.57 23.89 27.55 21.01 $175,988.6214 Universidade Federal de Pernambuco 303 19.54 173 37.65 2.64 19.06 36.97 28.01 $234,573.6415 Universidade Federal de Sergipe 137 10.25 55 26.78 1.07 12.34 9.66 8.75 $73,263.9216 Universidade Federal do Ceará 323 14.16 621 13.54 5.24 9.23 35.51 28.77 $240,949.6517 Universidade Federal do Maranhão 207 11.91 71 91.35 1.54 34.42 38.98 28.62 $239,682.9018 Universidade Federal do Oeste da Bahia 149 10.99 164 14.35 1.74 8.45 10.77 9.94 $83,247.2419 Universidade Federal do Piauí 164 32.61 51 102.19 1.19 44.93 39.36 28.64 $239,819.3320 Universidade Federal do Rio Grande do Norte 217 6.36 897 6.11 6.19 4.16 18.87 18.30 $153,284.8221 Universidade Federal do Vale do São Francisco 188 8.38 146 29.01 1.86 12.46 16.96 14.14 $118,449.9822 Universidade Federal Rural de Pernambuco 165 10.89 147 52.32 1.73 21.07 26.78 20.61 $172,612.3523 Universidade Federal Rural do Semi-Árido 116 9.78 9 23.31 0.69 11.03 5.62 5.81 $48,639.6224 Universidade Federal de Rondônia 207 16.69 174 26.21 2.12 14.30 22.20 17.81 $149,150.0625 Universidade Federal de Roraima 95 8.23 207 10.15 1.68 6.13 7.54 7.74 $64,855.1526 Universidade Federal do Acre 122 21.48 130 17.15 1.40 12.88 13.22 11.35 $95,028.5827 Universidade Federal do Amapá 143 35.42 135 34.69 1.54 23.37 26.47 20.28 $169,806.6628 Universidade Federal do Amazonas 179 13.02 375 22.00 3.08 11.67 26.35 21.22 $177,689.1629 Universidade Federal do Oeste do Pará 116 16.60 135 31.04 1.39 15.88 16.24 13.36 $111,852.1230 Universidade Federal do Pará 291 13.89 24 30.38 1.75 14.76 18.94 15.39 $128,906.4531 Universidade Federal do Tocantins 105 8.98 194 14.71 1.66 7.90 9.62 9.12 $76,382.3532 Universidade Federal Rural da Amazônia 136 10.61 116 29.55 1.40 13.39 13.74 11.70 $97,952.0133 Universidade Federal do Sul e Sudeste do Pará 83 6.40 7 3.68 0.50 3.36 1.23 2.75 $23,070.3334 Universidade Federal de Alfenas 88 8.37 12 27.21 0.56 11.86 4.83 5.19 $43,479.6935 Universidade Federal de Itajubá 79 6.18 179 6.80 1.43 4.33 4.55 5.59 $46,794.7036 Universidade Federal de Juiz de Fora 165 16.72 220 21.73 2.14 12.82 20.10 16.43 $137,584.8837 Universidade Federal de Lavras 214 8.49 164 20.76 2.10 9.75 15.02 13.01 $108,958.7538 Universidade Federal de Minas Gerais 279 14.69 720 13.44 5.55 9.38 38.16 30.74 $257,464.4439 Universidade Federal de Ouro Preto 121 7.06 64 15.63 1.03 7.56 5.70 6.09 $50,966.2940 Universidade Federal de São Carlos 125 8.42 170 16.70 1.64 8.37 10.06 9.40 $78,738.3741 Fundação - Universidade Federal de São João del-Rei 125 7.08 130 12.74 1.42 6.61 6.86 7.12 $59,631.4542 Universidade Federal de São Paulo 235 13.69 436 23.24 3.73 12.31 33.65 26.52 $222,103.1643 Universidade Federal de Uberlândia 184 6.05 350 28.54 2.97 11.53 25.08 20.30 $170,017.0944 Universidade Federal de Viçosa 130 12.61 28 90.06 0.88 34.22 22.03 16.87 $141,300.0145 Universidade Federal do ABC 117 8.44 161 13.82 1.54 7.42 8.40 8.23 $68,944.5746 Universidade Federal do Espírito Santo 178 12.48 621 21.69 4.44 11.39 37.08 29.28 $245,194.5947 Universidade Federal do Estado do Rio de Janeiro 166 3.68 49 6.25 1.19 3.31 2.90 4.33 $36,256.82

Page 13: III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de Menezes Neto E-mail: eliasjacob@reitoria.ufrn.br ... As novas possibilidades de uso

48 Universidade Federal do Rio de Janeiro 354 18.31 119 22.68 2.63 13.66 26.33 20.91 $175,079.5349 Universidade Federal do Triângulo Mineiro 125 6.15 59 14.55 1.02 6.90 5.17 5.73 $47,986.8950 Universidade Federal dos Vales do Jequitinhonha e Mucuri 104 10.23 112 17.71 1.20 9.31 8.20 7.86 $65,859.5151 Universidade Federal Fluminense 226 22.68 653 23.80 4.88 15.49 55.48 41.84 $350,447.3052 Universidade Federal Rural do Rio de Janeiro 132 10.12 137 14.25 1.49 8.12 8.90 8.53 $71,450.0153 Universidade Tecnológica Federal do Paraná 183 21.61 490 20.57 3.74 14.06 38.55 29.79 $249,515.4054 Universidade Federal da Fronteira Sul 110 6.89 201 17.21 1.73 8.03 10.18 9.54 $79,876.8955 Universidade Federal da Integração Latino-Americana 70 8.91 275 12.60 1.92 7.17 10.08 9.60 $80,369.2956 Universidade Federal de Ciências da Saúde de Porto Alegre 87 7.95 88 20.63 0.97 9.53 6.79 6.78 $56,751.1457 Universidade Federal de Pelotas 109 19.64 230 21.92 1.88 13.85 19.13 15.61 $130,741.1558 Universidade Federal de Santa Catarina 254 17.82 797 31.85 5.84 16.56 70.89 52.75 $441,820.8059 Universidade Federal de Santa Maria 188 14.02 30 25.25 1.21 13.09 11.63 10.16 $85,076.0660 Universidade Federal do Pampa 106 12.46 468 11.12 3.19 7.86 18.38 15.98 $133,830.5161 Universidade Federal do Paraná 182 12.86 319 22.78 2.78 11.88 24.25 19.62 $164,327.1862 Fundação - Universidade Federal do Rio Grande 108 24.53 211 34.54 1.77 19.69 25.59 19.84 $166,170.7763 Universidade Federal do Rio Grande do Sul 189 20.65 42 102.31 1.28 40.99 38.57 28.17 $235,931.2464 INSTITUTO FEDERAL DO ACRE Reitoria: Rio Branco 69 24.19 53 50.9 0.68 25.03 12.44 10.35 $86,645.6065 INSTITUTO FEDERAL DE ALAGOAS Reitoria: Maceió 198 11.88 80 29.96 1.54 13.95 15.80 13.16 $110,216.8766 INSTITUTO FEDERAL DO AMAPÁ Reitoria: Macapá 96 35.83 9 25.16 0.58 20.33 8.70 7.79 $65,213.6467 INSTITUTO FEDERAL DO AMAZONAS Reitoria: Manaus 114 24.05 104 60.3 1.21 28.12 24.97 19.06 $159,587.7368 INSTITUTO FEDERAL BAIANO Reitoria: Salvador 141 11.78 85 49.55 1.26 20.44 18.82 14.99 $125,505.3269 INSTITUTO FEDERAL DA BAHIA Reitoria: Salvador 322 39.82 186 61.71 2.82 33.84 70.04 50.18 $420,231.7570 INSTITUTO FEDERAL DO CEARÁ Reitoria: Fortaleza 212 16.36 324 27.17 2.98 14.51 31.69 24.71 $206,936.8671 INSTITUTO FEDERAL DE BRASÍLIA Reitoria: Brasília 206 10.3 451 11.04 3.65 7.11 19.04 16.73 $140,085.9672 INSTITUTO FEDERAL DO ESPÍRITO SANTO Reitoria: Vitória 120 12.67 197 30.7 1.76 14.46 18.67 15.22 $127,476.5973 INSTITUTO FEDERAL DE GOIÁS Reitoria: Goiânia 222 11.59 301 16.27 2.91 9.29 19.79 16.73 $140,102.7874 INSTITUTO FEDERAL GOIANO Reitoria: Goiânia 110 7.17 114 20.5 1.24 9.22 8.42 8.04 $67,343.8875 INSTITUTO FEDERAL DO MARANHÃO Reitoria: São Luiz 221 17.44 63 25.28 1.58 14.24 16.48 13.64 $114,201.4276 INSTITUTO FEDERAL NORTE DE MINAS GERAIS Reitoria: Montes Claros 91 9.61 52 24.88 0.79 11.50 6.70 6.59 $55,232.1077 INSTITUTO FEDERAL SUDESTE DE MINAS GERAIS Reitoria: Juiz de Fora 125 10.24 55 44.93 1.00 18.39 13.49 11.26 $94,280.1778 INSTITUTO FEDERAL DE MINAS GERAIS Reitoria: Belo Horizonte 147 6.7 172 17.34 1.77 8.01 10.41 9.72 $81,441.7879 INSTITUTO FEDERAL SUL DE MINAS GERAIS Reitoria: Pouso Alegre 80 9.25 100 13.45 1.00 7.57 5.55 5.97 $49,964.6380 INSTITUTO FEDERAL TRIÂNGULO MINEIRO Reitoria: Uberaba 95 5.49 102 13.52 1.09 6.34 5.09 5.72 $47,906.1581 INSTITUTO FEDERAL DO MATO GROSSO Reitoria: Cuiabá 121 5.68 197 13.19 1.77 6.29 8.15 8.21 $68,762.7282 INSTITUTO FEDERAL DO MATO GROSSO DO SUL Reitoria: Campo Grande 100 9.23 287 17.98 2.15 9.07 14.30 12.57 $105,247.8883 INSTITUTO FEDERAL DO PARÁ Reitoria: Belém 188 17.02 228 26.41 2.31 14.48 24.54 19.50 $163,292.2984 INSTITUTO FEDERAL DA PARAÍBA Reitoria: João Pessoa 150 24.16 84 38.42 1.30 20.86 19.89 15.72 $131,691.4885 INSTITUTO FEDERAL DE PERNAMBUCO Reitoria: Recife 196 22.12 142 15.01 1.88 12.38 17.04 14.21 $119,041.7386 INSTITUTO FEDERAL DO SERTÃO PERNAMBUCANO Reitoria: Petrolina 95 17.25 52 23.39 0.82 13.55 8.11 7.55 $63,257.0287 INSTITUTO FEDERAL DO PIAUÍ Reitoria: Teresina 170 11.93 60 29.49 1.28 13.81 12.94 11.08 $92,767.8488 INSTITUTO FEDERAL DO PARANÁ Reitoria: Curitiba 153 14.86 264 21.69 2.32 12.18 20.70 16.94 $141,899.2889 INSTITUTO FEDERAL RIO DE JANEIRO Reitoria: Rio de Janeiro 114 15.33 221 16.1 1.86 10.48 14.30 12.37 $103,625.6790 INSTITUTO FEDERAL FLUMINENSE Reitoria: Campos dos Goytacazes 107 7.72 195 12.71 1.68 6.81 8.38 8.30 $69,549.3591 INSTITUTO FEDERAL DO RIO GRANDE DO NORTE Reitoria: Natal 150 16.9 137 23.1 1.59 13.33 15.59 13.06 $109,347.1792 INSTITUTO FEDERAL DE RONDÔNIA 78 21.93 296 22.04 2.08 14.66 22.33 17.87 $149,690.2693 INSTITUTO FEDERAL DE RORAIMA Reitoria: Boa Vista 73 8.88 45 10.3 0.66 6.39 3.07 4.09 $34,220.7694 INSTITUTO FEDERAL SUL RIOGRANDENSE Reitoria: Pelotas 94 23.62 77 21.77 0.95 15.13 10.54 9.26 $77,555.6695 INSTITUTO FEDERAL FARROUPILHA Reitoria: Santa Maria 101 11.59 101 24.29 1.12 11.96 9.84 8.91 $74,620.4696 INSTITUTO FEDERAL DO RIO GRANDE DO SUL Reitoria: Porto Alegre 168 12.79 171 21.14 1.88 11.31 15.62 13.27 $111,128.9997 INSTITUTO FEDERAL CATARINENSE Reitoria: Blumenau 117 5.46 270 8.35 2.15 4.60 7.26 7.87 $65,927.5798 INSTITUTO FEDERAL DE SANTA CATARINA Reitoria: Florianópolis 162 4.58 454 6.54 3.42 3.71 9.30 10.08 $84,445.5999 INSTITUTO FEDERAL DE SERGIPE Reitoria: Aracaju 150 11.25 123 11.18 1.52 7.48 8.32 8.15 $68,297.46100 INSTITUTO FEDERAL DE SÃO PAULO Reitoria: São Paulo 205 13.86 535 21.47 4.11 11.78 35.50 28.01 $234,586.99

Page 14: III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de Menezes Neto E-mail: eliasjacob@reitoria.ufrn.br ... As novas possibilidades de uso

101 INSTITUTO FEDERAL DO TOCANTINS Reitoria: Palmas 97 7.96 207 21.26 1.69 9.74 12.06 10.77 $90,182.33Médias para as IFES 158.66 13.68 226.48 25.25 2.14 12.98 19.25 15.86 $132,807.05

Potencial de economia nas IFES $13,413,512.15*Inclui FalaBR e sistema próprio utilizado antes da IN 7/2019

Page 15: III CONCURSO DE BOAS PRÁTICAS EM OUVIDORIA FICHA DE … · Titular da Ouvidoria: Elias Jacob de Menezes Neto E-mail: eliasjacob@reitoria.ufrn.br ... As novas possibilidades de uso

MINISTÉRIO DA EDUCAÇÃOUNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTESISTEMA INTEGRADO DE PATRIMÔNIO, ADMINISTRAÇÃO ECONTRATOS

FOLHA DE ASSINATURAS

Emitido em 15/10/2019

PROJETO Nº 424/2019 - OUVIDORIA (11.24.07)

NÃO PROTOCOLADO)(Nº do Protocolo:

(Assinado digitalmente em 15/10/2019 11:48 ) ELIAS JACOB DE MENEZES NETO

OUVIDOR

2353000

Para verificar a autenticidade deste documento entre em informando seu número: https://sipac.ufrn.br/documentos/, ano: , tipo: , data de emissão: e o código de verificação: 424 2019 PROJETO 15/10/2019 4f5eeaa1cf