AVALIAÇÃO EXTERNA MONITORAMENTO E ...‡ÃO EXTERNA, SISTEMA DE MONITORAMENTO E INDICADORES DO...

AVALIAÇÃO EXTERNA, SISTEMA DE

MONITORAMENTO E INDICADORES DO SISTEMA

BRASILEIRO DE TECNOLOGIA (SIBRATEC)

CRISTINA AKEMI SHIMODA UECHI CEZAR LUCIANO CAVALCANTI DE OLIVEIRA

JORGE MARIO CAMPAGNOLO SERGIO ROBERTO KNORR VELHO

Painel 18/054 Avaliação de resultados como política de governo: uma tendência

AVALIAÇÃO EXTERNA, SISTEMA DE MONITORAMENTO E

INDICADORES DO SISTEMA BRASILEIRO DE TECNOLOGIA (SIBRATEC)

Cristina Akemi Shimoda Uechi

Cezar Luciano Cavalcanti de Oliveira Jorge Mario Campagnolo

Sergio Roberto Knorr Velho

RESUMO

O Sistema Brasileiro de Tecnologia (SIBRATEC) tem o objetivo de apoiar o desenvolvimento tecnológico das empresas brasileiras. É organizado em três tipos de Redes: Extensão Tecnológica (ET), que soluciona gargalos

tecnológicos nas empresas; Serviços Tecnológicos (ST), que apoia a infraestrutura laboratorial e atividades de normalização e regulamentação

técnica; e Centros de Inovação (CI), cujo objetivo é realizar projetos cooperativos entre institutos tecnológicos e empresas. Atualmente, o SIBRATEC é composto por 54 redes. Entre 2009 a 2014, foram aportados no

SIBRATEC R$124 milhões. Em 2014, foi realizada avaliação externa do Programa por consultores contratados pela UNESCO, com a abordagem dos macrotemas: serviços prestados pelas Redes e seus modelos de governança e

gestão. Paralelamente, um estudo do CGEE forneceu subsídios para uma proposta de sistema de monitoramento e indicadores. Os resultados da

avaliação externa destacaram a importância do Programa, além de desafios, dificuldades e oportunidades de melhoria. Juntamente com o estudo do CGEE, esse processo trouxe insumos técnicos para subsidiar a proposta de novo

modelo para aprimoramento da política pública e do SIBRATEC.

INTRODUÇÃO

As empresas brasileiras necessitam de uma maior competitividade

frente ao cenário atual e futuro da economia mundial. Isso é um desejo, além

de uma necessidade, não somente do setor empresarial, representado pela

sua entidade máxima a Confederação Nacional da Indústria - CNI, como pelas

políticas de governo industrial e de ciência, tecnologia e inovação, expressas

no Plano Brasil Maior e na Estratégia Nacional de Ciência, Tecnologia e

Inovação 2012-2015.

São necessárias, assim, ações que incentivem a inovação nas

empresas brasileiras, principalmente as micro, pequenas e médias, com o

objetivo de melhorar sua competividade e produtividade e consequentemente o

crescimento econômico do País.

O governo brasileiro, com o objetivo de elevar o dispêndio

empresarial em pesquisa e desenvolvimento vem investindo em algumas

iniciativas de transferir o conhecimento represado nas ICT à indústria, para

gerar a inovação. É destaque, entre outros esforços, o Sistema Brasileiro de

Tecnologia (SIBRATEC), estratégico na ENCTI 2012-2015 (BRASIL, 2012a).

O Sistema Brasileiro de Tecnologia (SIBRATEC) tem o objetivo de

apoiar o desenvolvimento tecnológico das empresas brasileiras, por meio da

promoção de atividades de pesquisa, desenvolvimento e inovação de

processos e produtos; de serviços tecnológicos; e de extensão e assistência

tecnológica, atendendo aos objetivos das políticas industrial e de ciência,

tecnologia e inovação (BRASIL, 2008).

O objetivo principal do SIBRATEC é, portanto, o de proporcionar

condições para o aumento da taxa de inovação das empresas brasileiras e,

assim, contribuir para aumentar o valor agregado do seu faturamento, sua

produtividade e sua competitividade nos mercados interno e externo

(BRASIL, 2008).

Para o cumprimento desse objetivo, o SIBRATEC está organizado

na forma de três tipos de redes denominados componentes: Centros de

Inovação, Serviços Tecnológicos e Extensão e Assistência Tecnológica

(BRASIL, 2008).

Os clientes do SIBRATEC são as empresas brasileiras. O setor

empresarial participa do Sistema, não só como principal cliente, mas dando

contribuição efetiva na constituição das redes, nas áreas em que já consolidou

competências. Nesse sentido, cabe ressaltar que, em muitos setores,

empresas líderes vêm desenvolvendo trabalhos muito relevantes nas áreas

tecnológicas (BRASIL, 2008).

Entende-se que redes exigem confiança entre os atores e a

percepção de que se ganha no processo. É muito importante focá-las para

evitar que sejam meras figuras de retórica. O SIBRATEC busca consolidar as

instituições tecnológicas do País e articula-las com o modelo de

desenvolvimento, por meio da definição de temas e prioridades para a

implementação dessas redes. Na estruturação das redes, buscou-se articular

unidades ou grupos de excelência a potenciais emergentes, por meio de

mecanismos específicos de incentivo à colaboração (BRASIL, 2008).

O SIBRATEC é composto por três componentes: Extensão

Tecnológica - ET, Serviços Tecnológicos - ST e Centros de Inovação - CI.

As Redes SIBRATEC de Extensão Tecnológica (SIBRATEC-ET) tem

como objetivo promover assistência especializada ao processo de inovação,

por meio do acesso das micro, pequenas e médias empresas (MPME) a redes

de instituições especializadas na extensão e assistência tecnológica, que

forneçam soluções para gargalos existentes na gestão empresarial, projeto,

desenvolvimento e produção de bens e serviços. Entre 2008 e 2014, foram

apoiadas 22 Redes SIBRATEC-ET em 22 Estados: AM, PA, RO, TO, AL, PB,

PE, PI, RN, SE, CE, BA, GO, MT, MS, ES, SP, MG, RJ, RS, SC e PR.

As Redes SIBRATEC-ET são compostas por 54 Instituições

Científicas e Tecnológicas (ICT). Até 2014, foram empenhados

aproximadamente R$62 milhões e desembolsados R$30,0 milhões nas 22

Redes. Mais de 3.500 empresas já foram atendidas pelas Redes SIBRATEC-

ET em todo o território nacional.

As Redes SIBRATEC de Serviços Tecnológicos (SIBRATEC-ST)

tem como objetivo o fortalecimento da infraestrutura laboratorial e difusão da

cultura metrológica, considerando que serviços tecnológicos são

indispensáveis para a modernização da indústria, melhoria da qualidade

de produtos, processos e serviços das empresas, melhoria e garantia da

qualidade de vida do cidadão, suporte à inovação e à extensão tecnológica,

com consequente aumento da competitividade da indústria brasileira em âmbito

nacional e internacional. Entre 2008 e 2014, foram apoiadas 19 Redes

SIBRATEC-ST nos seguintes temas: Sangue e hemoderivados,

Compatibilidade Eletromagnética, Transformados Plásticos, TIC – TV digital,

comunicação sem fio, internet, Produtos para a Saúde, Produtos e Dispositivos

Eletrônicos, Produtos de Setores Tradicionais – Confecções, Calçados e

Móveis, Alimentos, Radioproteção e Dosimetria, Saneamento e Abastecimento

de Água, Defesa e Segurança, Insumos Farmacêuticos, medicamentos e

cosméticos, Instalações Prediais e Iluminação Pública, Biocombustíveis,

Monitoramento Ambiental, Desempenho Habitacional, Geração, Distribuição e

Transmissão de Energia.

As Redes SIBRATEC-ST são compostas por 215 laboratórios de

ensaios ou calibração, distribuídos em 14 Estados. Até 2014, foram

empenhados aproximadamente R$111 milhões e desembolsados R$62,6

milhões nas 19 Redes. Mais de 55 mil empresas já foram atendidas pelas

Redes SIBRATEC-ST em todo o território nacional.

Por fim, as Redes SIBRATEC de Centros de Inovação - SIBRATEC-

CI são compostas por unidades ou grupos de desenvolvimento pertencentes às

ICT com experiência na interação com empresas. Destinam-se, assim, a gerar

e transformar conhecimentos científicos e tecnológicos em produtos ou

processos produtivos com viabilidade comercial, tanto para apoiar o surgimento

de novas empresas de base tecnológica, quanto para possibilitar o

desenvolvimento de inovações radicais ou incrementais em produtos ou

processos produtivos (BRASIL, 2008). Entre 2010 a 2014, foram estruturadas

treze Redes SIBRATEC-CI, nos temas: Manufatura e bens de capital;

Eletrônica para produtos; Microeletrônica; Nanocosméticos; Equipamentos

médicos, hospitalares e odontológicos; Plásticos e borrachas; Insumos para

saúde e nutrição animal; Nanodispositivos e nanosensores; Nanomateriais e

nanocompósitos; Tecnologias digitais de informação e comunicação;

Tecnologias para veículos elétricos; Visualização avançada; e Vitivinicultura.

As Redes SIBRATEC-CI são compostas por 163 Instituições

Científicas e Tecnológicas (ICT), distribuídas em 18 Estados. Até 2014, foram

empenhados aproximadamente R$56,6 milhões e desembolsados R$31,6

milhões nas 13 Redes. 30 empresas já foram atendidas pelas Redes

SIBRATEC-CI em todo o território nacional.

A gestão do SIBRATEC é exercida, no âmbito nacional, por um

Comitê Gestor (CG-SIBRATEC), três Comitês Técnicos, sendo um para cada

componente operando articuladamente, e uma Secretaria Executiva,

atualmente exercida pela Secretaria de Desenvolvimento Tecnológico e

Inovação do Ministério da Ciência, Tecnologia e Inovação – SETEC/MCTI.

Outro ator fundamental na gestão é a função de agência executora, executada

pela Financiadora de Estudos e Projetos – FINEP.

Na 5ª reunião do Comitê Gestor do SIBRATEC, realizada em

dezembro de 2012, foi solicitada a realização de avaliação externa do

Programa, de forma a fazer cumprir a previsão disposta do Art. 38 da

Resolução nº 3 do Comitê Gestor do SIBRATEC (BRASIL, 2008b). A avaliação

das Redes por comissão independente tem como objetivo o aperfeiçoamento

da eficácia e eficiência da estrutura e operação do Programa como um todo,

assim como a conveniência sobre a sua continuidade.

Nesse contexto, foi articulada, no âmbito do Projeto 914 BRZ 2018 -

Ampliação e Atualização dos Processos Institucionais de Formulação,

Implantação e Avaliação das Políticas de Ciência, Tecnologia e Inovação no

Brasil com a Unesco, a contratação de consultores para realização de uma

avaliação minuciosa das práticas operacionais, estratégicas e de gestão de

cada uma das 54 Redes SIBRATEC vigentes na época. Foram selecionados

três consultores especialistas para avaliar cada uma das Redes dos

componentes – Extensão Tecnológica, Serviços Tecnológicos e Centros de

Inovação – do SIBRATEC.

Paralelamente, foi solicitado ao Centro de Gestão e Estudos

Estratégicos (CGEE) um estudo denominado “Sistema de Monitoramento e

Metodologia de Avaliação do SIBRATEC”, com o objetivo de avaliar o

Programa com uma visão macro e propor um sistema de monitoramento e uma

metodologia de avaliação, incluindo indicadores.

OBJETIVOS

O principal objetivo deste trabalho é apresentar os resultados da

avaliação externa do Programa SIBRATEC, em seus três componentes:

Extensão Tecnológica, Serviços Tecnológicos e Centros de Inovação.

As avaliações conduzidas tiveram dois macro-objetivos:

(i) Avaliar os serviços prestados pelas Redes SIBRATEC às

empresas; e

(ii) Avaliar o modelo de governança e gestão em seus diversos

níveis: atendimento às empresas, articulação da Rede,

articulação inter-redes e do Programa SIBRATEC.

METODOLOGIA

Para as avaliações propostas, foram levantados alguns pontos de

interesse considerando as particularidades de cada componente do

SIBRATEC. Os pontos de interesse foram propostos com base nas percepções

da Secretaria Executiva do Programa, relatadas em documentos

disponibilizados (BRASIL, 2013b).

Nas Redes SIBRATEC-ET, que tem o objetivo de solucionar

pequenos gargalos tecnológicos em MPME, foram considerados os seguintes

itens:

Estratégia e perspectivas de atendimento das empresas pela

Rede;

Perfil das empresas clientes da Rede;

Sobreposição ou complementariedade da utilização de outros

instrumentos de apoio a atividades de C,T&I pela Rede e seus

clientes;

Dificuldades e oportunidades da contratação e execução dos

atendimentos prestados pela Rede;

Acompanhamento pela Rede da qualidade de seu atendimento às

empresas clientes;

Percepção das empresas de sua satisfação com os atendimentos

prestados pela Rede;

Iniciativas da Rede para melhoria da qualidade de seus

atendimentos;

Limitações e resultados obtidos pelo modelo de governança e

gestão adotado pela Rede;

Necessidade do apoio público às atividades da Rede;

Efetividade da gestão financeira para operação da Rede;

Participação e contribuição das instituições da Rede em suas

atividades, governança e gestão, incluindo suas decisões;

Qualidade do fluxo operacional e financeiro para execução dos

atendimentos pela Rede;

Boas práticas aplicadas pela Rede e as práticas evitadas para

atingir melhores resultados;

Ações da Rede para acompanhamento e avaliação de sua

produtividade e de suas instituições;

Consequências das ações dos agentes públicos na governança e

gestão da Rede;

Interlocução da Rede com os agentes públicos responsáveis pela

Rede;

Iniciativas da Rede para melhoria de sua governança e gestão;

Razões pelas quais a Rede tem bom desempenho ou é deficiente

em seus objetivos;

Perspectivas de continuidade da Rede;

Limitações legais ou administrativas e boas práticas no fluxo

operacional e financeiro para apoio à Rede;

Suficiência da regulação e acompanhamento das atividades

técnicas, operacionais e financeiras da Rede;

O entendimento quanto ao funcionamento das instituições em

Rede e sua continuidade;

Percepção quanto aos esforços da Rede para execução de suas

responsabilidades e atividades; e

Qualidade da interlocução com os responsáveis pela Rede.

Nas Redes SIBRATEC-ST, com o objetivo de ofertar às empresas

serviços de avaliação da conformidade (calibração, ensaios, análises,

certificação) para auxiliá-las na superação de exigências técnicas para o

acesso aos mercados interno e externo, foram considerados os seguintes itens:

Comentários sobre a estratégia e perspectivas para captação de

empresas para ensaios de seus produtos na área temática da

Rede;

Diagnóstico do perfil das empresas clientes na área temática da

Rede;

Descrição sobre a representatividade e participação das

instituições na Rede;

Descrição sobre as razões que justificam a necessidade do apoio

governamental às atividades da Rede em sua área temática;

Descrição da sobreposição ou complementariedade da utilização

de instrumentos de apoio a atividades de C,T&I pelas instituições

da Rede e empresas, como os da FINEP, CNPq e BNDES;

Comentários sobre a qualidade do fluxo operacional e financeiro

para execução do Projeto;

Descrição sobre dificuldades identificadas na contratação e

execução dos serviços prestados pela Rede;

Avaliação da qualidade do atendimento da Rede às demandas

das empresas por ensaios em sua área temática;

Comentários sobre a percepção de satisfação das empresas com

os serviços prestados pela Rede;

Avaliação das consequências das ações dos agentes

governamentais na execução do Projeto;

Proposição de iniciativas para melhoria da qualidade dos serviços

prestados pela Rede;

Descrição da participação e contribuição das instituições das

Redes em sua governança e gestão;

Comentários sobre os resultados e desempenho da governança e

gestão das Redes;

Comentários sobre as boas práticas aplicadas pelas Redes e

aquelas que devem ser evitadas para atingir melhores resultados;

Descrição das ações das Redes para acompanhamento e

avaliação de sua produtividade e de suas instituições;


governamentais na governança e gestão das Redes;

Proposição de iniciativas para melhorar a governança e gestão

das Redes;

Comentários sobre as razões pelas quais a Rede desenvolve bom

desempenho ou é deficiente em seus objetivos, assim como

perspectivas de continuidade da Rede;

Nas Redes SIBRATEC-CI, cuja finalidade é realizar projetos

cooperativos entre Instituições Científicas e Tecnológicas e empresas, foram

considerados os seguintes itens:

Comentários sobre a estratégia e perspectivas da captação de

projetos cooperativos pela Rede;

Diagnóstico do perfil das empresas prospectadas, interessadas e

contratadas;

Comentários sobre o conteúdo tecnológico dos projetos de

cooperação das empresas propostos e contratados pela Rede;

Descrição sobre a representatividade e participação das

instituições da Rede nos projetos cooperativos;

Descrição da sobreposição ou complementariedade da utilização

de instrumentos de apoio a atividades de C,T&I pelas instituições

da Rede e empresas beneficiárias, tais como Lei do Bem, Lei da

Informática, Subvenção Econômica e Editais da FINEP e CNPq;

Comentários sobre a qualidade do fluxo operacional e financeiro

para contratação e execução dos projetos cooperativos;

Descrição sobre dificuldades identificadas na contratação e

execução dos projetos cooperativos;

Avaliação da qualidade do atendimento da Rede às demandas

empresariais;

Comentários sobre a percepção de satisfação das empresas com

os serviços prestados pela Rede;


governamentais na contratação e execução dos projetos

cooperativos;

Proposição de iniciativas para ampliar a quantidade de projetos

cooperativos contratados pelas Redes;

Descrição da participação e contribuição das instituições das

Redes em sua governança e gestão;

Comentários sobre os resultados e desempenho da governança e

gestão das Redes;

Comentários sobre as boas práticas aplicadas pelas Redes e

aquelas que devem ser evitadas para atingir melhores resultados;

Descrição das ações das Redes para acompanhamento e

avaliação de sua produtividade e de suas instituições;


governamentais na governança e gestão das Redes;

Proposição de iniciativas para melhorar a governança e gestão

das Redes; e

Comentários sobre as razões pelas quais a Rede desenvolve bom

desempenho ou é deficiente em seus objetivos, assim como

perspectivas de continuidade da Rede.

A metodologia de avaliação, realizada pelos consultores individuais

contratados pela Unesco, se iniciou com ampla análise documental a partir de

documentos oficiais ou disponibilizados pela Secretaria Executiva do

SIBRATEC, além de pesquisa bibliográfica sobre o tema. O levantamento de

informações quantitativas e qualitativas foi realizado por meio de visitas aos

principais atores envolvidos nas atividades das Redes, reuniões técnicas e

entrevistas com empresas clientes, com a utilização de questionários

semiestruturados para orientar as discussões. Algumas informações foram

coletadas a distância, com questionários estruturados com campos abertos

e fechados.

A avaliação dos componentes Centros de Inovação e Serviços

Tecnológicos foi realizada entre 11 de janeiro de 2014 a 06 de agosto de 2014.

Já a avaliação das Redes de Extensão Tecnológica ocorreu entre 30 de maio a

5 de dezembro de 2014.

O estudo com uma visão mais ampla do Programa SIBRATEC,

conduzida pelo CGEE, com uma visão top-down, seguiu outra lógica de

desenvolvimento, sinteticamente representada pelas etapas: (i) Planejamento e

definição da estratégia de avaliação; (ii) Diagnóstico, envolvendo levantamento

e sistematização dos dados e análise das informações; (iii) Proposta de

Diretrizes Metodológicas para a avaliação do programa; (iv) Identificação de

indicadores e proposta de sistemática para o monitoramento do Programa; (v)

Relatório final, incorporando avaliação da situação atual do Programa,

propostas e recomendações. O estudo do CGEE foi realizado no período de

janeiro a julho de 2014.

RESULTADOS

As avaliações realizadas evidenciaram distorções, dificuldades,

desafios, ganhos e oportunidades para os diversos atores envolvidos no

Programa SIBRATEC. A seguir são listadas as principais contribuições dos

trabalhos realizados.

Redes SIBRATEC de Extensão Tecnológica

Principais destaques:

O programa aponta para ganhos e benefícios efetivos para a

elevação do patamar tecnológico das empresas, bem como

aumento de competitividade;

O papel do Coordenador Técnico é vital para o bom desempenho

da Rede e o sucesso do Programa. Nas Redes visitadas e que

foram bem avaliadas essa vertente se destacou;

Avaliação bastante positiva do trabalho dos extensionistas que

realizam os atendimentos nas empresas. Os empresários

atestaram a competência técnica e elogiaram a dedicação e o

comprometimento.

Sugestões e recomendações:

Apoiar a consolidação da extensão tecnológica no Estado;

Evitar interrupções e demoras nos pagamentos e nos repasses de

recursos financeiros por parte da FINEP e dos cofinanciadores;

Esclarecer a fronteira entre a atividade de extensionismo

tecnológico e a prestação de serviços tecnológicos;

Fomentar, em regiões específicas, laboratórios para a certificação

de produtos de acordo com regulamentos técnicos nacionais ou

internacionais;

Elaborar manual técnico para definir conceitos e procedimentos

operacionais e financeiros;

Melhorar a divulgação e comunicação das Redes com seus

clientes (empresas);

Estabelecer indicadores consistentes (métricas) para medir o

desempenho das Redes;

Na articulação de uma Rede, considerar as particularidades

regionais e a realidade política-institucional de cada Unidade da

Federação;

Tratar a vertente da extensão tecnológica como um programa

contínuo, para aumentar a credibilidade do programa;

Potencializar a atuação em Rede – inter-rede, intra-rede e entre

os componentes do Sibratec;

Disseminar e adotar alguns procedimentos e “boas práticas”, na

forma de manuais e sistemas informatizados;

Flexibilizar a oferta de novas modalidades de atendimento, para

acompanhar a demanda, que é dinâmica;

Atuar para a manutenção de equipes de executores e

extensionistas capacitados e permanentemente atualizados;

Disponibilizar sistemas informatizados para avaliar o desempenho

das Redes em todas as suas etapas, principalmente no pós-

venda. A maioria das Redes não está estruturada para essa

avaliação e carecem de indicadores de desempenho.

Redes SIBRATEC de Serviços Tecnológicos

A avaliação identificou que as Redes são essenciais e fundamentais

por:

Disseminar a cultura da qualidade nos laboratórios;

Possibilitar a manutenção de grupo multidisciplinar para discussão

e proposição de soluções técnicas e gerenciais;

Atualizar e modernizar equipamentos e laboratórios;

Capacitação da equipe em temas técnicos, da qualidade e

gerenciais;

Promover a oferta de serviços tecnológicos acreditados;

Consolidar a estrutura em rede para apoio às empresas nas suas

demandas de metrologia, normalização e avaliação da

conformidade;

Aumentar o portfólio de serviços tecnológicos;

Promover a participação na elaboração de normas técnicas;

Promover a participação em eventos técnicos;

Possibilitar a manutenção da calibração de equipamentos;

Ainda, em termos da gestão das Redes, é fundamental manter o

apoio para a estruturação de uma secretaria-executiva da Rede.


Fazer a articulação, negociação e alinhamento do MCTI com

ministérios e agências reguladoras;

Potencializar a atuação em Rede, inter-rede, intra-rede e entre os

componentes do Sibratec;

Fortalecer as relações e o aumento do grau de confiança entre as

ICT e governo;

Promover os encontros entre as Redes ST para a interação entre

elas com apresentação de boas práticas e casos de sucessos,

sistematicamente;

Promover maior alinhamento das Redes com o setor produtivo;

Avaliar a atuação de cada instituição, do seu comprometimento e

interesse em trabalhar em rede – sanção versus incentivo;

Elaborar subprojetos para as universidades: prestação de ST ou

pesquisa e implantação de novos métodos e desenvolvimento de

produtos

Ampliar a Rede com a definição de critérios para os novos

entrantes.

Aprimorar a aproximação do governo com as Redes ST e entre

componentes, a fim de dar celeridade à solução dos problemas

que ocorrerem.

Redes SIBRATEC de Centros de Inovação

Principais destaques:

É um programa estruturante para o desenvolvimento tecnológico

e para geração de inovação, principalmente nas micro, pequenas

e médias empresas;

Gera benefícios diretos e indiretos para as empresas, podendo

propiciar a melhoria no desenvolvimento econômico e social do

País;

Há casos de sucesso de parceria entre ICT e empresas e inter -

redes.


Aperfeiçoar a estratégia de marketing das Redes;

Apoiar a figura de uma secretaria executiva da Rede atuante;

Diminuir a burocracia para aprovação dos projetos cooperativos;

Garantir a disponibilidade de recursos para execução dos projetos

cooperativos;

Transformar os núcleos de coordenação das Redes em

“observatórios da inovação”, para acompanhar as tendências e

oportunidades de mercado;

Promover maior interação entre as Redes para troca de

experiências.

Sistema de Monitoramento e Metodologia de Avaliação do SIBRATEC

Sugestões:

Criar uma unidade de gestão adequada, vinculada ao MCTI, com

agilidade administrativa e financeira, bem como contar com os recursos

humanos e financeiros necessários, com as seguintes atribuições:

Secretariar os colegiados dos três componentes do Sibratec;

Tratar dos sistemas de informação dos componentes, interagindo

com os atores de cada um deles.

O Sistema de Monitoramento e a metodologia de avaliação devem

contemplar:

Níveis de análise: distinguir o monitoramento e avaliação por

componentes – incluindo referências, indicadores e análises; a

avaliação geral do programa deve conjugar aspectos específicos

com as particularidades dos componentes. A avaliação de

resultados deve ser feita, necessariamente, por componentes e,

posteriormente, realizada uma análise que corresponda aos

objetivos gerais do Programa.

Abrangência - Focos de análise: na concepção aqui adotada, o

monitoramento e a avaliação devem ser abrangentes. Em

primeiro lugar, isso significa que, para a avaliação do Programa (e

de cada componente), é necessário focalizar os vários aspectos

intervenientes no respectivo desempenho, sejam internos ou

externos.

Tipos de análise – para um monitoramento e avaliação assim

concebida, é imprescindível conjugar indicadores quantitativos

com análises qualitativas.

Momentos da avaliação – análises parciais, para verificar se as

metas intermediárias têm sido alcançadas, observar dificuldades

ou fatores externos que interferem no planejamento maior ou em

atividades específicas, indicando-se correções de rumo, se

necessárias. Por sua vez, a avaliação final – de resultados e

impactos (neste caso, muitas vezes ainda parciais) – se dá ao

final do programa/projeto, identificando os resultados finais e os

impactos que porventura já possam ser observados.

Mecanismos – os mecanismos e instrumentos para o

monitoramento e avaliação de programas podem ser muito

facilitados pela construção de um sistema de informação

adequado, que atenda aos requisitos para a construção dos

indicadores selecionados.

Utilização dos resultados do monitoramento e avaliação – os

esforços de monitoramento e avaliação só fazem sentido como

parte de uma estratégia de gestão que leve em conta a

necessidade contínua de reflexão sobre o que foi inicialmente

planejado e sobre como está ocorrendo na prática, se há

necessidade de intervenção para aperfeiçoamentos ou correções

de rumo, com vistas aos objetivos estabelecidos. É importante

ressaltar também, que esse monitoramento e avaliação pode

gerar subsídios para a gestão de políticas ou de outros programas

voltados para temas e objetivos no campo em que se insere o

SIBRATEC.

Sistema de informação – é necessário estabelecer um sistema de

informação que dê conta das informações consideradas

essenciais para a construção dos indicadores selecionados, por

componentes, e que integre sites oficiais (MCTI, Portal da

Inovação e outros), evitando multiplicação de sistemas isolados.

Na fase atual do SIBRATEC, há várias tentativas, algumas delas

induzidas pelo próprio programa, visando desenvolver um sistema

aplicável ao programa. É necessário revisar essas iniciativas e

reunir coordenadores e/ou representantes dos três componentes

para avaliar o que foi proposto, de forma a verificar a

aplicabilidade e atendimento aos requisitos necessários.

Indicadores – a escolha dos indicadores, bem como a definição

dos processos para sua construção (definição dos dados e

informações necessários, coleta e tratamento dos dados) e

análise (o que se fará com esses indicadores? O que mostra cada

um deles? Como consolidar a análise de vários indicadores) são

passos imprescindíveis para um efetivo processo de

monitoramento e avaliação do programa e de seus componentes.

Os indicadores foram elaborados segundo as dimensões dos 6 “E” de

desempenho: eficiência, eficácia, efetividade, economicidade, excelência e

execução (Martins & Marini apud MPOG, 2009), conforme ilustrado na Figura 01.

Figura 01 – Categorias que compõem os 6E do desempenho Fonte: Martins & Marini. Guia de Governança para Resultados (apud MPOG, 2009)

Cada indicador é composto pelas seguintes características:

Componente do SIBRATEC (Extensão Tecnológica, Serviços Tecnológicos ou

Centros de Inovação), Dimensão de desempenho, Subdimensão, Categoria,

nome do indicador (Indicador e Subindicador, se houver), Objetivo, Memória de

cálculo, Unidade de Medida, Meta, Periodicidade, Fonte, Responsável pela

apuração do indicador, Análises transversais do Indicador relacionado,

Observação.

Foram sugeridos 18 indicadores, apresentados na Tabela 01, sendo

dois na dimensão de execução, oito na dimensão da eficiência, sete de eficácia

e um de excelência. Na proposta inicial, não foram avaliadas as dimensões de

efetividade e economicidade do Programa.

Tabela 01 – Indicadores do Programa SIBRATEC propostos pelo estudo do CGEE

Proposta de indicadores para o Monitoramento do Programa SIBRATEC

Nº do Indicador

Dimensão do desempenho

Subdimensão Categoria Indicador Objetivo Abrangência

1 Execução Execução

orçamentária Operacionalização

Planejamento e Execução orçamentária

A) Percentual de Recursos recebidos frente ao orçamento aprovado B) Percentual de Recursos gastos ou

comprometidos frente ao orçamento recebido

Monitorar a execução

orçamentária dos recursos recebidos, gastos e/ou comprometidos, frente ao

orçamento aprovado para a análise de gestão das redes e do Programa.

CI, ST, ET

2 Execução Execução das

atividades Operacionalização

Planejamento e Cumprimento de metas

Percentual de metas físicas realizadas pelas Redes em relação às metas

estabelecidas, nos tempos previstos

Monitorar a execução das

atividades e o cumprimento das metas físicas estabelecidas no plano de trabalho das redes

CI, ST, ET

3 Eficiência Recursos humanos

Insumos (talentos)

Índice de Rotatividade dos

colaboradores das redes (Turnover) Percentual dos colaboradores que se

renova em um determinado período de tempo.

Monitorar a rotatividade e o ritmo de renovação dos colaboradores das redes

(Recursos humanos).

CI, ST, ET

Continua

Nº do Indicador



4 Eficiência Articulação e

colaboração Resultados

Grau de articulação e colaboração entre as redes SIBRATEC e com

outras entidades A) Número de interações (atividades)

intra e inter redes e inter componentes - por tipo de atividade B) Número de interações (atividades)

das redes com outras entidades, programas ou iniciativas similares - por entidade

- por tipo de atividade (incluindo participação em Comitês Técnicos)

Monitorar a interconectividade entre componentes e destes com

outros atores importantes no processo de desenvolvimento tecnológico e inovação.

CI, ST, ET

5 Eficiência Divulgação Resultados

Número de realizações e

participações em eventos Total de eventos realizados para

divulgação das Redes e total de participações em eventos

Monitorar as realizações e as participações em atividades de divulgação das/pelas redes ao

longo da execução dos projetos

CI, ST, ET

6 Eficiência Divulgação Resultados

Publicidade e marketing dos

serviços prestados pelas redes Número de atividades de publicidade e

marketing dos serviços prestados pelas redes, segundo o meio ou veículo de comunicação utilizado

Monitorar as atividades de divulgação das redes ao longo

da execução dos projetos CI, ST, ET

Continua

Nº do Indicador



7 Excelência Qualidade dos atendimentos

realizados Resultados

Satisfação dos usuários Pesquisa de opinião

Realizar pesquisa de opinião com as empresas atendidas pelas Redes, para verificar a

qualidade dos serviços e resultados dos trabalhos realizados pelas redes.

CI, ST, ET

8 Eficiência

Distribuição da

qualificação dos

Colaboradores

envolvidos nas redes

Insumos (talentos)

Perfil dos colaboradores das redes

segundo formação profissional Distribuição percentual dos

colaboradores envolvidos nas redes segundo o grau de qualificação: - Técnico: nível médio / nível superior:

graduação, mestrado, doutorado - Administrativo

1) Monitorar o uso das competências disponíveis nas ICT envolvidas na rede

2) Verificar a adequação do perfil dos colaboradores às competências específicas

necessárias a cada rede

CI

9 Eficiência Prazo Operacionalização Tempo decorrido entre a

apresentação das propostas e a

contratação dos projetos

Verificar o tempo de tramitação para contratação

dos projetos, buscando a diminuição do período total entre a submissão pelas

empresas e a contratação.

CI

10 Eficácia Atendimento à

demanda Resultados

Percentual de projetos contratados

em relação ao número de projetos aprovados pelo núcleo de coordenação (NC) da rede

- por porte da empresa: micro, pequena, média, grande

Verificar a capacidade de resposta/atendimento das redes às demandas do setor

empresarial.

CI

Continua

Nº do Indicador



11 Eficiência Origem dos

projetos Resultados

Caracterização da origem da demanda

A) Percentual de projetos de iniciativa do setor empresarial no SIBRATEC em relação ao total de projetos em

desenvolvimento de produtos e processos pelas ICT da rede. B) Percentual de projetos cooperativos

do Sibratec de iniciativa das ICT em relação ao total de projetos cooperativos em desenvolvimento.

Caracterizar a iniciativa dos Projetos de Inovação e

identificar a origem da demanda.

CI

12 Eficácia Apoio à

inovação Resultados

Geração e melhoria de produtos e

processos A) Percentual de projetos associados à

melhoria de produtos e processos (em relação total de projetos contratados) - por segmento

B) Percentual de projetos associados à geração de novos produtos e processos (em relação ao total de projetos

apoiados) - por segmento C) Percentual de projetos associados ao

conhecimento tácito adquirido durante o processo de desenvolvimento dos projetos (em relação ao total de projetos

apoiados) - por segmento

Monitorar os resultados dos projetos apoiados pela Rede no

que se refere ao desenvolvimento de novos produtos ou novos processos

(inovações radicais), por segmento apoiado pelo SIBRATEC.

CI

Continua

Nº do Indicador





Geração de propriedade intelectual

A) Relação entre número de patentes requeridas e os projetos realizados

B) Relação entre número de patentes concedidas e os projetos realizados

Verificar o grau de inventividade e indícios dos esforços para a inovação,

visando à proteção intelectual.

CI



Percentual dos serviços realizados

em relação ao número de serviços demandados pelas empresas - por tipo: ensaios ou calibração

- por porte da empresa: micro, pequena, média, grande

1) Verificar o atendimento à

demanda. 2) Monitorar os resultados correspondentes aos produtos

esperados das atividades finalísticas para Serviços Tecnológicos.

3) Analisar o fortalecimento dos serviços laboratórios.

ST

15 Eficiência Capacitação

das redes Resultados

Percentual de capacitações dos colaboradores realizadas em relação aos itens financiáveis do projeto

Verificar a capacitação dos

colaboradores das redes em relação às ações resultantes dos itens financiáveis do

projeto

ST

Continua

Conclusão

Nº do Indicador





Percentual de atendimentos realizados por modalidade em relação ao total de atendimentos do projeto

- por modalidade de atendimento (unidades móveis, adequação do produto

ao mercado interno, adequação do produto ao mercado externo, gestão do processo produtivo, produção mais

limpa)

Verificar o atendimento à

demanda por parte do componente.

ET


demanda Resultados

Percentual de atendimentos solicitados pelas empresas em

relação ao número de atendimentos realizados pelas redes

- por modalidade de atendimento (unidades móveis, adequação do produto ao mercado interno, adequação do

produto ao mercado externo, gestão do processo produtivo, produção mais limpa)


demanda por parte do componente.

ET


demanda Resultados

Relação entre os atendimentos

realizados e as empresas atendidas - por porte: micro, pequena, média, grande

A) Número de empresas atendidas B) Número de atendimentos realizados

por empresa


demanda. ET

25

CONCLUSÕES

O processo de avaliação trouxe uma ampla gama de insumos de

diretrizes técnicas para subsidiar a elaboração de proposta de novo modelo para

aprimoramento da política pública voltada à inovação e do SIBRATEC.

Novos modelos de fomento e de articulação estão sendo testados em

projetos pilotos, a fim de superar algumas das dificuldades identificadas na avaliação

externa. As Redes apoiadas mais recentemente - a saber, as Redes SIBRATEC-CI

de Nanomateriais e Nanocompósitos e em Nanodispositivos e Nanosensores, a lém

da Rede SIBRATEC-ST de Desempenho Habitacional – já contam com

acompanhamento mais focados nos pontos apontados pelas avaliações como mais

críticos para o sucesso de uma Rede SIBRATEC.

Enquanto as avaliações de cada Rede realizadas pelos consultores

trouxeram a tona dificuldades operacionais e a visão estratégica dos Coordenadores

das Redes, o Estudo realizado pelo CGEE trouxe insumos macro para melhoria da

gestão do Programa e análise segundo dimensões de interesse da gestão pública:

eficiência, eficácia, efetividade, economicidade, excelência e execução.

Apesar de estar previsto em regulamento do Comitê Gestor do

SIBRATEC, os instrumentos operacionais da execução da avaliação externa não

estavam definidos, o que exigiu grande esforço para viabilizar a execução de tal

atividade.

Todo esse processo gerou um amadurecimento, principalmente em

termos metodológicos, que certamente serão aprimorados na realização do próximo

ciclo de avaliação externa, contribuindo para a melhoria da política pública.

26

REFERÊNCIAS

BRASIL, Ministério da Ciência e Tecnologia. Resolução do Comitê Gestor do SIBRATEC nº 001, de 17 de março de 2008. Aprova as Diretrizes Gerais do Sistema

Brasileiro de Tecnologia - SIBRATEC, 2008a. Publicada no DOU, em 03 de abril de 2008, Seção 1, p. 7.

BRASIL, Ministério da Ciência e Tecnologia. Resolução do Comitê Gestor do

SIBRATEC nº 003, de 9 de abril de 2008. Aprova o Regulamento do Sistema Brasileiro de Tecnologia, 2008b. Publicada no DOU, em 14 de abril de 2008, Seção

1, p. 12.

BRASIL. Ministério do Planejamento, Orçamento e Gestão. Guia referencial para medição de desempenho e manual para construção de indicadores. Brasília: 2009.

BRASIL. Ministério do Desenvolvimento, Indústria e Comércio Exterior. Plano Brasil Maior, 2011. Disponível em: http://www.brasilmaior.mdic.gov.br/ . Acesso em:

18/03/2013.

BRASIL. Ministério da Ciência, Tecnologia e Inovação. Estratégia Nacional de Ciência, Tecnologia e Inovação 2012-2015, 2012a. Disponível em:

http://www.mct.gov.br/upd_blob/0218/218981.pdf Acesso em: 18/03/2013.

BRASIL, Ministério do Planejamento, Orçamento e Gestão. Instituto Brasilerio de

Geografia e Estatística. Pesquisa Industrial 2010, v. 29, n.1, Empresa, Rio de Janeiro, 2012b. Disponível em: ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_ Transformacao/Pesquisa_Industrial_Anual/Empresa2010/piaempresa2010.pdf

BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Investimentos Estratégicos - SPI. Indicadores de programas: Guia

Metodológico. Brasília: 2012c.

BRASIL, Portal Brasil. Site Oficial do Governo Federal Brasileiro, 2013a. Disponível em: http://www.brasil.gov.br/sobre/ciencia-e-tecnologia/fomento-e-apoio/producao-

cientifica Acesso em: 09/05/2014.

BRASIL, Ministério da Ciência, Tecnologia e Inovação. Secretaria de

Desenvolvimento Tecnológico e Inovação. Relatório de gestão do programa SIBRATEC-2013, 44p. Disponível em: http://www.mct.gov.br/upd_blob/0229/ 229551.pdf Brasília, 2013b.

BRASIL, Ministério do Planejamento, Orçamento e Gestão. Instituto Brasi lerio de Geografia e Estatística. Pesquisa de Inovação PINTEC 2011. Disponível em:

http://www.pintec.ibge.gov.br/ index.php? option=com_content&view=article&id= 45&Itemid=12 Rio de Janeiro, 2013c.

27

BRASIL, Decreto Presidencial de 02 de setembro de 2013. Qualifica como Organização Social a Associação Brasileira de Pesquisa e Inovação Industrial – EMBRAPII, 2013d. Publicada no DOU, em 03 de setembro de 2013, Seção 1, p. 8.

CENTRO DE GESTÃO E ESTUDOS ESTRATÉGICOS. Relatório Final. In: Sistema de Monitoramento e Metodologia de Avaliação do SIBRATEC. Brasília, 2014.

CNI, Confederação Nacional da Indústria. A indústria e o Brasil: uma agenda para crescer mais e melhor, 235p. ISBN 978-85-7957-025-4, Brasília, 2010.

CNI, Confederação Nacional da Indústria. Reunião do Comitê de Líderes Empresariais da MEI. São Paulo, 2011. Disponível em: http://arquivos.portalda industria.com.br/app/conteudo_18/2013/03/ 14/3317/20130314100846457673i.pdf Acesso em: 20/01/2014.

CARVALHO, R. de Q.; SANTOS, G. V., BARROS NETO, M. C. Funil de Inovação Aplicado à Gestão Estratégica de Projetos de P&D Focados no Desenvolvimento de Tecnologias: Uma Experiência no Setor Elétrico Brasileiro. XXXV Encontro da ANPAD, Rio de Janeiro, 2011.

CEBRI, Centro Brasileiro de Relações Internacionais. Inovação para Pequenas Indústrias. Estudo de Benchmarking Internacional, Micro e Pequenas Empresas, Rio de Janeiro, 2013. Estudo realizado pelo Centro Brasileiro de Relações Internacionais com exclusividade para o Serviço Brasileiro de Apoio às Micro e Pequenas Empresas. Disponível em: http://ois.sebrae.com.br/wp-content/uploads/2013/12/ CEBRI-Sebrae_Relatorio_Final_Inova% C3%A7%C3%A3o-rev2.pdf.

DESIGN colaborativo. Open Innovation, 2013. Apresenta artigos sobre design colaborativo. Disponível em: http:// http://designcolaborativo.blogspot.com.br/ . Acesso em: 10/02/2013.

DE NEGRI, F. e CAVALCANTE, L. R., Nota Técnica n°15 – Análise dos dados da Pintec 2011, 9p. Instituto de Pesquisa Econômica Aplicada, 2013.

IBPT, Instituto Brasileiro de Planejamento Tributário. Empresômetro – Censo das Empresas e Entidades Públicas e Privadas Brasileiras, 2012. Disponível em: https://www.ibpt.org.br/img/uploads/ novelty/estudo/372/CENSODASEMPRESASE ENTIDADESOUTUBRO2012V9FINAL.pdf Acesso em: 10/02/2014.

MANTEGA, G. O BNDES e o Novo Ciclo de Desenvolvimento. Revista do BNDES, V. 12, N. 23, P. 3-16, JUN. 2005. Rio De Janeiro, 2005. Disponível em: http://www.bndes.gov.br/SiteBNDES/export/ sites/default/bndes_pt/Galerias/ Arquivos/conhecimento/revista/rev2301.pdf Acesso em 10/02/2014.

SEBRAE, Serviço Brasileiro de Apoio às Micro e Pequenas Empresas. Taxa de sobrevivência das Empresas no Brasil, Coleção Estudos e Pesquisas, Out/11, Brasília, 2011. Disponível em: http://bis.sebrae.com.br/GestorRepositorio/ ARQUIVOS_CHRONUS/bds/bds.nsf/45465B1C66A6772D832579300051816C/$File/NT00046582.pdf Acesso em: 10/02/2014.

28

UNESCO, Organização das Nações Unidas para a educação, a ciência e a cultura.

Avaliação das Redes do Sistema Brasileiro de Tecnologia (SIBRATEC) em seu componente Centros de Inovação. PROJETO 914BRZ2018 – Política de Ciência,

Tecnologia e Inovação no Brasil. Brasília, 2014a.

UNESCO, Organização das Nações Unidas para a educação, a ciência e a cultura. Avaliação das Redes do Sistema Brasileiro de Tecnologia (SIBRATEC) em seu

componente Serviços Tecnológicos. PROJETO 914BRZ2018 – Política de Ciência, Tecnologia e Inovação no Brasil. Brasília, 2014b.

UNESCO, Organização das Nações Unidas para a educação, a ciência e a cultura. Avaliação do Desempenho das Redes do Componente Extensão Tecnológica do Sistema Brasileiro de Tecnologia SIBRATEC. PROJETO 914BRZ2018 – Política de

Ciência, Tecnologia e Inovação no Brasil. Brasília, 2014c.

VELLOSO, J. Mestres e Doutores no País: Destinos profissionais e políticas de pós-

graduação. Núcleo de estudos sobre o ensino superior e Faculdade de Educação da Universidade de Brasília. Cadernos de pesquisa V.34, n.123, p.583-611, set/dez 2004. Brasília, 2004. Disponível em: http://www.scielo.br/pdf/cp/v34n123/a05v

34123.pdf Acesso em 10/02/2014.

ZUCOLOTO, G. F. e NOGUEIRA, M. O. Davi x Golias: Uma análise do perfil

inovador das empresas de pequeno porte. Radar 25: tecnologia, produção e comércio exterior. ISSN: 2177-1855. P.45-54. Instituto de Pesquisa Econômica Aplicada. Brasília, 2013.

29

___________________________________________________________________

AUTORIA

Cristina Akemi Shimoda Uechi – Ministério da Ciência, Tecnologia e Inovação.

Endereço eletrônico: [email protected]

Cezar Luciano Cavalcanti de Oliveira – Ministério da Ciência, Tecnologia e Inovação.


Jorge Mario Campagnolo – Ministério da Ciência, Tecnologia e Inovação.


Sergio Roberto Knorr Velho – Ministério da Ciência, Tecnologia e Inovação.


AVALIAÇÃO EXTERNA MONITORAMENTO E ...‡ÃO EXTERNA, SISTEMA DE MONITORAMENTO E INDICADORES DO...

Documents

Transcript of AVALIAÇÃO EXTERNA MONITORAMENTO E ...‡ÃO EXTERNA, SISTEMA DE MONITORAMENTO E INDICADORES DO...