USP-MBA: C,T&I Avaliação e seleção de projetos tecnológicos FEA/USP - Agosto 2000.
Transcript of USP-MBA: C,T&I Avaliação e seleção de projetos tecnológicos FEA/USP - Agosto 2000.
USP-MBA: C,T&I
Avaliação e seleção de projetos tecnológicos
FEA/USP - Agosto 2000
Folha de São Paulo, Caderno MAIS!, 27/06/99
zoom
Equação de Drake: Quantas estrelas nascemQuantas estrelas têm sistema planetárioQuantas estrelas têm vidaQuantas estrelas têm vida em estágio de evolução para comunicação
Greek vase Side A: AthenaPhotograph by Maria Daniels,courtesy of the University Museums,University of Mississippi
The Goddess Athena wins over Ignorance,B. Spanger (c. 1591)
Ciência
Pallas AtheneGustav Klimt (1898)
Vienna, Historisches Museum der Stadt Wien
Gestão de C&T•Disciplinas aplicadas (identidade no objeto):
:Planejamento estratégico:Estrutura organizacional:Adm. de Projetos
•Avaliação - disciplina básica, propedêutica (identidade em conceitos abstratos, genéricos)
:Tempo:Espaço:Finalidade:Valores:Meios:Linguagem:Simbologia
Seleção de projetos:matrizes para julgamento de prioridades
Vasconcellos E, Andrade VL. Altec'95
Mercadoconhecido pelaempresa
Mercado novopara empresa
Mercado novopara o mundo
Tecnologiaconhecida pelaempresa
Mínima incerteza
Tecnologia novapara empresa
Tecnologia novapara mundo Máxima incerteza
Agrupamento por categorias
Seleção de projetos:matrizes para julgamento de prioridades
Vasconcellos E, Andrade VL. Altec'95
Recompensapotencial
Alta Mínimaincerteza
Média
Baixa Máximaincerteza
0% 20% 40% 60% 80% 100%
Probabilidade de sucesso
Categorias e escala contínua
Seleção de projetos: ratings
Technologicalfeasibility
(weight=.2)
Technicalattractiveness
(weight=.3)
Economicpotencial
(weight=.5)
Score
P1 4 3 3 3,2
P2 2 4 3 3,1
P3 4 4 3 3,5
P4 4 3 5 4,2
P5 3 4 3 3,3
INDICADOR POR OPERAÇÃO ARITMÉTICAFahrini P. An application-oriented guide to R&D project selection. R&D Management 1990; 20(2):155-171.
Seleção de projetos: ratings
Dimensão de projeçãoWilkinson A. Developing an expert system on project evaluation. R&D Management 1991; 21(4): 309-18.
1 2 30
1
2
3
Need of innovation
Tim
e to
co
mp
leti
on
Corpora
te u
rgen
cy
12
3
3
3
3
•Research problem factorsPriorityOriginalityClarity of objective
•Process factorsOriginality of approachFeasibility of solutionSide-effectsGroup leadership
•Funding requirement•Benefits if successful
Scientific impactEconomic effectsSocial welfareAcademic value
Seleção de projetos: ratings
Xiao-Yin Jin. R&D project selection and evaluation.
R&D Management 1987; 17(4): 277-88
Função algébrica
• Corporate objectives/ strategy
• Market/ competitive position
• Technical impact
• R&D infrastructure
• Manufacturability
• Financial impact
• Regulatory/ legal (/environmental) aspects
R.B. Johnson
Os fatores para seleção de projetos são de natureza corporativa
TEMAS CONCEITOS
1. Gestão de Projetos 1. Carteira de projetos
2. Seleção de projetos
3. Monitoramento de projetos
4. Administração de pesquisas
5. Planejamento operacional de pesquisas
2. Gestão de recursosmateriais e financeiros parapesquisa
6. Planejamento de recursos por projetos
7. Autonomia de recursos segundo previsãopor projeto
8. Dotação de recursos segundo avaliação deandamento de projeto
9. Financiamento institucional de projetos
10. Captação de recursos externos paraprojetos
3. Gestão de infra-estruturapara pesquisa
11. Biblioteca com acesso eficiente à literaturanecessária à pesquisa
12. Serviço de reprografia para materialbibliográfico
13. Infra-estrutura para processamento dedados
14. Infra-estrutura de assessoria metodológicapara planos de análise de pesquisa
15. Infra-estrutura para elaboração de materialde divulgação de resultados de pesquisa
4. Gestão de recursoshumanos para pesquisa
16. Delegação de autoridade por projeto
17. Reconhecimento de mérito no trabalhorealizado pelo pesquisador
18. Remuneração complementar dopesquisador segundo o projeto de pesquisaque realiza
Definir prioridades: exemplo
Definindo prioridades
para gestão de C&T em
institutos de pesquisa
Definindo prioridades:Tema 1 - Gestão de projetos
Definindo prioridades:
Tema 3 - Gestão de infra-
estrutura para pesquisa
CONCEITO EXPECTATIVA SITUAÇÃO ATUALBiblioteca Acho indispensável que
um Instituto de Pesquisatenha uma biblioteca queprovidencie acesso ágil eeficiente à literaturanecessária àinvestigação científica
A biblioteca de nossoInstituto atende ospesquisadores comrapidez e providenciaacesso a toda literaturaque necessitam
Reprografia Julgo importante que opesquisador tenha meiospara reproduzir materialbibliográfico para seusestudos
No Instituto tenhofacilidades parareproduzir todo materialde literatura quenecessito
Registro,processa/o eanálise dados
Atualmente nenhumainstituição de pesquisapode prescindir de umcentro de processamentode dados
Nosso Instituto temfacilidades adequadaspara registro,processamento e análisede dados
Assessoriametodológica
A sofisticaçãometodológica (desenho,estatística,epidemiologia) nasciências da saúdeexigem que opesquisador tenhaacesso a assessoriaespecífica
No Instituto opesquisador tem umaassessoria adequadapara desenho,processamento e análiseestatística de dados deprojetos de pesquisa.
Material dedivulgação
Uma instituição depesquisa precisa provermeios para elaboraçãode material de divulgaçãode resultados depesquisa (processamentode textos, gráficos,slides, etc)
No Instituto temos todasas facilidadesnecessárias à elaboraçãode material de divulgação(processamento detextos, gráficos, slides,etc)
CONCEITO EXPECTATIVA SITUAÇÃO ATUALDelegação deautoridade
É indispensável que um projetode pesquisa tenha umresponsável com delegação deautoridade da diretoria paratudo que diga respeito àrealização do projeto.
Tenho (ou o líder de meuprojetos tem) total autoridadesobre a execução dasatividades de meus projetos depesquisa
Reconhecimento de mérito
Um plano de carreira nãoesgota a avaliação do trabalhodo pesquisador, devendo haverformas de reconhecimento daimportância e do valor daspesquisas que realiza (prêmios,títulos, destaques em folha deserviços, folgas, etc).
No Instituto o trabalho dopesquisador é reconhecido equando ele se destaca estereconhecimento toma umaforma concreta através deregalias, prêmios, títulos oumenções honrosas.
Remuneração A remuneração do trabalho empesquisa deveria ser pelomenos complementada atravésde alocação de recursos aoprojeto, como prevêem asnormas de Fundo Especial deDespesas, ou de alguma outraforma que garantisse umaremuneração condizente com otrabalho realizado.
Tenho complementação salarialpelo trabalho que realizo(através do próprio instituto oupôr agência de fomento)
Definindo prioridades:Tema 4 - Administração de pessoal para pesquisa
Expectativas de Gestão em C&T para os Institutos de Pesquisa
JULHO/96
1. Entendo que a autonomia do pesquisador não o isenta de prestar contas
ao Instituto sobre as investigações que realiza, devendo ele informar
cronograma de atividades e apresentar seus resultados para avaliação.
2. Um plano de carreira não esgota a avaliação do trabalho de
pesquisador, devendo haver formas de reconhecimento da importância
e do valor das pesquisas que realiza (prêmios, títulos, destaques em
folha de serviços, folgas, etc.).
3. Tenho complementação através de bolsa, prêmio pelo trabalho que
realizo (através do próprio instituto ou pôr agência de fomento ).
4. A complexidade metodológica (desenho, estatística, epidemiologia) nas
ciências da saúde, exigem que o pesquisador tenha acesso a assessoria
específica.
0 1 2 3 4 N/S
0 1 2 3 4 N/S
0 1 2 3 4 N/S
0 1 2 3 4 N/S
Definindo prioridades: questionário
Definindo prioridades: edição de dados
Composição conceitual dos temas de gestão de C&T,segundo exame de consistência pelo coeficiente alfa de
CronbachTema Cenário inicial Conceitos excluídos por
inconsistência final
1. Gestão deprojetos
Expectativa 0,45 Administração depesquisas
0,66
Situação atual 0,57 Administração depesquisas
0,66
2. Gestão derecursosmateriais efinanceirospara pesquisa
Expectativa 0,42 Autonomia derecursos segundoprevisão por projeto
Financiamentoinstitucional deprojetos
0,63
Situação atual 0,64 0,64
3. Gestão deinfra-estruturapara pesquisa
Expectativa 0,78 0,78
Situação atual 0,80 0,80
4. Gestão derecursoshumanos parapesquisa
Expectativa 0,36 Delegação deautoridade
0,52
Situação atual 0,51 0,51
Gestão de C&T na CIP: médias gerais de aprovação
Expectativa
Sit. Atual
Expectativa
Sit. Atual
Expectativa
Sit. Atual
Expectativa
Sit. Atual
Expectativa
Sit. Atual
Reprovação Aprovação
100%
80%60%40%20%0%-20%-40%-60%-80%-100%
Gestão de projetos
Gestão de recursos
G. de infraestrutura
G. de RH p/pesquisa
Geral da gestão C&T
Gestão de recursos materiais e financeiros para pesquisa: composição conceitual
Planej/o por projeto
Dotação c/ avaliação
Captação rec.externo
MÉDIA DE EXPECTATIVA
Planej/o por projeto
Autonomia por projeto
Dotação c/ avaliação
Financia/o interno
Captação rec.externo
MÉDIA DE SIT. ATUAL
Reprovação Aprovação
100%
80%60%40%20%0%-20%-40%-60%-80%-100%
EXPECTATIVAS
SITUAÇÃO ATUAL
Carteira de projetos
Seleção de projetos
Monitora/o projetos
Planeja/o pesquisas
MÉDIA DE EXPECTATIVA
Carteira de projetos
Seleção de projetos
Monitora/o projetos
Planeja/o pesquisas
MÉDIA DE SIT. ATUAL
Reprovação Aprovação
100%
80%60%40%20%0%-20%-40%-60%-80%-100%
EXPECTATIVAS
SITUAÇÃO ATUAL
Gestão de projetos: composição conceitual
Remuneraçãopor projeto
Planej/o derecursos porprojeto
Centro processa/ode dados
Carteira deprojetos
Seleção de projetos
Serviço dereprografia
Captação de recursos externos
Dotação recursos c/avaliação
Monitora/o de projeto
Biblioteca eficienteMaterial de divulgação
Assessoriametodológica
Reconheci/ode mérito
Planeja/o depesquisa
60%20%0%-20%-40%-60%
100%
90%
80%
70%
60%
50%
40%
Situação Atual
Expectativa
Dimensão dasprioridades de gestão
Mapa de definição de prioridadespara conceitos de gestão de C&T
Mapa de definição de prioridades por instituto de pesquisa
Mapa das relações entre prioridades de gestão e unidades institucionais
ATUAL
6040200-20-40-60
EX
PE
C
100
90
80
70
60
50
40
Instituto
Butantan
Dante
IAL
Lauro
Pasteur
Ribas
Saúde
Conceitos
Remuneração por proj
Planej/o por projeto
Centro processa/o de
Carteira de projetos
Seleção de projetos
Serviço de reprograf
Captação de recursos
Dotação recursos c/a
Monitora/o de projet
Biblioteca eficiente
Material de divulgaç
Assessoria metodológ
Reconheci/o de mérit
Planeja/o de pesquis
Instituto
Butantan
Dante
IAL
Lauro
Pasteur
Ribas
Saúde
Conceitos
Carteira de projetos
ATUAL
0-10
EX
PE
C
80
70
60
50
Zoom
Avaliação
• Diferentes objetos com diferentes significados:– projetos corporativos,
programas, etc.
• Ontológico & semântico:– O quê?– Com que sentido?– Delimitação
temporo-espacial do objeto
Experiências Princípios
•Diferentes finalidades:-Tomada decisão-Planejamento-Exploratória-Descritiva
•Teleológico:–Para quê?
Avaliação
• Diferentes juízos de valor:– subjetivo– objetivo
• Axiológico– O que é bom ou
ruim– Como é ajuizado o
valor
Experiências Princípios
•Diferentes estratégias metodológicas:
–Medidas qualitativas–Medidas quantitativas–Processamentos matemáticos
•Epistemológico—Medidas—Transformação de
medidas—Métodos analíticos
Princípio ontológico & semântico
O quê?
Espaço Tempo
Níveis estruturais
de C&T
Momentos da avaliação em
C&T
Avaliação: Níveis estruturais
Pesquisador
Projeto
Departamento
Universidade/ Empresa
Setor/ sociedade
Avaliação: tempoEstrutura Organizacional De Uma Instituição
HipotéticaDIRECA
O
DEPTO1
DIV1.1
SER1.1.1
SECAO
SETOR
SER1.1.2
SER1.1.n
DIV1.2
DIV1.n
DEPTO2
DIV2.1
DIV2.n
DEPTOn
DIVn.n
SERVn.n.1
SERVn.n.2
SERVn.n.n
SECAO
SETOR
Bens e serviços
C & T
Projeto ===> ciclo de vida• King & Cleland (1983)
– 1.de estabelecimento: identifica necessidades e define estratégia de resposta;– 2. de crescimento: identifica recursos, define tarefas e atvdds. Cria documentação;– 3. de maturação: executa, monitoriza e avalia;– 4. de declínio: transfere recursos e faz balanço de resultados.
• Kruglianskas (1987)– 1. de concepção;– 2. de estruturação;– 3. de execução;– 4. de encerramento.
• Tuman Jr (1983)– 1. de estudo e analise: determina o que se tem no presente o que se precisa para o futuro;– 2. de desenho, desenvolvimento e implementação: especifica, constrói, e faz aplicação real– 3. de documentação, treinamento, teste e suporte: assegura uso e faz ajustes
• Pereira e Saes (1995)– 1. Preliminar; – 2. Preparatória; – 3. De campo; – 4. De analise;– 5. De redação;– 6. De divulgação
Categorias de avaliação segundo o tempo
Atividades
Tempo
Ex-ante Ex-cursus Ex-post
Princípio teleológicoPara quê?
Conhecimento
Descritiva Exploratória
vg. estudos acadêmicos
vg. planejamento
Tomada de decisão
vg. definição de prioridades
Condiciona a expressão dos outros princípios
Princípio teleológico
Inovação Competitividade
vg. nova tecnologia,
novo processo
vg. re-inserção no setor
Re-engenharia
vg. re-definição da produção
Condiciona a expressão dos outros princípios
Para quê?Desenvolvimento de produto
Princípio axiológicoJuízo
Discricionário Ético
vg. programas de governo
vg. ad hoc
Epistemológico
vg. consultores, assessores
Julgamento de Paris: Rubens (1.577 - 1.640)
Princípio axiológico: juízo
• Discricionário– Da autoridade
• Ético– Excelência reconhecida
• Epistemológico– Definição metodológica
Subjetivo
Objetivo
Juízos objetivo e subjetivo são complementares
Evolução do conhecimento
Verdade
Mario Bunge. Semântica II:Interpretaçao e verdade. EDUSP, 1976
Princípio epistemológico
• Medidas–Qualitativas X quantitativas
–Precisão X acurácia
• Processamento–Univariado
–Multivariado
Medidas qualitativas
Conceito Técnica Exemplo
Classificação ordinal com ponto médio
Escala de Likert 1,2,3,4,5
Classificação ordinal de afirmação/ negação
Diferencial Semântico de Osgood
-2,-1,0,1,2
Redução à máxima afirmação/ negação
Predição de afirmação/ negação
-1,-0.5,0,0.5,1
Callimachi numeris non est discendus Achilles - Ovídio
Medida univariada
Medidas de governo, leis, normas
Facilitando muitoFacilitando
Não interferindoDificultando um pouc
Dificultanto muito
Co
unt
300
200
100
0
Recursos do centro de pesquisa envolvido
Facilitando muitoFacilitando
Não interferindoDificultando um pouc
Dificultanto muito
Co
unt
300
200
100
0
Fatores de mercado
Facilitando muitoFacilitando
Não interferindoDificultando um pouc
Dificultanto muito
Co
unt
300
200
100
0
Recursos $/técnicos de outras fontes
Facilitando muitoFacilitando
Não interferindoDificultando um pouc
Dificultanto muito
Co
unt
300
200
100
0
Medidas unidimensionais
Indicador sintético combinando aritmeticamente as duas medidas
Com redução a máxima afirmação/ negação
RIAIA E ADMINISTR
HUMANAS E S
MIA E CIENCIA
URA E URBANI
IA E VETERINA
FISICA
ENGENHARIA
ECONOMIA E A
CIENCIAS HUM
BIOLOGIA
ASTRONOMIA
ARQUITETURA
AGRONOMIA E
SAUDE
QUIMICA
MATEMATICA
GEOCIENCIAS
ICA
60%
40%
20%
0%
-20%
-40%
-60%
Medidas de governo,
leis, normas
Recursos do Centro
Pesquisa envolvido
Fatores de mercados
Recursos $/técnicos
de outras fontes
Medida multivariada
Y
A
XZ
B
distância
A e B no espaço X / Y / Z
Medida multivariada
-1
-,7
,6
-,6 -,2-,5 -,2
-1
-,3-,3
-,6
,3
1,3
-,3
,6
,8
2,3
-1-1
-,4
,9
-1
,7
-,7
-1
-,8
,3
-,6
,2
-,8-,7
-,3-,4
-,8
-,2
1,8
-1-,9
-,4
,8
1,8
-,8
1,5
,7
1,8
,8
-,6
2,4
,8
-,4-,6
-,6
,6
-,2
-,7
-,8
,3
-1
1,5
-,3
-,6
-,1
,2
2,7
-,2
1,7
,8
1,4
-,8 -,6
-,4
,1
-,3
,6
-,5
-2
-1
,2
-1
,0
-2
-,4
,1
-,3
-,6
-,4
1,6
-,8-1-1
,1
1,7
-,4
1,4
,4
,6
-,1
1,1
-,2-,8
-1-,9
,9
-,8
-,4
-,8
-,5
-2
1,9
-,9
-,3
-,9
,8,5
,3
1,9
,9
1,7
-1
-1
-,4
,8
-,2
,5
-,2
-1
-,9
,2
-,6
,0
-1
,3
-,3
-,6
-,3
,8
-1-1-1
,1
2,2
-,1
1,6
,5
2,1
,7
-,6
1,0
-,8
PESO
3000020000100000
ES
TATU
RA
120
100
80
60
40
Função de projeção
z = f (x,y)
Precisão e acurácia
xxxx
yyy
y
zzzz
w
w
w
w
Erro aleatório: precisão X acurácia: diagnósticos médicos
FINA MEDIA GROSSEIRA
Precisao
0
0,2
0,4
0,6
0,8
1
KAPPA
Z DE KAPPA (/1000)
Escuder MML & Nunes Silva N, FSP-USP1992
Conclusões: Geração e seleção de projetos
• Geração– espontânea, proposta por pesquisadores– solicitação institucional
• Seleção– julgamento de diretrizes por
• Direção (autoridade)
• Conselho, Comissão (expert)
• Peer review (expert)
– julgamento de diretrizes por• matrizes
• ratings
• funções matemáticas
Conclusões: Geração de projetos
• Iniciativa do pesquisador– Balcão
• Solicitação institucional– Diretrizes estratégicas– Oportunidades tecnológicas– Competitividade mercadológica X processo
produtivo– Competitividade mercadológica X
concorrência
Conclusões: Diretrizes para a seleção de projetos
• Redação livre / padronizada• Qualidade técnico-cientifica
– pertinência do objeto– consistência metodológica– perspectivas de resultados
• Adequação do objeto às linhas de investigação e compromissos institucionais– Viabilidade física– adequação à tecnologia disponível e– capacidade operacional
• Viabilidade financeira
Exercício: discussão em grupo + plenária• Discussão em grupo:
– Uma experiência examinada como exemplo– ou um modelo teórico para um setor
• Discutir e concluir por tópicos:– Princípio Ontológico & semântico
• Qual o objeto do projeto tecnológico e qual seu significado
– Princípio Teleológico• Para quê? Finalidade: conhecimento, tecnologia
– Princípio Axiológico• O que é bom, o que é ruim, quem julga?
– Princípio epistemológico• Como se mede, processa e analisa?