CTI RENATO ARCHER - Certics · de Tecnologia da Informação Renato Archer (CTI Renato Archer). A...

2013 © CTI Renato Archer, direitos reservados

CTI RENATO ARCHER

Relatório Técnico CTI – TRT0083113

Método de Avaliação da CERTICS

Documento de Detalhamento

Versão 1.1

Este documento apresenta o detalhamento do Método de Avaliação da CERTICS, que é um dos componentes da Metodologia de Avaliação da CERTICS para Software, desenvolvido pelo Centro de Tecnologia da Informação Renato Archer (www.cti.gov.br), Rodovia Dom Pedro I, km 143,6, Campinas – SP – Brasil.


Página 2 2013 © CTI Renato Archer, direitos reservados

Sumário Resumo Executivo ......................................................................................................................... 3

1. Introdução ............................................................................................................................. 4

2. Regras de Pontuação ............................................................................................................. 6

3. Visão Geral e Elementos do Método de Avaliação da CERTICS ............................................ 7

3.1 Objetivo ............................................................................................................................. 7

3.2 Arranjo Institucional e Sistema de Apoio à Avaliação ....................................................... 7

3.3 Papéis e Responsabilidades na Avaliação ......................................................................... 8

3.4 Artefatos da Avaliação ...................................................................................................... 9

3.5 Relação das Fases, Processos e Atividades ..................................................................... 11

3.6 Diagramas das Fases e Processos .................................................................................... 16

4. Fases do Método de Avaliação da CERTICS ......................................................................... 23

4.1 Fase 1: Exploração ........................................................................................................... 25

4.2 Fase 2: Contratação ......................................................................................................... 36

4.3 Fase 3: Preparação .......................................................................................................... 44

4.4 Fase 4: Visita .................................................................................................................... 55

4.5 Fase 5: Validação ............................................................................................................. 68

4.6 Fase 6: Conclusão ............................................................................................................ 76

5. Considerações Finais ........................................................................................................... 80



Resumo Executivo

Este documento descreve o detalhamento do Método de Avaliação da CERTICS que é um dos

componentes da Metodologia de Avaliação da CERTICS para Software. A Metodologia de

Avaliação da CERTICS para Software é definida por meio de dois componentes principais: o

Modelo de Referência para Avaliação da CERTICS e o Método de Avaliação da CERTICS,

descrito neste documento. Esses componentes se encontram disponibilizados em

http://www.certics.cti.gov.br.

O objetivo da avaliação é determinar se o software é resultante de desenvolvimento e

inovação tecnológico no País, com base nas análises de evidências objetivas relacionadas ao

software. Uma avaliação gera como resultado principal um relatório, denominado “Relatório

da Avaliação”, com informações sobre o contexto da avaliação, a pontuação atribuída aos

Resultados Esperados do Modelo de Referência, a justificativa para cada pontuação e o

resultado da avaliação. Caso o resultado da avaliação seja positivo, a Organização Solicitante

pode requerer a certificação CERTICS à SEPIN do MCTI.

A certificação é composta por dois processos: o Processo de Avaliação, que está descrito na

metodologia e resulta da aplicação deste Método de Avaliação da CERTICS, e o Processo de

Certificação, no qual a Organização Solicitante submete um pleito à SEPIN/MCTI para a

emissão do certificado CERTICS.

O processo de avaliação segue o Método de Avaliação da CERTICS, descrito neste documento,

que é composto por seis fases sequenciais: Fase 1 - Exploração, Fase 2 – Contratação, Fase 3 -

Preparação, Fase 4 - Visita, Fase 5 - Validação e Fase 6 – Conclusão. Para garantir que os

resultados da avaliação sejam objetivos, imparciais, consistentes, repetíveis e representativos,

a Metodologia de Avaliação da CERTICS para Software segue os requisitos estabelecidos na

Norma ABNT NBR ISO/IEC 15504, inclusive quanto à sua pontuação.

O objetivo principal da Fase 1 - Exploração é permitir que uma Organização Solicitante explore

e conheça a Metodologia de Avaliação da CERTICS para Software e os requisitos necessários

para que o seu software seja avaliado. O objetivo da Fase 2 - Contratação é estabelecer o

Contrato de Avaliação para a realização de uma avaliação. O objetivo da Fase 3 - Preparação é

preparar a Organização Solicitante e a Equipe de Avaliação para a visita de avaliação. O

objetivo da Fase 4 - Visita é executar uma visita da Equipe de Avaliação à Organização

Solicitante para analisar as evidências, pontuar o grau de atendimento dos Resultados

Esperados a partir das evidências analisadas, consolidar e apresentar o resultado da avaliação,

conforme acordado no Plano da Avaliação. O objetivo da Fase 5 - Validação é assegurar que a

avaliação foi realizada em conformidade com a Metodologia de Avaliação da CERTICS para

Software. O objetivo da Fase 6 - Conclusão é concluir o processo de avaliação.

Informações adicionais sobre a CERTICS, a forma de contratação de uma avaliação da CERTICS,

o Modelo de Referência e o Método de Avaliação podem ser obtidas no endereço


http://www.certics.cti.gov.br/




1. Introdução

Este documento descreve o detalhamento do Método de Avaliação da CERTICS que é um dos

componentes da Metodologia de Avaliação da CERTICS para Software. A Metodologia de

Avaliação da CERTICS para Software é definida por meio de dois componentes principais: o

Modelo de Referência para Avaliação da CERTICS e o Método de Avaliação da CERTICS,

descrito neste documento. Esses componentes se encontram disponibilizados em


O desenvolvimento da metodologia atende a uma demanda da Secretaria de Política de

Informática (SEPIN), do Ministério da Ciência, Tecnologia e Inovação (MCTI), dirigida ao Centro

de Tecnologia da Informação Renato Archer (CTI Renato Archer).

A estrutura do Modelo de Referência e a do Método de Avaliação seguem os requisitos para

modelos e métodos estabelecidos pela Norma ABNT NBR ISO/IEC 15504-2 (2008) –

“Tecnologia da informação - Avaliação de processo - Parte 2: Realização de uma avaliação”.

Esta Norma é uma tradução da Norma Internacional ISO/IEC 15504-2 - Information technology

- Process assessment Part 2: Performing an assessment, publicada em 2003 e trata da

avaliação de processo e de sua aplicação para a melhoria e determinação da capacidade de

processo. Ela define o conjunto mínimo de requisitos para a realização de uma avaliação de

processos de software. Esses requisitos procuram garantir que os resultados da avaliação

sejam objetivos, imparciais, consistentes, repetíveis e representativos com relação aos

processos avaliados.

A Metodologia de Avaliação CERTICS para Software surgiu da necessidade de verificar se um

software é resultante de desenvolvimento e inovação tecnológica realizados no País. Por meio

da aplicação desta metodologia, pretende-se viabilizar as condições para o uso da margem de

preferência em compras públicas, contribuindo para o desenvolvimento nacional sustentável.

A metodologia conceitua software resultante de desenvolvimento e inovação tecnológica

realizados no País como aquele cujo desenvolvimento cria ou amplia competências

tecnológicas e correlatas no País, contribuindo para a criação de negócios baseados em

conhecimento, para o aumento de autonomia tecnológica e para o aumento da capacidade

inovativa. O alcance desses resultados, de modo convergente, em uma Organização, será

monitorado pelo Órgão Responsável pela Metodologia, uma vez que contribui para o

desenvolvimento nacional. A fixação de competências no País, como fator de contribuição

para o desenvolvimento nacional, é função da capacidade técnica e negocial de uma

Organização e deve estimular a produção doméstica de bens e serviços, consubstanciando o

poder indutor de desenvolvimento das compras governamentais nas cadeias produtivas

nacionais.

A metodologia pode ser aplicada a uma avaliação de software para obtenção da certificação

CERTICS. Neste contexto, as seguintes situações também podem se beneficiar da certificação:

1) um serviço decorrente de um software certificado, desde que executado pela Organização

proprietária do software ou pela Organização que detém suficientes autorizações para

exploração econômica do software disponível sob a modalidade de licença de software livre; e




2) as versões criadas para atender necessidades específicas, a partir de um software

certificado.

A Metodologia de Avaliação CERTICS para Software e o seu desenvolvimento seguem as

seguintes diretrizes:

A avaliação é do software, não da empresa, e é baseada na análise dos processos

utilizados no software;

A metodologia é baseada na Norma ABNT NBR ISO/IEC 15504 para avaliação de

processo e na experiência do CTI Renato Archer e de seus parceiros;

Um novo conceito (“software resultante de desenvolvimento e inovação tecnológica

realizados no País”) demanda um novo modelo de referência e um novo método para

avaliação;

A metodologia apresenta um conjunto mínimo de Resultados Esperados para a

caracterização de desenvolvimento e inovação tecnológica realizados no País e exige a

demonstração da obtenção desses resultados;

Nenhuma forma específica de estruturação, operação e documentação são exigidas da

Organização Solicitante.

O processo de avaliação segue o Método de Avaliação da CERTICS, descrito neste documento,

que é composto por seis fases sequenciais: Fase 1 - Exploração, Fase 2 – Contratação, Fase 3 -

Preparação, Fase 4 - Visita, Fase 5 - Validação e Fase 6 – Conclusão. Para garantir que os

resultados da avaliação sejam objetivos, imparciais, consistentes, repetíveis e representativos,

a Metodologia de Avaliação da CERTICS para Software segue os requisitos estabelecidos na

Norma ABNT NBR ISO/IEC 15504, inclusive quanto à sua pontuação.



software. Uma avaliação gera como resultado principal um relatório, denominado “Relatório

da Avaliação”, com informações sobre o contexto da avaliação, a pontuação atribuída aos

Resultados Esperados do Modelo de Referência, a justificativa para cada pontuação e o

resultado da avaliação. Caso o resultado da avaliação seja positivo, a Organização Solicitante

pode requerer a certificação CERTICS à SEPIN do MCTI.

A certificação é composta por dois processos: o Processo de Avaliação, que está descrito na

metodologia e resulta da aplicação deste Método de Avaliação da CERTICS, e o Processo de

Certificação, no qual a Organização Solicitante submete um pleito à SEPIN/MCTI para a

emissão do certificado CERTICS.



2. Regras de Pontuação

O resultado de uma avaliação na Metodologia de Avaliação da CERTICS para Software é

expresso como um valor binário, Sim ou Não, obtido a partir da pontuação de cada Área de

Competência que também é expressa como um valor binário: Sim ou Não. Esta pontuação de

cada Área de Competência é obtida a partir da pontuação de cada Resultado Esperado, que

por sua vez é baseada numa escala de quatro valores, definida na Norma ABNT NBR ISO/IEC

15504-2 (2008). Essa Norma define seis níveis de capacidade, sendo que o Método de

Avaliação da CERTICS avalia somente o nível 1 de capacidade (Processo Realizado).

A escala de pontuação ordinal definida a seguir deve ser utilizada para expressar o alcance de

cada Resultado Esperado em uma avaliação:

F (Fully)

Completamente

atendido:

Suficientes evidências relacionadas ao software estão identificadas

e são adequadas para demonstrar o total atendimento do

Resultado Esperado.

L Largamente

atendido:

Suficientes evidências estão identificadas e são adequadas para

demonstrar o atendimento dos aspectos mais importantes do

Resultado Esperado. Existe um ou mais pontos fracos relacionados

a esse Resultado Esperado, porém estes não comprometem o

atendimento do Resultado Esperado.

P Parcialmente

atendido:

Algumas evidências estão identificadas e são adequadas para

demonstrar o atendimento parcial do Resultado Esperado. Existem

um ou mais pontos fracos que comprometem o atendimento do

Resultado Esperado.

N Não atendido: Todas as evidências necessárias estão ausentes ou as evidências

presentes são inadequadas para demonstrar o atendimento do

Resultado Esperado.

A atribuição da pontuação F, L, P ou N é acompanhada de uma justificativa que mostre o

racional utilizado pelo avaliador. Quando a pontuação atribuída for diferente de F, além do

conteúdo do racional utilizado será indicado pelo menos um ponto fraco encontrado.

Cada Área de Competência é pontuada em uma escala binária (Sim ou Não), com base no

resultado das avaliações de cada um de seus Resultados Esperados. A pontuação será Sim se

cada Resultado Esperado estiver pontuado como F ou L. A pontuação será Não, caso contrário.

Software resultante de desenvolvimento e inovação tecnológica realizados no País é também

pontuado em uma escala binária (Sim ou Não), com base no resultado das avaliações de cada

uma das Áreas de Competência. A pontuação será Sim se todas as Áreas de Competência

estiverem pontuadas como Sim. A pontuação será Não, caso contrário.

Esta pontuação é construída durante a realização de uma avaliação que segue o Método de

Avaliação da CERTICS, descrito a seguir.



3. Visão Geral e Elementos do Método de Avaliação da CERTICS

O Método de Avaliação da CERTICS orienta a realização de uma avaliação de um determinado

software, tendo como base o Modelo de Referência para Avaliação da CERTICS.

O software objeto da avaliação é mencionado com diferentes qualificações durante a

avaliação. Na descrição do método de avaliação são utilizados os termos “software a ser

avaliado”, “software em avaliação”, ou simplesmente “software”.

3.1 Objetivo



software.

3.2 Arranjo Institucional e Sistema de Apoio à Avaliação

A realização de uma avaliação para a certificação pressupõe a existência de um arranjo

institucional, que envolve cinco Instituições, e é apoiada por um Sistema de Apoio à Avaliação,

que são descritos a seguir:

Organização Solicitante (ou Organização) – É uma organização sediada no Brasil que:

(a) detém com exclusividade, excetuando os morais, todos os direitos autorais e de exploração econômica sobre o software; ou

(b) detém as suficientes autorizações para exploração econômica do software disponível sob a modalidade de licença de software livre.

Unidade de Serviços de Avaliação - Entidade responsável por promover e assegurar o

credenciamento das Entidades Credenciadas, fornecer treinamentos e credenciar os

avaliadores. É também responsável pela administração jurídica e financeira de uma

avaliação, pela validação de uma avaliação realizada e pelo fornecimento do suporte

técnico à Equipe de Avaliação. Pode realizar avaliações esporádicas.

Entidade Credenciada - Entidade credenciada pela Unidade de Serviços de Avaliação

para administrar e realizar avaliações segundo a Metodologia de Avaliação da CERTICS

para Software. Para realizar uma avaliação, essa entidade tem que contar com

avaliadores capacitados e credenciados, que podem ser membros do seu próprio

corpo funcional ou contratados especificamente para essa finalidade.

Órgão Responsável pela Metodologia - Instituição que controla o desenvolvimento, o

monitoramento e a melhoria contínua da Metodologia de Avaliação da CERTICS para

Software. É responsável por revisar o resultado da avaliação e emitir o laudo de uma

avaliação. Esta instituição é o Centro de Tecnologia da Informação Renato Archer (CTI

Renato Archer).

Órgão Responsável pela Certificação – É a Secretaria de Política de Informática (SEPIN)

do MCTI.

Sistema CERTICSys (ou Sistema) - Sistema de Apoio à Avaliação. É um sistema de

software projetado para gerenciar todas as etapas de um processo de avaliação,

permitindo o armazenamento, o monitoramento e o compartilhamento das



informações cadastrais e das evidências relevantes para a avaliação. Esse sistema

apoia a comunicação entre os envolvidos e gera os resultados da avaliação.

3.3 Papéis e Responsabilidades na Avaliação

Uma avaliação envolve vários papéis, cada um com suas respectivas responsabilidades, que

são descritos a seguir:

Avaliador Credenciado - Profissional vinculado a uma ou mais Entidades Credenciadas ou

alocado pela Unidade de Serviços de Avaliação que, junto com o Avaliador Líder, vai

efetivamente realizar a avaliação, compondo a Equipe de Avaliação.

Avaliador Líder - É o membro da Equipe de Avaliação responsável por liderar a avaliação, por

garantir que ela atinja sua finalidade e esteja em conformidade com a Metodologia de

Avaliação da CERTICS para Software. É um Avaliador Credenciado para atuar como Avaliador

Líder. Esse Avaliador Líder pode estar vinculado a uma ou mais Entidades Credenciadas ou ser

alocado pela Unidade de Serviços de Avaliação.

Equipe de Avaliação - Equipe formada, no mínimo, pelo Avaliador Líder, podendo incluir um

ou mais Avaliadores Credenciados.

Participantes da Avaliação – São profissionais da Organização Solicitante que podem fornecer

informações sobre o software em avaliação, ligados direta ou indiretamente ao

desenvolvimento desse software. Entre estes profissionais estão:

Responsáveis pelo software: Integrantes da organização que são os principais

responsáveis pelo software;

Equipe de gerência do desenvolvimento: Pessoas que tiveram, ou ainda têm, papel

gerencial no desenvolvimento do software, isto é, participaram da coordenação e

controle das atividades executadas;

Equipe técnica de desenvolvimento: Profissionais que participaram, ou participam, de

atividades técnicas de desenvolvimento ou customização, tais como: atividades de

levantamento de requisitos, análise de requisitos, projeto (design) de software,

projeto (design) de bancos de dados, programação, testes, integração de software e

eventualmente outras cujo objetivo tenha sido elaborar elementos que integram o

software;

Equipe de apoio ao desenvolvimento: Profissionais que participaram, ou participam,

de atividades consideradas auxiliares ou de apoio ao desenvolvimento, tais como:

elaboração de documentação e manuais, atividades de marketing, atividades de

geração de novos negócios, atividades relacionadas à gestão de pessoas, atividades

relacionadas à P&D, etc;

Equipe de suporte técnico do software: Profissionais que participam de atividades de

apoio ao usuário do software, tais como: solução de dúvidas, prestação de

esclarecimentos sobre a operação do software, orientação de utilização, recebimento

e identificação de problemas e falhas do software, etc;

Equipe de manutenção do software: Profissionais que executam as atividades que

mantêm o software atendendo às necessidades para as quais ele foi desenvolvido, tais



como: remoção de defeitos identificados, introdução de novas funcionalidades e

realização de melhorias gerais.

Patrocinador da Avaliação (ou Patrocinador) - Representante da Organização Solicitante com

cargo de direção apropriado para garantir os recursos necessários à avaliação e demandar o

atendimento dos seus objetivos.

Ponto de Contato da Avaliação (ou Ponto de Contato) - Um representante da Organização

Solicitante encarregado de: facilitar e concentrar a comunicação entre os envolvidos na

avaliação, providenciar os recursos necessários, remover obstáculos, acionar o que for preciso,

tomar ou solicitar a tomada de decisões, etc.

Responsável pela Metodologia - Representante do CTI Renato Archer, que é o responsável

pela Metodologia de Avaliação da CERTICS para Software, pela revisão do resultado da

avaliação e pela emissão do laudo de uma avaliação.

Validador - Um profissional treinado, alocado pela Unidade de Serviços de Avaliação,

encarregado de verificar se a avaliação foi conduzida em conformidade com a Metodologia de

Avaliação da CERTICS para Software e de verificar se o resultado obtido na avaliação está

consistente.

3.4 Artefatos da Avaliação

A realização da avaliação produz e/ou utiliza os seguintes artefatos:

Apresentação da Abertura da Avaliação – Formulário que contém informações sobre a

Organização Solicitante, o software a ser avaliado, a Equipe de Avaliação responsável pela

execução da visita de avaliação, agenda, confidencialidade da avaliação entre os envolvidos,

entre outros. Esse formulário é apresentado no início da Fase 4 – Visita.

Apresentação do Resultado da Avaliação – Formulário que apresenta as pontuações

atribuídas pela Equipe de Avaliação para cada Resultado Esperado, a justificativa/racional de

cada pontuação atribuída e a recomendação da Equipe de Avaliação do resultado obtido. Esse

formulário é apresentado no encerramento da Fase 4 – Visita.

Base de Dados de Avaliação - Representa um conjunto de dados sobre uma avaliação,

incluindo informações sobre a Organização Solicitante e o software, evidências para apoiar o

grau de atendimento, estado de cada evidência e as pontuações e suas justificativas. Durante a

realização da avaliação, esses dados são completados e têm seus estados alterados.

Checklist da Validação - Checklist que contém uma lista de elementos a serem validados por

um Validador para uma avaliação realizada.

Contrato de Avaliação - Contrato firmado entre a Organização Solicitante, a Unidade de

Serviços de Avaliação e a Entidade Credenciada responsável pela avaliação. Quando a

avaliação for realizada pela Unidade de Serviços de Avaliação, de forma esporádica, esse

contrato será firmado entre a Organização Solicitante e a Unidade de Serviços de Avaliação.



Estimativa de Sucesso – Informação apresentada no final da Fase de Exploração, a partir dos

dados fornecidos no Sistema pela Organização Solicitante. Essa informação indica o sucesso de

o software ser avaliado e conseguir a certificação.

Estimativa do Grau de Prontidão – Informação apresentada, no final da Fase de Preparação,

com base nas informações fornecidas pela Organização Solicitante e analisadas pelo Avaliador

Líder. Essa informação indica o quanto a Organização Solicitante está pronta para a realização

da Fase de Visita.

Laudo de Avaliação - Documento que declara que a Organização Solicitante foi aprovada na

avaliação da CERTICS.

Lições Aprendidas – Formulário que contém informações sobre os pontos positivos, pontos

negativos e recomendações de melhorias, levantados pelos envolvidos no processo de

avaliação, a partir da Fase 2 - Contratação.

Nota Fiscal – Documento fiscal que comprova o pagamento da avaliação do software pela


Parecer de Validação da Avaliação – Formulário que relaciona as validações realizadas e um

parecer sobre a validade ou não da avaliação, com a justificativa do parecer.

Plano da Avaliação - Plano acordado entre a Organização Solicitante e a Equipe de Avaliação

sobre a forma de condução da avaliação.

Relatório da Avaliação – Relatório que apresenta as informações sobre as pontuações de cada

Resultado Esperado por Área de Competência, o racional utilizado (justificativa), os pontos

fracos e o resultado da Avaliação. Este relatório passa por três estados: Preliminar gerado na

Fase 4 - Visita, Validado gerado na Fase 5 - Validação e Final gerado na Fase 6 – Conclusão.

Termo de Confidencialidade – Documento assinado pela Equipe de Avaliação no início da Fase

4 – Visita e entregue ao Patrocinador da Avaliação. Este termo garante a confidencialidade das

informações acessadas e obtidas nas sessões de entrevistas durante a visita.

Termo de Quitação - Documento que encerra formalmente o Contrato de Avaliação.

Termo de Uso - Documento que descreve as condições de uso do Sistema CERTICSys e que

deve ser aceito pela Organização Solicitante para habilitar o seu primeiro acesso; também

indica que a Unidade de Serviços de Avaliação assume o compromisso de utilizar as

informações fornecidas estritamente para a realização da avaliação, não podendo utilizá-las

para qualquer outro fim.



3.5 Relação das Fases, Processos e Atividades

As fases, processos e atividades que compõe o Método de Avaliação da CERTICS estão

relacionados a seguir.

FFaassee 11:: EExxpplloorraaççããoo

Processo 1.1 Solicitar Acesso ao CERTICSys

Atividade 1: Obter o acesso ao CERTICSys

Atividade 2: Aceitar Termo de Uso

Processo 1.2: Fornecer Informações Gerais

Atividade 1: Fornecer dados sobre a Organização Solicitante

Atividade 2: Fornecer dados complementares do Ponto de Contato

Atividade 3: Fornecer dados sobre o software

Processo 1.3: Editar Evidências e Emitir Estimativas de Sucesso

Atividade 1: Cadastrar os profissionais da Organização Solicitante

Atividade 2: Cadastrar as informações sobre as evidências objetivas

Atividade 3: Associar profissionais a uma evidência objetiva

Atividade 4: Associar evidências a um Resultado Esperado

Atividade 5: Estimar atendimento de um Resultado Esperado

Atividade 6: Solicitar Estimativa de Sucesso

Atividade 7: Finalizar a edição das evidências objetivas

Processo 1.4: Analisar Continuidade da Avaliação

Atividade 1: Analisar a continuidade da avaliação

Atividade 2: Decidir sobre a realização da avaliação



FFaassee 22:: CCoonnttrraattaaççããoo

Processo 2.1: Efetuar Pré-Análise dos Dados

Atividade 1: Verificar os dados gerais cadastrados

Atividade 2: Verificar os dados cadastrados das Evidências

Processo 2.2: Definir Executor da Avaliação

Atividade 1: Indicar as Entidades Credenciadas

Atividade 2: Fornecer o período da avaliação

Atividade 3: Definir o responsável pela execução da avaliação

Atividade 4: Aprovar a Equipe de Avaliação

Processo 2.3: Estabelecer Contrato

Atividade 1: Definir o Contrato

Atividade 2: Aprovar o Contrato

Atividade 3: Emitir a Nota Fiscal

Atividade 4: Levantar as Lições Aprendidas

FFaassee 33:: PPrreeppaarraaççããoo

Processo 3.1: Analisar e Editar Evidências

Atividade 1: Analisar as evidências gerais e dos Resultados Esperados

Atividade 2: Reeditar as evidências

Processo 3.2: Analisar Prontidão

Atividade 1: Registrar grau de satisfação das evidências

Atividade 2: Analisar a prontidão da Organização Solicitante

Atividade 3: Emitir a Estimativa do Grau de Prontidão da Organização Solicitante

Processo 3.3: Preparar Visita

Atividade 1: Solicitar os recursos necessários para a realização da visita da avaliação

Atividade 2: Definir a Agenda

Atividade 3: Estabelecer Plano da Avaliação



Processo 3.4: Providenciar Visita

Atividade 1: Verificar providências para a visita de avaliação

Atividade 2: Elaborar apresentação da Abertura da Avaliação


Atividade 4: Carregar os dados

FFaassee 44:: VViissiittaa

Processo 4.1: Iniciar Visita

Atividade 1: Realizar reunião inicial

Atividade 2: Realizar apresentação da abertura da avaliação

Processo 4.2: Analisar Evidências

Atividade 1: Realizar sessões de entrevistas

Atividade 2: Analisar o conteúdo das evidências

Processo 4.3: Pontuar Atendimento

Atividade 1: Pontuar os Resultados Esperados

Atividade 2: Pontuar as Áreas de Competência

Atividade 3: Pontuar o resultado da avaliação

Processo 4.4: Apresentar Resultado

Atividade 1: Consolidar o resultado da avaliação no Relatório Preliminar da Avaliação

Atividade 2: Apresentar o resultado da avaliação

Processo 4.5: Concluir Visita

Atividade 1: Organizar e registrar as informações relevantes sobre a avaliação




FFaassee 55:: VVaalliiddaaççããoo

Processo 5.1: Consolidar Relatório

Atividade 1: Consolidar o Relatório Preliminar da Avaliação

Processo 5.2: Designar Validador

Atividade 1: Designar o Validador da Avaliação

Processo 5.3: Validar Resultado da Avaliação

Atividade 1: Validar o resultado da avaliação

Atividade 2: Fornecer o parecer da avaliação

Processo 5.4: Concluir Validação

Atividade 1: Gerar o Relatório Validado da Avaliação

Atividade 2: Enviar Relatório Validado à Organização Solicitante


FFaassee 66:: CCoonncclluussããoo

Processo 6.1: Enviar Resultado

Atividade 1: Gerar o Relatório Final da Avaliação

Atividade 2: Enviar Relatório Final ao Responsável pela Metodologia

Atividade 3: Emitir o Laudo de Avaliação

Atividade 4: Enviar o resultado da avaliação à Organização Solicitante

Processo 6.2: Concluir Avaliação

Atividade 1: Registrar as lições aprendidas

Atividade 2: Emitir o Termo de Quitação

Atividade 3: Bloquear o acesso ao Sistema



A tabela a seguir relaciona como um resumo a quantidade de processos para cada fase, a

quantidade de atividades para cada processo e o total de processos e atividades do método.

FASE PROCESSOS

Total

ATIVIDADES

Total

1 4 14

2 3 10

3 4 12

4 5 11

5 4 7

6 2 7

Total 22 61


3.6 Diagramas das Fases e Processos

O Diagrama das fases do Método de Avaliação CERTICS e os diagramas de cada fase são apresentados a seguir utilizando a notação visual para

representação de fluxos de processos BPMN (Business Process Modeling Notation) com a ferramenta Bizagi Process Modeler.

Diagrama das Fases do Método de Avaliação da CERTICS



Diagrama dos Processos da Fase F1 -Exploração



Diagrama dos Processos da Fase F2 – Contratação



Diagrama dos Processos da Fase F3 – Preparação



Diagrama dos Processos da Fase F4 – Visita



Diagrama dos Processos da Fase F5 – Validação



Diagrama dos Processos da Fase F6 – Conclusão


4. Fases do Método de Avaliação da CERTICS

O Método de Avaliação da CERTICS orienta a realização de uma avaliação de um determinado

software, tendo como base o Modelo de Referência para Avaliação da CERTICS.

O Método de Avaliação da CERTICS é composto por seis fases sequenciais:

Figura 1 – Fases do Método de Avaliação da CERTICS

As fases do Método de Avaliação da CERTICS estão descritas a seguir e ilustradas com

diagramas da notação do processo. Cada fase é composta por um conjunto de processos.

Figura 2 – Diagrama das Fases do Método de Avaliação da CERTICS

O Método de Avaliação é executado por meio de um processo de avaliação. O processo de

avaliação é iniciado pela Fase 1 e concluído na Fase 6, podendo ser cancelado em qualquer

uma de suas fases, mediante uma multa contratual a partir da Fase 3 – Preparação. Estas fases

são apoiadas pelo Sistema CERTICSys.



O Método de Avaliação da CERTICS está descrito como um processo, utilizando a notação

visual para representação de fluxos de processos BPMN (Business Process Modeling Notation)

com a ferramenta Bizagi Process Modeler, com detalhamento de cada fase de avaliação,

processos e atividades que o compõe. Cada processo está definido pelas informações contidas

nos seguintes elementos apresentados no Quadro 1: Propósito, Responsável e Outros

Participantes, Critérios de Entrada, Entrada, Atividades, Critérios de Saída e Saída. É

importante ressaltar que cada atividade tem um único papel designado como responsável por

assegurar que ela seja bem sucedida e que atinja seus objetivos.

Quadro 1 – Elementos para representação do Processo

Elemento Descrição

Propósito Descreve de forma concisa o objetivo geral de cada

processo.

Responsável e Outros Participantes Descreve quem é a pessoa responsável pelo

processo e outros participantes envolvidos na

realização de cada processo.

Critérios de Entrada Apresenta as condições que devem ser satisfeitas

para que cada processo possa ser iniciado.

Entradas Identifica os produtos de trabalho/artefatos

utilizados como entrada para a execução de cada

processo.

Atividades Descreve as etapas de cada processo de forma

detalhada.

Critérios de Saída Apresenta as condições que devem ser satisfeitas

para que cada processo possa ser dado como

finalizado.

Saídas Identifica os produtos de trabalho/artefatos a serem

gerados como saída da execução de cada processo.



4.1 Fase 1: Exploração

O objetivo principal da Fase 1 - Exploração é permitir que uma Organização Solicitante explore

e conheça a Metodologia de Avaliação da CERTICS para Software e os requisitos necessários

para que o seu software seja avaliado. Outro objetivo é possibilitar que a Organização

Solicitante forneça informações sobre ela e sobre o seu software a ser avaliado no sistema

CERTICSys. O Sistema orienta a coleta desses registros com a opção da utilização de um tutor

automatizado. Com base nas informações que a Organização Solicitante fornece, sem

verificação nem validação das mesmas, é emitida uma Estimativa de Sucesso do resultado de

uma avaliação do software.

Esta Fase é realizada somente pela Organização Solicitante, que está interessada numa

avaliação do seu software para obtenção da certificação CERTICS.

Esta fase é concluída com uma decisão da Organização sobre a contratação ou não da

avaliação. Essa decisão deve considerar o aprendizado e a estimativa de sucesso.

Esta fase é composta pelos seguintes processos, conforme apresentada na figura a seguir:

Figura 3 – Diagrama dos Processos da Fase F1 -Exploração

Os quatro processos e suas atividades que compõem esta fase estão descritos a seguir.



P1.1 Solicitar Acesso ao CERTICSys

Propósito Solicitar acesso ao CERTICYS para cadastrar um usuário e

senha para conseguir utilizar o Sistema.

Responsável

Outros Participantes

Ponto de Contato.

Critérios de Entrada Sistema CERTICSys disponível na internet.

Termo de Uso disponível no Sistema.

Entradas Formulário para solicitação de acesso ao CERTICSys.

Termo de Uso.

Atividades A1 – Obter o acesso ao CERTICSys.

Um representante de uma Organização interessada em

avaliar um software solicita acesso ao CERTICSys para

cadastrar um usuário e senha para conseguir utilizar o

Sistema. Este representante passa a ser considerado pelo

CERTICSys como o Ponto de Contato.

Ao acessar a nova conta, um Termo de Uso é fornecido,

apresentando as condições de uso do Sistema e que deve

ser aceito pelo Ponto de Contato para habilitar o seu

primeiro acesso. Este Termo também informa que a

Unidade de Serviços de Avaliação utilizará as

informações fornecidas pela Organização no Sistema

estritamente para a realização da avaliação, não

podendo utilizá-las para qualquer outro fim.

A2 - Aceitar Termo de Uso.

O Ponto de Contato reconhece o conteúdo do Termo de

Uso e expressa concordância com o Termo.

Nota:

O Ponto de Contato tem que fornecer o seu nome

completo, CPF e o CNPJ da Organização Solicitante para

poder aceitar o Termo de Uso.

Critérios de Saída Termo de Uso aceito pelo Ponto de Contato.

Acesso ao Sistema CERTICSys liberado.

Saídas Aceite do Termo de Uso.



Sistema Liberado para uso.

P.1.2: Fornecer Informações Gerais

Propósito

Fornecer informações gerais sobre a Organização

Solicitante, sobre o Ponto de Contato e sobre o software

a ser avaliado. Estas informações documentam o

contexto do software.

Responsável


Ponto de Contato.

Critérios de Entrada Acesso ao Sistema CERTICSys liberado.

Entradas Formulários disponibilizados no Sistema sobre as

Informações Cadastrais da Organização Solicitante e

sobre o software.

Atividades A1 - Fornecer dados sobre a Organização Solicitante.

Os dados sobre a Organização Solicitante devem ser

informados no Sistema pelo Ponto de Contato, tais como:

Nome da Organização Solicitante, razão social,

CNPJ, origem do capital da Organização, tipo de

Organização, endereço, ano de fundação,

quantidade de profissionais, faturamento em

faixas no último ano fiscal, Homepage, nome do

Patrocinador da Avaliação, entre outros.

A2 - Fornecer dados complementares do Ponto de

Contato.

Os dados do Ponto de Contato responsável pelo

fornecimento das informações cadastrais da Organização

Solicitante devem ser completados no Sistema, tais

como:

Endereço, telefone/celular, cargo/função na



Organização, entre outros.

A3 - Fornecer dados sobre o software.

Os dados sobre o software para o qual está sendo

solicitada a avaliação devem ser informados no Sistema,

tais como:

Nome do software e versão, responsável e área

responsável pelo software, características sobre

o software a ser avaliado, principal aspecto

tecnológico presente na solução do software,

principal diferencial inovador da solução

presente no software, data de início do projeto e

a data de liberação do software a ser avaliado

para uso, tamanho do software, domínio da

aplicação, plataforma alvo, entre outros.

Critérios de Saída Dados registrados no Sistema da Organização Solicitante,

do Ponto de Contato e do software.

Saídas Formulários contendo os dados da Organização

Solicitante, do Ponto de Contato e do software.

P.1.3: Editar Evidências e Emitir Estimativa de Sucesso

Propósito Identificar e descrever as potenciais evidências objetivas,

indicar estimativas do grau de atendimento e solicitar a

emissão de uma Estimativa de Sucesso para cada

Resultado Esperado do Modelo de Referência da

CERTICS. São fornecidas apenas identificações e

descrições das evidências, não sendo fornecidos ou

anexados os próprios documentos ou arquivos de

evidências.

Responsável


Ponto de Contato.

Critérios de Entrada Acesso ao Sistema CERTICSys liberado.



Entradas Formulários disponibilizados no Sistema sobre os

Profissionais da Organização Solicitante envolvidos com o

software a ser avaliado e sobre as evidências para o

atendimento dos Resultados Esperados.

Atividades Este processo é realizado por sete (7) atividades das

quais seis (6) delas são iterativas e podem ser executadas

várias vezes cada uma e em qualquer ordem, respeitando

algumas dependências.

As seis (6) atividades iterativas são:

A1 - Cadastrar os profissionais da Organização

Solicitante.

A2 - Cadastrar as informações sobre as

evidências objetivas.

A3 – Associar profissionais a uma evidência

objetiva.

A4 – Associar evidências a um Resultado

Esperado.

A5 – Estimar atendimento de um Resultado

Esperado.

A6 - Solicitar Estimativa de Sucesso.

Este processo é concluído com uma decisão de conclusão

das edições. Esta conclusão é representada pela sétima

atividade A7 – Finalizar a edição das evidências.

A1 - Cadastrar os profissionais da Organização

Solicitante.

O Ponto de Contato cadastra no Sistema os dados dos

principais profissionais da Organização Solicitante

envolvidos com o software a ser avaliado, tais como:

nome, endereço, forma de contato, função,

nacionalidade, período de atuação no software, entre

outros.



A2 - Cadastrar as informações sobre as evidências

objetivas.

São cadastradas no Sistema as identificações e as

descrições das evidências objetivas, geradas para o

software.

Caso o Ponto de Contato tenha alguma dúvida durante o

cadastro das evidências, o mesmo poderá utilizar um

tutor automatizado, disponível no Sistema, para orientá-

lo durante esse registro.

Notas:

Evidências objetivas são documentos ou outros

registros, podendo incluir: Políticas

Organizacionais, procedimentos, Guias, artefatos,

instrumentos (questionários, formulários, entre

outros), material de apresentação, e-mail, ata,

etc. Esses documentos podem estar disponíveis

na forma impressa, em arquivos ou digitalizados;

Não será permitido anexar documentos

relacionados às evidências objetivas;

A análise do conteúdo dos documentos

relacionados às evidências cadastradas será

realizada presencialmente, na fase de visita pela

Equipe de Avaliação;

A3 – Associar profissionais a uma Evidência Objetiva.

São associados os principais profissionais envolvidos na

geração de cada uma das evidências objetivas

cadastradas, indicando o grau de envolvimento desses

profissionais, podendo ser alto ou baixo.

A4 – Associar evidências a um Resultado Esperado.

Uma ou mais evidências são associadas a cada Resultado

Esperado. Para cada evidência é indicada a abrangência



para apoiar a estimativa do atendimento do Resultado

Esperado, podendo ser total ou parcial. Quando uma

abrangência da evidência for “parcial”, um comentário é

registrado sobre a contribuição dessa evidência ao

Resultado Esperado.

Notas:

Uma mesma evidência pode ser associada a mais de

um Resultado Esperado.

É possível que uma ou mais evidências cadastradas

não esteja associada a nenhum dos Resultados

Esperados.

A5 – Estimar o atendimento de um Resultado Esperado.

O Sistema orienta a estimativa do atendimento e a

identificação e descrição das evidências de duas formas:

uma por meio de um editor e outra com a utilização de

um tutor automatizado.

O editor solicita para um determinado Resultado

Esperado uma estimativa do grau de atendimento do

mesmo pelo software e também solicita possíveis

evidências para apoiar este atendimento.

O tutor apresenta alternativas de possíveis cenários para

a estimativa de atendimento de cada Resultado

Esperado. Caso algum cenário seja considerado como

representativo do desenvolvimento e inovação

tecnológico do software para um determinado Resultado

Esperado, o tutor orienta a identificação de evidências

que podem ser identificadas, solicita a edição destas

evidências e sugere a estimativa de atendimento.

Quando as evidências associadas ao Resultado Esperado

apresentarem diferentes indicações de abrangências, a

seguinte regra é aplicada:

1) Se pelo menos uma evidência apresentar a



abrangência “total”, a abrangência do apoio destas

evidências para a estimativa de atendimento é “total”;

2) Se todas as evidências apresentarem a abrangência

“parcial”, uma análise é feita para verificar se a

abrangência do apoio do conjunto de evidências para a

estimativa de atendimento é “parcial” ou “total”;

O resultado desta atividade é composto por dois valores:

estimativa do atendimento e abrangência do apoio de

evidências para esta estimativa. A estimativa do

atendimento é expressa em “atende”, “atende em

termos” ou “não atende”. A abrangência é expressa em

“total”, “parcial” ou “não tem evidências”.

A6 - Consolidar o atendimento das Áreas de

Competência.

Quando os Resultados Esperados pertencentes a uma

Área de Competência apresentarem diferentes graus de

atendimento, a seguinte regra é aplicada:

1) Se todos os Resultados Esperados apresentarem o

grau de atendimento “atende completamente” , então o

Área de Competência é “atendida”;

2) Se pelo menos um Resultado Esperado apresentar o

grau de atendimento “atende em termos”, a Área de

Competência é “não é atendida”.

A7 - Emitir Estimativa de Sucesso.

Com base nas informações fornecidas pelo Ponto de

Contato, pode ser solicitado ao Sistema a emissão de

estimativas de sucesso preliminares de o software ser

avaliado e ser certificado. São emitidas Estimativas de

Sucesso para cada Resultado Esperado, cada Área de

Competência e do resultado da avaliação. Cada

Estimativa de Sucesso é informada em uma escala com

intervalo de um a cinco, sendo 1 (um) menor estimativa



de sucesso e 5 (cinco) a maior estimativa.

A estimativa de sucesso para cada Resultado Esperado é

emitida tendo como base a estimativa do atendimento e

abrangência do apoio de evidências para esta estimativa.

A estimativa de sucesso para cada Área de Competência

é obtida com uma média ponderada das estimativas dos

Resultados Esperados da Área de Competência. A

estimativa de sucesso o software é obtida com uma

média ponderada das estimativas das Áreas de

Competência.

A7 – Finalizar a edição das evidências objetivas.

Quando as edições das evidências e a estimativa de

sucesso forem consideradas suficientes, deve ser

encerrada a edição das evidências. Esta suficiência deve

ocorrer quando o grau de atendimento foi fornecido para

todos os Resultados Esperados e não há necessidade de

associar mais evidências aos Resultados Esperados.

Nesta conclusão deve ser solicitada ao Sistema a emissão

de estimativas de sucesso finais dos Resultados

Esperados, das Áreas de Competência e do software ser

avaliado e ser certificado.

Critérios de Saída Dados registrados no Sistema sobre os principais

profissionais envolvidos no software, sobre as evidências

geradas para o software e sobre o relacionamento dos

Resultados Esperados com as evidências e com os

profissionais.

Estimativa de Sucesso calculada e fornecida pelo Sistema.

Saídas Formulário contendo os dados sobre os principais




profissionais.



Estimativa de Sucesso.

P.1.4: Analisar Continuidade da Avaliação

Propósito Analisar se a Organização Solicitante atende às condições

necessárias para realizar uma avaliação e decidir se é o

momento adequado para realizá-la. Essa análise é

realizada tendo como base a estimativa de sucesso

fornecida pelo Sistema e o conhecimento adquirido pela

Organização sobre a Metodologia.

Responsável


Patrocinador da Avaliação.

Ponto de Contato.

Critérios de Entrada Estimativa de Sucesso fornecida pelo Sistema.

Entradas Estimativa de Sucesso.

Atividades A1 - Analisar a continuidade da avaliação.

Com base na estimativa de sucesso e no conhecimento

adquirido sobre a Metodologia, o Ponto de Contato deve

analisar a continuidade da avaliação.

Caso a estimativa de sucesso fornecida seja 4 ou 5, o

risco da avaliação ser contratada e o software não ser

certificado é baixo; enquanto que valores fornecidos

menores do que 4, o risco da avaliação ser contratada e o

software não ser certificado passa a ser alto. Esses

valores servem de subsídios para a decisão de

contratação de uma avaliação.

A2 - Decidir sobre a realização da avaliação.

O Patrocinador da Avaliação, com subsídios fornecidos

pelo Ponto de Contato, tais como a estimativa de sucesso

alcançada e o conhecimento adquirido sobre a

metodologia, decide a continuidade ou não do processo

de avaliação.



Caso a decisão seja a não realização da avaliação, o

processo de avaliação é encerrado.

Critérios de Saída Decisão tomada sobre a continuidade da avaliação

registrada no Sistema.

Saídas Decisão sobre a continuidade da avaliação.



4.2 Fase 2: Contratação

O objetivo da Fase 2 - Contratação é estabelecer o Contrato de Avaliação para a realização de

uma avaliação.

Antes de o Contrato de Avaliação ser elaborado, um profissional da Unidade de Serviços de

Avaliação verifica se as informações fornecidas pela Organização Solicitante no CERTICSys são

verídicas.

Esta fase é concluída com a assinatura do Contrato e a emissão da nota fiscal para o

pagamento da avaliação contratada.


Figura 4 – Diagrama dos Processos da Fase F2 – Contratação

Os três processos e suas atividades que compõem esta fase estão descritos a seguir.



P.2.1: Efetuar Pré-Análise dos Dados

Propósito Verificar se são verídicas as descrições da Organização

Solicitante, do Ponto de Contato e das evidências

relacionadas aos Resultados Esperados do Modelo de

Referência.

Responsável


Responsável da Unidade de Serviços de Avaliação.

Ponto de Contato.

Critérios de Entrada Decisão Positiva sobre a continuidade da avaliação.

Dados registrados no Sistema sobre a Organização

Solicitante, sobre o Ponto de Contato e sobre o software.

Dados registrados no Sistema sobre os principais




profissionais.

Entradas Formulários contendo os dados da Organização


Formulários contendo os dados dos principais

profissionais envolvidos no software, das evidências

geradas para o software e do relacionamento dos


profissionais.

Atividades A1 - Verificar os dados gerais cadastrados.

Um responsável da Unidade de Serviços de Avaliação

verifica se os dados da Organização Solicitante, do Ponto

de Contato e do software, fornecidos pelo Ponto de

Contato da Organização Solicitante, não são dados

fictícios, e se necessário, confirma a veracidade desses

dados com o Ponto de Contato.

Caso algum dado não seja considerado real, o

responsável pela Unidade de Serviços de Avaliação



solicita a sua atualização ao Ponto de Contato.

A2 - Verificar os dados cadastrados das Evidências.

Um responsável da Unidade de Serviços de Avaliação

verifica se são plausíveis as descrições dos nomes das

evidências para cada Resultado Esperado do Modelo de

Referência. Esta verificação é para eliminar casos nos

quais os dados cadastrados destas evidências estão sem

sentido, como: “aaaa”, “teste1”, etc.

Caso algum dado não seja considerado plausível, o

responsável pela Unidade de Serviços de Avaliação

notifica o Ponto de Contato para que os dados sejam

atualizados.

Critérios de Saída Dados da Organização Solicitante, do Ponto de Contato e

do software, verificados pela Unidade de Serviços de

Avaliação em relação à veracidade.

Dados dos principais profissionais envolvidos no

software, das evidências geradas para o software e do

relacionamento dos Resultados Esperados com as

evidências e com os profissionais, verificados pela

Unidade de Serviços de Avaliação em relação à

veracidade.

Saídas

Formulários contendo os dados da Organização






profissionais.



P.2.2: Definir Executor da Avaliação

Propósito Definir a Entidade Credenciada e o Avaliador Líder

responsáveis pela execução da avaliação, no período

solicitado pela Organização Solicitante.

Responsável



Responsável pela Unidade de Serviços de Avaliação.

Responsáveis pelas Entidades Credenciadas.

Critérios de Entrada Lista de Entidades Credenciadas disponíveis no Sistema.

Entradas Lista de Entidades Credenciadas.

Atividades A1 – Indicar as Entidades Credenciadas.

O Patrocinador da Avaliação consulta a lista de Entidades

Credenciadas e indica até três Entidades Credenciadas,

no Sistema, por ordem de preferência, para executar a

avaliação.

A2 - Fornecer o período da avaliação.

O Patrocinador da Avaliação fornece no Sistema o

período da avaliação desejado, para que seja realizada a

visita pela Equipe de Avaliação.

A3 - Definir o responsável pela execução da avaliação.

Cada responsável pela Entidade Credenciada é

consultado pelo Sistema, seguindo a ordem de

preferência indicada pelo Patrocinador da Avaliação,

para verificar a sua disponibilidade em executar a

avaliação no prazo desejado pelo Patrocinador da

Avaliação.

Se a primeira Entidade Credenciada não puder atender a

demanda, esta deve informar o motivo, e a próxima

Entidade Credenciada da lista de preferência é

consultada pelo Sistema até que uma das três Entidades

Credenciadas aceite a demanda.



A gestão do atendimento da demanda da avaliação é

feita pelo responsável da Unidade de Serviços de

Avaliação. Caso nenhuma Entidade Credenciada indicada

aceite a demanda, este responsável entra em contato

com as Entidades Credenciadas indicadas para entender

o motivo do não atendimento. Ações são realizadas a fim

de atender essa demanda, mesmo que seja necessário

negociar um novo período de avaliação junto ao


A Entidade Credenciada selecionada para atender a

demanda indica a Equipe de Avaliação, composta no

mínimo por um Avaliador Líder.

Nota:

Caso nenhuma Entidade Credenciada consiga atender a

demanda, a Unidade de Serviços de Avaliação poderá

realizar a avaliação.

A4 – Aprovar a Equipe de Avaliação.

O Patrocinador da Avaliação deve aprovar os integrantes

da Equipe de Avaliação indicados para executar a

avaliação. E caso não os aceite, o Patrocinador da

Avaliação deve justificar o motivo da recusa e novos

integrantes serão negociados entre os envolvidos.

Nota:

Micros e Pequenas Empresas: a Equipe de

Avaliação é formada, no mínimo, pelo Avaliador

Líder, podendo incluir um Avaliador Credenciado;

Médias e Grandes Empresas: a Equipe de

Avaliação é formada pelo Avaliador Líder e mais

um ou dois Avaliadores Credenciados.

Critérios de Saída Entidade Credenciada selecionada para a avaliação.

Período da avaliação definido.



Equipe de Avaliação aprovada pela Organização

Solicitante para a avaliação.

Saídas

Entidade Credenciada.

Equipe de Avaliação.

Período da avaliação.

P.2.3: Estabelecer Contrato

Propósito Negociar um contrato para a realização da avaliação

entre a Unidade de Serviços de Avaliação e a Organização

Solicitante.

Responsável

Outros participantes


Patrocinador da Avaliação da Organização Solicitante.

Ponto de Contato, Responsável pela Entidade

Credenciada e a Equipe de Avaliação.

Critérios de Entrada Entidade Credenciada selecionada para a avaliação.

Equipe de Avaliação aprovada pela Organização

Solicitante para a avaliação.

Período da avaliação definido.

Entradas Formulários contendo os dados da Organização

Solicitante e do software.

Atividades A1 - Definir o Contrato.

O responsável pela Unidade de Serviços de Avaliação, em

conjunto com o jurídico, elabora o contrato, via sistema,

contendo, no mínimo, as seguintes informações:

- Qualificação da Entidade Credenciada;

- Qualificação da Unidade de Serviço de Avaliação;

- Qualificação da Organização Solicitante;



- Preço da avaliação, definido conforme a classificação da

empresa (Micro, Pequena, Média e Grande);

- Período da avaliação;

-Responsabilidades e obrigações da Entidade

Credenciada, da Organização Solicitante e da Unidade de

Serviços de Avaliação;

- Multas relacionadas à rescisão de contrato;

- Esforço máximo que o Avaliador Líder deve utilizar na

Fase 3 - Preparação.

A2 - Aprovar o Contrato.

O responsável pela Unidade de Serviços de Avaliação e o

Patrocinador da Avaliação da Organização Solicitante

assinam o contrato para a realização da avaliação,

estipulando as condições para a realização da avaliação.

A3 - Emitir a Nota Fiscal.

O responsável pela Unidade de Serviços de Avaliação

emite a Nota Fiscal, via sistema, para o pagamento da

avaliação contratada.

A4 - Levantar as Lições Aprendidas.

O Ponto de Contato, os responsáveis pela Unidade de

Serviços de Avaliação e da Entidade Credenciada e a

Equipe de Avaliação levantam as lições aprendidas sobre

as atividades realizadas nesta fase, fornecendo os pontos

positivos, pontos negativos e recomendações de

melhorias na execução dessas atividades.

Nota:

As lições aprendidas devem estar registradas no Sistema

até o final da Fase 6- Conclusão.

Critérios de Saída Contrato para a realização da avaliação aprovado.

Nota Fiscal emitida.



Lições aprendidas da Fase 2-Contratação levantadas.

Saídas

Contrato de avaliação.

Nota Fiscal.

Lições Aprendidas.



4.3 Fase 3: Preparação

O objetivo da Fase 3 - Preparação é preparar a Organização Solicitante e a Equipe de Avaliação

para a visita de avaliação.

Nesta fase, o Avaliador Líder revisa as informações sobre a Organização e o software, a

identificação e a descrição das potenciais evidências e verifica a adequação das informações

fornecidas.

Com base nas informações fornecidas e revisadas, a Organização Solicitante recebe uma

estimativa do Grau de Prontidão, que indica o quanto a Organização Solicitante está pronta

para a realização da Fase 4 – Visita.

Durante esta fase é desenvolvido um Plano da Avaliação. Esta fase é concluída com a

aprovação desse plano e a execução pela Organização do upload no Sistema, das evidências

identificadas, cujas descrições foram validadas nesta Fase de Preparação.


Figura 4 – Diagrama dos Processos da Fase F3 –Preparação.




P.3.1: Analisar e Editar Evidências

Propósito Analisar as identificações e as descrições das evidências

associadas aos Resultados Esperados, com o objetivo de

preparar os dados para a visita.

Responsável


Avaliador Líder.

Ponto de Contato.

Critérios de Entrada Contrato de Avaliação assinado.

Nota Fiscal paga pela Organização Solicitante.

Dados dos principais profissionais envolvidos no

software, das evidências geradas para o software e do

relacionamento dos Resultados Esperados com as

evidências e com os profissionais, verificados pela

Unidade de Serviços de Avaliação em relação à

veracidade.

Entradas Formulários contendo os dados dos principais




profissionais.

Atividades A1 - Analisar as evidências gerais dos Resultados

Esperados.

O Avaliador Líder revisa as informações sobre a

Organização Solicitante e sobre o software, as

identificações e descrições das potenciais evidências

associadas a cada Resultado Esperado que foram

identificadas na Fase 1 – Exploração pela Organização

Solicitante e verifica a adequação dessas informações.

Durante esta revisão, são realizadas interações com o

Ponto de Contato da Organização Solicitante para

esclarecimentos, identificação e descrição de possíveis

novas evidências. O Contrato de Avaliação estabelece a



quantidade de horas que o Avaliador Líder deve atuar

nessa atividade, sendo que o Ponto de Contado é

informado sobre o saldo de horas disponível conforme as

mesmas são utilizadas.

Caso alguma evidência, informada na Fase 1 - Preparação

não seja considerada satisfatória para a realização da

avaliação, o Avaliador Líder solicita informações

adicionais ao Ponto de Contato. Esta consideração é feita

com base na descrição da evidência.

A2 - Reeditar as evidências.

Dentro de um prazo previamente estabelecido, o Ponto

de Contato reedita as identificações e descrições das

evidências no Sistema, que foram consideradas não

satisfatórias pelo Avaliador Líder para a realização da

avaliação. O objetivo é ter evidências satisfatórias para

todos os Resultados Esperados.

Notas:

A inclusão, alteração ou exclusão das

identificações e descrições das evidências

associadas aos Resultados Esperados é de

responsabilidade da Organização Solicitante;

Esta análise fornece base à Organização

Solicitante para a preparação dos dados a serem

utilizados na visita de avaliação. Para o Avaliador

Líder essa análise fornece uma ideia prévia do

contexto da Organização e do software a ser

avaliado;

Esta atividade só termina quando o Avaliador

Líder considerar que as evidências identificadas e

descritas estão adequadas e a Organização

Solicitante preparada para receber a visita, ou no

final do esforço estabelecido no Contrato de

Avaliação da dedicação do Avaliador Líder nesta



atividade (o que acontecer primeiro).

Critérios de Saída Identificações e descrições dos dados dos principais




profissionais, analisados em relação à adequação pela

Unidade de Serviços de Avaliação e reeditados pela


Saídas Formulários contendo os dados dos principais




profissionais.

P.3.2: Analisar Prontidão

Propósito Analisar se a Organização Solicitante está pronta ou não

para a realização da visita de avaliação.

Responsável


Avaliador Líder.


Critérios de Entrada Identificações e descrições dos dados dos principais




profissionais, analisados em relação à adequação pela

Unidade de Serviços de Avaliação e reeditados pela


Entradas





profissionais.



Atividades A1 – Registrar grau de satisfação das evidências.

O Avaliador Líder registra o grau de satisfação das

evidências que foram consideradas satisfatórias para o

Resultado Esperado. Este registro é feito como “total” ou

“parcial”, sendo que no caso da evidência ser pontuada

“parcial”, um comentário é fornecido para justificar a

parcialidade dessa evidência.

Durante esse registro, são realizadas interações com o

Ponto de Contato para esclarecimentos, identificação e

descrição de possíveis novas evidências.

Quando o Avaliador Líder considerar que as evidências

identificadas e descritas estão adequadas ou o esforço

estabelecido ao Avaliador Líder no Contrato de Avaliação

foi consumido (o que acontecer primeiro) esta atividade

é concluída.

Quando as evidências associadas ao Resultado Esperado

apresentarem diferentes pontuações, a seguinte regra é

aplicada:

1) Se pelo menos uma evidência recebeu o registro de

cobertura como “total”, então o Resultado Esperado é

estimado como “potencialmente atendido”;

2) Se todas as evidências receberam o registro de

cobertura “parcial”, uma análise é feita para verificar se

em conjunto essas evidências atendem o objetivo do

Resultado Esperado. Caso as evidências juntas atendam o

Resultado Esperado, o mesmo recebe a estimativa de

“potencialmente atendido”; caso contrário, o Resultado

Esperado recebe a pontuação “potencialmente

atendimento parcial”.

A2 - Analisar a prontidão da Organização Solicitante.

O Avaliador Líder, tendo como base as estimativas



atribuídas aos Resultados Esperados, às evidências e os

respectivos comentários, analisa a prontidão da

Organização Solicitante, isto é, o quanto a Organização

está preparada para a visita de avaliação - Fase 4- Visita.

A3 – Emitir a Estimativa do Grau de Prontidão da


O Avaliador Líder emite uma estimativa do grau de

prontidão da Organização Solicitante, para a realização

da visita de avaliação. Esta estimativa é apresentada por

meio de um texto livre, que indique a percepção do

Avaliador Líder sobre as informações do software

analisadas e que não estão satisfatórias, as informações

faltantes, entre outras.

Essa estimativa serve como um sinalizador de que a

Organização Solicitante poderá ou não ter seu software

certificado se até antes da visita não forem apresentadas

evidências mais adequadas.

Nota:

O Patrocinador da Avaliação, tendo como base a

estimativa do grau de prontidão, poderá decidir a não

continuação da avaliação, causando o encerramento da

avaliação, com a tomada de providências conforme

estabelecido no Contrato de Avaliação.

Critérios de Saída Estimativa do Grau de Prontidão da Organização

Solicitante emitida.

Saídas Estimativa do Grau de Prontidão.

P.3.3: Preparar Visita

Propósito Preparar a visita para a realização da avaliação.

Responsável Avaliador Líder.

Equipe de Avaliação, Ponto de Contato e Patrocinador da



Outros Participantes Avaliação.

Critérios de Entrada Estimativa do Grau de Prontidão da Organização

Solicitante emitida pelo Sistema.

Entradas Formulários contendo os dados dos principais




profissionais.

Formulários contendo os dados da Organização


Atividades A1 - Solicitar os recursos necessários para a realização

da visita da avaliação.

O Avaliador Líder solicita ao Ponto de Contato os

recursos necessários para a realização da avaliação, tais

como: sala adequada para a realização das sessões de

entrevistas, projetor, pessoas que serão entrevistadas,

facilidades de comunicação, entre outros.

A2 - Definir a Agenda.

O Avaliador Líder, com base no resultado da análise das

identificações e descrições das evidências que foram

associadas a cada Resultado Esperado e da ideia prévia

que o mesmo obteve sobre o contexto do software

elabora uma agenda para as sessões de entrevistas.

A duração de cada sessão de entrevista é variável,

dependendo das dúvidas que o Avaliador tem sobre as

informações analisadas e quantidade de profissionais

participantes das sessões de entrevistas.

As sessões de entrevistas podem ser organizadas por

Áreas de Competência, por grupo de profissionais

envolvidos na geração das evidências, por áreas afins,

entre outros.



O Ponto de Contato da Organização Solicitante valida a

agenda da avaliação para garantir quais profissionais e

recursos devem estar disponibilizados para assegurar que

a visita de avaliação seja bem sucedida.

A3 - Estabelecer Plano da Avaliação.

Para a realização da avaliação contratada é necessário à

elaboração de um Plano da Avaliação. Esse plano é

elaborado pelo Avaliador Líder, que interage com o Ponto

de Contato para obter as informações necessárias,

esclarecimentos de dúvidas, ajustes de expectativas dos

envolvidos na avaliação, negociações da agenda

proposta, entre outras.

O Plano da Avaliação deve conter, no mínimo, as

seguintes informações:

Identificação e informações da Organização

Solicitante;

Identificação e informações do Patrocinador da

Avaliação;

Identificação e informações do software a ser

avaliado;

Identificação da Equipe de Avaliação (Avaliador

Líder e/ou Avaliador(es));

Agenda para a realização da avaliação;

Assinatura dos responsáveis pela Organização

Solicitante e pela Equipe de Avaliação para

evidenciar o acordo com o Plano da Avaliação

(Patrocinador da Avaliação e Avaliador Líder).

Critérios de Saída Plano da Avaliação assinado pelos responsáveis da

Organização Solicitante e da Equipe de Avaliação.

Saídas Plano da Avaliação acordado.



P.3.4: Providenciar Visita

Propósito Tomar as providências finais para a realização da visita da

avaliação.

Responsável


Avaliador Líder.

Patrocinador da Avaliação, Ponto de Contato,

Responsável pela Entidade Credenciada e Equipe de

Avaliação.

Critérios de Entrada Plano da Avaliação assinado.

Entradas Plano da Avaliação.

Atividades A1 - Verificar providências para a visita de avaliação.

Para assegurar que a visita de avaliação possa ser

realizada com sucesso, algumas providências devem ser

tomadas, tanto pela Organização Solicitante como pela

Entidade Credenciada e Equipe de Avaliação.

São exemplos dessas providências:

Agenda acordada entre os envolvidos, tais como:

Patrocinador da Avaliação, Ponto de Contato,

profissionais da Organização a serem

entrevistados e Equipe de Avaliação;

Autorização para a Equipe de Avaliação entrar na

Organização Solicitante no dia da visita de

avaliação;

Reserva de salas, equipamento de projeção,

telefone, impressora e outros recursos

necessários;

Coffe break;

Aquisição de passagens;

Reserva em hotel, entre outros.

Essas providências devem estar de comum acordo entre

a Organização Solicitante, Equipe de Avaliação e Entidade



Credenciada. Pode ser revisado o Plano da Avaliação.

A2 - Elaborar apresentação da Abertura da Avaliação.

O Avaliador Líder prepara a apresentação da Abertura da

Avaliação contendo informações sobre a Organização, o

software, a identificação da equipe de avaliação, a

agenda acordada, o processo de avaliação, entre outros.

A3 - Levantar as Lições Aprendidas.

A Equipe de Avaliação, o Patrocinador da Avaliação, o

Ponto de Contato, e o responsável pela Entidade

Credenciada levantam as lições aprendidas sobre as

atividades realizadas nesta fase, fornecendo os pontos

positivos, pontos negativos e recomendações de

melhorias na execução dessas atividades.

Nota:



A4 - Carregar os dados.

O Ponto de Contato deve disponibilizar no Sistema, por

meio de upload, até a véspera da visita de avaliação, as

evidências associadas a cada Resultado Esperado que

foram analisadas e aceitas pelo Avaliador Líder na Fase

3- Preparação. Outras evidências que ainda não foram

analisadas pelo Avaliador Líder na Fase 3 – Preparação,

mas que o Ponto de Contato as identificou como

adequadas para atendimento aos Resultados Esperados,

também devem ser disponibilizadas no Sistema por meio

de upload.

Critérios de Saída Providências finais tomadas para a realização da

avaliação.

Apresentação da Abertura da Avaliação elaborada.

Lições aprendidas da Fase 3-Preparação levantadas.



Dados carregados no Sistema (upload), das evidências

associadas aos Resultados Esperados.

Saídas Apresentação da Abertura da Avaliação.


Evidências associadas aos Resultados Esperados.



4.4 Fase 4: Visita

O objetivo da Fase 4 - Visita é executar uma visita da Equipe de Avaliação à Organização

Solicitante para analisar evidências, pontuar o grau de atendimento dos Resultados Esperados

a partir das evidências analisadas, consolidar e apresentar o resultado da avaliação, conforme

acordado no Plano da Avaliação. Esse resultado da avaliação apresentado é a recomendação

da Equipe de Avaliação, não é o resultado final da avaliação, pois o mesmo ainda será

confirmado pela Unidade de Serviços de Avaliação, na Fase 5- Validação.

A Fase 4 - Visita é composta pelos seguintes processos, conforme apresentada na figura a

seguir:

Figura 5 – Diagrama dos Processos da fase F4 – Visita

Os cinco processos e suas atividades que compõem esta fase estão descritos a seguir.



P.4.1: Iniciar Visita

Propósito

Iniciar a visita de avaliação, realizando uma reunião

inicial, o aceite do Termo de Confidencialidade entre

todos os envolvidos da avaliação e uma sessão de

abertura com todos os participantes da avaliação.

Responsável


Avaliador Líder.


Equipe de Avaliação.

Ponto de Contato.

Entrevistados da Organização Solicitante.

Critérios de Entrada





profissionais.

Dados carregados no Sistema (upload), das evidências

associadas aos Resultados Esperados.

Apresentação da Abertura da Avaliação elaborada.

Termo de Confidencialidade impresso.

Entradas

Formulário contendo os principais profissionais

envolvidos no software, sobre as evidências geradas para

o software e sobre o relacionamento dos Resultados

Esperados com as evidências e com os profissionais.

Apresentação da Abertura da Avaliação.

Termo de Confidencialidade.

Atividades A1- Realizar reunião inicial.

É realizada uma reunião com o Patrocinador da

Avaliação, o Ponto de Contato e a Equipe de Avaliação

para confirmação da agenda e atualizações, se



necessário.

Nesse momento a Equipe de Avaliação assina o Termo de

Confidencialidade e entrega ao Patrocinador da

Avaliação. Esse Termo de Confidencialidade garante a

confidencialidade pela Equipe de Avaliação, das

informações que serão acessadas e obtidas nas sessões

de entrevistas.

A2- Realizar apresentação da abertura da avaliação.

Para marcar o início das atividades de avaliação, o

Avaliador Líder, com apoio do Patrocinador da Avaliação,

realiza uma apresentação da abertura da avaliação para

os participantes da avaliação. A equipe de avaliação, os

objetivos e agenda da avaliação são apresentados, e as

dúvidas são esclarecidas. Se necessário, novos ajustes na

agenda são realizados.

Critérios de Saída

Termo de Confidencialidade assinado pela Equipe de

Avaliação e entregue ao Patrocinador da Avaliação.

Apresentação da abertura da avaliação realizada.

Saídas Termo de Confidencialidade.

Apresentação da Abertura da Avaliação.

P.4.2: Analisar Evidências

Propósito

Analisar as evidências associadas a cada Resultado

Esperado, pela Equipe de Avaliação, para verificar a

pertinência das evidências e gerar subsídios para a

pontuação do atendimento aos Resultados Esperados.

Responsável


Equipe de Avaliação (Avaliador Líder e/ou Avaliador(es)).

Participantes da avaliação.

Critérios de Entrada Dados carregados no Sistema (upload), das evidências de

todos os Resultados Esperados.







profissionais.

Participantes da avaliação disponibilizados para as

sessões de entrevista.

Entradas Formulários contendo os dados carregados das

evidências dos Resultados Esperados.


profissionais envolvidos no software, as evidências

geradas para o software e o relacionamento dos


profissionais.

Atividades A1-Realizar sessões de entrevistas.

A Equipe de Avaliação realiza sessões de entrevistas com

os Participantes da Avaliação, conforme agenda. As

sessões de entrevistas visam um melhor entendimento

das evidências indicadas para os Resultados Esperados.

No decorrer das sessões de entrevistas o Avaliador Líder

pode solicitar entrevistas adicionais com outros

profissionais da Organização Solicitante, assim como

validações dos entendimentos originados nas entrevistas

já realizadas, dentro dos limites e condições previamente

acordados durante a avaliação. Nesse caso, a

Organização Solicitante deve se empenhar em

providenciar a disponibilização dos profissionais e

recursos adicionais necessários.

A2-Analisar o conteúdo das evidências.

Em reuniões internas ou mesmo durante as sessões de

entrevistas a Equipe de Avaliação analisa o conteúdo das

evidências apresentadas para cada Resultado Esperado,



verificando se são ou não pertinentes. Uma evidência é

considerada pertinente para um Resultado Esperado se:

a) A evidência está relacionada ao software em

avaliação. Caso não esteja, a evidência não será

considerada e uma justificativa será fornecida

pela Equipe de Avaliação alegando que a

evidência não pertence ao software, sendo que

excepcionalmente, a Equipe de Avaliação poderá

solicitar ao Ponto de Contato uma nova

evidência, aguardando o seu fornecimento

dentro de um horário limite acordado para o seu

recebimento.

b) A evidência está relacionada ao Resultado

Esperado. Caso o conteúdo da evidência não

esteja relacionado ao Resultado Esperado, uma

justificativa será fornecida pela Equipe de

Avaliação alegando o motivo pelo qual a

evidência não contribui para o atendimento do

Resultado Esperado, sendo que


solicitar ao Ponto de Contato uma ou mais novas

evidências que demonstrem o atendimento ao

Resultado Esperado e fica aguardando o

fornecimento dentro de um horário acordado

durante a avaliação.

Caso a identificação e/ou a descrição da

evidência relacionada ao Resultado Esperado não

esteja coerente com o conteúdo avaliado, a

Equipe de Avaliação solicita ao Ponto de Contato

a atualização da identificação e/ou descrição

desta evidência que deverá ser atualizada até

antes do Avaliador Líder liberar o Relatório

Preliminar da Avaliação para a Unidade de

Serviços de Avaliação.



c) A evidência não indica nenhuma inconsistência

com o resultado da análise de outros Resultados

Esperados.

Caso indique inconsistência com outros

Resultados Esperados, as análises dos Resultados

Esperados envolvidos devem ser revistas para

produzir análises consistentes e




Resultado Esperado consistente com outros

Resultados Esperados e fica aguardando o


durante a avaliação.

d) O entendimento obtido pela Equipe de

Avaliação sobre as evidências corresponde com

o que foi reportado durante a entrevista.

Caso a evidência não corresponda ao

entendimento obtido pela Equipe de Avaliação,




Resultado Esperado e fica aguardando o


durante a avaliação. O Avaliador Líder pode

solicitar entrevistas adicionais para validar o

entendimento obtido pela Equipe de Avaliação

versus a evidência fornecida.

Durante essa análise, se existir uma evidência relevante,

isto é, que atende aos itens a, b, c, d e que sozinha já

atende totalmente o Resultado Esperado, a Equipe de

Avaliação já pode analisar o atendimento desse

Resultado Esperado, sem precisar analisar as demais

evidências associadas a esse Resultado Esperado.



Como resultado de uma análise positiva para a

pertinência da evidência ao Resultado Esperado, é

atribuída uma pontuação, “Parcial” ou “Total” para cada

uma das evidências. A evidência é pontuada “Parcial”

quando a evidência atende os aspectos do Resultado

Esperado, mas não sua totalidade. A evidência é

pontuada “Total” quando a evidência atende totalmente

o Resultado Esperado.

Caso uma ou mais evidências seja analisada como

“Total”, a análise das evidências deste Resultado

Esperado pode ser considerada como concluída.

Caso duas ou mais evidências sejam analisadas como

“Parcial” e nenhuma como “Total”, deve ser verificado se

o conjunto das evidências pode ser considerado como

“Total”. Neste caso, a análise das evidências deste

Resultado Esperado pode ser considerada como

concluída. Caso contrário, deve ter um esforço que

excepcionalmente, novas evidências sejam fornecidas

pelo Ponto de Contato, sem comprometer a visita. Caso

novas evidências sejam identificadas, deve ser repetido o

processo a partir da atividade 2 - Analisar o conteúdo

das evidências.

Esta atividade ajuda a equipe de avaliação obter um

entendimento para pontuar os Resultados Esperados.

Durante esta análise, a equipe de avaliação também pode

observar “Pontos Fracos”, “Pontos Fortes” e

“Oportunidades de Melhoria”.

Ponto Fraco é o não atendimento de um, mais de um ou

todos os aspectos de um Resultado Esperado.

Entenda-se como Ponto Forte quando o atendimento de

um ou mais aspectos de um Resultado Esperado supera,

de forma significativa, o que é esperado.



Oportunidade de Melhoria quando está atendendo o

Resultado Esperado, mas da forma que está sendo feita

causa um risco para a Organização Solicitante. Este risco

deve ser descrito como parte da Oportunidade de

Melhoria. Não deve ser descrita nenhuma sugestão de

melhoria, mas apenas o risco.

Critérios de Saída Evidências de cada Resultado Esperado analisadas e

pontuadas no Sistema, pela Equipe de Avaliação.

Saídas Formulário contendo as pontuações das evidências de

cada Resultado Esperado.

P.4.3: Pontuar Atendimento

Propósito Atribuir uma pontuação para cada Resultado Esperado de

acordo com a pontuação atribuída às evidências.

Responsável Equipe de Avaliação (Avaliador Líder e/ou Avaliador(es)).

Critérios de Entrada Evidências de cada Resultado Esperado pontuadas no

Sistema, pela Equipe de Avaliação.

Entradas Formulário contendo as pontuações das evidências de

cada Resultado Esperado.

Atividades A1-Pontuar os Resultados Esperados.

Após a análise e pontuação das evidências para os

Resultados Esperados, a Equipe de Avaliação pontua, no

Sistema, o atendimento de cada Resultado Esperado

segundo a seguinte escala de pontuação ordinal:

(F) - Completamente (Fully) atendido: Suficientes

evidências relacionadas ao software estão

identificadas e são adequadas para demonstrar o

total atendimento do Resultado Esperado.

(L) - Largamente atendido: Suficientes evidências estão


atendimento dos aspectos mais importantes do



Resultado Esperado. Existe um ou mais pontos

fracos relacionados a esse Resultado Esperado,

porém estes não comprometem o atendimento do

Resultado Esperado.

(P) - Parcialmente atendido: Algumas evidências estão


atendimento parcial do Resultado Esperado.

Existem um ou mais pontos fracos que

comprometem o atendimento do Resultado

Esperado.

(N) - Não atendido: Todas as evidências necessárias

estão ausentes ou as evidências presentes são

inadequadas para demonstrar o atendimento do

Resultado Esperado.

A Equipe de Avaliação deve explicar o

racional/justificativa utilizado para a pontuação definida

para cada Resultado Esperado.

Quando a pontuação atribuída for diferente de “F”, além

do conteúdo do racional/justificativa utilizado deve ser

indicado pelo menos um ponto fraco encontrado.

Nota:

Os “pontos fracos”, “pontos fortes” e “oportunidades de

melhoria” que já foram identificados durante a realização

da atividade A2-Analisar o conteúdo das evidências

podem ter podem ser revisados para possíveis melhorias

no texto, caso necessário.

A2-Pontuar as Áreas de Competência.

Após pontuar cada Resultado Esperado, a Equipe de

Avaliação pontua, no Sistema, as Áreas de Competência

do Modelo de Referência.

Cada Área de Competência é pontuada em uma escala

binária: Sim ou Não com base no resultado das



avaliações de cada um de seus respectivos Resultados

Esperados. A pontuação será Sim se cada Resultado

Esperado estiver pontuado como F ou L. A pontuação

será Não caso contrário.

A3-Pontuar o resultado da avaliação.

A Equipe de Avaliação revisa as pontuações obtidas nas

Áreas de Competência, com seus respectivos Resultados

Esperados. Os racionais/justificativas utilizados nas

pontuações dos Resultados Esperados também devem

ser revisados para embasar o resultado da avaliação e os

pontos fracos apontados.

Com base no resultado das avaliações de cada uma das

Áreas de Competência, a pontuação da avaliação será

Sim se todas as Áreas de Competência estiverem

pontuadas como Sim. A pontuação será Não, caso

contrário.

O resultado da avaliação representa a recomendação da

Equipe de Avaliação sobre a avaliação do software,

indicando se o software é resultante de desenvolvimento

e inovação tecnológica realizados no País.

Nota:

Esse resultado não poderá ser divulgado pela

Organização Solicitante, pois ainda passará por uma

validação a ser executada pela Unidade de Serviços de

Avaliação na Fase 5 - Validação.

Critérios de Saída Resultados Esperados e Áreas de Competência pontuadas

pela Equipe de Avaliação no Sistema.

Saídas Formulário contendo os Resultados Esperados e Áreas de

Competência pontuadas pela Equipe de Avaliação no

Sistema.



P.4.4: Apresentar Resultado

Propósito

Consolidar o resultado da avaliação no Relatório de

Avaliação preliminar e apresentar o resultado da

avaliação recomendado pela Equipe de Avaliação.

Responsável


Avaliador Líder.

Avaliador, Patrocinador da Avaliação, Ponto de Contato.


Resultados Esperados pontuados com suas respectivas

justificativas e Áreas de Competência pontuadas pela

Equipe de Avaliação, no Sistema.

Entradas

Formulário contendo os Resultados Esperados pontuados

com suas respectivas justificativas e Áreas de

Competência pontuadas.

Formulário da Apresentação do Resultado da Avaliação.

Atividades A1-Consolidar o resultado da avaliação no Relatório

Preliminar da Avaliação.

A Equipe de Avaliação consolida o resultado da avaliação

no relatório preliminar da avaliação, via sistema. O

relatório deve conter as pontuações de cada Resultado

Esperado por Área de Competência, com o racional

utilizado (justificativa), os pontos fracos e a

recomendação final da Equipe de Avaliação do resultado

da avaliação. Poderá conter Pontos Fortes e

Oportunidades de Melhorias.

A2-Apresentar o resultado da avaliação.

Em uma sessão executiva, o Avaliador Líder apresenta a

recomendação da Equipe de Avaliação sobre o resultado

da avaliação, ao Patrocinador da Avaliação e outras

pessoas por ele convidadas. Caso acordado no decorrer

da visita, o Avaliador Líder poderá também apresentar o

resultado a um grupo maior de convidados do





Resultado da avaliação consolidado no Relatório

Preliminar da Avaliação.

Resultado da avaliação recomendado pela Equipe de

Avaliação apresentado ao Patrocinador.

Saídas

Relatório Preliminar da Avaliação contendo o resultado

recomendado da avaliação.

Apresentação do Resultado da Avaliação.

P.4.5: Concluir Visita

Propósito Concluir a visita de avaliação.

Responsável


Avaliador Líder.

Avaliador, Patrocinador, Ponto de Contato e Participantes

da Avaliação.

Critérios de Entrada Resultado da avaliação recomendado pela Equipe de

Avaliação apresentado ao Patrocinador.

Entradas Relatório Preliminar da Avaliação contendo o resultado

recomendado da avaliação.

Atividades

A1-Organizar e registrar as informações relevantes sobre

a avaliação.

A Equipe de Avaliação organiza as informações geradas e

consultadas durante a visita de avaliação e verifica o

registro dessas informações no Sistema, garantindo o seu

armazenamento.

A2-Levantar as Lições Aprendidas.

A Equipe de Avaliação, o Patrocinador da Avaliação, Ponto

de Contato e os participantes da avaliação levantam as

lições aprendidas sobre as atividades executadas nesta

fase, fornecendo os pontos positivos, pontos negativos e

recomendações de melhorias para a execução dessas

atividades.



Notas:

As lições aprendidas devem estar registradas no

Sistema até o final da Fase 6- Conclusão;

Durante a realização das lições aprendidas será

solicitado a avaliação da:

Equipe de Avaliação pela Organização

Solicitante;

Organização Solicitante pela Equipe de

Avaliação;

Unidade de Serviços de Avaliação pela

Equipe de Avaliação, pela Entidade

Credenciada quando envolvida e pela

Organização Solicitante;

Entidade Credenciada, quando

envolvida, pela Unidade de Serviço de

Avaliação, pela Equipe de Avaliação e

pela Organização Solicitante.


Informações relevantes sobre a avaliação registradas no

Sistema.

Lições aprendidas da Fase 4-Visita levantadas.

Saídas Informações relevantes sobre a avaliação no Sistema.




4.5 Fase 5: Validação

O objetivo da Fase 5 - Validação é assegurar que a avaliação foi realizada em conformidade

com a Metodologia de Avaliação da CERTICS para Software.

Um Validador designado pela Unidade de Serviços de Avaliação verifica se o processo de

avaliação foi conduzido conforme o Método de Avaliação.

Esta fase é concluída com os encaminhamentos decorrentes de um parecer fornecido pelo

Validador sobre a execução da avaliação. O parecer com a validação negativa causa a

suspensão da avaliação pela Unidade de Serviços de Avaliação, para que as providências

cabíveis sejam tomadas junto à Equipe de Avaliação. O parecer com a validação positiva causa

o início da Fase 6 - Conclusão. No final desta fase, a Organização Solicitante recebe o resultado

validado da avaliação para que ela possa recorrer, dentro de um prazo estabelecido, junto à

Unidade de Serviços de Avaliação, no caso de discordar do resultado recebido.


Figura 6 – Diagrama dos processos da fase F5 – Validação.




P.5.1: Consolidar Relatório

Propósito Revisar o texto do Relatório Preliminar da Avaliação

elaborado durante a fase de visita da avaliação.

Responsável Avaliador Líder.

Critérios de Entrada Relatório Preliminar da Avaliação elaborado contendo as

pontuações dos Resultados Esperados com suas

justificativas.

Entradas Relatório Preliminar da Avaliação.

Atividades A1- Consolidar o Relatório Preliminar da Avaliação.

O Avaliador Líder revisa e complementa o relatório

preliminar da avaliação, atualizando-o onde necessário,

sem modificar o resultado recomendado pela Equipe de

Avaliação na Fase 4- Visita, antes de disponibilizá-lo para

a validação.

Critérios de Saída Relatório Preliminar da Avaliação consolidado no

Sistema.

Saídas Relatório Preliminar da Avaliação consolidado.

P.5.2: Designar Validador

Propósito Designar um Validador para realizar a validação do

resultado da avaliação realizada.

Responsável



Validador da Avaliação.


Relatório Preliminar da Avaliação consolidado no

Sistema.

Sistema contendo todos os registros do resultado da

avaliação, consolidado no relatório preliminar da

avaliação.

Entradas Lista de Validadores da CERTICS no Sistema.



Atividades A1- Designar o Validador da Avaliação.


designa um Validador para validar a avaliação realizada.

Nota:

O Contrato de Avaliação garante a confidencialidade das

informações pelos profissionais envolvidos na execução

da avaliação, tanto os pertencentes à Unidade de

Serviços de Avaliação, como os vinculados à Entidade

Credenciada.

Critérios de Saída Validador da Avaliação designado.

Saídas N/A.

P.5.3: Validar Resultado da Avaliação

Propósito

Validar o resultado da avaliação realizada pela Equipe de

Avaliação, para assegurar que a avaliação foi conduzida

em conformidade com a Metodologia de Avaliação da

CERTICS para Software, e que os dados utilizados e os

resultados produzidos estão adequados.

Responsável



Avaliador Líder.

Responsável da Unidade de Serviços de Avaliação.

Critérios de Entrada Dados registrados no Sistema sobre Organização


Dados registrados no Sistema sobre a pontuação

atribuída às evidências consideradas para cada Resultado

Esperado, a pontuação atribuída aos Resultados

Esperados com suas respectivas justificativas, a

pontuação atribuída às Áreas de Competência, e se

houver os registros dos Pontos Fracos, dos Pontos Fortes

e das Oportunidades de Melhoria.



Entradas Checklist da Validação.

Formulário contendo os dados registrados no Sistema

sobre Organização Solicitante e do software.

Formulário contendo os dados registrados no Sistema

sobre a pontuação atribuída às evidências consideradas

para cada Resultado Esperado, a pontuação atribuída aos

Resultados Esperados com suas respectivas justificativas,

a pontuação atribuída às Áreas de Competência, e se

houver os registros dos Pontos Fracos, dos Pontos Fortes

e das Oportunidades de Melhoria.

Relatório Preliminar da Avaliação consolidado.

Formulário do Parecer de Validação da Avaliação.

Atividades A1 – Validar o resultado da avaliação.

Para a execução desta atividade, o Validador utiliza um

checklist contendo uma lista de elementos a serem

validados na avaliação realizada.

O Validador analisa o conteúdo do relatório preliminar da

avaliação, no sistema, verifica se o processo de avaliação

foi conduzido conforme o Método de Avaliação, se as

evidências analisadas durante a visita estão coerentes

com os Resultados Esperados e se as pontuações

atribuídas a esses Resultados Esperados e o seu

racional/justificativa estão adequadas para as evidências

analisadas. No caso de ser encontrada alguma

inconsistência, uma justificativa deverá ser registrada no

Parecer de Validação da Avaliação para alertar o

Avaliador Líder da necessidade de serem feitos ajustes.

Também é verificada a clareza e a coerência da redação

do racional/justificativa registrados. Caso seja

encontrada alguma inconsistência, uma justificativa

deverá ser registrada no Parecer de Validação da

Avaliação para alertar o Avaliador Líder da necessidade



de serem feitos ajustes.

Durante a validação, o Validador pode interagir com o

Avaliador Líder para possíveis esclarecimentos e ajustes

no relatório preliminar, que passam a ser considerados

para a geração do relatório validado. O Validador pode

interagir com o responsável da Unidade de Serviços de

Avaliação para esclarecer dúvidas ou para que os

problemas não acordados entre o Validador e Avaliador

Líder sejam escalados a um Comitê interno.

A2- Fornecer o parecer da validação.

O Validador fornece o parecer de validação da avaliação,

podendo ter como resultado uma validação positiva ou

uma validação negativa acompanhada da respectiva

justificativa. Esta atividade é concluída com os

encaminhamentos decorrentes deste parecer.

O parecer com validação negativa causa a suspensão da

validação pelo responsável da Unidade de Serviços de

Avaliação. As providências cabíveis devem ser tomadas

junto ao Avaliador Líder. O Avaliador Líder pode interagir

com o Validador para possíveis esclarecimentos sobre o

parecer recebido. Caso não consiga entrar em acordo, o

Validador escala ao responsável da Unidade de Serviços

de Avaliação para resolver o problema.

As mudanças para atender o parecer da validação

deverão constar no Relatório Preliminar da Avaliação,

para que possam ser consideradas na geração do

Relatório Validado da Avaliação, após serem realizadas

novamente, quantas vezes forem necessárias, as

atividades A1 – Validar o resultado da avaliação e A2-

Fornecer o parecer da validação, até o parecer da

validação ser positivo.

Critérios de Saída Parecer de Validação da Avaliação preenchido pelo



Validador.

Checklist da Validação preenchido.

Relatório Preliminar da Avaliação atualizado.

Parecer de Validação da Avaliação positivo.

Saídas

Parecer de Validação da Avaliação.

Relatório Preliminar da Avaliação.

Checklist da Validação.

P.5.4: Concluir Validação

Propósito Concluir a Fase de Validação, tendo como resultado o

Relatório Validado da Avaliação e o levantamento das

lições aprendidas dessa fase.

Responsável




Avaliador Líder.


Parecer de Validação da Avaliação preenchido pelo

Validador.

Relatório Preliminar da Avaliação atualizado.

Parecer positivo da validação da avaliação.

Entradas Parecer de Validação da Avaliação.

Atividades A1 – Gerar o Relatório Validado da Avaliação.

Uma vez validados os resultados e a recomendação da

avaliação, estas informações são consolidadas em um

Relatório Validado da Avaliação, pelo Validador,

contendo o resultado final da avaliação. Esse relatório

deve conter as pontuações de cada Resultado Esperado

por Área de Competência, com o racional utilizado

(justificativa). Poderá conter Pontos Fracos, Pontos

Fortes e Oportunidades de Melhorias.

A2- Enviar Relatório Validado à Organização Solicitante.



O Patrocinador da Avaliação recebe o Relatório Validado

da Avaliação para que o mesmo aceite o resultado da

avaliação recebido ou possa recorrer junto à Unidade de

Serviços de Avaliação, dentro de um prazo estabelecido e

informado, sobre o resultado recebido.

Quando o Patrocinador da Avaliação discordar do

resultado da avaliação, uma justificativa deve ser

elaborada para cada item do Relatório Validado da

Avaliação, alegando o motivo pelo qual não concorda

com o resultado da avaliação recebido. O responsável

pela Unidade de Serviços de Avaliação analisa a

justificativa recebida, e verifica se os itens apontados

pelo Patrocinador da Avaliação já foram discutidos e

alinhados entre o Avaliador Líder e o Validador. Caso

sejam itens já resolvidos internamente durante a

validação, o responsável pela Unidade de Serviços de

Avaliação informa o Patrocinador que a sua justificativa

não procede e que o resultado da avaliação será

mantido. Caso os itens apontados não foram percebidos

durante a validação, o responsável pela Unidade de

Serviços de Avaliação encaminha ao Avaliador Líder para

a sua análise. Após essa análise, o Avaliador Líder

atualiza o Relatório da Avaliação nos itens que procedem

e justifica os itens que ele não aceitou, enviando esse

resultado ao responsável da Unidade de Serviços de

Avaliação. O responsável da Unidade de Serviços de

Avaliação escala a um Comitê interno, os itens rejeitados

pelo Avaliador Líder, com a respectiva justificativa, para

que uma decisão seja tomada, podendo esse Comitê

concordar ou não com as justificativas fornecidas pelo

Patrocinador. Caso a decisão do Comitê seja favorável, o

Relatório Validado da Avaliação é atualizado pelo

Avaliador Líder e encaminhado ao Patrocinador pelo

responsável da Unidade de Serviços de Avaliação. Caso a

decisão do Comitê seja desfavorável, o Patrocinador da

Avaliação é informado dessa decisão, com a respectiva

justificativa.

As informações presentes no Relatório Validado da

Avaliação são incorporadas no Relatório Final da

Avaliação gerado na Fase 6 – Conclusão.

A3- Levantar as Lições Aprendidas.

O Avaliador Líder e o Validador da Avaliação levantam as



lições aprendidas sobre as atividades realizadas nesta

fase, fornecendo os pontos positivos, pontos negativos e

recomendações de melhorias na execução dessas

atividades.

Nota:



Critérios de Saída Relatório Validado da Avaliação gerado.

Lições aprendidas da Fase 5-Validação levantadas.

Saídas Relatório Validado da Avaliação.




4.6 Fase 6: Conclusão

O objetivo da Fase 6 - Conclusão é concluir o processo de avaliação.

Nesta fase, o Relatório Final da Avaliação é enviado ao Responsável pela Metodologia para a

revisão do resultado da avaliação e a emissão do Laudo de Avaliação, no caso do resultado da

avaliação ser positiva. O Relatório e o Laudo são então enviados à Organização Solicitante. As

lições aprendidas são coletadas e registradas no Sistema, e o processo de avaliação é

terminado com a emissão do Termo de Quitação.

Caso o resultado da avaliação seja positivo, a Organização Solicitante pode submeter um pleito

à SEPIN/MCTI para a emissão do certificado CERTICS.


Figura 7 – Diagrama dos processos da Fase 6 - Conclusão

Os dois processos e suas atividades que compõem esta fase estão descritos a seguir.



P.6.1: Enviar Resultado

Propósito Concluir a Fase de Validação, tendo como resultado um

Relatório Final de Avaliação validado e o registro das

lições aprendidas dessa validação.

Responsável



Responsável pela Metodologia, Patrocinador,

Responsável pelo MCTI.

Critérios de Entrada Relatório Validado da Avaliação “aceito” pelo


Entradas Relatório Validado da Avaliação.

Atividades A1- Gerar o Relatório Final da Avaliação.


gera o Relatório Final da Avaliação, contendo as

pontuações de cada Resultado Esperado por Área de

Competência, com o racional utilizado (justificativa).

Poderá conter Pontos Fracos, Pontos Fortes e

Oportunidades de Melhorias. Também deve conter

informações da Organização Solicitante, identificação do

software, identificação da Equipe de Avaliação, entre

outros.

A2 – Enviar Relatório Final ao Responsável pela

Metodologia.


envia o Relatório Final da Avaliação ao Responsável pela

Metodologia para que o mesmo revise o resultado dessa

avaliação. Caso o resultado da avaliação seja positivo, é

emitido o Laudo de Avaliação.

A3 - Emitir o Laudo de Avaliação.

O Responsável pela Metodologia (CTI RENATO ARCHER)

emite o Laudo de Avaliação tendo como referência as

informações contidas no Relatório Final da Avaliação.

A4- Enviar o resultado da avaliação à Organização



Solicitante.


envia ao Patrocinador da Avaliação o Relatório Final da

Avaliação. Caso o resultado da avaliação seja positivo é

também enviado o Laudo de Avaliação.

Caso o resultado da avaliação seja positivo, a

Organização Solicitante pode submeter um pleito à

SEPIN/MCTI para a emissão do certificado CERTICS.


Relatório Final da Avaliação gerado, revisado e enviado

ao Patrocinador da Avaliação.

Laudo de Avaliação emitido, caso o resultado da

avaliação seja positivo.

Saídas Relatório Final da Avaliação.

Laudo de Avaliação.

P.6.2: Concluir Avaliação

Propósito Orientar a conclusão da avaliação.

Responsável



Equipe de Avaliação (Avaliador Líder e/ou Avaliador).

Participantes da Avaliação.


Dados gerados durante avaliação e registrados no

Sistema.

Informações das Lições Aprendidas no Sistema.

Entradas Dados da avaliação registrados no Sistema

Atividades A1- Registrar as lições aprendidas.


solicita o registro das lições aprendidas levantadas nas

fases anteriores que ainda não foram registradas no

Sistema. Essas informações servem como insumo para as



atividades de monitoramento e para a melhoria contínua

da Metodologia de Avaliação da CERTICS para Software.

A2- Emitir o Termo de Quitação.

O contrato de avaliação é terminado e o Termo de

Quitação é emitido pelo responsável de Unidade de

Serviços de Avaliação.

A3- Bloquear o acesso ao Sistema.

O acesso ao Sistema deve ser bloqueado pelo

responsável da Unidade de Serviços de Avaliação.

Caso necessário, somente o Administrador do Sistema

terá acesso aos dados da avaliação, no Sistema.


Lições Aprendidas registradas no Sistema.

Termo de Quitação emitido.

Sistema com acesso bloqueado.

Saídas Lições Aprendidas.

Termo de Quitação.



5. Considerações Finais

Informações adicionais sobre a CERTICS, a forma de contratação de uma avaliação da CERTICS,

o Modelo de Referência e o Método de Avaliação podem ser obtidas no endereço



CTI RENATO ARCHER - Certics · de Tecnologia da Informação Renato Archer (CTI Renato Archer). A...

Documents

Transcript of CTI RENATO ARCHER - Certics · de Tecnologia da Informação Renato Archer (CTI Renato Archer). A...