Post on 09-Jan-2017
Possibilidade de Avaliação dos Sistemas de Informação:
O estudo do SIM
Secretaria de Saúde do Estado de Pernambuco
Secretaria Executiva de Vigilância em Saúde
Diretoria Geral de Vigilância Epidemiológica e Ambiental
Gerencia de Monitoramento e Vigilância de Eventos Vitais
Itamaracá – DEZ/2010
PATRICIA ISMAEL DE CARVALHO*PAULO GERMANO FRIAS**
SUELY ARRUDA VIDAL**
* SES-PE** IMIP
• Institucionalização da Avaliação
“... não basta institucionalizar a avaliação, é preciso questionar a capacidade da avaliação de produzir as informações e julgamentos necessários para ajudar as instâncias decisórias a melhorar o desempenho do SUS” (CONTANDRIOPOULOS, 2006).
• Avaliabilidade – Possibilidade de Avaliar
• Descreve o programa, analisando sua plausibilidade, a viabilidade de seus objetivos e a aceitação por parte dos gestores, responsáveis políticos e usuários
• Define a teoria do programa inclui as relações e lógica de funcionamento, assim como a identificação de interessados ou pessoas-chaves que podem apontar suas preocupações e percepções
• Levanta as questões importantes a serem respondidas no processo de avaliação (SMITH, 2005).
• Utilidade dos SIS?
Apontar as ações imediatas para os casos importantes Medir a magnitude do evento: fatores e população em risco Acompanhar a tendência do evento Orientar o planejamento, implementação e avaliação de programas de prevenção e controle Avaliar de politicas de saúde Identificar das mudanças nas práticas de saúde e os efeitos Priorizar os recursos Descrever clinica dos agravos Fornecer base de dados para os estudos
(CDC, 2001)
• Atributos dos SIS?
Simplicidade FlexibilidadeQualidade do dado Aceitabilidade Sensibilidade Especificidade RepresentatibilidadeOportunidade Estabilidade
(CDC, 2001)
Etapas da produção da informação com qualidade: • Coleta e ordenamento dos dados (cobertura e conteúdo)• Processamento (recebimento e controle, codificação, solicitação de informaçãocomplementar, transcrição, classificação e tabulação, com o controle das inconsistênciase construção e apresentação de cálculos básicos)• Análise preliminar dos dados, comparação com parâmetros, identificação e análise dasdiscrepâncias e a identificação de possíveis decisões (FERRERO e GIACOMINI, 1973apud MORAES, 1994)
•Sistema de informação sobre mortalidade (SIM)
• Criado em 1975;•Padronização do Instrumento e fluxo;• Informações de mortalidade (epidemiológicas e demográficas );• Aumento da cobertura (LAURENTI et.a.l, 2006).
•Perguntas condutoras
•A concepção e operacionalização do sistema permitem a delimitação do objeto da avaliação?
• Há possibilidade de se desenvolver estratégias de avaliação para o SIM?
• O SIM pode ser avaliado?
Teoria do SIM
Entrevista
Modelo lógico
Especialista
Documentos
Modelo lógico final
Ciclo de Avaliabilidade
Teoria do SIM
Entrevista
Modelo lógico
Especialista
Documentos
Modelo lógico final
Ciclo de Avaliabilidade
Protocolo de investigação
Objetivo
Estudo de caso Critérios
Matriz de indicadores
Especialistas
Matriz de relevância
1- Definição do problema
2- Compreendendo a intervenção
Fonte dos indicadores: Primaria –Entrevistas semi-estruturadas e observação direta Secundária –
documentos oficiais e banco de dados
3 municípios: 1 para cada macro (PDR), 1 maior que 80.000
Hab.
Fonte dos indicadores: Primaria –Entrevistas semi-estruturadas e observação direta Secundária –
documentos oficiais e banco de dados
Teoria do SIM
Entrevista
Modelo lógico
Especialista
Modelo lógico final
Protocolo de investigação
Objetivo
Estudo de caso Critérios
Matriz de indicadores
Especialistas
Matriz de relevância
3 municípios: 1 para cada macro (PDR), 1 maior que 80.000
Hab.
Documentos
Ciclo de Avaliabilidade
Matriz de julgamento
Utilidade
Factibilidade
Propriedade
Acurácia
EspecificidadePontuação de adesão:
0-39,9% (ruim) 40-79,9% (regular)
80-100% (boa)
Como avaliar
Teoria do SIM
Entrevista
Modelo lógico
Especialista
Modelo lógico final
Protocolo de investigação
Objetivo
Estudo de caso Critérios
Matriz de indicadores
Especialistas
Matriz de relevância
Matriz de julgamento
Documentos
Coleta
Desenvolvimento do estudo de caso
Análise
resultado da matriz de julgamento
Confronto com o modelo lógico
Relato do Caso
Meta avaliação:
Ciclo de Avaliabilidade
Utilidade do estudo
Entrevista
•Quantidade: 20 gestores municipais•Tempo de serviço (mediana): 5 anos• Objetivo do SIM:
•“Dá acesso com fidedignidade os óbitos, dando recursos ao gestor para interagir com as causas de óbito, evitando e controlando a mortalidade no município”.• “Analisar, captar, saber a situação de nosso município, descobrindo o que mais mata, evitando assim as causas de morte”• “Monitorar as estatísticas de mortalidade e planejar as ações de saúde”
• Necessidade de avaliação: 2 respostas negativas• Perguntas Avaliativas (alguns entrevistados citaram mais de 1 pergunta):
• 8 respostas não válidas• 8 de caráter epidemiológico• 10 de caráter avaliativo (com algumas adaptações).
•Perguntas avaliativas
• Qual a adesão do Sistema de Informação sobre Mortalidade (SIM), no município, ao que é preconizado?
• Quais os pontos mais vulneráveis desse sistema no nível municipal?
Informações mais fidedignas a partir do nível hospitalar
Garantir o funcionamento do SIM, de forma planejada, segundo a normatização, priorizando o desenvolvimento dos profissionais envolvidos e o monitoramento e avaliação do sistema.
Modelo lógico do SIM
Gestão do Sistema de Informação de Mortalidade (SIM)
O programa completo e ágil
Operacionalização nas normas técnicas
Gestão planejada
Monitoramento e avaliação
Indicadores operacionais
Informações com cronograma de divulgação
Capacitações e sensibilizações
Componente
Objetivo
Resultados curto/médio
Suprimento das declarações de
óbito (DO)
Disponibilizar e suprir oportunamente as
fontes notificadoras de formulários de DO.
Disponibilidade de DO nas fontes notificadoras
Eficaz controle da distribuição das DO
Preenchimento da DO
Possibilitar o correto
preenchimento da DO
Melhor qualidade de preenchimento da DO
Melhor qualidade da informação das DO
Preenchimento da DO monitorado pelas US
Coleta da DO Coletar todas as
DO emitidas
Cumprimento do fluxo de coleta da DO
Aumento da cobertura do SIM
Processamento da DO
Processar oportunamente todas as DO coletadas, enviando
transferência para o nível hierárquico
superior
Disponibilização ágil dos dados de mortalidade
Dados codificados processados com qualidade
Informação por bairro e logradouro
Fluxo do sistema com regularidade e oportunidade
óbitos ocorridos em outro município somada ao banco
Resgate de informações e vigilância de
problemas e grupos etários prioritários
Realizar o resgate de informações e a vigilância
epidemiológica do óbito por causas mal definidas, do óbito
em menor de 1 ano (OI), mulher em idade fértil (MIF),
Doença de Notificação compulsória (DNC) e de
outros eventos considerados prioritários
Identificação dos óbitos para investigação por problemas e
grupos etários prioritários
Aprimoramento da definição de causa de morte;
Articulação com assistência para a prevenção de futuros óbitos
Fortalecimento dos comitês específicos e/ou grupo técnico
Redução dos óbitos por causas mal definidas
Melhoria das informações
Maior completitude do Sistema
Análise e divulgação das informações
Produzir e divulgar informações sobre mortalidade para
profissionais de saúde, gestores da saúde,
instituições e a população em geral
Disponibilidade de informações sobre mortalidade
Contribuição para a população exercer o controle social a partir da
divulgação de informações;
Maior alcance das informações sobre mortalidade
Gestão da saúde baseada nas informações no nível da unidade de
saúde
Informações sobre mortalidade contribuindo para a gestão
municipal
Conselho de saúde e ONG com acesso a informação
Modelo lógico do SIMComponente Objetivo Insumos Atividades Produtos
Resultados Curto/Médio
Resultado Final
Gestão do Sistema de
Informação de Mortalidade
(SIM)
Garantir o funcionamento
do SIM, de forma
planejada, segundo a
normatização, priorizando o
desenvolvimento dos
profissionais envolvidos e o
monitoramento e avaliação do
sistema.
Equipamentos de informática
Aquisição de equipamento adequado para executar o
programa do SIM
Equipamentos adequados comprados
O programa do SIM executando de forma
completa e com agilidade
Sistema de Informação
sobre Mortalidade
oportuno, confiável e universal
Normatização adaptada à
realidade local
Disponibilização de manual de normatização para as fontes
notificadoras e demais interessados
Manual de normatização
distribuído
Operacionalização do SIM segundo as normas técnicas
Profissionais e usuários que conheçam o SIM para a
gestão e planejamento
Planejamento das ações do SIM conforme as normas do sistema
e diretrizes do SUS, com os técnicos do sistema e das fontes
notificadoras e usuários
Planejamento do SIM construído
Gestão desenvolvida de forma planejada
Indicadores de monitoramento e avaliação
Construção da matriz de indicadores de monitoramento e
avaliação
Matriz de indicadores de monitoramento e avaliação construída
Monitoramento e avaliação do SIM
estruturada
Profissionais capacitados em
análises operacionais
Análises operacionais dos dados (completitude e cobertura)
Dados analisadosIndicadores
operacionais disponíveis
Financiamento para cursos e
sensibilizações
Programação de capacitações e sensibilizações
Cronograma de capacitações e sensibilizações
construídos
Capacitações e sensibilizações programadas
Financiamento para divulgação
das informações
Programação de divulgação de informações
Programação e divulgação finalizadas
Informações com cronograma de
divulgação
Componente Abordagem Indicador Padrão Fonte de DadosTécnica de Obtenção
Relevância definida por
especialista (%)
R RR RRR
Gestão do
Sistema de
Informação
sobre
Mortalidade
Estrutura
Existência de microcomputador exclusivo para o SIM SIMPrimários Entrevista Semi-
estruturada (ESE) 8,3 25 66,7
Computador do SIM com configuração mínima recomendada pelo DATASUS SIM Primários ESE 0 8,3 91,7
Existência de normatização do SIM adaptada a realidade municipal SIM Primários ESE 0 50 50
Existência de técnicos com conhecimento acerca do sistema disponível para a
construção do planejamento do SIMSIM
Primários ESE0 0 100
Existência de indicadores de monitoramento e avaliação do SIM SIMSecundário Análise
documental (AD)0 8,3 91,7
Existência de financiamento para as capacitações e sensibilizações SIM Secundário AD 0 50 50
Existência de financiamento para a divulgação das informações sobre
mortalidadeSIM
Secundário AD8,3 41,7 50
Processo
Disponibilidade de manual com a normatização do SIM para as diversas
fontes notificadoras e outras instâncias interessadasSIM
Primários ESE0 8,3 91,7
Plano de ação do SIM construído com a participação dos técnicos dos
sistemas, representantes das fontes notificadoras e usuários.SIM
Secundário AD0 25 75
Plano de ação do SIM construído segundo a normatização do SIM SIM Secundário AD 0 16 83,3
Desenvolvimento sistemático de análise operacionais de completitude e
cobertura. SIM
Secundário AD0 0 100
Periodicidade das análises operacionais. trimest
ral
Secundário AD0 8,3 91,7
Construção de cronograma de capacitações/sensibilizações SIMSecundário Análise
Documental 0 41,7 58,3
Resultado
SIM funcionando segundo a normatização SIM Primários ESE 0 0 100
Gestão do sistema de forma planejada SIM Secundário AD 0 0 100
Realização do monitoramento do SIM SIM Secundário AD 0 0 100
Realização de avaliação anual do SIM SIM Secundário AD 0 0 100
As capacitações/sensibilizações organizadas em cronograma SIM Secundário AD 0 50 50
Matriz de relevância
Matriz de julgamento
ComponenteAbordagem/
PesoNúmero de Indicadores
Peso
Gestão do Sistema de Informação
sobre Mortalidade-
100 pontos
Estrutura/ 30
Processo/ 40
Resultado/ 30
3
5
4
10,0
8,0
7,5
Acumulado 100,00
Subtotal 100,0
4
2
10,0
15,0
200,00
Suprimento das
declarações de óbito
(DO) - 100 pontos
Preenchimento da DO - 100
pontos
2 15,0
2 20,0
1 30,0
300,00
Coleta da DO - 100 pontos
4
1
3
7,5
40,0
10,0
400,00
Processamento DO - 100 pontos
5
8
2
6,0
5,0
15,0
500,00
Resgate de informações e vigilância de problemas de
saúde e grupos prioritários -100 pontos
8
20
6
3,8
2,0
5,0
600,00
Análise, disseminação e divulgação das informações -
100 pontos
3
5
10,0
8,0
700,00Total
Matriz de julgamento
Componente
Abordagem
/Peso Indicador Peso
Gestão do
Sistema de
Informação
sobre
Mortalidade -
100 pontos
Estrutura
30
Computador do SIM com configuração mínima recomendada pelo DATASUS 10,0
Existência de técnicos com conhecimento acerca do sistema disponível para a construção do planejamento do SIM 10,0
Existência de indicadores de monitoramento e avaliação do SIM 10,0
Processo / 40
Disponibilidade de manual com a normatização do SIM para as diversas fontes notificadoras e outras instâncias interessadas 8,0
Plano de ação do SIM construído com a participação dos técnicos dos sistemas, representantes das fontes notificadoras e usuários. 8,0
Plano de ação do SIM construído segundo a normatização do SIM 8,0
Desenvolvimento sistemático de análise operacionais de completitude e cobertura. 8,0
Periodicidade das análises operacionais. 8,0
Resultado / 30
SIM funcionando segundo a normatização 7.5
Gestão do sistema de forma planejada 7.5
Realização do monitoramento do SIM 7.5
Realização de avaliação anual do SIM 7.5
Subtotal 100,0
Especialista
A técnica de consenso utilizada foi uma adaptação do comitê tradicional, que é caracterizado pela discussão aberta entre especialistas selecionados. (SOUZA, VIERA-DA-SILVA, HARTZ, 2005).