Post on 05-Jul-2015
AVALIAÇÃO DO PROJETO INVERNO GAÚCHO
INTEGRANTES:
SES FEE SEFAZ Consultora externa
2
Introdução
Infecções Respiratórias Agudas (IRAs): 4% dos óbitos entre as crianças com menos 1 ano, no RS.
Pneumonia: 8% da demanda por doenças respiratórias dos ambulatórios de pediatria. 50% dos óbitos por IRA. Quarta causa de morte em menores de 1 ano.
2005: implantação do Projeto Inverno Gaúcho (PROIG):
atendimento de pacientes em razão de IRA
foco na atenção à criança menor de 5 anos.
3
PROIG
Composto por um conjunto de ações :
a) Abertura do terceiro turno de atendimento em postos de saúde (até as 22h);
b) Fornecimento de kits de medicamentos;
c) Capacitação de técnicos das Coordenadorias Regionais de Saúde que são responsáveis pela multiplicação das informações das Normas Técnicas e Operacionais (NTO) para rede básica municipal;
d) Ações de educação com foco nas doenças de inverno através dos meios de comunicação.
O principal indicador para avaliação do impacto do PROIG: Taxa de Internação por Infecção Respiratória Aguda (IRA) em menores de 5 anos.
4
Evolução do número de municípios aderentes ao PROIG
Tabela 1 – Número de municípios aderentes ao PROIG e participação percentual em relação ao total dos municípios do RS – 2005-2008
AnoNúmero de municípios Percentual em relação ao
aderentes Total de Municípios do RS2005 346 69,82006 314 63,32007 274 55,22008 292 58,9
Fonte: SES-RS
5
Justificativa para a realização da avaliação
A avaliação das políticas governamentais: estabelecimento de parâmetros adequados para a distribuição de recursos.
Corrigir, aperfeiçoar ou qualificar o projeto implementado, do ponto de vista de sua eficiência.
2008: avaliação do PROIG pela SES – Núcleo de Monitoramento e Avaliação/DAS
Originalidade da avaliação de 2009: diferença observada entre municípios que aderiram ao PROIG e aqueles que não aderiram, antes e depois da implantação do mesmo.
6
Questões norteadoras
1 - Qual o impacto do Projeto Inverno Gaúcho sobre o número de internações por IRA em crianças menores de cinco anos em diferentes municípios do Rio Grande do Sul?
2 - Existem diferenças na Taxa de Internação entre municípios, com características similares, que fazem parte do referido projeto e aqueles que não fazem?
7
Objetivos
1 - Avaliar o impacto do Projeto Inverno Gaúcho na redução na Taxa de Internação por Infecção Respiratória Aguda (IRA) em menores de cinco anos no RS nos meses de atuação do projeto.
2 - Identificar, nos municípios que aderiram ao projeto, a taxa de Internação por Infecção Respiratória Aguda (IRA) em menores de cinco anos antes e após a adesão ao projeto.
3 - Comparar a taxa de Internação por Infecção Respiratória Aguda (IRA) em menores de cinco anos nos municípios alvo com outros municípios similares, mas que não aderiram ao projeto.
8
Metodologia
Desenho da investigação de forma esquemática abaixo:
2004 X 2005 Grupo do PROIG (tratamento)
------------------------------
2004 2005 Grupo sem PROIG (controle)
9
Variáveis do Estudo
Taxa da internação por IRA = razão entre número de internações por IRA de crianças com 5 anos ou menos durante os meses do PROIG e a população total de crianças naquela faixa etária no mesmo ano multiplicado por mil e dividido por 3 em função do PROIG ocorrer somente durante 3 meses no ano.
10
Variáveis independentes
X= Aderiu ao PROIG=1 e Não aderiu =0:
Nº de leitos pediátricos e UTI pediátrica (2003 até 2008);
Consultas pré-natal (2003 até 2008);
Cobertura vacinal até 1 ano de idade (2003 até 2008);
Número de crianças com baixo peso ao nascer;
Presença de Programa de Saúde da Família;
Presença do Programa Viva Criança;
11
Variáveis independentes
Presença do Primeira Infância Melhor;
Nº de leitos;
Recursos financeiros transferidos aos municípios;
Taxa de fecundidade;
População total ;
Taxa de urbanização;
IDESE
12
Fonte dos dados
DATASUS
FEEDADOS
IBGE
Núcleo de Informação em Saúde – NIS/SES-RS
13
Estratégia Analítica
Estatísticas descritivas: diferenças de médias entre participantes e não do PROIG.
Regressões multivariadas onde a dependente foi a taxa de internação por IRA no momento posterior ao PROIG menos a mesma taxa no momento anterior ao PROIG.
Estratégia da diferença da diferença.
14
A lógica da técnica da diferença da diferença pode ser vista no esquema abaixo:
PROIG (=1) Não PROIG (=0)
(Int IRA2005-Int IRA2004) - (Int IRA2005-Int IRA 2004)
Em função do fato dos municípios que aderem mudarem de ano para ano, a partir de 2006, para compararmos cada ano com cada ano tivemos de inverter nosso banco de dados e trabalhar com a técnica da diferença da diferença usando uma variável interativa.
Estratégia Analítica
Modelo com variável interativa Taxa geral de IRA= a + aderiu (=1) + ano
após o PROIG (=1) + aderiu * ano após
O impacto do PROIG seria o valor do coeficiente de regressão para a variável interativa.
Nossos modelos de regressão não foram expressivos, por isso utilizamos a estratégia do pareamento.
16
Após uso de análise multivariada usamos técnica do pareamento.
A técnica de pareamento: identificar que as unidades não tratadas (municípios que não aderiram ao PROIG) sejam similares às unidades tratadas (municípios que aderiram ao PROIG).
Através de uma regressão logística, estimando a chance de participar, cada município (entre participantes e não do projeto) tem um escore. Escores similares ficam na amostra.
Estratégia Analítica
17
Resultados
Tabela 2 – Número de internações por IRA nos municípios do RS - 2004-2008
Ano Número de internaçõespor ano
Número de internações somentenos meses do PROIG
2008 25.831 9.843
2007 29.683 10.985
2006 31.281 11.021
2005 31.298 11.804
2004 38.286 13.806Fonte de dados brutos: SIH-DATASUS-MS
18
Tabela 3 – Taxas médias mensais e taxas totais de internações por IRA durante os meses do PROIG nos municípios do RS - 2004-2008
2004 2005 2006 2007 2008
Média 5,5029 4,6175 4,2194 5,1792 4,2937
Taxa total RS 15,46 12,92 11,93 14,09 13,38
Fonte de dados brutos: SIH-DATASUS-MS
Resultados
19
Tabela 4 – Diferença de médias da diferença 2005-2004 entre participantes e não participantes do PROIG
Resultados
Aderiu em 2005 N Média da
diferençaDesvio padrão
Erro padrão
txin0504 1 Sim 346 -0,8474 3,57921 0,19242
0 Não 150 -0,9732 4,84119 0,39528P=.64
20
Tabela 5 – Diferença de médias da diferença 2006-2004 entre participantes e não participantes do PROIG
Resultados
Aderiu em 2006 N Média da
diferençaDesvio padrão
Erro padrão
txin0604 1 Sim 314 -1,4689 4,06747 0,22954
0 Não 182 -0,9637 4,50006 0,33357P=.20
21
Tabela 6 – Diferença de médias da diferença 2007-2004 entre participantes e não participantes do PROIG
Resultados
Aderiu em 2007 N Média da
diferençaDesvio padrão
Erro padrão
txin0704 1 Sim 274 -0,2334 4,32677 0,26139
0 Não 222 -0,4353 5,17813 0,34753
Tabela 7 – Diferença de médias da diferença 2008-2004 entre participantes e não participantes do PROIG
Resultados
Aderiu em 2008 N Média da
diferençaDesvio padrão
Erro padrão
txin0804 1 Sim 292 -1,3711 4,66345 0,27291
0 Não 204 -0,9776 4,89570 0,34277P=.36
23
Tabela 8 – Diferença de médias da diferença 2008-2004 entre Participantes durante todos os anos do PROIG e aqueles que nunca participaram
Resultados
Constância na adesão N Média da
diferençaDesvio padrão
Erro padrão
txin0804 1 sempre esteve no programa 214 -1,0744 3,90961 0,26726
0 nunca esteve 107 -1,1728 5,02862 0,48613P=.84
24
Análise de Impacto
Nossos modelos de impacto (análises de regressão multivariadas), para cada ano do PROIG, foram muito pouco explicativos.
Especificamente quanto aos resultados do primeiro ano do PROIG (2005) não observamos impacto do PROIG.
E ainda que participantes do PROIG em 2005 tiveram aumento, ainda que ínfimo, das internações de 2004 para 2005 em comparação com não participantes quando consideramos as variáveis de controle.
25
Análise de Impacto
Impacto do PROIG no ano de 2008 comparado com o ano base 2004:
Em média ele é muito pequeno, no sentido de que municípios participantes em 2008 tiveram maior decréscimo nas taxas entre 2008 e 2004 que os não participantes.
26
Análise de Impacto Análises multivariadas comparando os anos do PROIG
entre si: a variável que mede o impacto do programa não se manifestou significativa em nenhuma das comparações.
Outro modelo: variável independente principal o grau de participação (e não mais se participou ou não do PROIG) considerando apenas aqueles que participaram em todos os anos do PROIG versus aqueles que nunca participaram.
Tal análise também não apontou tendências expressivas de impacto.
27
Análise com pareamento Tabela 9 – Taxas de internação 2005 para participantes e não,
antes e após pareamento n=435
Variável Amostra No PROIG Fora do PROIG Diferença erro padrão T-stat
tax_in05 Não pareado 4,62048756 4,61059056 0,009897008 0,421310699 0,02
Pareado 4,68228933 4,20513031 0,477159025 0,736121459 0,65
28
Análise com pareamento Taxas de internação em 2006 (n=485):
Municípios integrantes do PROIG:
Antes do pareamento= 4,13
Após pareamento= 4,18
Municípios não integrantes do PROIG:
Antes do pareamento= 4,36
Após pareamento= 4,53
29
Análise com pareamento Taxas de internação em 2007(n=486):
Municípios integrantes do PROIG:
Antes do pareamento= 5,12
Após pareamento= 5,20
Municípios não integrantes do PROIG:
Antes do pareamento= 5,24
Após pareamento= 5,43
30
Análise com pareamento Tabela 10 – Taxas de internação 2008 para participantes e não,
antes e após pareamento ( n=487)
Variável Amostra No PROIG Fora do PROIG Diferença erro padrão T-stat
tax_in08 Não Pareado 4,31584614 4,26198882 0,053857318 0,336538236 0,16
Pareado 4,3529952 4,71974281 -0,366747611 0,546623595 -0,67
31
Considerações Finais: Sugestões
Incluir de novas variáveis independentes, tais como clima.
Conhecer condições de adesão dos municípios ao projeto: avaliação de processo.
Reforçar supervisão.
Incluir outros indicadores na avaliação: IRA em população idosa, incluir mês de setembro.
Aprimoramento do banco de dados.
32
Considerações Finais: Limitações do Estudo
Projeto não foi desenhado para ser avaliado.
Falta de dados atualizados em termos de características sócio-demográficas.
Limitações da variável taxa de internação: nem sempre internações seguem critérios inteiramente técnicos.
33
Considerações Finais: Contribuições
Presença de técnicos na área de saúde, finanças, economia, sociologia, estatística e administração, bem como de uma consultora externa com formação na área de métodos quantitativos e avaliação de políticas públicas. Interdisciplinaridade.
Caráter interinstitucional do trabalho, pois ele foi construído com a colaboração de três órgãos públicos: Secretaria da Saúde, Secretaria da Fazenda e FEE.
34
Considerações Finais: Contribuições
Fato de termos trabalhado com dois grupos (aqueles que fizeram parte e que não fizeram parte do projeto) e de termos realizado o procedimento estatístico do pareamento dos grupos, o qual, mesmo não sendo perfeito garantiu maior rigor nas comparações das taxas de internação por IRA nos diferentes anos do PROIG.
35
Considerações Finais: O Futuro
Disseminação dentro do setor público: monitoramento e avaliação das políticas públicas se torne um processo essencial para a administração pública.
Maior divulgação desses conhecimentos técnicos: formato de seminários, pequenos cursos, palestras e publicações aqui no Rio Grande do Sul ou mesmo em outras partes do Brasil.
Gestores se organizem em termos de uma rede de discussão sobre avaliação, não somente em nível estadual, mas também em conjunto com técnicos e pesquisadores de outras partes do Brasil e do mundo.