IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em...

30
IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP www.unifesp.br/dis Projeto de um Data Warehouse para a Saúde Pública Ricardo S. Santos - DIS/Unifesp Marco Antônio Gutierrez - INCOR Sérgio Furuie - INCOR Umberto Tachinardi - SES-SP

Transcript of IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em...

Page 1: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

Projeto de um Data Warehouse para a

Saúde Pública

Ricardo S. Santos - DIS/Unifesp

Marco Antônio Gutierrez - INCOR

Sérgio Furuie - INCOR

Umberto Tachinardi - SES-SP

Page 2: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

AGENDA

• Introdução

• A proposta do projeto

• Metodologia e Estratégia de Desenvolvimento

• A carga dos Dados

• A exibição da Informação

• Resultados e Discussão

• Conclusões

Page 3: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

Introdução

Page 4: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

OBJETIVO

O objetivo deste trabalho é apresentar um projeto de implementação de um Data Warehouse (DW) destinado à gestão da saúde pública.

O DW pretende suprir a Secretaria de Estado de Saúde de São Paulo (SES-SP) com informação gerencial obtida através da integração de dados provenientes de diversas fontes isoladas.

KDD – Knowledge Discovering in Databases

Page 5: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

BD1 BD2 BD3

Processo de Carga(Ferramentas ETL)

DW

Acesso aos Dados(Ferramentas OLAP)

Metadados

Dados Operacionais

Consultas/Relatórios Gerenciais

Plataforma que contém os dados da

organização, centralizados e organizados de

forma que usuários, de maneira muito simples, possam extrair relatórios

analíticos, complexos, contendo

informações gerenciais para apoio à decisão.(Shams, 2001).

DEFINIÇÕES

Page 6: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

Data Sources

Operational DBs

other

sources

Analysis

Query

Reports

Data mining

Front-End ToolsOLAP Engine

Serve

OLAP Server

Data

Warehouse

Extract

Transform

Load

Refresh

Metadata

Data Marts

Data Storage

Contexto do DW

Page 7: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

DEFINIÇÕES

• Metadados: Dados a respeito de dados

Descrevem completamente os dados (bases) que representam, permitindo ao usuário decidir sobre a utilização desses dados da melhor forma possível.

Um item de um metadado pode dizer do que se trata aquele dado, geralmente uma informação inteligível por um computador.

Os metadados facilitam o entendimento dos relacionamentos e a utilidade das informações dos dados.

Page 8: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

DEFINIÇÕES

• Ferramentas ETLETL - Extração, Transformação e Carga de Dados

O ETL ou ETT (Extração, Transformação e Transporte)

Parte do Data Warehouse responsável por ler os dados do sistema origem, Tratar, Limpar, Transformar e Carregar esses dados no Data Warehouse.

Uma das fases mais criticas de um Data Warehouse: envolve a movimentação dos dados.

Poderosa fonte de geração de metadados, e que contribuem muito para a produtividade da equipe de TI.

• 1. definir fontes de dados e fazer a extração deles

• 2. transformar e limpar os dados, padronizar (reduzir inconsistência e lixo)

• 3. integrar todas fontes de dados num único banco (garantir integridade dos dados)

Page 9: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

DEFINIÇÕES

• Ferramentas OLAP - On-line Analytical Processing

• Voltadas para o suporte à decisão.• para acesso e manipulação de grandes depósitos de dados;• integração de informações provenientes de fontes diversas• software que permite analisar e visualizar dados corporativos

de forma rápida, consistente e principalmente interativa• permitem análises estatísticas sofisticadas e simulação

eficiente de novas associações entre os dados.• espaço multidimensional, onde cada eixo representa uma

dimensão e os pontos neste espaço com um valor medido correspondente a interseção dos elementos correspondentes em dada dimensão .

• ferramenta de Business Inteligente utilizada para apoiar as empresas na análise ad-hoc de suas informações, visando obter novos conhecimentos que são empregados na tomada de decisão.

Page 10: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

Termos do Olap

Dimensões Cubo

Hierarquia:

1. Geografia

2. País

3. Estado

4. Cidade

5. Etc...

Membros

Medidas:

É representada por uma dimensãoespecial utilizada para realizar comparações.

Inclui membros como:

custos, lucros ou taxas.

Page 11: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

DEFINIÇÕES

• Data mining

• estudo comportamental dos dados

• vinculado à disciplinas como redes neurais, inteligência artificial e lógica nebulosa

• Objetivo: fazer modelos de previsão e apresentar tendências e relações ocultas entre os dados

Page 12: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

EXEMPLOS DE FERRAMENTAS COMERCIAIS

• Ferramentas ETL• DTS (Data Transformation Service)• Data Stage, ETI, Acta e Sagent• Cognos Business Intelligence Platform• MicroStrategy; 7i Platform; Aplix

• Ferramentas OLAP• OLAP Option, da Oracle

• Analysis Services, da Microsoft.

• DSS MicroStrategy

• Maestro• Ferramentas Data mining

• SAS Enterprise Miner • IBM Intelligent Miner • Oracle Darwin Data Mining Software

Page 13: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

A Proposta do Projeto

Page 14: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

SIA SIH IEV IEP PS MAT

DWSESSP

Carga

Front-End

Coordena-dorias

DiretoriasRegionais

GestoresMunicípio

XLSDOC

WEB

DATASUS

ESCOPO DO PROJETO

As fontes de dados correspondem às bases de dados provenientes dos sistemas do DATASUS, além de planilhas e documentos internos.

As informações produzidas devem atender aos gestores municipais, diretores regionais e os coordenadores.

Page 15: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

Metodologia e Estratégia de

Desenvolvimento

Page 16: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

METODOLOGIA INMON

Page 17: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

METODOLOGIA PROPOSTA

Page 18: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

RelatóriosRelatórios/ Consultas/ Consultas

BD BD DimensionalDimensional

BD BD RelacionalRelacional

Arquivos SUSArquivos SUS

ESTRATÉGIA PROPOSTA

A estratégia adotada é a criação de um banco de dados relacional (operacional) além do dimensional. O principal motivo é manter os dados fontes em um meio mais seguro.

Page 19: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

FERRAMENTAS UTILIZADAS

Page 20: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

O processo de Carga

Page 21: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

ETAPAS DA CARGA

Na primeira fase os dados dos sistemas fontes (DATASUS) são carregados em um banco relacional, e posteriormente, são transportados para o banco dimensional.

RelatóriosRelatórios/ Consultas/ Consultas

BD BD DimensionalDimensional

BD BD RelacionalRelacional

Arquivos SUSArquivos SUS

Oracle Warehouse Buider

Ferramenta Desenvolvida

Page 22: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

FERRAMENTA DESENVOLVIDA

Efetua Download, compara e atualiza a estrutura, verifica conteúdo e unifica movimentos.

Page 23: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

A exibição da Informação

Page 24: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

- Cadastramento das descrições dos dados e das regras de negócio no metadados.

- Desenvolvimento de relatórios e consultas pré-definidos para atender os principais requisitos.

FERRAMENTA OLAP

Page 25: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

Resultados e Discussão

Page 26: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

STATUS DO PROJETO

• Fase final de implementação do primeiro módulo (SAI - Sistemas de Informações Ambulatoriais).

• Considerando apenas o módulo SIA, o volume mensal de dados para serem carregados no DW é de 1.800.000 registros, que corresponde a aproximadamente a 211 Mb. Acrescentando as tabelas auxiliares, este número aproxima-se de 250 Mb. Isto corresponde a 2,9 Gb por ano.

•Os tempos para o processo de carga estão plenamente satisfatórios, mesmo sendo realizados os testes de performance em um ambiente muito inferior ao ambiente de produção. (Primeira fase = 2 Horas, Segunda fase = 10 Minutos)

Page 27: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

DESAFIOS E AÇOES ADOTADAS

Page 28: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

Conclusões

Page 29: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

• O estágio atual do projeto, mostra um resultado positivo que supera as expectativas iniciais e encoraja a implementação dos demais módulos.

• O projeto foi desenvolvido utilizando um conjunto de ferramentas robustas e adotando metodologia adequada para garantir o sucesso do empreendimento.

• Os fatores mensuráveis apresentaram números positivos. O volume de dados é razoável, comparado a outros projetos, e o desempenho dos procedimentos de carga está plenamente satisfatório.

• Os próximos passos, já em andamento, são a avaliação da satisfação dos usuários para o módulo desenvolvido e a implementação dos demais módulos.

Page 30: IX Congresso Brasileiro de Informática em Saúde CBIS'2004 UNIFESP Departamento de Informática em Saúde Universidade Federal de São Paulo – UNIFESP .

IX C

ongr

esso

Bra

sile

iro d

e In

form

átic

a em

Saú

de

CB

IS'2

00

4

UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP

www.unifesp.br/dis

Projeto de um Data Warehouse para a

Saúde Pública

Contato: [email protected]

[email protected]