SCC0141 - Bancos de Dados e Suas Aplicações Visualização de Informação Prof. Jose Fernando...

SCC0141 - Bancos de Dados e Suas Aplicações

Visualização de Informação

Prof. Jose Fernando Rodrigues Junior

Roteiro

Introdução Alguns Conceitos Esquemas visuais mais usados Interação, Sistematização e Processamento Observações Conclusivas

Questões a serem respondidas

• O que é Visualização de Informações?• Por que seu uso?• Princípios• Técnicas mais usuais• Exemplos de sistematização• Estado da arte• Como obter mais informações sobre o assunto?

O que é?

• A prática de se beneficiar das capacidades cognitivas visuais para se expressar conhecimento de maneira mais rápida e intuitiva.

• Também denominada Infovis

• Exemplo: a invasão francesa da Rússia

O problema

Dados

Humano

Objetivo: discernimento

Transferência dedados

Evolução do Hardware

• Dobro do processamento a cada 18 meses (Moore’s Law)

• Dobro de tecnologia gráfica a cada 12 meses• Tendência observada já há 50 anos

Fatos

Crescimento da produção/fluxo de dados

• Apenas em 2010, estimativa de 5 zetabytes (270 B)• O armazenamento de novas informações tem crescido à

taxa de mais de 30 % ao ano

Evolução do Hardware

• Dobro do processamento a cada 18 meses (Moore’s Law)

• Dobro de tecnologia gráfica a cada 12 meses• Tendência observada já há 50 anos• Pelo menos mais 10 anos

Fatos

Crescimento da produção/fluxo de dados

• Apenas em 2010, estimativa de 5 zetabytes (270 B)• O armazenamento de novas informações tem crescido à

taxa de mais de 30 % ao ano

“O propósito da computação é compreensão, e não números.”

Richard Hamming (Turing Award, 1968)

• Em contraste, habilidades humanas básicas não mudam ao longo do tempo

• Bancos de dados com uma quantidade de dados muito maior do que é possível para o ser humano aproveitar

Não evolução do ser humano

Conseqüência

As técnicas de Visualização de Informações reduzem este problema.

Fatos

Exibição de dados – diferentes abordagens

• Computação gráfica: como renderizar?

• Visualização científica: como reproduzir graficamente?

• Visualização de informações: como definir um design que personifique meus dados?

Exibição de dados – diferentes abordagens

• Computação gráfica: como renderizar?

• Visualização científica: como reproduzir graficamente?

• Visualização de informações: como definir um design que personifique meus dados?

Tabela Balancete

Trimestre Faturamento

1 70

2 20

3 5

4 5

Ciência Analítica

• Objetivos:– Avaliar– Prever– Identificar alternativas– Suporte à decisão

• Artefatos de racionalização, hierárquicos:– Elementares: dados individuais, suposições, evidências...– Padrões analíticos: correlação, tendência, classificação,

relacionamento, exceções, agrupamentos, estrutura, ...– Artefatos de ordem superior: inferência lógica (se então, por exemplo),

casualidade temporal, modelos de regressão (padrões funcionais), ...– Complexos: hipóteses e cenários (explicações)

Ciência Analítica

Artefatos Elementares

Ex.: dados e suposições

PadrõesAnalíticos

Ex.: tendência,classificação,

relacionamento, agrupamentos,...

Artefatos deOrdem

Superior

Ex.: inferência lógica (se

então, se e somente se), modelos de regressão

HipótesesE

Cenários

(previsão, avaliação,

explicação)

Ciência Analítica



PadrõesAnalíticos



Artefatos deOrdem

Superior



HipótesesE

Cenários


explicação)

Principal abrangência da visualização

Ciência Analítica



PadrõesAnalíticos



Artefatos deOrdem

Superior



HipótesesE

Cenários


explicação)


Mineração de dados e raciocínio suportado por visualização

Ciência Analítica



PadrõesAnalíticos



Artefatos deOrdem

Superior



HipótesesE

Cenários


explicação)


Mineração de dados e raciocínio suportado por visualização

Profundo conhecimento de domínio

Ciência Analítica

• Objetivos:– Avaliar– Prever– Identificar alternativas– Suporte à decisão

• Artefatos de racionalização:– Elementares: dados individuais, suposições, evidências...– Padrões analíticos: correlação, tendência, classificação,

relacionamento, exceções, agrupamentos, estrutura, ...– Artefatos de ordem superior: inferência lógica (se então, por exemplo),

casualidade temporal, modelos de regressão (padrões funcionais), ...– Complexos: hipóteses e cenários (explicações)

Outros recursos:

• Descartes R. 1637. Discourse on Method;

• Jones M. 1995. The Thinker’s Toolkit: 14 Powerful Techniques for Problem Solving. Three Rivers Press;

• Heuer R. 1999. Psychology of Intelligence Analysis. U.S. Government Printing Office;

• Adams JL. 2001. Conceptual Blockbusting: A Guide to Better Ideas. Fourth edition, Perseus Publishing.

Roteiro

Introdução Alguns Conceitos Esquemas Visuais mais Usados Interação, Sistematização e Processamento Observações Conclusivas

Princípio da Visualização

Dados

Humano

Transferência dedados

Princípio da Visualização

• Os olhos têm acesso privilegiado ao cérebro• Mais de 50 % do cérebro é dedicado à visão

Recursos – pré-atenção

• Mecanismo da visão, duas fases– 1ª. Fase: pré-atenção instantânea e em paralelo

– 2ª. Fase: varredura demorada e seqüencial

Quantos números “4” há na cena?


Cor

PB PD

PE

PA

PI

PJ

PL

PK

PCPB PD

PE

PA

PI

PJ

PL

PK

PC

PE

PI

PL

DIR

ESQ

ESQ

PD

PA

DIR

ESQ

PB

PJ

PK

PC

ESQ

DIR

ESQ

DIR

IDEOL.PART.

Estímulos pré-atentivos4 canais

Recursos – pré-atençãoEstímulos pré-atentivos

4 canais

Posição

PB PD

PE

PA

PI

PJ

PL

PK

PC

PA

PB

PD

PE

PC

PI

PJ

PL

PK

PE

PI

PL

DIR

ESQ

ESQ

PD

PA

DIR

ESQ

PB

PJ

PK

PC

ESQ

DIR

ESQ

DIR

IDEOL.PART.


Forma

PB PD

PE

PA

PI

PJ

PL

PK

PCPB PD

PI

PJ

PAPC

PL

PEPK

PE

PI

PL

DIR

ESQ

ESQ

PD

PA

DIR

ESQ

PB

PJ

PK

PC

ESQ

DIR

ESQ

DIR

IDEOL.PART.



Tempo(animação

cor, posição

e/ou forma) PE

PA

PI

PK

PE

PI

PL

DIR

ESQ

ESQ

PD

PA

DIR

ESQ

PB

PJ

PK

PC

ESQ

DIR

ESQ

DIR

IDEOL.PART.


PE

PA

PI

PK

Recursos – pré-atençãoEstímulos pré-atentivos


• Posição: 1D, 2D e 3D;

• Forma: ponto, linha, área, volume, orientação, comprimento, colinearidade, tamanho, curvatura;

• Cor: matiz, saturação, brilho, textura;

• Tempo (animação): movimento e intermitência.

Estímulos pré-atentivos


• Posição: 1D, 2D e 3D;

• Forma: ponto, linha, área, volume, orientação, comprimento, colinearidade, tamanho, curvatura;

• Cor: matiz, saturação, brilho, textura;

• Tempo (animação): movimento e intermitência.

Mas o que isso tem a ver com computação?

Auxílio computacional:

• escalabilidade de dados (via SGBDs) e de processamento

• interação: redefinição em tempo real da apresentação de dados

• dimensão temporal

• algorítmico: combinação com mineração de dados

Estímulos pré-atentivos


• Mecanismo da visão, duas fases– 1ª. Fase: pré-atenção instantânea e em paralelo

– 2ª. Fase: varredura demorada e sequencial

Procedimento geral da visualização (Visualization Mantra):

Visão geral (1ª. fase)Zoom & filtragem (Interação)

Detalhes sob demanda (2ª. Fase)


Qual o estado com maior nível salarial?

Qual a relação entre salário e educação?

Comportamentos incomuns (outliers)?


Salário annual Per Capita (U$)

Nív

el e

du

ca

cio

nal

(%

co

m c

urs

o s

up

eri

or)

Recursos:pré-atenção percepção raciocíonio


Pré-atenção:• Posição• Forma• Cor• Tempo

Percepção(padrões visuais):• Correspondência• Diferenciação• Conectividade• Arranjo• Significado• Variação

Interpretação(padrões analíticos):• Correlação• Tendência• Classificação• Relacionamento• Sumarização• Exceções• Agrupamentos• Estrutura• Leitura, ...

Observação Raciocínio


Pré-atenção:• Posição• Forma• Cor• Tempo

Observação Raciocínio

Projeto/Sistematização

/UtilizaçãoPercepção(padrões visuais):• Correspondência• Diferenciação• Conectividade• Arranjo• Significado• Variação

Etapa natural com pouca

carga cognitiva

Conhecimento de domínio

Interpretação(padrões analíticos):• Correlação• Tendência• Classificação• Relacionamento• Sumarização• Exceções• Agrupamentos• Estrutura• Leitura, ...

Geração de conclusões

com base no domínio dos

dados


Canal:

Posição ●Forma ●

Cor ●Tempo ●

Padrões visuais:

● Correspondência● Diferenciação● Conectividade● Arranjo● Significado● Variação

Demonstração

Mundo: Fertilidade X PopulaçãoPROJEÇÃO ANIMADA

Dados de IDH

• Ano

• Nome do país

• Filhos por mulher

• Tamanho da População

• Renda per capita

• Grupo de renda

Software: Gapminder

(spreadsheet do Google Docs)

1. Mais Recursos– Processamento perceptivo paralelo– Percepção ao invés de cognição– Expansão das memórias de curto e longo prazo do usuário

2. Busca Reduzida– Informações agrupadas reduzem a varredura sequencial– Leitura espacial instantânea

3. Melhor Reconhecimento de Padrões– Reconhecer ao invés de relembrar– Abstração e agregação– Exposição estrutural– Valor, relacionamento, tendência

Como a visualização pode ajudar?

Como a visualização pode ajudar?

4. Inferência Perceptiva– Alguns problemas se tornam óbvios– O raciocínio é amplificado com pistas visuais

5. Monitoramento Perceptivo– Alterações visuais saltam aos olhos

6. Mídia Manipulável– Interação

Demonstração

Mundo: Distribuição de renda

DemonstraçãoMundo: Distribuição de renda

Linhas Gerais de Aplicação

Tarefas

Exploração analítica Descobrir hipótese

Apresentação confirmatória Verificar hipótese

Suporte à decisão Avaliar, prever, identificar alternativas

Apresentação simples Apresentar o que você já sabe

Linhas Gerais de Aplicação

Tipos de dados

Multi-dimensional (tabular) Bancos de dados relacionais

Redes e árvores (grafos) Redes sociais, redes de recomendação, redes de computadores, localização geográfica

Textos e documentos Repositórios de texto (artigos, notícias, wikis)

Espacial-temporal

(1D, 2D, 3D e 4D)

Simulação e reprodução de fenômenos científicos

Projeto e desenvolvimento

Sistematização

Dados “crus”

Dados estruturado

s

DesignVisual

Visualização

Transformações do Dados

Mapeamento Visual

TransformaçõesVisuais

DadosFormato Visual

ProcessamentoPré-visualização

Técnicasde

Visualização

Técnicasde Interação

Visual

Sistema de Visualização


Roteiro

Esquemas visuais mais usados

• Projeções geométricas

• Técnicas iconográficas

• Técnicas hierárquicas

• Técnicas orientadas a pixels

Classificação que segue à organização visual

Projeção geométricaCoordenadas Paralelas

X0

X0: 5

X1

X1: 1

X2

X2: 10 X3

X3: 7

Atributo 0 Atributo 1 Atributo 2 Atributo 3

10

0

Projeção geométricaCoordenadas Paralelas

COORDENADAS PARALELAS

Dados de veículos

• Milhas Por Galão

• # Cilindros (CYLINDERS)

• Autonomia (DISPLACEMENT)

• Potência (HORSEPOWER)

• Peso (WEIGHT)

• Aceleração (ACCELERATION)

• Ano (YEAR)

• Origem (AMER., EUROP., JAP.)

Software: VisTree

Análise Geral

Percepções

• Posição: correspondência, arranjo

• Forma: conectividade

• Cor: diferenciação

Interpretações:

• Correlação• Tendência• Sumarização• Classificação• Exceções

Base de Dados

• Matriz de Scatter Plots

– Projeção dos atributos combinados

– Correlação

Projeção geométricaMatriz de Scatter PlotsMATRIZ DE SCATTER PLOTS

Dados de veículos





• Peso (WEIGHT)


• Ano (YEAR)


Software: VisTree

Análise Geral

Percepções


Interpretações:

• Correlação• Tendência• Exceções

Projeção geométricaTable Lens

TABLE LENS

Dados de filmes

• Rank de arrecadação (RANK)

• Lançamento (RELEASE DATE)

• Arrecadação (CUMULATIVE GROSS)

• Distribuidora (DISTRIBUTOR)

• Título (TITLE)

Software: Table Lens

Análise Geral

Percepções


• Forma: correspondência, significado


Interpretações:

• Correlação• Tendência• Classificação• Exceções• Leitura

•Peso: 5

•Peso: 10•MPG: 1•Potência: 5

•Aceleração: 2

Técnicas Iconográficas Star Glyphs

# D

E C

ILIN

DR

OS

MILHAS POR GALÃO (MPG)

Técnicas Hierárquicas Sobreposição Dimensional

POTÊNCIA

# D

E C

ILIN

DR

OS

MPG

PE

SO

Técnicas Hierárquicas Treemaps

Técnicas Orientadas a Pixels Padrões de Arranjo

• Design• Arranjo dos pixels: apresentação depende da ordem

• Mapeamento de cores por valor de atributo

Esquemas visuais mais usados

• Projeções geométricas

• Técnicas iconográficas

• Técnicas hierárquicas

• Técnicas orientadas a pixels


Roteiro

Interação e Sistematização

• Interação: alteração dos parâmetros de posição, de forma e de cor

• Principais:

– Filtragem interativa: alteração de cor (brushing) e de forma (contorno de seleção)

– Transformação Espacial/Zoom: alteração de forma (escala) e de posição (rotação e translação)

– Distorção: alteração de posição (diferentes perspectivas)

• Sistematização com expansão do espaço de exibição:– Visões interligadas (linked-views)

– Múltiplos espaços de visualização

– Visualização em multi-resolução

O analista pode “sentir” melhor a cena de análise, aumentando as possibilidades

de interpretação visual.

Análise Geral

Percepções


• Forma: conectividade


Interpretações:

• Correlação• Tendência• Sumarização• Classificação• Exceções

INTERAÇÃO VIA FILTRAGEM INTERATIVA E LINK & BRUSH

SISTEMATIZAÇÃO POR VISÕES INTERLIGADAS (linked-views)

Dados de veículos





• Peso (WEIGHT)


• Ano (YEAR)


Software: VisTree

Ciência Analítica Visual

INTERAÇÃO VIA DISTORÇÃO

Dados de filmes

• Ano de produção

• Distribuidora (DISTRIBUTOR)

• Título (TITLE)

• Gênero

Software: TimeWall

Análise Geral

Percepções

• Posição: correspondência

• Forma: diferenciação, significado

• Cor: correspondência

Interpretações:

• Tendência• Classificação• Exceções• Agrupamentos• Leitura

Interação - Distorção espacial StarTree

Processamento: pré-processamento e

suporte estatístico

• Redução de dimensionalidade:n-dimensional k-dimensional, onde n < k

• Agregação: por exemplo, sumarização estatística

• Seleção: por exemplo, amostragem

• Segmentação: por exemplo, particionamento hierárquico

REDUÇÃO DE DIMENSIONALIDADE

E INTERAÇÃO POR TRANSFORMAÇÃO ESPACIAL

Dados de exames de câncer (biopsia)

• Identificador (ID)

• 9 exames laboratoriais

• Classificador (CLASS)

Software: FastMapDB

Análise Geral

Percepções


• Cor: correspondência

Interpretações:

• Classificação• Estrutura• Exceções• Agrupamentos

Ciência Analítica Visual

AGREGAÇÃO ESTATÍSTICA

Dados de veículos

•Dados de veículos





• Peso (WEIGHT)


• Ano (YEAR)


Software: VisTree

Análise Geral

Percepções

• Posição: correspondência, diferenciação, arranjo

• Forma: correspondência, diferenciação, conectividade

• Cor: correspondência, diferenciação

Interpretações:

• Sumarização

• Correlação

• Relacionamento

• Tendência

• Classificação• Exceções• Agrupamentos

BoxPlot – Visão geral da distribuição de variáveis


Roteiro

Comparação com Mineração de Dados

• Extração não trivial de informações implícitas, potencialmente úteis e previamente desconhecidas

• Caracteristicamente algorítmica

Visualização de Informações

+

Algoritmos de Mineração de Dados

Algoritmos de

Mineração de Dados

Visualização de

Informações

Objetivo + –

Mensurável + –

Flexível – +

Interativo – +


Visualização de Informações

+

Algoritmos de Mineração de Dados

Algoritmos de


Visualização de

Informações

Objetivo + –

Mensurável + –

Flexível – +

Interativo – +

Mineração Visual de Dados: utilização

de Visualização de Informações para

monitorar, guiar ou se beneficiar de

algoritmos de Mineração de Dados.


Exemplo: monitoramento visual do algoritmo k-medoid para detecção de clusters.


Algoritmo k-medoid:1. Selecione os elementos que serão os centros dos

agrupamentos

2. Verifique todos os pontos do conjunto e atribua a cada ponto o agrupamento referente ao centro mais próximo

3. Recalcule os centros dos agrupamentos de acordo com os agrupamentos definidos

4. Enquanto os centros trocarem de posição, vá para o passo 2

Minimizar

Estado da Arte

A Ciência Analítica Visual [2]

Tecnologias de dados:

● armazenamento

● disponibilização

● gerenciamento.

Formatos de dados versáteis, orientados à análise.

Procedimentos sistemáticos de análise:

● avaliação

● planejamento

● tomada de decisão.

Design de técnicas de visualização e interação.

Disponibilização e difusão.

Formalização do fato de que a ciência de InfoVis engloba uma série de disciplinas, todas inter-relacionadas.

Avaliação de técnicas de análise visual de dados

• Tema amplo

• Critérios:

– Funcionalidade – as funcionalidades esperadas são oferecidas?

– Efetividade – a técnica agrega valor? Novas descobertas nos dados?

– Eficiência – a técnica promove melhor desempenho?

– Usabilidade – qual é a dificuldade em se usar o sistema? Há clareza?

– Utilidade – é possível se beneficiar da técnica?

• Metodologias:

– Avaliação analítica: baseada em modelos e em testes estruturados;

– Avaliação empírica: quantitativa ou qualitativa

Avaliação de técnicas de análise visual de dados

• Tema amplo

• Critérios:

– Funcionalidade – as funcionalidades esperadas são oferecidas?

– Efetividade – a técnica agrega valor? Novas descobertas nos dados?

– Eficiência – a técnica promove melhor desempenho?

– Usabilidade – qual é a dificuldade em se usar o sistema? Há clareza?

– Utilidade – é possível se beneficiar da técnica?

• Metodologias:

– Avaliação analítica: baseada em modelos e em testes estruturados;

– Avaliação empírica: quantitativa ou qualitativa

• Há subjetividade semelhante ao que se observa em HCI (Human-Computer Interaction);

• Devido ao contexto analítico, nem sempre as técnicas de HCI podem ser aplicadas sem adaptação;

• Da mesma forma, há metodologias bastante satisfatórias, mas com alto custo de aplicação.

Disseminação

• SAP: incorporou (da Inxight) as técnicas StarTree, TableLens e TimeWall em seus produtos

• TIBCO (Spotfire): comercializa técnicas como Coordenadas Paralelas, Scatter Plots e TreeMaps

• Advanced Visual Systems (AVS): abrange soluções para a indústria e para a academia

• Outras empresas: Advizor Solutions, Compudigm, Dimension 5, Infommersion, Macrofocus, Purple Insight, ...

• Listagem completa: http://kisd.de/~marian/infovis/

Linhas de Desenvolvimento

1. Paradigmas de Interação

Orientados ao usuário E.g.: perspective view

Orientados a sistema E.g.: linked views

2. Suporte da Ciência da Computação

Componentes E.g.: Graph-Tree

Aperfeiçoamentos E.g.: Keim’s color space


3. Novos Designs

E.g.: Gapminder

E.g.: Table Lens

4. Suporte Teórico

Espaços de Design E.g.: design orientado à percepção

Estudo do sistema perceptivo

E.g.: princípios de manipulação direta

5. Suporte de Desenvolvimento

Componentes E.g.: OpenGL

Toolkits E.g.: IVTK http://ivtk.sourceforge.net/

3. Novos Designs

E.g.: Gapminder

E.g.: Table Lens

4. Suporte Teórico








3. Novos Designs

E.g.: Gapminder

E.g.: Table Lens

4. Suporte Teórico








Ainda há muito o que se fazer em:

visualização de dados relacionais

escalabilidade de dados

uso combinado com mineração de dados

visualização 3D interativa

utilização da dimensão temporal (animação)

Discussão

• A visualização pode resolver todos os meus problemas

de análise de dados?

R.: Não. Análise de dados é um processo elaborado que

requer profundo conhecimento de domínio, objetivos

claros e trabalho intenso.

• Posso trabalhar sem visualização, então?

R.: Não. Apesar de seus limites, a visualização provê

benefícios bastante favoráveis, e não há substituto

para estes benefícios.

Discussão




requer profundo conhecimento de domínio, objetivos claros

e trabalho intenso.



benefícios bastante favoráveis, e não há substituto

para estes benefícios.

Discussão




requer profundo conhecimento de domínio, objetivos claros

e trabalho intenso.



benefícios bastante favoráveis, e não há substituto para

tais benefícios.

Livros BásicosVisualização de

Informações

Robert SPENCE. “Information Visualization”, ACM Press, 2001

Stuart K. Card, Jock D. MacKinlay, Ben Shneiderman, Mackinlay Card (eds.). “Readings in Information Visualization: Using Vision to Think”, Morgan Kaufmann Series in Interactive Technologies, Academic Press, 1999. ISBN 1-55860-533-9

Colin WARE. “Information Visualization: Perception for Design”, Morgan Kaufmann Interactive Technologies Series, January 2000. ISBN 1-55860-511-8

K. Cios et. al. - “Data Mining: A Knowledge Discovery Approach”, Springer, 2007

Jiawei Han, Micheline Kamber. “Data Mining: Concepts and Techniques”, Morgan Kaufmann, 2006

Pang-Ning Tan, Michael Steinbach, Vipin Kumar. “Introduction to Data Mining”, Addison Wesley, 2005

Livros BásicosMineração de Dados

Outras áreas de visualização

• Visualização Científica• Visualização de Software• Visualização Geográfica• Visualização de Redes• Ciência Analítica• Realidade Virtual• Realidade Aumentada• Sonificação (som)• Háptica (tato)

Referências

• [1] “How Much Information?”Lyman P and HR Varian, 2003. Disponível em

http://www.sims.berkeley.edu/how-much-info.

• [2] “Illuminating the Path: The Research and Development Agenda for Visual Analytics” James J. Thomas and Kristin A. Cook, editors.

IEEE Press, 2005. Disponível em

http://nvac.pnl.gov/agenda.stm.

• Software: www.icmc.usp.br/~junio

SCC0141 - Bancos de Dados e Suas Aplicações Visualização de Informação Prof. Jose Fernando...

Documents

Transcript of SCC0141 - Bancos de Dados e Suas Aplicações Visualização de Informação Prof. Jose Fernando...