Aula 1 - AnaliseIntDados-2015

Analise Inteligente de Dados-OZ@

UniTiva-2015

Analise Inteligente de Dados

Orlando Zacarias

Objectivos

Pretende-se abordar a problematica de analise de dados, como uma disciplina sobre

a umbrella de Data Science (Ciencia de

Dados), tambem denominada de Analise de

Big Data

Pre-requisitos: Conhecimentos de estatistica, estrutura de dados e algoritmos.

Conhecimento de programacao desejavel.

Espera-se que no fim do curso os estudantes tenham conhecimento das diversas tecnicas que podem ser usadas na analise de dados


UniTiva-2015

2

Dados e Informao

Dados: So representaes

codificadas de factos, eventos

ou outro tipo de entidades.

Podem ser palavras, nmeros,

ou outro tipo de cdigos ou

smbolos.

Informao: consiste num

conjunto de dados devidamente

organizados e articulados entre si,

de modo a assumirem um certo

significado e a poderem traduzir-

se em conhecimento para os

seres humanos.


UniTiva-2015

3

Dados e Informao (cont.)

Verifica-se um crescimento explosivo do nr de dados

Podem ser gerados: satelites, codigo de barras, sensores remotos, cartoes de credito, etc.

Enorme quantidade de informao existe sob forma no estruturada

Desafio actual consiste no desenvolvimento e aplicao de novas tecnicas para resgatar a

informao necessaria de entre enormes quantidades de dados


UniTiva-2015

4

Dados e Informao (cont.) Enquanto a quantidade de dados cresce

exponencialmente a cada ano, paradoxalmente, a

quantidade de informao significativa exibe um rapido

decrescimo

Torna-se cada vez mais dificil encontrar factos significativos que tanto procuramos.

Adopo de metodos e estrategias para filtrar, seleccionar e interpretar os dados, mais do que nunca

uma necessidade (um MUST.) para a sobrivivencia que qualquer organizao e negocio nos dias de

hoje.

Conduzira a extrao de informao e conhecimento adequado das necessidades de desenvolvimento da

organizao


UniTiva-2015

5

Informao como factor de produo

A chave para o sucesso nos negcios

conhecer algo que mais ningum sabe.

Aristotle Onassis

Organizaes com nvel de excelncia na extraco de informao e conhecimento,

tero uma melhor hiptese de sobrevivencia.

Devido a isto, a prpria informao hoje um

factor de produo valioso e importante.


UniTiva-2015

6

Informao como factor de produo (cont.)

Impacto no ambiente de negocio

1. Conduzir ao incremento da competetividade

Conhecimento dos padroes de comportamento dos clientes

Alerta sobre situao de saturao do mercado

Alerta sobre novas oportunidades de negocio

Oportunidades de noos canais de mercado em funo da necessidade de sua diferenciao

Auferir sobre a eficacia das tecnicas de marketing usadas

Ciclos de vida dos productos

Auferir sobre o incrmento da competio e riscos do negocio

2. Trinomio Clientes x Competidores x Dados Tipificao dos clientes (colocar em classes)

Padro de vendas,

Preveno de futuras estrategias em funo dos competidores

Evidencias de retorno de investimento, num processo dirigido por dados (por via de Data warehousing, query, OLAP e data mining)

Disponibilidade de historicos de sucesso ou failure, etc.

Analise Inteligente de Dados-OZ@ UniTiva-2015

7

Gesto e extrao da informao e do conhecimento

Disponibilidade de dados por via da bases de dados limpas e devidamente documentadas (Data

Warehousing)

Data warehouse um depsito de dados digitais que armazena informaes detalhadas de uma empresa, criando e

organizando relatrios atravs de histricos que so depois usados pela empresa para ajudar a tomar decises importantes

com base nos factos apresentados.

Para alm de manter um histrico de informaes, o Data Warehouse cria padres melhorando os dados analisados de todos os sistemas, corrigindo os erros e restruturando os dados

sem afectar o sistema de operao, apresentando somente um

modelo final e organizado para a anlise.

(http://www.significados.com.br/data-warehouse/)


UniTiva-2015

8

Gesto e extrao da informao e do

conhecimento (cont.)

Desenvolvimento de novas tecnicas de TICs Reduo de valores de aquisio de meios de armazenamento e

scalibility/scalable/escalavel (abilidade de hardware/software de

continuar a funcionar bem embora modifique seu tamanho ou

volume, satisfazendo os requisitos do utilizador)

Processamento ilimitado com recurso a arquitectura paralela de execuo de processos

Novas metodos de analise em Machine Learning (Aprendizagemm Maquina) Incremento no uso comercial de algoritmos com origem na

comunidade cientifica

Surgimento e introduo de melhores e escalaveis algoritmos

Incremento de joint ventures entre centros de pequisa e empresas comerciais


UniTiva-2015

9

SQL x OLAP x KDD

SQL permite analisar e encontrar dados rasos (sem dimenso), i.e. Permite obter informao

facilemente acessivel a partir do conjunto de dados

Analise de dados multidimensionais possivel usando OLAP Note-se que o resultado conseguido por via de OLAP, pode

ser alcanado com SQL (eficiencia reduzida), onde esta

ferramenta foi optimizada para analise e pesquisa

multidimensional

OLAP uma abordagem para fazer as pesquisas de dados no modo Multi-Dimensional Analytical (MDA). Enquadra-se

na categoria de Business Intelligence, abarcando base de

dados relacionais, gestao de relatorios e data mining


UniTiva-2015

10

SQL x OLAP x KDD (cont.)

Reconhece-se que 80% de informao interessante em uma base de dados pode ser extraida com recurso a

SQL

Adicionais 20%, constituem-se em dados ocultos e profundos Analise requer tecnicas mais avanadas no dominio de KDD

Relevancia superior emm organizaoes onde o marketing uma estrategia importante do negocio

Diversas tecnicas

Estatisticas

Visualizao

Semelhana e distancia

Arvores de deciso e regras de associao

Redes neurais e algoritmos geneticos

Maquina Vectoriais de Suporte, etc.

Analise Inteligente de Dados-OZ@ UniTiva-2015

11

SQL x OLAP

Explorao de dados inclue:

Representa a anlise tradicional dados (realizada-se como: linguagem query, grficos, estatsticas )

anlise multidimensional

Permite a disponibilizacao de representaes dos

dados adequadas obteno de informao

Considerando a Extraccao:

Visa extraco de informao para apoio deciso

Requer a formulao prvia de hipteses

Implica saber-se previamente o que vamos procurar


UniTiva-2015

12

KDD Extraco de Conhecimento em Bases de Dados (ECBD)

(Knowledge Discovery in Databases - KDD):

tcnicas e ferramentas para a anlise inteligente e automtica de bases de dados

Objectivo:

obteno de conhecimento no bvio e de valor para o

negcio a partir de grandes bases de dados

Permite a descoberta de informao sem formulao prvia de hipteses, i.e., no necessrio conhecer-se

previamente o que procuramos

Possui natureza exploratria

Minerao de Dados (data mining)

Algoritmos para detectar padres nos dados (constitui um das fases da extraco de conhecimento em BD)


UniTiva-2015

13

Resumindo: SQL x OLAP x KDD Quando sabemos exactamente o que procuramos:

Usa-se SQL

No caso de dados multi-dimenensionais, usa-se a OLAP

Conhecendo vagamente o que se busca, usa-se data mining

Inicialmente pouco ou quase nenhuma info temos do que exactamente procuramos Uso de data mining parece ser o mais adequado

Info poder, quem a possui mais vantagens tem no negoocio....


UniTiva-2015

14

Aula 1 - AnaliseIntDados-2015

Documents

Transcript of Aula 1 - AnaliseIntDados-2015