331_331_Artigo_SEGET_EJDR_Versao_Final_010808

1

O Uso da Descoberta de Conhecimento em Base de Dados para Apoiar a Tomada de Decises

Eric Rommel G. Dantas Jos Carlos Almeida Patrcio Jnior Daniel Silva de Lima Ryan Ribeiro de

Azevedo

Centro Universitrio de Joo Pessoa UNIP

Centro Universitrio de Joo Pessoa

UNIP Centro Universitrio de Joo Pessoa UNIP

Centro de Informtica Universidade

Federal de Pernambuco

[email protected] [email protected] [email protected] [email protected]

RESUMO O processo de gesto do conhecimento demanda um constante nmero de decises acerca das atividades presentes em uma organizao, tendo como base para essas decises o conhecimento adquirido com a experincia profissional, impactando diretamente em toda a cadeia produtiva da organizao. Para auxiliar nesse gerenciamento, ferramentas computacionais geradoras de novos conhecimentos so essenciais. Este artigo descreve o processo de descoberta de conhecimento em bases de dados, atravs da minerao de dados, demonstrando suas aplicabilidades no processo de apoio na tomada de deciso. Palavras-Chave: Gesto do Conhecimento, Descoberta de Conhecimento, KDD, Minerao de Dados.

1. INTRODUO A informao o ativo mais importante para os negcios das organizaes, tornando-

se algo essencial para ganho de competitividade entre as empresas de pequeno, mdio e grande porte. As estratgias assumidas para tal ganho devem basear-se em informaes concretas, visando uma minimizao na ocorrncia de erros para a tomada de decises por parte dos gestores.

Avanos tecnolgicos tm facilitado a obteno dessas informaes atravs de processos de Knowledge Discovery in Database (KDD), ou seja, Descoberta de Conhecimento em Banco de Dados. O KDD pode ser visto como o processo de descoberta de padres e tendncias por anlise de grandes conjuntos de dados, tendo como principal etapa o processo de minerao, consistindo na execuo prtica de anlise e de algoritmos especficos que, sob limitaes de eficincia computacionais aceitveis, produz uma relao particular de padres a partir de dados FAYYAD et al (1996).

O processo de KDD identifica padres e descobre informaes relevantes que auxiliam na formao de posturas estratgicas de marketing, na busca e conquista de clientes, na descoberta de falhas em linhas de produo, entre outras. Nesse processo, na etapa de minerao de dados, algoritmos tm a funo de gerar regras de associao, descrevendo assim, padres de relacionamento entre itens de uma base de dados.

Este trabalho realiza uma anlise das regras geradas, assim como as evolues propostas e os aspectos da integrao destas tecnologias com o KDD, conceituando,

SEGeT Simpsio de Excelncia em Gesto e Tecnologia 2

esclarecendo e despertando o interesse das empresas sobre a importncia da sua utilizao na tomada de decises estratgicas para o negcio.

Este artigo est estruturado da seguinte forma: na Seo 2 so apresentados os conceitos a cerca do entendimento da gesto do conhecimento; na Seo 3 so vistos os conceitos e benefcios do processo de descoberta de conhecimento KDD, minerao de dados e regras de associao. So apresentados na Seo 4 os experimentos e resultados. Na Seo 5 so apresentados os trabalhos relacionados. Por fim, na Seo 6 apresentam-se as concluses e trabalhos futuros.

2. GESTO DO CONHECIMENTO O valor de uma deciso estratgica para o negcio depende das informaes disponveis ao gestor de uma organizao, da capacitao que este possui de interpret-las e da experincia para associ-las de maneira conveniente. DAVENPORT e PRUSAK (1998) acrescenta que a nica vantagem sustentvel de uma empresa o que ela coletivamente sabe, a eficincia com que ela usa o que sabe e a prontido com que ela adquire e usa novos conhecimentos.

Informao o resultado do processamento de dados num formato que tem significado para o usurio respectivo e que tem valor real ou potencial nas decises presentes ou prospectivas DAVIS (1974). O conhecimento necessrio para se decidir e/ou avaliar torna-se disponvel por meio de informaes SANCHES (1997). A gerncia da informao ou a administrao do conhecimento e da informao uma breve definio de Gesto do Conhecimento (GC). Segundo DAVENPORT e PRUSAK (1998), a GC pode ser vista como uma srie de aes gerenciais constantes e sistemticas que facilitam os processos de criao, registro e compartilhamento do conhecimento nas organizaes.

Para KRUGLIANSKAS e TERRA (2003), GC significa organizar as principais polticas, processos e ferramentas gerenciais e tecnolgicas luz de uma melhor compreenso dos processos de gerao, identificao, validao, disseminao, compartilhamento, uso e proteo dos conhecimentos estratgicos para gerar resultados (econmicos) para a empresa e benefcios para os colaboradores internos e externos (stakeholders). ALVARENGA NETO (2005) explica ainda que GC o conjunto de atividades voltadas para a promoo do conhecimento organizacional, possibilitando que as organizaes e seus colaboradores possam sempre se utilizar das melhores informaes e dos melhores conhecimentos disponveis, com vistas ao alcance dos objetivos organizacionais e maximizao da competitividade.

Para apoiar a GC, so utilizadas diversas tcnicas da Inteligncia Computacional, tais como, Redes Neurais Artificiais, Lgica Fuzzy, e mtodos estatsticos. Estas tcnicas demandam altos investimentos em software e hardware, no menos ainda em pessoal capacitado. WU e WANG (2006) comentam que grande parte dos investimentos em GC destinada aos Sistemas de Gesto do Conhecimento (SGC), ferramentas baseadas na Tecnologia da Informao (TI) capazes de suportar os processos de criao, armazenamento, recuperao, transferncia e aplicao do conhecimento. A Seo 3 abordar o processo de descoberta de conhecimento.

Evidentemente apenas os recursos tecnolgicos, no garantiro uma perfeita GC. Faz-se necessrio um capital humano bem treinado e com experincia de mercado para interpretar as informaes e conhecimentos disponibilizados pela tecnologia para assim, tomar as melhores decises. Estas atitudes so essenciais mesmo quando suas prticas limitam-se a no decidir, visto que a falta de deciso, por si s, j uma forma de deciso.


3. DESCOBERTA DE CONHECIMENTO EM BASES DE DADOS (KDD) A extrao do conhecimento uma rea dinmica e evolutiva, envolvendo integraes

com outras reas de conhecimento como Estatstica, Inteligncia Artificial e Banco de Dados. Os padres extrados devem ser alm de confiveis, compreensveis e teis, podendo empregar o conhecimento com utilidade e tirar proveito de alguma vantagem, seja cientfica ou comercial. De acordo com FAYYAD et al. (1996), o processo de KDD constitudo de diversas fases, explicadas na Seo 3.1, e tem incio na anlise do entendimento do domnio da aplicao e dos objetivos a serem realizados. 3.1. FASES DO KDD

Aps a fase inicial, o foco passa a ser a escolha ou seleo da massa de dados a ser minerada, podendo ser um conjunto de dados ou um subconjunto de variveis onde a extrao ser realizada. A fase de Data Cleaning e Pr-Processamento tem por objetivo assegurar a qualidade dos dados envolvidos no KDD realizando operaes bsicas como a remoo de rudos, que podem ser, por exemplo, atributos nulos. A fase seguinte consiste na Seleo e Transformao dos dados em que sero selecionados os atributos realmente interessantes ao usurio, alm de transformados utilizando o padro ideal para aplicar algoritmos de minerao.

Aps a realizao das fases anteriores, a Minerao de Dados (Data Mining) iniciada. Esta fase a mais importante do KDD, sendo realizada atravs da escolha do mtodo e do algoritmo mais compatvel com o objetivo da extrao, a fim de encontrar padres nos dados que sirva de subsdios para descobrir conhecimentos ocultos. Na Seo 3.2. um aprofundamento desta fase ser realizado.

A Avaliao ou Ps-Processamento a fase que identifica, entre os padres extrados na etapa de Data Mining, os padres interessantes ao critrio estabelecido pelo usurio, podendo voltar fase inicial para novas iteraes. Ao trmino da avaliao, o conhecimento descoberto dever ser implantado e incorporado ao sistema, sempre documentando e publicando os mtodos, a fim de apresentar o conhecimento descoberto ao usurio. apresentado na Figura 1 de uma maneira simplificada todas as fases do KDD.

Figura 1. Fases do Processo de KDD [FAYAAD et al. 1996].


3.2. MINERAO DE DADOS Data Mining ou Minerao de Dados o processo de pesquisa em grandes quantidades

de dados para extrao de conhecimento, utilizando tcnicas de Inteligncia Computacional para procurar relaes de similaridade ou discordncia entre dados, com o objetivo de encontrar padres, irregularidades e regras, com o intuito de transformar dados, aparentemente ocultos, em informaes relevantes para a tomada de deciso e/ou avaliao de resultados.

A minerao de dados possibilita a busca em grandes bases de dados de informaes desconhecidas, permitindo aos gestores uma maior agilidade nas tomadas de decises. Uma empresa que utiliza Data Mining capaz de criar parmetros para entender o comportamento do consumidor, identificando afinidades entre as escolhas de produtos e servios, prevendo hbitos de compras e analisando comportamentos habituais para deteco de fraudes PINTO (2005).

A principal motivao para a utilizao de Data Mining a grande disponibilidade de dados armazenados eletronicamente, com informaes teis e ocultas, podendo auxiliar na previso de um conhecimento futuro, indo alm do armazenamento explcito de dados. Em outras palavras, descobrir informaes sem uma prvia formulao de hipteses e buscar por algo no intuitivo, na verdade tornar dados sem obviedade em valiosas informaes estratgicas.

3.2.1. MTODOS DE DATA MINING De acordo com FAYYAD et al. (1996), existem diversos mtodos de Data Mining

para encontrar respostas ou extrair conhecimento em repositrios de dados, sendo os mais importantes para o KDD: Classificao, Modelos de Relacionamento entre Variveis, Anlise de Agrupamento, Sumarizao, Modelo de Dependncia, Regras de Associao e Anlise de Sries Temporais. Deve-se ressaltar que a maioria desses mtodos serve de base para tcnicas das reas de aprendizado de mquina, reconhecimento de padres e estatstica. Um breve resumo dos mtodos mais importantes so descritos a seguir.

A Classificao associa ou classifica um item a uma ou vrias classes categricas pr-definidas, utilizando comumente uma tcnica estatstica chamada anlise discriminante, objetivando envolver a descrio grfica ou algbrica das caractersticas diferenciais das observaes de vrias populaes, alm da classificao das observaes, em uma ou mais classes pr-determinadas.

Os Modelos de Relacionamento entre Variveis associam um item a uma ou mais variveis de predio de valores reais, consideradas variveis independentes ou exploratrias. Regresso linear simples, mltipla e modelos lineares por transformao so as tcnicas mais utilizadas para verificar a existncia do relacionamento funcional entre duas variveis quantitativas.

A Anlise de Agrupamento, ou Cluster, associa um item a uma ou vrias classes categricas (ou clusters), determinando as classes pelos dados, independentemente da classificao pr-definida. Os clusters so definidos por meio do agrupamento de dados baseados em medidas de similaridade ou modelos probabilsticos, visando detectar a existncia de diferentes grupos dentro de um determinado conjunto de dados e, em caso de sua existncia, determinar quais so eles.

A Sumarizao determina uma descrio com disperso reduzida para um dado subconjunto no pr-processamento dos dados, freqentemente utilizadas na anlise de descobrimento de dados. Podemos citar como exemplos simples de sumarizao de dados, as medidas de posio e variabilidade.


O Modelo de Dependncia descreve dependncias entre variveis. Modelos de dependncia existem em dois nveis: estruturado e quantitativo. O nvel estruturado especifica, geralmente em forma de grfico, quais variveis so localmente dependentes. O nvel quantitativo especifica o grau de dependncia, usando alguma escala numrica.

As Regras de Associao determinam relaes entre campos de um banco de dados, contribuindo para a tomada de deciso, recebendo assim, na Seo 3.3, um maior aprofundamento. Por fim, a Anlise de Sries Temporais determinam caractersticas seqenciais, como dados com dependncia no tempo. Seu objetivo modelar o estado do processo extraindo e registrando desvios e tendncias no tempo.

3.3. REGRAS DE ASSOCIAO O processo de extrao de regras de associao foi proposto inicialmente por

AGRAWAL et al. (1993), e representa um padro ocorrido em combinaes de itens com determinada freqncia em uma base de dados GONALVES (2005).

As regras de associao foram definidas atravs da seguinte formalizao AGRAWAL et al. (1994): seja I = {I1, I2, I3,..., In} um conjunto de itens e T um conjunto de transaes, sendo cada transao T um conjunto de itens, de forma que T I, e cada T ser associado a um nico identificador TIT, tal que x T, x I. Desta maneira a regra de associao gerada ter como forma x y, ou seja, x ser o antecedente e y o conseqente da regra de associao criada.

Outra abordagem para o conceito de regras de associao leva em considerao os conceitos de Confiana e Suporte GYRDI et al. (2004), em que este estima a probabilidade da ocorrncia de um conjunto de itens I em uma transao T, e aquele, para um conjunto Z de itens, refere-se porcentagem de transaes de uma base de dados que contem esses itens de Z.

No Quadro 1 VASCONCELOS et al. (2004), tem-se a frmula utilizada no Suporte, para uma regra X Y, onde X e Y so conjuntos de itens, tendo por numerador a quantidade de transaes em que ambos, X e Y, esto ocorrendo simultaneamente, e por denominador o nmero total de transaes.

A Confiana evidenciada utilizando a mesma regra X Y, mas seu denominador representa o valor total de transaes em que o item X ocorre VASCONCELOS et al. (2004), visto no Quadro 2.

Quadro 1. Suporte

Quadro 2. Confiana

Na prxima Seo ser demonstrado detalhadamente todo o processo de KDD, focando na fase de Data Mining e utilizando-se o mtodo descrito nesta.


4. EXPERIMENTOS E RESULTADOS O processo de KDD evidenciado de fato, com os experimentos utilizando uma base de dados proveniente de uma empresa atuante na rea do comercio varejista, optante por um acordo NDA (Non-Disclosure Agreement). O software de minerao de dados utilizado para realizar a gerao de padres teis foi o WEKA (http://www.cs.waikato.ac.nz/ml/weka/). Desenvolvida na linguagem Java pela Universidade de Waikato na Nova Zelndia, trabalha com diversas tcnicas de Data Mining, alm de ser um software livre e de fcil manuseio.

Como conhecido anteriormente na Seo 3.1, o ponto de partida do KDD encontra-se na escolha ou seleo da massa de dados de acordo com o domnio do objetivo requerido, que neste caso, seria a escolha do perfil do cliente mais rentvel para empresa e o grupo de produtos por ele comprado. Aps anlise do banco de dados, foi selecionada uma amostra de 102.000 registros identificando as vendas realizadas no perodo de 01 de janeiro de 2008 a 30 de abril de 2008, de cerca de 10 filiais situadas no estado da Paraba. Os atributos necessrios ao processo de minerao de dados esto destacados na Tabela 1.

Tabela 1. Atributos da Base de dados submetidos minerao. Atributo Descrio Valores

Distintos GRUPO Grupo no qual o produto foi classificado 4

VALOR Faixa de valores da compra 6

IDADE Faixa etria do cliente. 6

SEXO Sexo do cliente. 2 O atributo GRUPO representa o grupo na qual o produto foi classificado, com 4

valores distintos, a saber: Eletro, Magazine, Mveis, Telecomunicao. Os valores das compras foram decompostos por faixa de valores: abaixo de R$100,00, de R$101,00 R$300,00, de R$301,00 R$500,00, de R$501,00 R$700,00, de R$701,00 R$900,00 e acima de R$900,00. A idade tambm foi um atributo organizado em faixa de valores: de 18 a 23 anos, de 24 a 29, de 30 a 37, de 38 a 42, de 43 a 50 e acima de 50 anos. Por fim, o atributo SEXO do cliente.

A fase de Data Cleaning, com intuito de eliminar tuplas nulas, valores considerados inconsistentes ou errados, definidos como rudo, e diminurem redundncias, reduziu para 87.744 tuplas, sendo posteriormente convertidas para o padro utilizado no software WEKA CORREA (2004). Nesta ferramenta, exps-se ao processo de minerao de dados, utilizando-se algoritmo de regras de associao Predictive Apriori SCHEFFER (2001), GILLMEISTER et al. (2005), obtendo 10 regras de associao, Quadro 3, juntamente com os grficos gerados pela ferramenta das variveis utilizadas, demonstrados nos Quadros 4, 5, 6 e 7.


Quadro 3. Regras encontradas.

Quadro 4. Atributo sexo dos clientes

Quadro 5. Idade dos Clientes

Quadro 6. Valor da compra


Quadro 7. Grupo de produto

Aps o processamento do arquivo pelo WEKA e a obteno dos padres obtidos na execuo da minerao de dados, as regras geradas foram levadas apreciao dos especialistas de domnio da organizao, para anlise e avaliao da qualidade das regras obtidas. Segundo os mesmos, quatro regras apresentam um conhecimento novo j que no haviam identificado que no segmento Magazine, com produtos at R$100,00, tinham maior venda entre os indivduos do sexo feminino at 29 anos, alm de verificar a preferncia masculina por produtos eletro-eletrnicos de custo acima dos R$700,00. O algoritmo trouxe duas regras com informaes duplicadas. As quatro regras restantes foram consideradas bvias, porm, corretas, levando em considerao o domnio de negcio.

Aps a anlise das regras e a verificao de um nicho de mercado a ser investido, os gestores optaram por medidas estratgicas especficas, com campanhas de marketing e promoes especficas definidas pelo perfil do cliente.

5. TRABALHOS RELACIONADOS Mesmo trabalhando em diferentes nveis de detalhamento, algumas pesquisas

encontradas na literatura referem-se ao processo de descoberta de conhecimento em base de dados dando nfase fase de minerao de dados e aos algoritmos de Data Mining, em especial ao algoritmo Apriori, a fim de verificar sua eficincia e eficcia no mbito da extrao de padres corretos de uma base de dados dando suporte a tomada de deciso em nvel de gerencial.

Dentre esses trabalhos que serviram para o embasamento e amadurecimento desta proposta descrita esto: Utilizao de Ferramentas de KDD para Integrao de Aprendizagem e Tecnologia em Busca da Gesto Estratgica do Conhecimento na Empresa realizado por BOENTE et al. (2007). Neste trabalho so abordados os conceitos de Gesto de Conhecimento e de KDD com suas tarefas e mtodos, registrando alguns softwares utilizados no processo de minerao de dados, sendo necessrio adicionar pesquisa conceitos prticos da efetiva utilizao do KDD por meio da empresas.

E os estudos de GILLMEISTER et al. (2005) que demonstram a utilizao do algoritmo Apriori, e de algoritmos baseados neste, comparando com outros, realizando a gerao de regras de associao que trazem um conhecimento novo ao gestor auxiliando assim a tomada de deciso. No entanto, o mesmo apresenta resultados com uma amostra de apenas 7000 registros.

6. CONCLUSES E TRABALHOS FUTUROS O capital humano um dos maiores responsveis pelo xito da GC, seja por um usurio do conhecimento, seja por um fornecedor do conhecimento. A Tecnologia da Informao alm de possuir um papel de apoio nos projetos de GC identificando, desenvolvendo e implantando novas tecnologias, contribui para o intercmbio de


conhecimentos e experincias entre as organizaes, proporcionando novas perspectivas e solues, beneficiando um melhor progresso do conhecimento j existente, tornando gil a tomada de deciso, aperfeioando processos, reduzindo custos e aumentando receitas. Com os resultados obtidos demonstrou-se, na prtica, como as diversas tecnologias ligadas ao processo de descoberta de conhecimento em bases de dados podem apoiar as tomadas de decises, de forma a manter as organizaes competitivas com relao concorrncia e, principalmente, manterem-se no mercado. Como trabalho futuro, pode-se realizar uma comparao entre diversos algoritmos de regras de associao, realizando experimentos que integrem ferramentas de minerao de dados com ferramentas especficas para a GC, apoiando ainda mais o nvel gerencial corporativo para aumentar e propiciar melhores condies na tomada de decises de forma eficaz e eficiente.

7. REFERNCIAS AGRAWAL, R.; Imielinski T.; Srikant R. Mining Association Rules between Sets of Items in Large Databases 1993, Proc. of the ACM SIGMOD Intl. Conf. on Management of Data, Washington, Estados Unidos, p. 207216.

AGRAWAL, R. et al. Fast algorithms for mining association rules in large databases 1994. in: International Conference on Very Large Data Bases, VLDB, 20, Santiago, Proceedings Hove: Morgan Kaufmann, p. 478-499.

ALVARENGA NETO, R. C. D. Gesto do Conhecimento em Organizaes: Proposta de Mapeamento Conceitual Integrativo 2005. Tese (Doutorado em Cincia da Informao) PPGCI, Escola de Cincia da Informao da UFMG, Belo Horizonte.

BOENTE, Alfredo Nazareno Pereira et al. Utilizao de Ferramentas de KDD para Integrao de Aprendizagem e Tecnologia em Busca da Gesto Estratgica do Conhecimento na Empresa 2007. in: Simpsio de Excelncia em Gesto e Tecnologia, Rio de Janeiro, Brasil.

CORREA, A. C. G.; SCHIABEL, Homero Descoberta de Conhecimento em Base de Imagens Mamogrficas 2004. CBIS'2004 - IX Congresso Brasileiro de Informtica em Sade.

DAVENPORT, T. H., PRUSAK, L. Conhecimento Empresarial: como as organizaes gerenciam o seu capital intelectual 1998. Campus. Rio de Janeiro.

DAVIS, Gordon B. Management Information Systems: Conceptual Foundations, Structure and Development. McGraw-Hill. Tokyo.

FAYYAD, U. M., Piatetsky Shapiro, G., Smyth, P. & Uthurusamy, R. Advances in Knowledge Discovery and Data Mining 1996, AAAIPress, The Mit Press.

GILLMEISTER, Paulo Ricardo Guglieri; Cazella, Slvio Csar (2005) Uma Anlise Comparativa de Algoritmos de Regras de Associao: Minerando Dados da Indstria Automotiva, Centro de Cincias Exatas e Tecnolgicas, UNISINOS, So Leopoldo, RS.

GONALVES, Eduardo Corra Regras de Associao e suas Medidas de Interesse Objetivas e Subjetivas, UFF - Universidade Federal Fluminense, in INFOCOMP Journal of Computer Science, Rio de Janeiro, RJ.


GYRDI, Cornelia et al. A Comparative Study of Association Rules Mining Algorithms, in: 1st Romanian, Hungarian Joint Symposium on Applied Computational Intelligence, Oradea, Romania.

KRUGLIANSKAS, Isak e TERRA, Jos Cludio Cyrineu Gesto do Conhecimento em Pequenas e Mdias Empresas. Rio de Janeiro: Campus, 2a. Edio.

PINTO, F.; Santos M. F. Descoberta de Conhecimento em Bases de Dados em Actividades de CRM; Datagadgets 2005; 1 Congresso Espanhol de Informtica CEDI 2005; Granada.

SANCHES, Osvaldo Maldonado Planejamento Estratgico de Sistemas de Informao Gerencial, REVISTA DE ADMINISTRAO PBLICA (RAP) de jul./ago de 1997, Fundao Getlio Vargas (FGV). Rio de Janeiro, RJ

VASCONCELOS, L. M. R. de; Carvalho, C. L. de (2004) Aplicao de Regras de Associao para Minerao de Dados na Web. UFG. Relatrio Tcnico. Gois, GO.

WU, J. H.; WANG, Y. M. Measuring KMS success: A respecification of the DeLone and McLean's model. Information & Management, v.43, n.6, p.728., setembro, 2006. Retrieved December 7, 2006, from ABI/INFORM Global database. (Document ID: 1150986541).

331_331_Artigo_SEGET_EJDR_Versao_Final_010808

Documents

Transcript of 331_331_Artigo_SEGET_EJDR_Versao_Final_010808