Modelo Comportamental Baseado em Crenças e Teoria ... · Modelo Comportamental Baseado em Crenças...

Laboratório de Sistemas Integráveis – EPUSP

Modelo Comportamental Baseado em Crenças e Teoria Bayesiana para

Simulações de Vida Artificial com Humanos Virtuais

Marcos CavalhieriDr. Márcio Lobo Netto

11 de Abril de 2006 Defesa de Mestrado

Modelo Comportamental Baseado em Crenças e Teoria Bayesiana


Agenda da Apresentação

– Introdução

– Aspectos Gerais

– Modelo de Comportamento Proposto

– Simulação do Projeto

– Resultados Obtidos

– Considerações Finais



Introdução

– Problema Abordado– Falta de conhecimento correto e completo do mundo externo aos

personagens (entidades não-onipotentes).

– Manipular informações incertas ou passíveis de ruídos.

– Tomar decisões com base em informações incertas, de modo a considerar possíveis implicações decorrentes desta incerteza e ruídos agregados.

– Manter consistente o comportamento dos personagens em Ambientes Dinâmicos.

– Desenvolver a capacidade de adaptação em personagens virtuais.



Introdução

– Objetivo

● Propor um modelo de comportamento humano autônomo e adaptativo que permita ao personagem interagir em um ambiente virtual dinâmico, mesmo dispondo de informações incertas.

– Solução Proposta

● Modelo de comportamento baseado em Crenças e Teoria de Bayes para manipular a incerteza vinculada às informações



Introdução

– Como manipular essa incerteza?

● Informações incertas são abordadas como crenças. E estas são obtidas através de um cálculo bayesiano (crenças probabilísticas).

– Como conciliar com a Tomada de Decisão?

● Mecanismos determinísticos e probabilísticos compõem o processo de inferência.



Introdução

– E a Adaptação? Como será feita?

● Adoção da inferência como recurso de avaliação do personagem para desenvolver a capacidade adaptativa do modelo.

– Adaptação do quê?

● Ocorrerá nas informações incertas (crenças) pertinentes ao personagem. Reavaliando assim, os níveis de certeza das crenças.



Introdução

– Características da Solução

● Habilidade em observar o ambiente e representá-lo, mesmo as informações passíveis de ruído.

● Inferir e tomar decisões com base nestas representações.

● Interagir com um ambiente dinâmico de modo que desenvolva a sua capacidade adaptativa.



Introdução

– Trabalhos Relacionados

● MIRALab e VRLab– Representação de personagens, especificamente Humanos Virtuais.

– Comportamento autônomo, social e emergencial.

– Simulação de multidões.

– Integração destes personagens com ambientes virtuais em Realidade Virtual.


Introdução


● CROMOS– Geração parametrizada de populações heterogêneas (personagens

virtuais).

– Simulação de comportamento social para elevadas densidades demográficas.

– Capacidade de lidar com ruídos ou agentes perturbadores, que resultem em pânico ou situações de emergência.



Introdução

– CROMOS


Introdução


● ARTLIFE– ALIVE

● Ambiente de simulação para experimentos em VA.● Algumas simulações já desenvolvidas.● Dinâmicas de sobrevivência e comportamento social.● Colônia de bactérias;● Radiosidade e difusão de energia.● Visão Bottom-Up.● Vertente da pesquisa: Filogenia.● Seres perceptivos (ausência de módulo cognitivo).



Introdução

– ALIVE

R

G

B

+ ACT

W1

W2

W3

FILTER

RADIATION

RGB Filter

Neural Net


Introdução


● ARTLIFE– WOXBOT

● Personagem virtual (robô).● Arena composta por objetos que representam fontes limitadas de

energia e toxina.● Tempo de Vida dependente do consumo de energia.● Codificação genética do processo cognitivo (máquina de estados).● Comportamento reativo e rígido.● Visão Bottom-Up.● Vertente da pesquisa: Filogenia.● Presença de um mecanismo de tomada de decisão.



Introdução

– WOXBOT


Introdução


● ARTLIFE– ALGA

● Personagens virtuais (peixes).● Aquário formado por peixes e alimento.● Tempo de Vida dependente do consumo de energia.● Tomada de decisão baseada em cadeias de Markov.● Uso de um dicionário de palavras.● Comportamento adaptativo.● Presença de 2 entidades distintas: professor e aluno.● Visão Top-Down.● Vertente da pesquisa: Ontogenia.● Seres cognitivos: comunicação e aprendizado.



Introdução

– ALGA



Introdução


● ARTLIFE– V1V0

● População de personagens (humanos virtuais).● Ambiente formado estritamente por humanos.● Tomada de decisão baseada em raciocínio probabilístico.● Representação interna do ambiente observado.● Habilidade em manipular incertezas.● Comportamento cognitivo e adaptativo.● Visão Top-Down.● Vertente da pesquisa: Epistemologia.● Seres cognitivos: manipulação de informações incertas do ambiente

e adaptação.



Introdução

– Contextualização Geral– ALIVE

● Âmbito geral de Vida Artificial.● Cenário microbiótico (organismos unicelulares).● Seres reativos e necessidade de sobrevivência.

– WOXBOT

● Filogenia.● Personagem sintético.● Surgimento de uma cognição primitiva.

– ALGA

● Ontogenia.● Seres mais “desenvolvidos”.● Uso de dicionário de palavras e comunicação.● Cognição melhor elaborada.



Introdução

– Contextualização Geral

● V1V0– Epistemologia.

– Seres “racionais” (humanos virtuais).

– Representação e manipulação de incertezas.

– Representação interna do ambiente.

– Processo de inferência atrelado à Tomada de Decisão.

– Presença de pseudo-personalidade.

– Seres cognitivos e adaptativos.



– Vida Artificial

● Filogenia, Ontogenia e Epistemologia– Espécie, Ser (indivíduo) e Conhecimento

● Bottom-UP X Top-Down

– VA Forte (Biologia) x VA Fraca (Engenharia)

● Fenômenos observados em vida– Comportamento Social

– Reprodução

– Adaptação

● Evolução● Aprendizado

Aspectos Gerais



Aspectos Gerais

– Inteligência Artificial

● Agentes, Comportamento e Ambientes

● Principais características desses ambientes– Observação do cenário

– Dependência de alteração (estados)

– Tempo de influência da ação do agente

– Fluxo de tempo

– Quantidade de agentes

Framework do Comportamentoestímulo do

ambienteatuação no

ambiente

Percepção Cognição Atuação

Ruídos eIncertezas



Aspectos Gerais

– Raciocínio Probabilístico

● Teoria de Bayes

– Probabilidades incondicionais (a priori):

● Evidência e Hipótese: P(e), P(H)– Probabilidade de dependência (likelihood):

● Evidência na certeza da Hipótese: P(e/H)– Probabilidade condicionada (a posteriori):

● Hipótese na certeza da Evidência: P(H/e)


Aspectos Gerais

– Raciocínio Probabilístico

● Teoria de Bayes

– Muito utilizado em sistemas especialistas para descrever o raciocínio lógico frente às incertezas.

– Parâmetros estáticos: uma vez obtidas as distribuições das amostras elas não são alteradas.

– Vantagem: simplicidade do modelo que exige poucas informações (3parâmetros).

– Desvantagem: dificuldade de obtenção das amostras (valores probabilísticos a priori).



Aspectos Gerais

● Realidade Virtual

– Sentimento de ausência e vazio.

– Sistemas Distribuídos de Realidade Virtual.

– Multi-usuário (Avatares).

– E quando não existir usuários suficientes?

– Agentes, Personagens, Humanos Virtuais!?

● Comportamento autônomo.

● Controle de uma representação gráfica.

● Percepção e Interação com o ambiente.


Aspectos Gerais



● Vida e Inteligência Artificial

– Epistemologia, Top-Down, VA Fraca.

– Comportamento Social e Adaptação.

– Características do Ambiente

● Parcialmente Observável, Estocástico, Episódico

● Dinâmico, Discreto, “Multi-Agente”, Competitivo

● Framework Proposto

– Percepção, Cognição e Atuação (primitivo).

– Fatos, Crenças e Ações.

Modelo de Comportamento



– Percepção

● Detecção de colisão (área de influência).

● Criação de Fatos (Evidências).

● Registrado em uma Lista de Fatos.

– Cognição

● Interpretação e Decisão (2 planos).

● Atualização do Repertório (cálculo das crenças).

● Atualização da Roleta de Monte Carlo (ações);

● Avaliação do sucesso (ou não) da ação.



Processo Cognitivo

FatosCrenças

Ação

Repertório

Interpretador(Inferência)

Decisor(Escolha)%



– Interpretador (Atualização do Repertório)

● Modelagem Bayesiana

– Cálculo dos níveis de certeza das crenças (probabilísticas).

– Uso de funções para conciliar o conhecimento a priori com o dinamismo da simulação (alteração dos estados do ambiente). Vf(t), Vc(t).

– Notação:

● evento (e) → fato (f)● hipótese (h) → crença (c)



– Interpretador (Atualização do Repertório)

● Modelagem Bayesiana

– Conhecimento a priori e estático: P(f), P(C).

● Obtido no nascimento e invariável.● Pseudo-personalidade (pré-disposição).● Precisa ser modelado (condições ideais p/ simulação).

– Fator de memória. Vf(t-1), Vc( t-1).

– Aspectos de freqüência de uso e relevância dentro do repertório.

H2

H1

InterpretadorF1

Hn



– Decisor (Seleção da Ação)

● Sistema de tomada de decisão: Monte Carlo.

● Cada fato possuí uma distribuição com as probabilidades das ações (roleta).

● Mecanismo probabilístico (sorteio).

● Atualização da distribuição com base na crença dominante (+ significativa). A fatia correspondente é ponderada com base no nível de certeza.

● A ação é selecionada e disparada enquanto o Decisor aguarda um retorno de sucesso ou não. Correção do parâmetro I(f/c) com base na constatação decorrente da ação executada.



– Funcionamento do Interpretador e do Decisor

NC(c/f)

Assistente

36%

Interpretadorfato

+ | -

I(f/c)

Decisor

ação ?

êxito

crença

utilizada

crença

dominante

?



– Problemas encontrados:

● Perda de integridade dos valores probabilísticos (parâmetros).– Exemplo: ∑C C1 + C2 +...+ Cn = 100%

● Numerador mais significativo que o denominador.– Numerador: I(f/c) e Vc(t).

– Denominador: Vf(t).

● Convergência prematura das distribuições das ações com base nas crenças (Mínimo Local).

– Aumento da Fatia.

– Aumento da Participação (sorteio da ação).

– Aumento do Vc(t).



– Soluções utilizadas:

● Normalização probabilística a cada alteração.

● ?!?

– Recomendável que se tenha xF → yC. Onde (y>x).

– Aumento da incerteza no ambiente que incide diretamente no parâmetro que mensura tal ruído: I(f/c).

– Melhor modelagem das distribuições a priori.

● Diminuir a temperatura do sistema (simulação).– Admissão de outros fatores de incerteza.

– A Ponderação da fatia da ação correspondente é obtida através doquadrado do nível de certeza NC².


Simulação do Projeto



– Configurações



– Renderização



– Comportamento -> Percepção



– Comportamento -> Cognição



– Comportamento -> Repertório



– Comportamento -> Monte Carlo



Resultados Obtidos


Considerações Finais

– Contribuições Científicas

● Vida Artificial– Desenvolvimento na linha epistemológica (desenvolvimento cultural).

– Contexto “Bottom-Up” para I(f/c), onde o personagem aprende a relacionar Fatos com Crenças.

– Adaptação às alterações de estado do ambiente (ruídos e incertezas).

● Inteligência Artificial– Dinamismo na mensurização das incertezas (Bayes).

● Reavaliação dos níveis de certeza.● Em sistemas especialistas o comportamento das distribuições

probabilísticas é estático.



– Conclusões

● O método bayesiano se mostrou satisfatório em aplicações dinâmicas e cumpriu o objetivo de permitir aos personagens se adaptar em um ambiente parcialmente observável. Contudo, sua modelagem mostrou-se frágil e muito sensível.

● Métrica da incerteza do ambiente:– O parâmetro alterado pela adaptação, I(f/c), após uma janela de tempo,

reflete efetivamente a quantidade de ruído presente no relacionamento F/C.

– A incerteza enfraquece consideravelmente a relação F/C.



– Trabalhos Futuros

● Extensão da pesquisa para um modelo que comporte Múltiplas Hipóteses Múltiplas Evidências (MHME).

● Incorporação de Algoritmos Genéticos para obter amostras mais robustas dos valores a priori (Bayes).

– É possível que a personalidade das pessoas (parte dela) esteja presente no material genético.

– Em determinados cenários, uma personalidade pode ser mais interessante que outra, resultando na seleção natural dos mesmos.





● Confrontar os recursos bayesianos com outras técnicas de manipulação de incertezas dentro de um escopo epistemológico.

● Ampliar a modelagem do raciocínio lógico a aspectos cognitivos utilizando a arquitetura BDI (Belief, Desire and Intention).

● Expandir os personagens humanos à representações 3Ds (aumento de informações contidas nas ações).

● Estender a simulação à Caverna Digital.

● Abrir o sistema à inserção de ruídos e perturbações.


Considerações


● Desenvolver o conceito de sociedades bem como a migração entre seus membros para análise de adaptação.

● Migrar o projeto para um sistema multi-agentes, aumentando assim o tamanho das populações. Ex: SACI (LTI).

● Parametrizar a regra de seleção dos 2 planos cognitivos: determinístico e probabilístico.

Modelo Comportamental Baseado em Crenças e Teoria ... · Modelo Comportamental Baseado em Crenças...

Documents

Transcript of Modelo Comportamental Baseado em Crenças e Teoria ... · Modelo Comportamental Baseado em Crenças...