Diretrizes de Design para Adaptive Multimodal

Entrada solues mobile

De Bruno Dumas, orzano Mar ' IA Sol' e Beat Signer

Engenharia de Sistemas Web e Informaes Lab

Vrije Universiteit Brussel

Pleinlaan 2 , 1050 Bruxelas, Blgica

fbdumas , msolorza , bsignerg@vub.ac.be

RESUMO

O advento dos dispositivos mveis avanados em combinao com

novas modalidades de interao e mtodos para o rastreamento de

informao contextual, abre novas possibilidades no campo da

adaptao interface de usurio sensvel ao contexto . Uma direo investigao particular a

adaptao automtica sensvel ao contexto de

modalidades de entrada em interfaces mveis multimodais . apresentamos

solues de entrada mvel multimodais adaptativos existentes e coloc-los dentro de reas de

pesquisa relacionadas. com base em

uma anlise detalhada do estado da arte , propomos oito

diretrizes de design para solues de entrada mvel multimodais adaptveis . O uso destas

orientaes ainda ilustrada atravs

a concepo e desenvolvimento de uma aplicao de calendrio multimodal adaptativa.

autor Palavras-chave

Orientaes para o projecto ; interao multimodal mvel; usurio

adaptao de interface; sistemas sensveis ao contexto .

ACM Classificao palavras-chave

H.5.2 Informaes Interfaces e apresentao: Usurio

Interfaces .

Termos gerais

projeto ; Fatores Humanos .

INTRODUO

Interfaces multimodais fazer uso de vrias modalidades de entrada ou sada para melhorar a

comunicao e interao

com um usurio. Pela sua prpria natureza , eles so excelentes candidatos

para interfaces adaptativas [18] . Dependendo do perfil de um usurio ou

algumas condies ambientais , uma interface multimodal pode

mudar de uma modalidade de uma outra modalidade . Alm disso ,

interfaces multimodais potencialmente apoiar a adaptao na entrada , bem como no nvel de

sada. Enquanto a adaptao automtica das interfaces multimodais no lado de sada tem sido

explorado por diversos pesquisadores , a adaptao automtica de

modalidades de entrada tem sido menos estudada.

A permisso para fazer cpias digitais ou impressas de todo ou parte deste trabalho para

pessoal ou uso em sala de aula concedido sem taxa desde que as cpias no so

feito ou distribudo com fins lucrativos ou vantagem comercial e que as cpias suportar

este aviso ea citao completa na primeira pgina . Copyrights para componentes

deste trabalho de propriedade de outros que ACM deve ser honrado . abstraindo com

permitido crdito. Para copiar o contrrio, ou republicar, para postar em servidores ou

redistribuir a listas, requer permisso especfica prvia e / ou uma taxa. pedido

permisses de Permissions@acm.org .

MobileHCI '13 , 27-30 agosto de 2013, Munique, Alemanha

Direitos de autor 2013 ACM 978-1-4503-2273-7/13/08 ... R $ 15,00.

Esta falta de solues de entrada multimodais adaptativos podem ser

causada em parte pelo fato de que , at recentemente, os dispositivos mveis

no oferecem uma grande variedade suficiente de modalidades de entrada. No entanto , a

adaptao automtica de entrada multimodal em combinao com algoritmos avanados de

fuso multimodal tem o

potencial para melhorar a usabilidade geral de dispositivos mveis

fornecendo vrias modalidades alternativas. Alm disso , as interfaces podem ajustar-se as

condies ambientais e assim

melhorar a experincia e desempenho do usurio individual.

A adaptao automtica das modalidades de entrada pode avanar

ser um instrumento para tratar de questes de segurana e proteco . para

exemplo, um usurio dirigir um carro no deve usar a tela sensvel ao toque

de seu smartphone, mas sim contar com as modalidades de entrada que

permitir a sua ateno para ficar focado na estrada. Por ltimo, mas

no menos importante, o contexto social pode favorecer ou impedir a utilizao de

certas modalidades . O desenvolvimento deste tipo de sistemas multimodais de adaptao no

s exige tcnica detalhada

conhecimento, mas tambm princpios de design claras .

O novo corpo de pesquisa sobre a entrada multimodal adaptativo vai construir na pesquisa

existente sobre adaptao de entrada automtica na ltima dcada . Ns, portanto, comear

por apresentar

uma reviso do trabalho j existente do campo de adaptao de entrada multimodal

automtico e posicionar as atividades de pesquisa em

este corpo de trabalho. Isto baseado em solues em reas afins

como a adaptao das modalidades de produo, interao multimodal mvel e aplicaes

sensveis ao contexto . o actual

trabalho comparada primeiro e , em seguida, analisada de uma forma mais detalhada

forma com base em trs dimenses: a combinao de modalidades, sensibilidade ao contexto

e da adaptao automatizada de modalidades de entrada. Com base nesta anlise , propomos

um conjunto de

oito diretrizes de design de alto nvel para a criao de aplicaes mveis multimodais

adaptveis contextaware . Finalmente , o

desenvolvimento de uma aplicao de calendrio multimodal adaptativo

discutido para ilustrar a aplicao do citado

Guia de Design.

Comeamos por introduzir alguns conceitos gerais, incluindo a interao multimodal ,

adaptao para o usurio e contexto, bem como

trs quadros tericos relacionados. Este seguido por um

apresentao dos trabalhos de pesquisa que foram analisados

como parte de nossa reviso . A anlise do trabalho existente comea por

resumindo um conjunto de caractersticas para cada projeto. trs

anlises detalhadas sobre a combinao de modalidades , a influncia de contexto e da

adaptao automtica das modalidades de entrada so apresentados. Depois de delinear um

futuro promissor

direes de pesquisa , ns fornecemos algumas concluses gerais .

MOBILE HCI 2013 - ADAPTAO E DESIGN 29 de agosto de 2013 - MUNIQUE , ALEMANHA 285

JUSTIFICATIVA

O campo de adaptao de entrada automtica com base em contextual

informao posicionada na borda de um nmero de diferentes reas de investigao . Ns

fornecemos uma viso geral das reas mais importantes e introduzir trs quadros tericos : o

Propriedades cuidado, o quadro ISATINE eo Cameleon

quadro de referncia .

Interao Multimodal

A fora de interfaces multimodais reside no potencial

combinao de diferentes modalidades. Alm da melhoria

poder expressivo usando vrias modalidades, como ilustrado

por seminal " colocar - que - l" aplicao de Richard Parafuso em

que um usurio combina voz e gesto para expressar complexo

comandos , interfaces multimodais tambm melhorar a usabilidade [ 2,17 ] . Modalidades de

entrada so fontes probabilsticos geralmente contnuos, como fala ou gesto reconhecedores ,

ao contrrio de fontes determinsticos padro, incluindo teclado

ou entrada de mouse. A gesto da probabilstica contnua

fontes pergunta para o processamento paralelo. Fontes probabilsticos e

processamento paralelo , por sua vez demanda de arquiteturas de software distribudos e

timesensitive [11].

Propriedades da CARE

Em um nvel de modelagem , as propriedades CUIDADOS definido por Coutaz

e Nigay [ 6 ] ilustrar como as modalidades podem ser compostas numa

aplicao multimodal . Note-se que a CARE est para a complementaridade , a atribuio ,

redundncia e equivalncia . Modalidades complementares ter todas as modalidades para

alcanar um novo

estado do aplicativo, modalidades atribudos alocar um e apenas

uma modalidade para uma determinada operao , as modalidades redundantes

implica que todas as modalidades podem levar a uma mesma operao e

modalidades equivalentes afirmar que qualquer das modalidades pode

ser usado para mover para um novo estado da aplicao. a diferena

entre redundncia e equivalncia reside na forma como os casos com

vrias modalidades que ocorrem ao mesmo tempo so tratadas.

No caso da adaptao de entrada automtica com base no contexto

informaes, equivalente ou modalidades redundantes so essenciais

ea modalidade adequada para um determinado contexto sero selecionados ou favorecido .

Adaptao ao Usurio e Contexto

Enquanto a adaptao tem sido investigada por WIMP tradicional

interfaces de [5] ou interfaces mveis sensveis ao contexto [1] , o trabalho

dedicado adaptao automtica de entrada com base em informaes contextuais

bastante limitado . Ao considerar usurio

adaptao, diferentes maneiras de adaptar a interface do usurio pode

ser considerado . Por um lado , a interface de utilizador pode ser criado , de tal forma que ele

se adapta automaticamente e sem

qualquer interveno do usurio , que tambm o foco deste artigo .

Por outro lado, vemos as solues em que os usurios so dadas

a possibilidade de modificar a interface do usurio de uma forma pr-ativa.

Mais formalmente, Malinowski et al. [16] props uma completa

taxonomia para descrever adaptao interface do usurio. Sua taxonomia baseada em

quatro estgios diferentes de adaptao em um

determinada interface , ou seja, iniciativa , proposta, deciso e execuo. Cada uma destas

adaptaes aos quatro estdios diferentes

pode ser realizada por parte do utilizador , o aparelho ou ambos. L ' opezJaquero et al . [15]

props o quadro ISATINE com

sete estgios de adaptao , incluindo as metas para adaptao de interface do usurio, a

iniciativa para a adaptao , a especificao de adaptao , a aplicao de adaptao , a

transio com a adaptao , a interpretao de adaptao bem

como a avaliao de adaptao .

Cameleon Reference Framework

Calvrio et al. [4] apresentou uma interface de usurio baseada em modelo

estrutura para as interfaces de multi - alvo , permitindo a descrever

projetar e executar em tempo fases sem levar em conta as necessidades especficas de

implementao . Multi - alvo refere-se a

vrios contextos , enquanto contexto indica o contexto de uso

de um sistema interactivo descrito em termos de um modelo do utilizador , plataforma e

ambiente . O modelo de usurio contm informaes sobre o usurio atual, como preferncias

do usurio ou

limitaes dos utilizadores com deficincia . O modelo de plataforma descreve

caractersticas fsicas do dispositivo o sistema est funcionando

no , incluindo o tamanho do ecr ou da velocidade do processador .

Finalmente, o modelo contm informaes sobre ambiente

atributos sociais e fsicos do ambiente no qual o

interao est ocorrendo.

MULTIMODAL Mobile Solutions ENTRADA

Apresentamos agora os artigos que selecionamos para nossa reviso de

solues de entrada mvel multimodais . Trabalhos relacionados no campo

adaptao de entrada automtica de context-aware discutido em

a seo sobre Automatic Multimodal Adaptao de entrada . como

mostramos , apenas uma pesquisa limitada foi realizado nessa

campo . A fim de ter uma viso mais completa , tambm

trabalho incluem relacionados no campo da multimodal user-driven

adaptao de entrada . Algumas destas solues tambm ilustram como

composio multimodal , a seleo de modalidades e gerenciamento de contexto tm

progredido em aplicaes difundidas .

Multimodal Adaptao entrada user-driven

Comeamos a discutir o estado da arte na rea de entrada mvel multimodal com foco em

solues onde as propriedades ambientais so levados em conta, como parmetros para

influenciar a seleo de modalidades. Isto inclui o bem- conhecido

de trabalho que tem sido realizado no domnio de orientada para o utilizador

( no automtico ) adaptao de entrada context- aware.

Lemmela et al . [ 14 ] apresenta um mtodo iterativo para conceber

aplicaes multimodais em contextos mveis. um interessante

contribuio de sua abordagem que eles identificaram que

modalidades e combinaes de modalidades melhor naipe diferente

situaes de mobilidade com base na carga do canal sensorial do usurio.

Entrada de fala foi atribudo como a tcnica de interao padro para o ambiente do carro

enquanto gestos 2D ( dedo

acidentes vasculares cerebrais ) e gestos de movimento (gestos inclinao ) foram usadas no

andando meio ambiente. Em ambos os cenrios , os usurios tinham que ler

e escrever mensagens SMS durante a execuo de outras atividades. ele

foi referido que os usurios preferem usar a modalidade de entrada de voz ao mesmo tempo

que , no contexto do carro . De S ' um et al . [ 8 ]

descrever um conjunto de tcnicas e ferramentas para apoiar os designers

durante o desenvolvimento de aplicaes mveis multimodais .

Uma dessas ferramentas relacionadas ao contexto e influncia ambiental uma estrutura

conceitual chamado Cenrio Gerao

e Contexto Quadro Seleo. O quadro tem como objetivo

facilitar o processo de seleo de cenrio e de gerao em

MOBILE HCI 2013 - ADAPTAO E DESIGN 29 de agosto de 2013 - MUNIQUE , ALEMANHA 286

um ambiente mvel . Baseia-se na anlise de um conjunto de variveis

que possa afetar a interao do usurio. Ronkainen et al . [24] introduziu um modelo

conceitual chamado Environment Analysis Framework para realizar uma anlise sistemtica

ambiente .

A estrutura foi construda com base na anlise do anterior

trabalho em relao ao uso mvel e influncia de contexto. Os autores afirmam que a sada do

quadro pode ser utilizado para

orientar o projeto de interfaces de usurio e dispositivos otimizados para determinados

ambientes adaptativos e / ou multimodais .

Alguns projetos tambm abordou como a influncia do contexto

e as propriedades ambientais , em particular afeta a interao com o usurio e as modalidades

preferidas em diferentes domnios de aplicao. Por exemplo , o domnio de aplicao baseada

em mapa tem

foram analisados por diversos autores . Doyle et al . [ 10 ] realizada

uma reviso e anlise de sistemas multimodais baseados em mapas existentes. Eles ainda

proposto e avaliado um novo sistema de informao geogrfica mveis multimodal (GIS)

chamado

Compass. Parmetros como a eficcia e eficincia

em comparao com a interaco unimodal foram avaliadas . Ramsay et

ai . [20] props a utilizao de gestos de movimento , como a frente

e inclinao para trs de um dispositivo externo para a navegao do mapa.

O estudo centrou-se na avaliao de preferncias do usurio e sua

percepo de novas tcnicas de interao de entrada em comparao

para navegao teclado tradicional. Uma aplicao de guia turstico

foi desenvolvido para realizar uma avaliao do usurio no campo.

Outras atividades ao ar livre mveis tpicos como fazer compras, acessar diferentes tipos de

servios web e tarefas de preenchimento de formulrios foram

tambm explorado. Por exemplo , o objetivo de Wasinger et al. ' S

trabalho [30] foi o de explorar o uso de interao tangvel como

uma modalidade de entrada complementar para a fala , os gestos em 2D

tocar displays e caneta gestos. Eles desenvolveram uma prova de

conceito de aplicao para medir a intuio , bem como

para avaliar combinao preferida de um usurio de modalidades em um

contexto comercial. Por outro lado , como parte do SmartWeb

projeto , Sonntag et al. [28] propuseram o uso de linguagem natural e multimodalidade como

uma interface para recuperar intuitivamente

diferentes tipos de informao a partir de servios web . Um aspecto importante do seu

sistema o seu processamento context-aware

estratgia. Todas as aes do usurio reconhecidos so processados em relao ao seu

contexto situacional e discurso. Finalmente , Reis

et ai . [22 ] investigaram a modalidade preferida do usurio em diferentes ambientes mveis .

Os autores apresentaram um celular

aplicao multimodal que permitia os usurios a responder a questionrios e preencher as

informaes . O teste foi conduzido

em quatro ambientes , incluindo a casa, um parque , o metr

e um carro. As modalidades de entrada avaliados foram caneta 2D e

gestos , bem como a fala ea entrada base de teclado . seu

resultados destacam que em ambientes silenciosos , sem a presena de estranhos ou outros

fatores perturbadores , os usurios estavam ansiosos

para experimentar novas modalidades.

Automatic Multimodal Adaptao de entrada

Temos agora delinear o estado da arte na rea de entrada multimodal mvel com foco em

solues onde ambiental

propriedades so levados em conta como parmetros que influenciam

a seleco de modalidades . As principais caractersticas do trabalho

apresentados nesta seco esto resumidos e ainda classificados na Tabela 1 .

Como parte do SmartKom [23] projeto de pesquisa , B uhler

et ai . [3] apresentou um prottipo de uma verso mvel do

Sistema SmartKom . A relevncia deste trabalho baseia-se

a introduo de um quadro conceptual que lida com

o controle flexvel das modalidades de interaco bem como

uma nova arquitetura para a interao flexvel em ambientes mveis.

Os utilizadores , bem como o sistema pode iniciar uma transio modalidade

entre as modalidades padro. A estrutura conceitual

descreve cinco combinaes de modalidades de entrada e de sada

com base no nvel do usurio da ateno em um carro e uma configurao de pedestres , ou

seja, o padro, ouvinte , silencioso, carro e discurso

s . O mecanismo de adaptao baseada em um conjunto de regras pr-definidas. Por

exemplo , uma transio de entrada automtica

o ambiente piloto permitiu a modalidade de entrada de caneta gesto para ser ligado

automaticamente quando o dispositivo mvel

estava ligado estao de ancoragem em um carro. Da mesma forma , quando

altos nveis de rudo de fundo foram sentiu no pedestre

meio ambiente, a modalidade de entrada de fala foi desativado.

Usando a mesma abordagem baseada em regras , David et al. [7] props um middleware

mvel que facilita o desenvolvimento

e manuteno de interfaces mveis multimodais adaptativos .

O middleware construdo sobre a estrutura e Android

composto de duas camadas , incluindo uma Servios e uma camada de linguagem de

programao . Uma das novidades da abordagem

que esta biblioteca baseada na programao orientada para o contexto

paradigma apresentado em [ 26 ] . Um prottipo de mensagens instantneas

foi construdo para ilustrar a abordagem . O aplicativo permitia aos usurios a ler e escrever

mensagens SMS usando o

teclado ou discurso. Assim, os modos de entrada foram adaptados

dependendo dos movimentos do usurio em uma condio estressante

tais como andar de bicicleta. Por exemplo, quando o usurio estava montando

uma bicicleta , a modalidade de entrada padro foi definido automaticamente para

fala e quando o usurio parou de andar de bicicleta, a modalidade de discurso foi desativado.

Por sua vez, Kong et al. [13] props um quadro com base em

adaptao humana -centric. Em contraste abordagens baseadas em regras para , eles

quantificar a preferncia mdia do usurio para

uma modalidade em um determinado contexto de interao. Por exemplo , um

ambiente escuro pode reduzir pontuao preferncia de um usurio para

modalidades relacionadas com a exibio visual . Adaptao pode, portanto, ser visto como a

procura de um melhor conjunto de modalidades com

a pontuao mais alta preferncia por um determinado cenrio. O algoritmo de adaptao

tambm verifica que a modalidade selecionada faz

no exceda os recursos do sistema . O design do aplicativo e

processo de desenvolvimento de acordo com o quadro proposto

pode ser sintetizado em trs etapas . Em primeiro lugar, determinar as tarefas

e as modalidades de entrada / sada disponveis para um determinado tipo de dispositivo.

Em seguida , os cenrios de interaco , bem como o contexto de interaco dever ser

determinada . Last but not least , os designers

tem que avaliar a pontuao mdia de preferncia de uma modalidade

para um contexto de interaco especfico . Para obter este valor , uma pesquisa com os

usurios finais devem ser realizadas . Os resultados da

pesquisa esto finalmente usado como entrada para um algoritmo heurstico .

Zaguia et al . [31] apresentou uma abordagem interessante para o

deteco da modalidade ideal. Eles exploraram o domnio

de acesso a servios web utilizando uma modalidade de abordagem ativao baseada em

contexto. A parte importante de sua abordagem que

MOBILE HCI 2013 - ADAPTAO E DESIGN 29 de agosto de 2013 - MUNIQUE , ALEMANHA 287

Nome modalidades de interaco

Tcnicas

interao

Sensores

dispositivos de sada

influncia

Propriedades cuidado com o ambiente

Condies

FMA Adaptao Aplicao

domnio

Buhler

et ai .

2002 [3]

- discurso

- Caneta gestos

- naturais

dilogo

- apontando

- microfone

- stylus

sem fio

computador

( iPAQ )

e laptop

sim

- grfica

- udio

complementaridade

dilogo naturais + apontador

( informaes sobre um lugar )

atribuio

modo de discurso : o dilogo naturais

modo silencioso / ouvinte : Apontar

equivalncia

modo padro : Natural

dilogo ou apontador

conduo

condies sociais : estresse

localizao : Carro

caminhada

condies fsicas : alto

nvel de rudo

condies sociais : interao social estressante

localizao : rua

F ME : velocidade de conduo,

estado dos freios , localizao, nvel de rudo

AP : regra baseada

AM : default interruptor

modo de entrada

Mapa e GIS

SmartKom

David

et ai .

2011 [ 7]

- discurso

- Gestos 2D

- ditado

- digitao

- microfone

- toque

display

smartphones

(Android)

sim

- grfica

- udio

- Vibrao

equivalncia

digitao, ditado ( mensagem escrita, resposta de verificao )

localizao : localizao GPS

condies sociais : estresse

( ciclismo )

M ME: velocidade GPS

AP : regra baseada

AM: modalidades de comutao

comunicao

aplicao SMS

Kong

et ai .

2011 [ 13]

- discurso

- Gestos 2D

- Caneta gestos

(N / A) - microfone

- toque

display

- stylus

smartphones no

- udio

- Vibrao

atribuio

biblioteca: gestos 2D

equivalncia

ao ar livre : fala, gestos 2D

shopping : gestos 2D ,

caneta gestos

local: shopping center ,

ao ar livre, biblioteca

condies fsicas : a luz

nvel (claro , mdio

escuro ), tempo ( sol,

nublado, chuvoso ) , nvel de rudo

( barulhento, silencioso)

F ME: luz ambiente,

nvel de rudo , tempo,

localizao , temperatura

AP : centric humano

(escore de preferncia)

AM : corrente chave

conjunto de modalidades

diverso

aplicativo de rede social

Zaguia

et ai .

2010 [ 31]

- discurso

- Gestos 2D

- Manipulao indireta

- voz

comandos

- nico toque

- digitao

- Pressione a tecla

- microfone

- toque

display

- teclado

sem fio

computador

e laptop

sim

- grfica

- udio

equivalncia

selecionar campos : pressione a tecla , de voz

comandos , nico toque

de entrada de dados : comandos de voz,

datilografia

local: casa, trabalho, em

movimento

condies fsicas : a luz

nvel (claro , escuro, ... ) ,

nvel de rudo ( rudo, silencioso)

A ME: nvel de rudo , localizao, nvel de luz

AP : regra baseada

AM: ativar / desativar

modalidade preferida

Servios

reserva de voo

Porta

et ai .

2009 [ 19]

- discurso

- Gestos 2D

- movimento

gestos

- naturais

dilogo

- nico toque

- Shake

- microfone

- toque

display

- acelermetro

smartphones

(iOS )

no

- grfica

- udio

complementaridade

torneira nica + linguagem natural

( encontrar detalhes de um item)

atribuio

discurso : pedir informaes

tremer : desfazer tarefa

localizao : relative localizao

( dispositivo de boca) , ao ar livre

condies sociais : estresse,

tarefas crticas de tempo

A ME: dispositivo de boca

proximidade

AP : regra baseada

AM: permitir discurso

Servios

sistema B2B

Turunen

et ai .

2009 [ 29]

- discurso

- movimento

gestos

- Gestos extras indiretos

- manipulao

- voz

comandos

- tilt

- Item de toque

- Pressione a tecla

- microfone

- acelermetro

- Leitor de NFC

- Teclado

smartphones

(Symbian)

sim

- grfica

- Vibrao

complementaridade

inclinao vertical + pressione a tecla ( movimento

seleo) , inclinao horizontal + chave

imprensa ( opes de zoom )

equivalncia

fala, gestos extras (menu

opes)

localizao : relative localizao

( dispositivo de boca)

condies fsicas : a luz

nvel ( muito escuro)

A ME: dispositivo de boca

proximidade

AP : regra baseada

AM: permitir discurso

modalidade

diverso

media center

Tabela 1. Resumo da pesquisa sobre a adaptao de entrada automtica sensvel ao contexto.

A coluna Influncia Sada lista todas as modalidades de sada , juntamente com

informaes se a sada adaptado. Na adaptao da coluna, 'ME' significa entidade

monitoramento, ' AP ' para a poltica de adaptao e 'AM ' para

mecanismo de adaptao .

ele garante que as modalidades invocadas so adequados para um usurio de

situao atual. O sistema , ou mais especificamente um agente dedicado interao contexto,

responsvel pela deteco

informao de contexto , bem como a seleco da modalidade ideal. Este valor calculado

com base na avaliao de fatores relacionados ao contexto de interao. interao

contexto refere-se ao contexto do usurio (por exemplo, usurio regular , surdo, mudo,

manualmente deficientes ou com deficincia visual ), ambientais

contexto ( por exemplo, nvel de rudo ou o brilho no local de trabalho )

e contexto do sistema (por exemplo, recursos do dispositivo de computao) .

A abordagem foi ainda ilustrado com um sistema de reserva de bilhetes. A aplicao permitiu

que os usurios de reservar um bilhete

com base nas modalidades ptimas fornecidas pelo sistema e

transies potenciais foram descritos por Petri diagramas de rede.

Porta et al . [ 19 ] investigaram o uso de entrada multimodal

no domnio do apoio deciso , a fim de facilitar o acesso de informaes em situaes crticas

de tempo. Um sistema businessto -business (B2B) que apoiou gestos 2D , movimento

gestos , bem como as modalidades de entrada de fala foi desenvolvido . em

esta aplicao , o discurso e 2D modalidades gesto eram

utilizado de uma forma complementar para pesquisar informaes , enquanto

gestos de movimento (por exemplo, agitando o dispositivo ) foram utilizados para a

implementao de uma operao de desfazer . Nesta abordagem , o sistema

automaticamente ligado a modalidade de discurso quando o usurio

moveu o brao segurando o aparelho perto de sua boca.

Dentro do domnio do entretenimento , Turunen et ai . [29] apresentou uma interface de

media center multimodal. A interface permitiu que os usurios interajam com entrada de voz ,

gestos extras (interao tangvel ) e gestos de movimento . Na mesma forma como

Porta et al. , A modalidade discurso foi comutada automaticamente

quando um usurio moveu o dispositivo perto de sua boca.

ANLISE

A nossa anlise baseia-se nos artigos introduzidos na seco anterior . Trs dimenses

diferentes so observadas : o

combinao de modalidades, sensibilidade ao contexto e automtico

adaptao. As duas primeiras dimenses servir como um conceitual

base para entender os padres de composio multimodal comuns, bem como para analisar a

adequao das modalidades de acordo com as variaes de contexto . Estes aspectos so

fundamentais durante a fase de concepo de uma adaptao sensvel ao contexto eficaz

aplicao multimodal . Note-se que , para uma menor extenso , gentio

et ai . [12] tambm explorou caractersticas dos sistemas adaptativos.

Combinao de modalidades

Todos os quatorze artigos , exceto um , explorou diferentes

combinaes equivalentes e complementares de modalidades.

O artigo remanescente , Ronkainen et al . [ 24 ] , investigou o

atribuio de uma modalidade de entrada especfica para executar uma determinada tarefa.

Por exemplo , os autores estudaram a utilizao do

MOBILE HCI 2013 - ADAPTAO E DESIGN 29 de agosto de 2013 - MUNIQUE , ALEMANHA 288

Discurso 2D Gestos Movimento Gestos Pen Gestos manipulao indireta Gestos extra

Discurso E [ 7,8,13,14,22,31 ] , C [ 19,30 ] E [ 29] E [ 3,8,10,22 ] , C [ 3,8,10,28,30 ] E [ 8,22,31 ] E

[ 29 ] , C [ 30 ]

2D Gestos E [ 7,8,13,14,22,31 ] , C [ 19,30 ] E [ 14] E [ 8,13,22,30 ] E [ 8,22,31 ] E [ 30]

Movimento Gestos E [ 29] E [ 14] E [ 20] , C [29]

Pen Gestos E [ 3,8,10,22 ] , C [ 3,8,10,28,30 ] E [ 8,13,22,30 ] E [ 8,22 ] E [ 30]

Indireto Manipulao E [ 8,22,31 ] E [ 8,22,31 ] E [ 20] , C [29] E [ 8,22 ]

Extra Gestos E [ 29] , C [30] E [ 30] E [ 30]

Tabela 2. Resumo da combinao de modalidades com as citaes correspondentes ( 'E'

significa equivalncia e 'C' de complementaridade )

gesto duplo toque na parte de trs do dispositivo, como uma tcnica alternativa para silenciar

o dispositivo ou para comear a entrada de fala

reconhecimento . importante notar a influncia da

modalidade de entrada atual na seleo da modalidade de sada. A discusso das modalidades

de sada est fora do alcance

desta anlise , no entanto esta relao especfica tem sido

revistos. Os resultados mostraram que em sete dos quatorze

artigos [ 3,7,8,14,24,29,31 ] a modalidade de entrada seleccionada influenciou a modalidade

de sada . Tambm vale a pena destacar que

apenas em Wasinger et al . ' s [ 30 ] trabalhar o uso de redundncia

foi observada . Um resumo das combinaes de diferentes

modalidades fornecido na Tabela 2 .

Curiosamente , os resultados mostram que a modalidade de entrada de voz

presente em cerca de 86 % dos artigos , excepo

de [ 20,24 ] . Os comandos de voz so constitudas principalmente por frases curtas

contendo algumas palavras e comparado com uma gramtica de

regras . Esta tcnica interaco tem sido usado principalmente em

conjunto com as tcnicas baseadas na apontadores . Desta forma , ele

era possvel pedir o sistema de informaes relacionadas a um

elemento apontado pelo usurio. Doze dos quatorze

projetos de pesquisa fez uso das telas de toque de recente

smartphones ou PDAs . Modalidades associados tcteis so gestos 2D e caneta gestos , com

uma aparncia

de, aproximadamente, 64% e 50% nos trabalhos revisados . o

resultados mostram ainda que as tcnicas utilizadas por interaco

as duas modalidades so muito semelhantes . Em geral , eles foram

usado para apontar tarefas , especificamente para selecionar itens na interface. Gestos com

base em tcnicas de reconhecimento de gestos so

principalmente usado para executar tarefas de navegao ou atmicas. Por exemplo , os

gestos de navegao como inclinando o dispositivo para cima , para baixo,

esquerda ou direita foi observado em trs dos quatro artigos [ 14,20,29 ] . Por sua vez , as

aes atmicas so realizadas principalmente

usando um "gesto trema " . Por exemplo , Porta et al . [ 19 ] utilizada

este gesto para especificar uma ao de desfazer . A vantagem

este tipo de gestos o suporte para a interao com uma s mo . Alm disso , o nvel de

ateno para o dispositivo tambm reduzido . Por ltimo, mas no menos importante, o uso

de gestos extras atravs

a interao com os objetos tangveis s foi explorado

por Wasinger et al . [ 30 ] e Turunen et ai . [ 29 ] . No primeiro caso, as etiquetas RFID foram

anexados aos produtos em uma loja e

pegar e colocar de volta as aes do usurio foram avaliados para detectar

se os objetos estavam dentro ou fora da prateleira. no

Este ltimo , Turunen et ai . mapeadas as principais opes do sistema

a uma placa de controle tablet A3 que - por meio de tags RFID rotulados

ligaes armazenadas para as opes do menu . Em ambos os artigos, avaliaes de usurios

indicam uma boa aceitao por parte dos participantes.

conscincia de Contexto

Vamos agora abordar a adequao das modalidades de entrada de acordo com as

configuraes de contexto especfico . Esta anlise baseia-se fortemente sobre os artigos que

realizaram estudos de usurios no mundo real

configuraes [ 10,14,20,22 ] . Da mesma forma, estudos realizados em laboratrio [ 13,29,30 ]

tambm so levados em conta, porque

eles avaliam o preferability ou adequao de modalidades em

contextos especficos . Finalmente , a anlise realizada em contexto

quatro artigos [ 3,8,24,31 ] so uma fonte adicional para a anlise apresentada .

Em geral, os usurios se sentem confortveis usando todas as modalidades em locais privados ,

onde a interao social, bem como os nveis de rudo so

baixa. Isto foi observado em Zaguia et al . ' S [ 31 ] de trabalho , onde todos

modalidades foram categorizados como apropriado para a semntica

localizao casa com baixos nveis de rudo e um bem iluminado

ambiente . No entanto, em ambientes pblicos os resultados

eram diferentes . Trabalho em Reis et al. ' S [22] , um estudo realizado

na natureza , especificamente nas quatro configuraes do mundo real de uma

casa, um parque , o metr e um carro mostrou que em casa

ambiente, os usurios esto ansiosos para experimentar com as modalidades

que achei interessante . Os resultados neste cenrio destaque

usurios que todas avaliadas aplicada interao de voz para selecionar as opes de menu ,

bem como para entrada de dados. Note-se que o comportamento no era o mesmo nas trs

outros ambientes .

Quando as condies ambientais ideais mudam, modalidade preferida do usurio varia

tambm. A Tabela 3 apresenta um resumo

da adequao / preferability de cada modalidade em configuraes ambientais especficos. As

variveis de ambiente observados so retirados do modelo de ambiente de descrita no

Quadro de referncia Cameleon [4] .

Variveis de Ambiente Speech 2D / Pen / Indiretos

manipulao

movimento

Gestos

extra

Gestos

fsico

condio

brilho B / D [ 31] B [31] B / D [ 29] N / A

nvel de rudo L [ 10,31 ] G / H [ 31 ] N / D N / D

social

condio

estresse H [ 3,14,22 ] L [ 8,22,24 ] M [ 14,20 ] N / A

social

interao

L [ 22 ] M / H [ 14,20,22 ] M [ 14,20 ] N / D

localizao semntica

localizao

I [ 10,22,30,31 ] ,

O [ 3,13,14,22 ]

I [ 13,14,24,30,31 ] ,

O [ 13,20,30 ]

I [ 14 ] ,

O [ 20 ]

I [ 29,30] ,

O [ 30 ]

Tabela 3. Adequao das modalidades para diferentes condies ambientais

('B' significa brilhante, 'D' para a obscuridade , 'L' para baixo , 'M' para o meio , 'H' para

alta , 'I' para dentro de casa e 'O' para o exterior )

Adaptao automtica

Com base nas referncias apresentadas na Tabela 1 , a anlise de

os principais recursos de adaptao automtica apresentada . primeiro ,

ns fornecemos uma anlise do componente entidade de monitoramento.

Por isso , analisamos as entidades que monitoram e iniciar o

mecanismo de adaptao nos artigos revisados . Baseando-se em

classificao propriedade de ambiente do mbito da Cameleon ( condies fsicas , localizao

e condies sociais ), ele

foi possvel analisar qual varivel de ambiente especfico

foi utilizado para as quais tarefa . Alm disso , analisou-se o tipo de

de poltica de adaptao e de adaptao tcnica mecanismo observado em diferentes

aplicaes. A Tabela 4 apresenta um resumo

MOBILE HCI 2013 - ADAPTAO E DESIGN 29 de agosto de 2013 - MUNIQUE , ALEMANHA 289

dos artigos investigados em termos de recursos bsicos para

adaptao automtica.

Monitoramento Entidade

Esta seco concentra-se em condies tais tipos de sistemas

adaptar-se e as variveis de ambiente usadas. A partir da Tabela 4 ,

pode-se observar que apenas as variveis fsicas e baseados em localizao foram usados

como adaptao desencadeia . Interessantemente , nenhum

dos estudos avaliados usa mtodos de deteco sugesto sociais

baseado em sensores internos de mveis ou outras tcnicas capazes de

detectar a interao social. Nas informaes a seguir , detalhadas sobre as condies fsicas e

variveis de localizao que

influenciado a adaptao fornecido .

Condies fsicas: as entidades de monitoramento nesta categoria so na sua maioria built-in

sensores que detectam mudanas constantemente

em condies fsicas, como rudo e nvel de luz , tempo

ou acelerao.

alm de

et ai .

no disponvel.

componentes .

artigos.

Por outro lado ,

ai .

componente .

DIRETRIZES

No entanto ,

Em particular ,

a exata

Isto conduzir

Por exemplo , se o

Note-se que

modalidades.

neste

Nesta fase ,

estes

tela.

pelo utilizador .

por favor

aplicao.

Em seguida ,

Por sua vez ,

comportamento.

boto

boto

criao

boto

mover-se entre

meses de calendrio

boto

boto

para

Foram identificadas .

o

CONCLUSO

modalidades.

AGRADECIMENTOS

Referncias

em

Proc .

Documentos.

Dispositivos mveis.

Aplicaes.

Springer

em

Internacional

Aplicaes.

Servios.

Science.

2010) .