Quando amoral entra noscomputadores

Revolução Aproxima-se um momento histórico na ciência, em que as regras morais vão ser introduzidasna programação dos computadores. Mas há cientistas que falam numa ameaça ao nosso modo de vida

Textos Virgílio Azevedo

Deverá um drone bombardear uma casaonde o inimigo está escondido mas que,ao mesmo tempo, serve de abrigo a umgrupo de civis? Deverá um automóvel semcondutor mudar de direção para evitaratropelar uma pessoa, mas chocar com ou-tro que transporta várias pessoas? Deveráum robô de assistência hospitalar forçaruma idosa a tomar um remédio numa si-tuação crítica, mesmo se ela recusar?

Estes são dilemas que, até há pouco tem-po, eram apenas do domínio da ficção cien-tífica, mas que estão a chegar rapidamenteà realidade do nosso dia a dia quase semdarmos por isso. Mas resolvê-los passa poruma verdadeira revolução, porque apela aodesenvolvimento da Moral Computacional,um novo ramo das ciências da computaçãoque pretende incluir regras morais na pro-gramação dos computadores e dos robôs,no software das máquinas que têm algumgrau de autonomia de decisão, isto é, ondenão existe intervenção humana. E que po-de também ajudar ou mesmo treinar os se-res humanos no processo de decisão moral,bem como compreender melhor as ques-tões da moralidade através de modelos ex-perimentais de simulação.

Investigação pioneira em Lisboa

Luís Moniz Pereira, que criou o Centro daInteligência Artificial (Centria) da Facul-dade de Ciências e Tecnologia (FCT) daUniversidade Nova de Lisboa, onde está aser desenvolvida investigação pioneira anível mundial nesta área emergente, “por-que envolve a criação de modelos que po-dem ser aplicados em qualquer área damoral. E porque inclui o conceito de upda-tes (atualizações) morais, isto é, a sobrepo-sição de novas regras morais para aperfei-çoar as já existentes”. O professor do De-partamento de Informática da FCT salien-ta que “a inteligência artificial está prontaa servir de instrumento para lidar com oproblema importante que é a moral”. Oscientistas “estão ainda no princípio destainvestigação, mas a moral tem de ser com-putadorizada e quanto mais cedo me-lhor”. Não o fazer “pode ser muito perigo-so para a sociedade”.

A programação dos computadores e dosrobôs tem sido feita para situações específi-cas, mas a moral “é constituída por um con-junto de regras que se aplicam a uma gene-ralidade de situações, o que significa que é

feita para lidar com o imprevisto”. À medi-da que o software que comanda agentes(entidades ou programas que tomam deci-sões) ganha mais autonomia, “temos de in-troduzir regras mais genéricas e abstratas,como as regras morais dos humanos, masque têm de ser sensíveis ao concreto”, istoé, que admitem exceções justificadas e acei-tes pela sociedade. No fundo, o grande de-safio para os cientistas está em “capturarinformaticamente todas as especificaçõesque a moral pretende abranger”.

O debate científico sobre estas questõestem uma forte componente filosófica,mas diz respeito a realidades muito con-cretas, que já afetam milhões de pessoasem todo o mundo, e que estão a ficar forade controlo. O caso mais típico é o softwa-re do sistema financeiro internacional,cuja autonomia nos processos de decisãocontribuiu para uma crise cujas conse-quências vão continuar a marcar a vidados portugueses nos próximos anos.

Regras moraisno software financeiro

“É o meu problema preferido”, confessaLuís Moniz Pereira. “A que normas devemobedecer os produtos financeiros para nãoserem tóxicos, ou os cartões de crédito pa-ra não levarem ao endividamento insusten-tável das famílias?”, pergunta o investiga-dor, que defende a criação de “linguagensde programação no software financeiroque especifiquem regras morais — o quepode ou não poder ser permitido — estabe-

lecidas por um corpo regulador do sistemafinanceiro internacional, que deveria sercriado junto de uma organização de gover-nação global como a ONU, por exemplo”.

Ari Saptawijaya, cientista indonésiodoutorando em Moral Computacional,que pertence à equipa da UniversidadeNova de Lisboa, explica que “esta investi-gação não pretende resolver todos os pro-blemas da moralidade nem introduziruma nova teoria moral. O objetivo é an-tes desenvolver um sistema computacio-nal para modelar a moralidade”. Maisprecisamente, “estamos empenhados emdesenvolver um sistema, baseado na Pro-gramação em Lógica (que usa a lógicamatemática), para modelar apenas al-guns aspetos morais já bem estudados ereportados na Filosofia e na Psicologia”.

Num artigo científico que vai ser apresen-tado no final de janeiro numa conferênciainternacional em San Diego, na Califórnia(PADL’14), Luís Moniz Pereira e Ari Sapta-wijaya defendem precisamente o potencialda Programação Lógica como ferramentapara modelar três aspetos da moralidade:o processamento dual dos julgamentos mo-rais, a justificação desses julgamentos e aintenção na permissibilidade moral. No pri-meiro aspeto, está em causa a interação e acompetição ou cooperação entre dois siste-mas psicológicos: intuitivo/racional (o jul-gamento moral é automático ou conscien-te?) e afetivo/cognitivo (o julgamento mo-ral é conduzido por uma resposta afetivaou por um raciocínio baseado em princí-pios morais?). O segundo aspeto é a capaci-

dade de um agente justificar o seu compor-tamento explicitando quais os princípiosmorais aceites pela sociedade que usou. Oterceiro pretende distinguir as ações per-mitidas das não permitidas e saber se asúltimas são conduzidas com a intenção defazer mal a alguém.

“À medida que a Moral Computacionalavançar, irá tornar os computadores e os ro-bôs capazes de se comportarem mais pertoda forma como nós, humanos, nos compor-tamos. Por isso, os robôs assistentes e ou-tras tecnologias do mesmo tipo serão maisaceites pelas pessoas”, considera o investiga-dor vietnamita The Anh Han, do Laborató-rio de Inteligência Artificial da Universida-de Livre de Bruxelas, que se doutorou naUniversidade Nova de Lisboa. Por outro la-do, este novo ramo das ciências da computa-ção “ajudará qualquer pessoa a compreen-der melhor as decisões tomadas por outros,o que contribuirá para uma sociedade commenos conflitos e mal-entendidos”.

vazevedo@expresso.impresa.pt

CIÊNCIA20 PRIMEIRO CADERNO

Expresso, 4 de j

A ausência de regrasmorais no softwaredas máquinas que tomamdecisões sem intervençãohumana pode gerarproblemas graves

Reproduzir comportamentoshumanos em máquinas vaiter a vantagem de nos ajudara entender melhor como nóspróprios funcionamos

QUATRO PERGUNTAS A

Manuel CuradoEspecialista nas questões éticas da tecnologia

e professor de Lógica no Departamento

de Filosofia da Universidade do Minho

O mundo da computação vaiser capaz de simular todas as va-lências da mente humana?

Estou convencido de que vai, nocálculo matemático, na perceção vi-sual, na atenção visual, na decisãomoral. Estamos a assistir ao momen-to da história da ciência em que issovai acontecer.

Está preocupado com esta evo-lução da ciência?

Estou ao mesmo tempo fascinadoe preocupado, como académico. Es-tou fascinado porque há hoje arqui-teturas computacionais que imitamo que pensávamos impossível, comoa cooperação e o altruísmo, porexemplo. Tudo se joga na capacida-de de a investigação computacionalconseguir simular o cérebro huma-no e tudo indica que este tem umaestrutura computacional. Mas estoupreocupado com as consequências,para a sociedade, da introdução dacomponente moral na computação.Imagine uma máquina com livre ar-bítrio, com capacidade de decisão di-ferente da nossa, com valores e prio-ridades diferentes dos nossos.

Este tema está a ser suficiente-mente debatido?

Não, mas as Comissões de Ética eas Comissões Nacionais de Proteçãode Dados dos diversos países deviamcomeçar a refletir e a dar pareceressobre o assunto. Neste momento, es-tão apenas preocupadas com os pro-blemas da privacidade e do acessoaos dados pessoais, mas o grande de-senvolvimento dos sistemas decisio-nais nas máquinas já está entre nós,não é para amanhã. E poderá desen-volver-se a um nível que as máqui-nas deixem de precisar dos seres hu-manos. Sermos imprescindíveis pa-ra pôr uma máquina a funcionar éuma verdade que nos deu confortodurante muito tempo, mas esta ver-dade está a desaparecer. E vamosprecisar mesmo das três Leis da Ro-bótica de Isaac Asimov (o criador dapalavra robótica) ou de alguma ver-são delas. A primeira lei diz que umrobô não deve fazer mal a um serhumano ou permitir que este sofraqualquer mal. A segunda estabeleceque um robô deve obedecer a qual-quer ordem dada por um ser huma-no, desde que não interfira na pri-meira lei. E a terceira diz que um ro-bô deve proteger a sua existência,desde que isso não interfira nas duasleis anteriores.

Os sistemas de decisão indepen-dentes da intervenção humana es-tão muito generalizados?

Sim, as máquinas estão a começara decidir por nós na indústria, no co-mércio, na saúde, nos sistemas mili-tares, e já hoje temos muitos siste-mas informáticos (software) deapoio à decisão nas nossas vidas. Es-ta área vai evoluir muito nos próxi-mos anos. A DARPA, uma agênciado Pentágono, está a desenvolverchips — os implantes neuroprostéti-cos — para serem colocados no cére-bro, de modo a melhorarem a me-mória, o nível de alerta ou o ciclo docansaço. Esses chips poderão ter ca-pacidades decisionais, como se fos-sem pacemakers cerebrais. Por ou-tro lado, um dia poderão surgir má-quinas que se apaixonam, que têmemoções ou que possuem preocupa-ções éticas e morais. E a investiga-ção na Moral Computacional vai cho-car a 200 km/hora com as nossas vi-das. Há mesmo questões filosóficascomplicadas, como saber se a moralno ser humano que se pretende repli-car num computador ou no robôtem uma base exclusivamente cere-bral, como defendem muitos investi-gadores, ou se possui também basesexteriores ao cérebro, como as tradi-ções, as regras sociais ou a cultura.

As grandes marcas de automó-veis estão a preparar-se para lan-çar no mercado carros que an-dam sozinhos, que tomam deci-sões sem interferência humana.Para já, têm sido apresentadosnos vários modelos experimen-tais, mas a Volvo, por exemplo,anunciou em dezembro que vaimesmo pôr 100 carros autóno-mos a circular nas ruas de Gotem-burgo (Suécia) em 2017.

Trânsito mais seguro e melhorambiente são vantagens aponta-das pelo próprio Governo sueco.Mas “há um problema filosófico--jurídico que não está resolvido:de quem é a responsabilidade sequalquer coisa correr mal?”, per-gunta Luís Moniz Pereira, funda-dor do Centro de Inteligência Ar-tificial da Universidade Nova deLisboa. Com efeito, se acontecerum acidente que provoque da-nos nos passageiros, nos peõesou em infraestruturas, não estáainda clarificado quem assumeas culpas.

“Há um lóbi de pressão a nívelinternacional que defende não se-

rem necessárias novas leis, por-que a responsabilidade é de quemcomprou o automóvel e não do fa-bricante, da seguradora ou do le-gislador”, mas este é um caso “emque a necessidade de usar a Mo-ral Computacional nestes automó-veis está a tornar-se muito pre-mente”, sublinha o investigador.

Robôs de assistênciaa idosos

Essa urgência existe noutrasáreas, como a moralidade dasprioridades de decisão dos robôsautónomos de socorro e salva-mento em emergências e catástro-fes, do software do sistema finan-ceiro (ver artigo principal), oudos robôs de assistência a idosos,que já existem a nível experimen-tal em alguns hospitais.

No Japão, irão ser usados expe-rimentalmente nos lares de pes-soas idosas que vivem sozinhas,porque os seres humanos saemdemasiado caros. São uma espé-cie de animais domésticos mecâ-nicos, que têm de reconhecer in-tenções, fugas à rotina, dar medi-camentos à hora certa, zelar paraque haja comida e fazer encomen-das diretas ao supermercado. Aarquitetura dos próprios condo-mínios, que são edifícios inteli-gentes, está a ser concebida para

facilitar a circulação dos robôs.Estes robôs poderão em breve

ser usados também em instala-ções fabris ou na segurança em es-paços públicos, como os parquesde estacionamento automóvel. “Asegurança passará a ser um mistohumano/robô, em que as regrasestabelecidas dirão que a últimadecisão é dos humanos, mas estafronteira é problemática, comomostram os inúmeros problemascriados pelos drones militares —os Predators —, onde há muitopouco tempo para um humano de-cidir numa situação de ataque”,assinala Luís Moniz Pereira.

O problema da ausência de re-gras morais no software destesaparelhos, que se sobrepõe à deci-são humana, estende-se ao uso dedrones civis. No Texas, já existemassociações que usam estes apare-lhos aéreos autónomos para dete-tar imigrantes mexicanos ilegaise denunciá-los à polícia. No finalde dezembro, a Administração Fe-deral da Aviação dos EUA anun-ciou que vai autorizar seis institui-ções a realizar testes de seguran-ça — mesmo quando as comunica-ções de rádio falham —, de modoa integrar estes aparelhos no espa-ço aéreo nacional a partir de2015. Vem aí o caos aéreo? E co-mo impedir a intrusão de hackersnos drones?

A tentativa feita pelos cientistasde replicar nas máquinas certoscomportamentos humanos “aju-da a compreender melhor comofuncionam os próprios seres hu-manos”, considera o filósofo Porfí-rio Silva, colaborador do Institutode Sistemas de Robótica (Institu-to Superior Técnico) e do Centrode Filosofia das Ciências da Uni-versidade de Lisboa.

Por isso, considera a Moral Com-putacional “muito útil, porque

hoje há máquinas inteligentespor todo o lado que colabo-

ram com os humanos e fa-zem parte do nosso am-biente”. Em contraparti-da, o filósofo critica o fac-to de certas abordagenscomputacionais “seremdemasiado simplistas fa-ce à complexidade dosproblemas, e a MoralComputacional tende a

ser um desses casos”.Quando a engenharia

estuda os problemas dasciências sociais e das hu-

manidades, as suas aborda-gens computacionais “são ge-

ralmente muito individualistas,consideram a moralidade do pon-to de vista de um só agente (enti-dade ou programa de tomada de

decisões), quando a moral é umaquestão intrinsecamente social”.E nem sempre o problema indivi-dual “é a base do problema coleti-vo”. Mesmo quando os investiga-dores consideram uma populaçãode agentes, “esta é frequentemen-te pouco heterogénea, o que nãotem correspondência com a reali-dade humana”.

Francisco Santos, investigadordo Grupo de Inteligência Artificialdo INESC-ID (Instituto de Enge-nharia de Sistemas e Computado-res), afirma que “é preciso perce-ber como os sistemas morais evo-luem no tempo e como podem seraplicados às máquinas”, para evi-tar problemas no futuro, quandose incluírem regras morais na pro-gramação dos computadores edos robôs. No fundo, “as máqui-nas deverão ser desenhadas comosistemas adaptativos, que têm re-gras morais dinâmicas adaptadasao ambiente em que são aplica-das, tal como acontece com a cul-tura humana”.

Fernando Cardoso, um filósofobrasileiro da Universidade Fede-ral de Minas Gerais, que integra aequipa de investigação sobre Mo-ral Computacional da Universida-de Nova de Lisboa (ver artigo prin-cipal), defende que, “mais do queuma ameaça ou outra forma de ca-tastrofismo, o uso de regras mo-rais nos computadores e nos ro-bôs vai ser uma forma de expan-são da esfera moral e ética dos se-res humanos para novos agentes”.

Dos automóveis semcondutor aos drones

Compreender melhoros seres humanos

PRIMEIRO CADERNO 21janeiro de 2014