Há riscos em confiar cegamente na "caixa preta" da Inteligência Artificial?

Da Redação CIO, com IDG News Service

Publicada em 10 de julho de 2017

NVIDIA Blog

A Inteligência Artificial está ganhando força nas empresas, com muitas grandes organizações explorando algoritmos para automatizar processos de negócios ou construir bots para pesquisas de clientes em campo. Mas enquanto alguns CIOs vêem o software de auto-aprendizagem como uma benção para alcançar uma maior eficiência, outros se recusam a confiar demais na Inteligência Artificial, porque continua a ser difícil verificar como os algoritmos chegam às suas conclusões.

Os CIOs de indústrias muito reguladas, em particular, como serviços financeiros e qualquer setor que explore veículos autônomos, estão lidando com o chamado "problema da caixa preta". Se um equipamento de auto-condução de repente se desvia da estrada durante o teste, os engenheiros ficam sem saber o por quê. Da mesma forma, os Finservs que procuram usar dados para avaliar os riscos de crédito dos clientes precisam prosseguir com cautela para evitar desvios em sua qualificação. Devido a estas questões, e a outras semelhantes, as empresas estão buscando cada vez mais maneiras de vetar, ou mesmo explicar as previsões renderizadas por suas ferramentas de Inteligência Artificial.

A maioria dos software desenvolvidos hoje para automatizar processos de negócios é codificada com lógica programável. Se funcionarem como pretendido fazem coisas que os programadores lhe disseram para fazer. Mas nesta segunda onda de automação, o software capaz de auto-aprender é o rei. Sem uma compreensão clara de como este software detecta padrões e observa os resultados, as empresas reguladas devem se perguntar o quanto podem confiar nas máquinas.

Grandes dados alimentando IA ainda desafia a TI

A Inteligência Artificial abrange uma ampla gama de tecnologias cognitivas para permitir o raciocínio situacional, o planejamento e a aprendizagem , identificando a inteligência natural que os seres humanos e outras espécies animais possuem. Ela vinha vivendo nos laboratórios como uma possibilidade tentadora, mas o crescimento do poder de computação, a crescente sofisticação de algoritmos e modelos de IA e os bilhões de gigabytes de dados que vomitados diariamente de dispositivos conectados desencadearam uma explosão de tecnologias auto-diretivas. Carros de condução autônoma podem navegar em terrenos complicados, enquanto os robôs podem imitar o discurso humano e as empresas intensificam seus investimentos. A adoção corporativa dos sistemas cognitivos e da IA ​​impulsionará as receitas mundiais de quase US$ 8 bilhões em 2016 para mais de US$ 47 bilhões em 2020, de acordo com a IDC.

Não há dúvida de que as tecnologias e a sua capacidade de aprender estão crescendo rapidamente. Mas sua complexidade também é crescente. No centro do Machine Learning e do Deep Learning, dois subconjuntos de IA que a maioria das empresas empregam, estão redes neurais, nós interligados, modelados a partir da rede de neurônios no cérebro humano. À medida que essas tecnologias se tornam mais poderosas, o grande volume de conexões que disparam dentro de redes neurais de sistemas de auto-aprendizagem são quase impossíveis de rastrear, e muito menos analisar. 

Pode ser lógico inferir que um proprietário que gerencia suas contas de eletricidade usando produtos como o termostato Nest pode ter mais fluxo de caixa livre para reembolsar sua hipoteca. Mas permitir que um sistema de IA incorpore essa qualificação pode ser problemático aos olhos dos reguladores.

Para a IA, coisas como decisões de crédito podem parecer uma área óbvia, mas realmente repleta de obstáculos regulamentares. "Portanto, muito do que fazemos tem que ser completamente testado novamente para garantir que não estamos Introduzindo um viés que inadequado e que é um benefício líquido para a infraestrutura de habitação. A IA deve ser particularmente explicável", afirma Bruce Lee, vice-presidente sênior e chefe de operações e tecnologia da Fannie Mae.

"Inteligência Artificial explicável", como afirma a frase, é essencialmente uma IA cuja decisão, conclusões e previsões possam ser qualificadas de forma razoável. Lee apontou para o software da ThoughtSpot que detalha explicações amplas sobre tipos de gráficos e análises usadas para representar os dados até a forma como palavras específicas Usadas em consultas podem influenciar os resultados. Tais capacidades são um requisito para IA em serviços financeiros, diz Lee. "As pessoas precisam explicar como treinam a IA da mesma forma que precisam explicar como treinam as pessoas para evitar a tendência racial e a tomada de decisões", diz Lee.

Sobre IA explicável

Os acadêmicos são desafiados pela necessidade de IA explicável. O cientista principal do MIT, Andrew McAfee, co-autor de um livro sobre como os sistemas de aprendizagem de máquinas estão dirigindo a nova onda de automação, está entre os mais otimistas.

Falando em um painel sobre IA no MIT CIO Sloan Symposium, em maio, McAfee respondeu  assim a uma pergunta sobre a incapacidade de qualificar as conclusões da IA: "Muitas pessoas estão enlouquecendo sobre isso, mas  se nós mesmos não temos acesso ao nosso próprio conhecimento, por que deveríamos estar preocupados com a caixa preta da computação?". Na sua opinião, colocar barreiras regulatórias para explicar a IA poderia "retardar o progresso" do uso da tecnologia.

No entanto, o professor Erik Brynjolfsson, do MIT Sloan e co-autor com McAfee no novo livro Machine, Platform, Crowd: Harnessing Our Digital Future, reconheceu que é mais difícil para humanos e máquinas trabalhar juntos se a máquina não puder explicar como chegou ao seu raciocínio. "Ainda há muitas áreas em que queremos ter esse tipo de alavancagem", disse Brynjolfsson. "Mas diante de uma máquina que está fazendo bilhões de conexões, é muito difícil dizer que essa quantidada ponderada em particular levou a uma decisão".

Outros executivos de TI expressam cautela sobre a implementação de tecnologias IA, embora reconheçam sua importância em seus negócios.

Scott Blandford, diretor digital da TIAA, disse que as empresas precisam se preocupar com o problema da caixa preta da IA, porque se "você estiver tomando decisões que afetem a vida das pessoas, é melhor você se certificar de que tudo está 100%". Embora a TIAA possa usar a IA para aprimorar um sistema de análise construído para monitorar o funcionamento do seu negócio digital, ele não está pronto para viajar por essa estrada sem fazer mais testes e alguma validação. "Por enquanto estamos falando de probabilidades", diz Blandford.

Jim Fowler, CIO da General Electric, diz que explicar  a Inteligência Artificial depende em grande parte do contexto em que a tecnologia está sendo usada. Por exemplo, o software de auto-aprendizagem que ajuda a processar contas a receber de forma mais eficiente pode não exigir explicação, mas a GE precisaria entender completamente como um melhor algoritmo pode disparar um motor a jato antes de implementá-lo.

"Você precisa do contexto de como a IA está sendo usada. Qual a sua finalidade. Isso vai definir o quanto você deve se preocupar em como explicá-la e em compreendê-la", diz Fowler. "Há muitos processos que precisam ser testados, que você deve ser capaz de mostrar a um regulador como chegou a uma conclusão. Que testou e comprovou ser a melhor resposta. Se você tem um algoritmo que está mudando constantemente em relação a algo que está relacionado com a vida, será mais difícil confiar na caixa preta ".