Artigo de Cezar Taurion*
A escolha dos modelos matemáticos e das bases de dados devem ser cuidadosamente analisados e selecionados para minimizarmos as possibilidades de vieses embutidos
O uso da inteligência artificial (IA) tenderá a aumentar significativamente no cenário pós-Covic. Com isso, a IA vai estar mais presente no nosso dia a dia, com seus algoritmos apoiando ou tomando decisões, de recomendações de filmes e livros à aprovação de créditos e contratações de pessoas.
Esta maior disseminação da IA vai nos obrigar a estar muito mais atentos ao fenômeno do viés dos algoritmos. Estes vieses não são propositais, mas muitas vezes oriundos das bases de testes com as quais os algoritmos foram treinados.
Em um estudo em 2017, “Racial Discrimination in the Sharing Economy: Evidence from a Field Experiment”, publicado no American Economic Journal: Applied Economics, os pesquisadores verificaram que nomes que pareciam de religião muçulmana eram discriminados nas aceitações pelos hosts, pelo menos nos EUA.
Outras pesquisas demonstraram a existência de discriminações, mesmo em plataformas de microempréstimos, como Kiva, como demonstrado no estudo “Consumer Lending Discrimintion in the Fintech Era”. Os algoritmos não eram discriminatórios por design. Mas amplificavam o viés embutido, mesmo subconscientemente, nas preferências dos hosts e emprestadores.
Alguns casos famosos como o da Amazon, em seu sistema de recrutamento para desenvolvedores, “Amazon scraps secret AI recruiting tool that showed bias against women”, chamaram a atenção para o problema.
O algoritmo não era culpado, mas os dados sim. Ele foi treinado com base em bios de desenvolvedores homens, e com isso acabou criando um viés que discriminava as candidatas.
Situações similares aconteceram com diversos sistemas de IA que treinados com grande predominância de imagens de rostos de homens brancos, tinham dificuldade em identificar outras etnias.
Um vídeo no TED, “How I´m Fighting Bias in Algorithms”, mostra que se as bases de dados usadas para treinamento não forem escolhidas adequadamente, muito provavelmente embutirá vieses não intencionais nos algoritmos.
Outro caso emblemático aconteceu em uma competição de beleza, onde os julgadores seriam algoritmos e não humanos. O artigo “A beauty contest was judged by AI and the robots didn’t like dark skin” mostrou claros sinais de discriminação devido a falta de diversidade da base de dados de treinamento, o que privilegiou mulheres brancas.
Os executivos e responsáveis pelos projetos de IA nas empresas devem estar atentos a este problema. A escolha dos modelos matemáticos e das bases de dados devem ser cuidadosamente analisados e selecionados para minimizarmos as possibilidades de vieses embutidos. Provavelmente não conseguiremos eliminar os vieses por completo, mas precisamos aprender como minimizá-los.
Um grande dificultador é que ainda estamos aprendendo a entender como identificar e minimizar os vieses em algoritmos sofisticados. A IA está hoje como a internet estava 20 anos atrás. No ano 2000, a Amazon era uma pequena loja online, o Google tinha sido recém-lançado e o iPhone estava ainda distante (apareceu só em 2007).
Como os algoritmos que usamos para esses projetos de IA são basicamente Deep Learning (DL), vamos entender um pouco mais sobre eles. E o que é DL? É um subconjunto do aprendizado de máquina (ML) baseado em um modelo conceitual do cérebro humano chamado “redes neurais”.
É chamado de deep learning porque as redes neurais têm várias camadas que se interconectam: uma camada de entrada que recebe dados, camadas intermediárias que calculam os dados e uma camada de saída que fornece a análise.
Em síntese, deep significa profundidade dos níveis de redes neurais. As técnicas de deep learning são especialmente úteis para analisar dados complexos, ricos e multidimensionais, como voz, imagens e vídeo. Em resumo, todo DL é ML, mas nem todo aprendizado de máquina é DL.
Para entendermos mais precisamente deep learning, precisamos primeiro desmitificar IA. As máquinas não são inteligentes e nem são mágicas. Na verdade, o termo Inteligência Artificial, criado por John McCarthy em 1956 talvez não seja o mais apropriado.
IA é apenas um conjunto de técnicas e algoritmos, que, apenas exibem comportamento que nos parece ser inteligente
IA é apenas um conjunto de técnicas e algoritmos, que, apenas exibem comportamento que nos parece ser inteligente. Por exemplo, na leitura de textos, nós, como humanos, analisamos a sentença, a descontruímos em substantivos, verbos e adjetivos, mas com a compreensão do todo.
Conectamos a sentença com o que nós sabemos sobre o mundo à nossa volta, juntamos gírias e ironias com as ideias e intenções, até mesmo não explícitas, que entendemos fazer sentido.
As máquinas não entendem o significado das palavras. Elas conseguem interagir com as sentenças pois usam modelos matemáticos que definem estatisticamente que após cada palavra vem uma outra e escolhe por probabilidade qual será a escolhida.
Para uma máquina, encontrar a palavra câncer em uma frase tem tanto significado quanto a palavra caneta. Não é afetada emocionalmente.
Claro, isso não a impede de simular inteligência e permitir que haja interação com uma pessoa através de um chatbot, parecendo mesmo que ela está entendendo o que a pessoa está dizendo. Mas, para isso, algoritmos de DL precisam ser treinados com um massivo e específico volume de dados.
Um chatbot que entenda uma pessoa em uma interação com um banco precisa ser treinado com milhões de interações de pessoas com os atendentes deste banco, para absorver a estrutura da interação.
Mas como DL é uma “narrow AI”, ou seja, precisa ser treinado para algo bem específico, não conseguimos pegar diretamente um chatbot que interage com clientes de um banco e colocá-lo para interagir com um usuário de um plano de saúde.
Embora muitos diálogos sejam similares, aparecerão termos específicos do setor que o chatbot nunca viu e, portanto, não pôde ser treinado em como reagir adequadamente a eles.
A mesma coisa acontece se treinarmos algoritmos de tradução para traduzir documentos jurídicos. Eles não conseguirão traduzir documentos médicos, pois os termos serão completamente diferentes. Portanto, não temos como pegar um algoritmo treinado para fazer algo e pedir para ele fazer outra coisa.
Mesmo um algoritmo treinado para interagir com um cliente de banco não conseguirá de imediato atender adequadamente um cliente de uma empresa aérea. Precisa ser retreinado com os dados das interações dos clientes com a empresa aérea. DL não sabe reagir a situações insólitas.
As máquinas também não têm consciência. Quando o Watson venceu o “Jeopardy!”, ele não saiu para comemorar com os amigos
As máquinas também não têm consciência. Quando o Watson venceu o “Jeopardy!”, ele não saiu para comemorar com os amigos. Quando AlphaGo venceu Lee Sedol no Go, ele não teve a mínima ideia do que fez. Cumpriu o que seus algoritmos tinham que fazer e pronto.
AlphaGo não sabe fazer outra coisa a não ser jogar Go. Não sabe jogar xadrez. Isso impede que usemos IA para atividades que demandam pensamento crítico, criatividade e empatia.
Por exemplo na saúde, a máquina pode fazer muito bem a análise de imagens, mas como na verdade não veem, mas simplesmente enxergam pixels, não podem substituir o médico nas interações onde os cuidados médicos demandam personalização e humanidade.
Aliás, pombos treinados conseguem fazer identificação de tumores em imagens melhores que nós humanos. O artigo “Paging Dr. Pigeon; You’re Needed in Radiology” mostra que estas aves conseguem ter precisão melhor que radiologistas experientes. Mas isso implica em substituir um radiologista por pombos? Absolutamente não, pois o pombo não tem a mínima ideia do que seja um tumor e suas consequências para a pessoa doente.
Uma outra limitação do deep learning é sua opacidade. Como não existem regras específicas e bem compreendidas, temos uma situação onde o mesmo algoritmo diante de dados diferentes toma atitudes diferentes. E não sabemos explicar o porquê.
Em determinadas situações isso pode ser complicado. Imagine um algoritmo que acerta 95% das vezes e quando erra, em 5%, não sabemos o porquê errou. Para determinadas aplicações precisamos ter total confiança na máquina.
Como DL não consegue explicar o porquê de suas decisões e nem garantir resultados (lembrem-se que IA é probabilístico e não determinístico) não poderá ser aplicado a tudo. Você deixaria um robô cuidar de seu avô quando ele faria o atendimento correto 95% das vezes, mas o jogaria no chão ou pela janela nas outros 5%?
Além disso, como a máquina não tem senso comum, esses erros podem ser absurdos. Um sistema de IA, quando confrontado com o mesmo objeto, mas em posições diferentes das bases de dados onde foi treinado, pode produzir resultados estapafúrdios.
Entender estas limitações nos ajudará a vencer os obstáculos e adotar IA de forma mais assertiva, sem criar falsas expectativas. Vai nos ajudar a compreender por que precisamos para os projetos de IA de uma estratégia de dados. Um estudo muito interessante sobre como minimizar vieses em algoritmos pode ser lido em “Tackling bias in artificial intelligence (and in humans)”.
Algoritmos sofisticados não darão certo se não puderem ser treinados de forma adequada
Um dos principais desafios para as iniciativas de IA é a disponibilidade de dados, em volume e qualidade. Algoritmos sofisticados não darão certo se não puderem ser treinados de forma adequada.
Mas precisamos de dados com volume, variedade e veracidade adequados para evitarmos os problemas dos vieses embutidos e amplificados.
Dados são o sistema circulatório de qualquer sistema de IA. Mas um data set inadequado como o mostrado no artigo “Machines Taught by Photos Learn a Sexist View of Women” pode tornar o algoritmo um problema sério de imagem e reputação negativa para a empresa.
Por isso é que a IA é importante demais para ser deixada apenas nas mãos dos engenheiros de ML. Precisamos de diversidade de ideias e percepções para que realmente venhamos a ter sistemas de IA que não sejam viciados.
Precisamos ter conceitos de ética embutidos nos projetos. Vieses devem ser evitados com o máximo de esforço. IA deve estar nas agendas de reuniões do board e dos grupos executivos.
*Cezar Taurion é Partner e Head of Digital Transformation da Kick Corporate Ventures e presidente do i2a2 (Instituto de Inteligência Artificial Aplicada). É autor de nove livros que abordam assuntos como Transformação Digital, Inovação, Big Data e Tecnologias Emergentes. Professor convidado da Fundação Dom Cabral. Antes, foi professor do MBA em Gestão Estratégica da TI pela FGV-RJ e da cadeira de Empreendedorismo na Internet pelo MBI da NCE/UFRJ.
