Schuster: Bom dia, boa tarde, boa noite. Vamos começar mais um episódio dos Agilistas. Hoje aqui por parte da DTI a gente está com o Marcelo Pinto, tudo bom, Marcelo?Marcelo: Está, Schuster, tranquiloSchuster: Tudo joia? Então hoje nós estamos dando sequência a nossa série sobre hypes da tecnologia, e temos alguns convidados aqui muito bacanas que vão destrinchar um assunto que é o GPT-3. Nós vamos entender daqui a pouquinho o que é isso, a gente está aqui com o André, com a Camila e com a Vivi, e eu vou pedir para eles se apresentarem. A Camila e Vivi são do canal Peixe Babel, e o André trabalha atualmente no Spotify, mas acho melhor como sempre eles mesmos falarem um pouquinho sobre eles, o histórico deles, e começar com a Camila e com a Vivi, por favor se apresentem.Camila: Eu me chamo Camila, mas pode chamar de Mila mesmo, mais carinhoso, mais amigável. Agora eu estou fazendo doutorado na UFMG, trabalho com inteligência artificial desde que eu me entendo por ser humano, mas agora eu estou trabalhando com (inint) [00:01:05] learning (Machine Learning que são áreas correlatas até certo ponto com o assunto que a gente vai falar aqui de GPT-3, inclusive uma extrema curiosa por esses modelos de linguagem, porque eu acho que eles transformam a ideia de inteligência de uma forma que é muito interessante.Vivi: E eu sou a Vivi, eu também sou lá do Peixe Babel. Eu sou nascida, criada e doutorada em ciência da computação, minha área também foi aprendizado de máquinas, estou um pouco mais acima (inint) [00:01:41] learning, já trabalhei um pouco com aprendizado de máquinas, e hoje eu trabalho tanto com (inint) [00:01:45] aprendizado como criação de jogos acessíveis.Camila: E um jabá que não pode faltar, se inscrevam no canal Peixe Babel no Youtube, a gente também posta os conteúdos mais longos como Podcasts, meu podcast se chama Bit de Prosa para você também apreciar em um fone de ouvido enquanto faz outras coisas.Schuster: E o peixe Babel qual que é o foco do canal?Camila: A gente fala muito de inteligência artificial e robótica que são as áreas que a gente trabalhou por mais tempo.Schuster: Legal, e você, André, por favor, se apresente.André: Pois é, eu não sou chique igual essas meninas. Não tenho canal, só no dente, e eu sempre faço essa piada, ela já está até sem graça, mas quem sou eu? Eu sou nascido em Belo Horizonte, eu nasci e cresci em Belo Horizonte, estudei em Belo Horizonte. Atualmente eu moro fora do Brasil, trabalho com inteligência artificial e Machine Learning no spotify. Trabalhei com isso também em algumas outras empresas, mas atualmente trabalhando basicamente tentando entender o que você gosta de escutar, e como montar alguns pares de fãs entre fãs e artistas, para poder entender como que essa relação acontece dentro da plataforma. Então basicamente a partir do seu comportamento de escuta a gente tenta entender que tipo de afinidade que você tem com certos artistas e utilizamos esse tipo de informação para te dar recomendações melhores para o que você pode ouvir no spotify. Esse sou eu, e eu gosto de pão de queijo e cerveja. Você está multado aí.Camila: O bingo da quarentena, está multado aí.Schuster: Já tem seis meses e ainda não aprendi. Sabe que eu tenho esperança. Eu estava comentando com o André antes que ele mexe com o que me pega no Spotify, porque eu comecei usar o Spotify melhor eu diria recentemente e eu tenho usado muito essa parte de descoberta, e é impressionante como é bom isso, porque eu ouço músicos que eu nunca nem imaginaria que existem. Para a gente poder começar no assunto, eu queria ver quem se candidata a responder essa pergunta: o que é afinal esse algoritmo que tem sido tão falado, o GPT-3, alguém poderia falar um pouquinho sobre a história para a gente começar contextualizar os nossos ouvintes?André: Acho que as meninas podem começar, elas entendem bastante, já fizeram bastante vídeos de conteúdo sobre isso. Expliquem para nós, Camila e Vivi.Camila: Então, o GPT-3 é uma tecnologia baseada em redes neurais, que são o Q do momento, e a ideia basicamente, assim como toda inteligência artificial que a gente conhece, é se especializar em alguma tarefa. No caso a tarefa que ele se especializa é completar textos. Igual, guardadas as devidas proporções, com o auto corretor do celular. Quando você digita, começa a digitar uma palavra, ele te recomenda a palavra, quando você digita uma frase ele te recomenda as próximas palavras, a ideia essencialmente é essa. Só que se você começa a alimentar estruturas diferentes, então por exemplo, se eu quero responder perguntas, eu escrevo P: Qual é a cor dessa fruta? R: essa fruta é vermelha. Então essas estruturas de pergunta e resposta, estruturas de completar frases, estruturas de múltipla escolha, todas essas estruturas de texto você pode reduzir a um problema de completar frases, completar palavras, e é isso que a GPT-3 é treinada para fazer. Tem uma virada interessante que foi o grande diferencial dela, porque já tem tecnologia a rodo que faz isso, que a OpenAI ela resolveu se perguntar o que acontece se você fazer a maior rede e você treinar com a maior quantidade de dados que você consegue armazenar. E o meu cachorro está completando aqui para dizer, que dá muito certo.André: Rapidinho, só para completar um pouquinho o que a Camila falou, o que faz a GPT-3 ser uma rede fantástica e que recebeu toda essa atenção, é exatamente a quantidade, primeiro a quantidade de dados que ela recebeu para poder se treinar, e a quantidade que é o que a gente chama de parâmetros, que basicamente o que acontece é o seguinte, a gente vai colocando informações nessas redes, e essas redes vão pegando aquelas informações e vão criando parâmetros do que elas devem ou não prestar atenção. E essa rede ela tem se eu não me engano, se o número estiver correto, 175 bilhões de parâmetros.Camila: De conexões, desculpe.André: Exatamente, ou seja, ela utiliza todos esses, é como se fossem nódulos neuronais, basicamente utilizando todos esses nódulos para poder aprender e poder responder as perguntas que a gente faz. E comparado com modelos que tinham antes, a própria GPT-2, por exemplo, a quantidade de parâmetros e nódulos que tem é muito maior do que comparado com o que vinha antes. Por isso que ela acabou tendo esse hype todo exatamente pela magnitude tanto da base com que ela foi treinada, como da quantidade de parâmetros.Schuster: Essa quantidade de parâmetros tem a ver sei lá, com a capacidade de ela responder várias perguntas diferentes? Consegue dar um exemplo só para quem for mais leigo entender? O que significa na prática ter mais parâmetros, comparado, antes teve o GPT-2, é isso mesmo, não é? A evolução foi nessa quantidade de parâmetros e indexar mais informações, não é isso? Qual que seria uma diferença que ela teria?André: Deixe eu tentar explicar com uma coisa que não tem a ver com a GPT-3 depois talvez a Camila e a Vivi tenham um exemplo mais específico da GPT-3. Mas deixe eu dar um exemplo de como que funciona por exemplo para a gente fazer uma recomendação de música para você. Quando você escuta uma música, a gente recebe aquela informação de que você escutou aquela música. Como é que a gente sabe se você gosta daquela música ou não? Existem várias coisas que a gente pode prestar atenção. A gente pode prestar atenção por exemplo no número de vezes que você repete a música, isso pode ser um parâmetro. A gente pode prestar atenção na frequência com que você escuta. Às vezes você não repete uma vez depois da outra, mas você escuta sei lá, todo sábado, talvez isso seja um parâmetro. Um outro parâmetro é, será que você escuta outras músicas desse mesmo cantor? Esse é um outro parâmetro, Só que a gente não avisa para o sistema em que ele tem que prestar atenção, a gente só fala o seguinte, “esse cara está escutando essa música e ele gostou”, e o sistema vai pegando todas aquelas informações e vai levantando por si o que ele deve ou não prestar atenção. Será que eu devo prestar atenção no número de vezes que ele escuta, será que eu devo prestar atenção onde que ele escuta música, será que eu devo prestar atenção no volume que ele escuta música, ele vai pegando todas essas informações e vai se engenhando para saber em que tipo de informação ou não que ele deve prestar atenção para fazer um tipo de predição no futuro sobre uma música se você vai gostar ou não. O GPT-3 é como se ele estivesse fazendo isso, mas ao invés, aqui agora dar exemplo sei lá, de três quatro parâmetros. Ele fez isso com bilhões e bilhões de parâmetros. Falei alguma besteira, Camila?Schuster: Ou seja, quanto mais parâmetros, mais nuances.Camila: Exatamente. O André falou perfeito e eu gostei que ele falou já fazendo jabá da empresa que ele trabalha também, é a melhor parte, mas é exatamente isso, quanto mais capacidade de memória e de raciocínio você tem, mais nuances naquele contexto você consegue armazenar. Só dando um contexto um pouco maior, o modelo que a GPT-3 se baseia, é o modelo tipo transformer, que já existe há bastante tempo. a GPT-2 já não foi inovação tecnológica, foi só esses modelos transformer maiores. Quando saiu (pader) [00:10:08] eles viram olha, dá para responder perguntas que nenhum outro modelo consegue, porque a capacidade da GPT-2 era maior do que qualquer outro modelo. E eles viram que ainda tinha espaço para melhorar aumentando mais ainda a capacidade. Eles chegaram na GPT-3, e se você quer um exemplo impressionante que está rolando por aí, é a capacidade de programar código funcional que para mim é uma das coisas mais impressionantes de (inint) [00:10:39],, porque você pode pedir um código baseado em algum framework, e essa rede é tão grande, tem uma capacidade tão gigantesca, que ela tem contexto lá dentro de como programar naquela linguagem de forma que esteja sintaticamente correta e de forma que aquele código vai ser (controlado) [00:11:00], entendeu? Então a nível de nuance é tão (fino) [00:11:04] que é de cair o queixo mesmo.André: E uma coisa que é muito surpresa também é que é o seguinte: existem alguns modelos computacionais e algumas reais que é o que a gente chama, elas são (tesc specific) [00:11:19], a gente treina um modelo para fazer uma tarefa específica. A gente fala, você vai aprender a dirigir. Então a gente vai dar todo e qualquer tipo de informação com relação a dirigir e esse sistema vai ser foda para dirigir. Mas se você mandar esse sistema que cor que é sei lá, o céu, ele vai olhar para a sua cara e fazer tela azul, porque ele não vai saber responder. O bacana desse sistema é que ele não foi treinado para uma tarefa específica, ele foi simplesmente olha, Lê esse tal de texto e agora ele consegue fazer coisas específicas, igual isso que a Camila acabou de falar, ele consegue programar como se fosse um programador, mas se você perguntar a ele a cor do céu ele vai te responder, e se você pedir a ele para escrever um texto sobre sei lá, um dia em Nova York ele vai conseguir escrever um texto sobre um dia em Nova York, ou seja, ele consegue desenvolver várias tarefas que ele não foi especificamente treinado para essas tarefas.Marcelo: Tem um modelo derivado do GPT-3, na verdade é (inint) [00:12:20] continuação de GPT-2 que é a IGPT, que é para imagens, que é basicamente a mesma coisa para imagem também, que ele pega uma imagem e completa aquela imagem e é muito legal.Schuster: Quer dizer que ou seja, ele foi processando todo o texto do mundo inclusive códigos fontes e programas e coisas desse tipo, vocês estão falando de programação funcional e desenvolvimento de software, ou entendi errado?Camila: É, desenvolvimento de software, eu osso até ter usado uma palavra ruim funcional porque existe um tipo de linguagem funcional e tudo mais, mas é código que compila, ela consegue fazer se for coisa básica.Schuster: Ou seja, foi indexando tudo quanto é coisa que existe escrita por aí mesmo.André: Isso.Schuster: E conseguindo achar padrões.Camila: Exato, e criando uma noção de estrutura exata.Marcelo: Pessoal, fazendo até umas demonstrações, (inint) [00:13:11] o GPT-3 com um programa para gerar interação, que eles basicamente pedem para o GPT alguma coisa, por exemplo eu quero um quadrado. E ele vai lá e gera o código (CSS) [00:13:28] para gerar aquele quadrado. Demonstrando por exemplo como gerar a página inicial da Google. Eles vão lá, “eu quero um quadrado de busca”, “eu quero um logo de alguma coisa”, por algum motivo a GPT já pega o logo da Google e coloca lá por causa que ele estava no contexto que ele já leu ali que é a Google. (inint) [00:13:52] pedindo para ela passo a passo e ela vai gerando aquela página para você, e no final dá a página certinho.Schuster: Olha só. Então, só para quem está ouvindo, porque o nosso público não é muito técnico, então deixe eu ver se eu consigo ir traduzindo. Esse algoritmo ele indexou todos os textos, tem uma diversidade de parâmetros enorme, e consegue entender as nuances e tem uma capacidade muito grande de ir completando esses textos, como que vocês disseram no começo. Mas vocês estão falando da OpenAI, isso é uma empresa que é algoritmo, ele está disponível para ser usado, como é que é isso? Eu queria emendar duas perguntas: quais são as aplicações práticas para as empresas, e elas tem, esse (inint) [00:14:35] aberto, você paga pelo uso dele, como é que é isso?André: A aplicação prática ela é fácil que é dominar o mundo. Brincando, pode falar um pouquinho da OpenAI, Camila, que vocês conhecem mais.Camila: Então, a OpenAI é uma empresa (inint) [00:14:53] que inclusive foi co-fundada pelo (inint) [00:14:58] mas tem outros fundadores além do (inint) [00:15:00], e eles são bem cuidados com a questão de como que eles vão liberar isso. Então a princípio eles selecionaram no dedo quem iria ter acesso a primeira versão do GPT-3 já para descobrir as (merdas) [00:15:14] que ele vai fazer, e não falta merda. Eles selecionaram alguns pesquisadores, desenvolvedores, profissionais de empresas, e falaram, toma o acesso, testa e posta o que vocês acharem do modelo. E já rolou muita postagem sobre como que ela se comporta em determinadas situações, a gente pode entrar em detalhes dos tipos de vieses que ela incorporou, mas a princípio eles vão liberar um API, você vai ter que gerar uma chave de API como qualquer API do Youtube, API do Twitter, você vai ter acesso ao modelo indiretamente, então você vai submeter um Job lá, ele vai processar nos servidores do OpenAI e (vai) [00:16:02] te devolver a resposta, porque você não tem acesso direto ao modelo, e se você fizer alguma coisa que eles não concordam, eles conseguem invalidar a sua chave. Então você perde o acesso facilmente ao modelo. Dessa forma eles conseguem ficar de olho com o que estão fazendo com a GPT-3, e a primeira denúncia que rolar eles disseram que vão cortar o acesso, então eles (inint) [00:16:26].André: E só para clarificar, porque você falou que o público não é muito técnico, uma API é basicamente uma portinha que a empresa dá para você ter acesso a um pedacinho do código para você poder fazer coisas, e te dá uma chave, eu gosto dessa analogia da chave porque é basicamente uma chave que você abre uma portinha e entra no código e consegue fazer certas coisas. E se você foder com tudo eles te tiram a sua chavinha, te botam para fora e você não consegue mais fazer isso. Mas é basicamente uma forma de dar acesso para as pessoas para elas poderem testar a funcionalidade disso.Marcelo: Essa questão de estar liberando aos poucos é muito por causa de algumas APIs que foram meio que viciadas para o caminho do mal, por exemplo (inint) [00:17:20] Twitter (inint) [00:17:23], Facebook.Camila: É um pouco disso, mas na verdade é mais porque quando eles fizeram a GPT-2, eles não liberaram e ponto final, porque a gente sabe do potencial de fazer merda, falaram muito do potencial de fake news, por exemplo, como que você pode gerar textos falando o que você quiser, é super fácil você dar uma entrada para a GPT-3 e ela gerar um texto dizendo que o aquecimento global é uma mentira, por conta dessas coisas eles não liberaram a GPT-2, só um modelo bem pequeno que não é (inint) [00:17:54]. Então a ideia de eles liberarem aos poucos agora, é meio que eles passaram esse tempo se preparando para formas seguras de liberar para não fazerem merda e depois a culpa cair neles.Marcelo: Só citando aqui, teve um artigo no The Guardian que foi a GPT-3 que gerou, e é impressionante. Apesar de lá no fundo eles estarem falando que eles editaram, e é claro, eles falaram a gente faz essa edição com humanos também, e não foi basicamente a mesma coisa, mas ficou muito impressionante o artigo.Camila: Eu fiquei um pouco frustrada, eu admito, com esse artigo do The Guardian, porque eles colocaram bem lá no finalzinho em letras menores e falaram, a gente rodou oito vezes, e essa aqui é uma edição das oito saídas, é uma edição de (inint) [00:18:48] meio artística de (inint) [00:18:51] que dá o q humano que a gente sente, sabe. Ainda não significa que os textos (são) [00:18:58] perfeitos.André: Até o paper original que(falam) [00:19:04] um componente mais técnico da GPT-3 ele tem alguns testes que eles fazem com humanos para ver se a pessoa consegue ou não detectar que o texto foi produzido ou não, e eu acho que o máximo, se eu não me engano, é que eles chegaram a 88% das pessoas sei lá, acreditando que o texto tinha sido produzido por um outro ser humano quando o texto tinha sido produzido pela OpenAI. Mas o que é impressionante é que a menor dessas taxas, foi eu acho que 50%, ou seja, mesmo ela sendo bem ruim ela está boa, ela consegue enganar metade das pessoas.Schuster: Mais uma pergunta, esse caso do artigo do The Guardian, e vocês explicaram aí, no fundo isso vai estar disponível como um serviço, igual tem nuvens que tem serviço de reconhecimento de imagem, de outros serviços de (AOT) [00:19:57] e etc., você tem um serviço ali desse (inint) [00:20:01] como serviço na nuvem. Que tipo de pergunta o The Guardian está fazendo para esse algoritmo, para esse algoritmo devolver um artigo, como é que é isso? Não só escreva um artigo? Porque acho que aí vai ficar bem claro, como que é? Você começa escrevendo o artigo e ele completa, que vocês falam que ele completa super bem? Como ´que é essa interação com o algoritmo?Camila: Antes de responder não sei se o André vai querer pegar essa resposta, você deve ter notado que a Vivi não falou mais nada, ela passou muito mal aqui e ela saiu correndo lá para abraçar o vaso sanitário, acho que ela não vai voltar mais.Schuster: Eu achei que ela estava segurando o cachorro.André: O cachorro também.Camila: Não.André: Melhoras para ela.Camila: Pode deixar.Schuster: É, melhoras para ela, coitada, que azar bem na hora aqui da gravação.Camila: Pois é. (inint) [00:20:49-00:20:57].André: Mas com relação a esse artigo do The Guardian, eu não sei especificamente qual que foi o (inint) [00:21:02], mas uma coisa que é fantástica sobre essa OpenAI é exatamente isso, o tipo de (prompt) [00:21:09] que você dá, ele pode ser bem descritivo, bem curtinho e às vezes com poucos exemplos. Às vezes você pode falar um texto sobre tal coisa, ou você pode começar escrever um texto sobre tal coisa e falar, “completa aí o resto”. Eu não sei especificamente como que foi o desse artigo, mas de novo, uma das coisas bacanas que tem chamado bastante atenção dessa OpenAI é que ela é bem conversacional nesse sentido, você não precisa ter uma técnica muito específica para poder pedir certas coisas, pode (inint) [00:21:40] olha, eu queria uma tabela tal, ela faz a tabela para você. Às vezes, se a tabela estiver errada, você fala, eu queria uma tabela tal e tal, eu vou te dar aqui os dois primeiros itens da tabela, complete para mim, aí ela completa o resto da tabela para você.Schuster: Entendi. Eu quero até falar sobre possíveis vieses e defeitos, mas antes disso só uma pergunta: supondo que isso avance, corrija alguns desses vieses, o público vai ajudando, essas pessoas que têm acesso agora vão dando os feedbacks e etc., qual que é o potencial disso? O que se imagina que se vai fazer com isso? A gente gravou um episódio sobre por exemplo realidade aumentada, e ficou muito claro que aparentemente daqui uns tempos toda a interação nossa com o mundo vai ser talvez usando um óculos e com realidade aumentada. A gente até brincou no episódio que talvez as pessoas vão estranhar o mundo quando elas tirarem os óculos, porque vão sempre estar vindo informações e etc. Isso vai mudar como a vida das empresas, ou a vida nossa, qual tipo de mudança que vocês imaginam que vai haver supondo que (inint) [00:22:44] potencial que se enxerga agora.Camila: Eu vejo isso de forma acho que um pouco menos romântica do que as pessoas (estão) [00:22:54] colocando, porque por exemplo, falar que vai tirar o emprego de programadores porque ela consegue gerar códigos, não dá, porque o código não sai perfeito, não sai um produto pronto para (inint) [00:23:08], porque você deu uma entrada lá para a GPT-3. Assim como toda tecnologia que eu já trabalhei ou que eu acompanhei de perto, é auxílio a algum ser humano que vai produzir o produto final. Assim como esse artigo foi um conjunto, eu rodei várias vezes até conseguir um material que eu conseguiria trabalhar e gerar um artigo final, a mesma coisa é, eu gerei algumas funções aqui com a GPT-3, economizou meu tempo? Para (caramba) [00:23:41], mas eu ainda tive que fazer umas correções, ainda tive que montar as coisas da forma correta, então eu não acho que ela vai substituir nada, ninguém por completo, mas ela vai ser um auxílio muito importante para acelerar algumas funções, como o caso de colunas, (inint) [00:24:00] caso de programação também, tem várias aplicações que eles colocaram. Uma que eu achei bem interessante e bem útil, é preencher a tabela de Excel. Hoje a gente tem a capacidade de fazer, quer fazer uma lista sequencial. Eu escrevo um, dois, três, puxo lá no Excel e ele completa para mim. Com a GPT-3 você pode fazer, escrever o título lá, população dos países, escrever os nomes dos países, puxar a coisinha do Excel e ele completa com a população de cada país. Entendeu?Schuster: Entendi.Camila: É mais melhorar o que a gente já tem e acelerar algumas funções.Marcelo: Pensando (inint) [00:24:42] eu acho que (inint) [00:24:45] principalmente para fazer alguma coisa para o cliente, acho que vai ser um auxílio enorme, a gente vai conseguir prototipar alguma coisa para o cliente de uma forma muito mais rápida, não vai ser o código final, não vai ser o (inint) [00:25:00] mas a gente vai conseguir identificar o que o cliente quer por causa que a gente vai conseguir mostrar para ele alguma coisa muito mais rápido.Schuster: Sim, entendi.Marcelo: E extrair dali que é isso que eu quero. A gente (inint) [00:25:14] pega aquele protótipo ali e realmente programa ele para ser entregue para ele.André: Eu concordo com os dois porque a parte humana da coisa ela vai precisar existir, mesmo a gente tendo um sistema que consegue por exemplo criar um código para a gente em uma forma muito rápida, mas o componente humano de verificar esse código ou de até colocar elementos nesse código que o próprio sistema não vai conseguir porque ele não tem elementos contextuais, por exemplo, isso vai acontecer. Então eu acho que eu concordo plenamente com a Camila com essa coisa de essa visão romântica que vai perder emprego e que vai dominar o mundo e que daqui a cinco anos vai estar todo mundo sendo escravo de robôs eu acho que isso não acontece não. Até porque, aí já entra para o lado mais humano, a forma como a nossa mente funciona, a nuance é muito maior do que simplesmente entra dados e sai dados. A gente não lê um tanto de textos e saímos produzindo um tanto de coisas sobre aquele texto, não é assim que a gente aprende as coisas. Tem o componente do nosso contexto físico de onde a gente está aprendendo, tem o contexto emocional, quando você está triste você vai processar a informação de uma forma, quando você está alegre você vai processar informação de uma forma diferente, se você estiver cansado você vai processar diferente, e todas essas nuances elas acabam sendo marcadas no nosso sistema cognitivo de alguma forma quando a gente aprende alguma coisa. E esses sistemas ainda não conseguem, não estou falando que não vai conseguir e nem que não está tendo avanço nisso, mas eles ainda não conseguem codificar de uma forma tão perfeita ainda esses outros sinais que são sinais até para a gente ser humano um pouco difíceis de detectar.Schuster: Eu queria entrar nisso, esses sistemas não têm nem dopamina nem serotonina, nada disso.André: Nada disso.Schuster: Eu estava lendo hoje rapidamente, eu queria que vocês explorassem isso porque vocês obviamente vão ter um conhecimento profundo, falando que por mais conhecimento que esse algoritmo tem ele é estatístico. Ele completa essas frases, mas ele não tem uma compreensão igual um ser humano tem. E é engraçado porque nessa reportagem que eu li, eu não vou lembrar do exemplo imediato, mas ele errava com algumas perguntas bem bobas, sabem, você pergunta sei lá, uma girafa tem quantos olhos, não sei se (inint) [00:27:42] esse exemplo, ele fala, a girafa tem dois olhos. Você começa perguntar sobre algumas coisas que não tem olho ele responde, entendeu? Porque parece que ele imagina que a probabilidade maior é de responder aquela, ele responde uma resposta que é mais provável, ele não sabe exatamente esse conceito de ter olho, eu entendi certo? Vocês poderiam falar um pouco sobre isso?André: Sim. É um modelo extremamente estatístico, computacional, então ele vai levar em consideração a distribuição das informações que ele recebeu, e é daí que ele tira os bilhões e bilhões de parâmetros, mas a questão toda é que a gente como ser humano a gente faz uma coisa muito parecida o tempo inteiro. Enquanto eu estava escutando a sua pergunta, o meu cérebro estava processando que tipo de informação ele deve ou não prestar atenção, para poder estruturar a resposta que eu vou dar. Mas sei lá, se passasse um passarinho aqui na minha janela enquanto você estivesse falando, isso iria me distrair e eu iria perder alguns parâmetros. Esse parâmetro contextual, é uma coisa que esse sistema não tem, ele não consegue trazer, isso talvez não por uma incapacidade estatística, mas é porque ele não tem esse parâmetro, ele não tem essa informação dentro do sistema dele, que pode trazer isso, criar um parâmetro para isso e levar esse tipo de resposta ou esse parâmetro em consideração quando for criar a resposta. Esse é um ponto. E o segundo ponto, é que a forma como o nosso cérebro funciona, é muito biológica e baseada na experiência física que a gente tem no mundo, então a gente só enxerga as coisas como a gente enxerga, ou a gente só se move no mundo como a gente se move porque a gente tem uma biologia que está pegando essas informações e jogando dentro do sistema. Existem outros sistemas, principalmente acho que a Camila pode falar sobre isso até melhor do que eu porque trabalha com robótica, tem sistemas robóticos que conseguem codificar essas informações mais espaciais, mas as informações biológicas e a informação de sentimento é uma coisa que não está indo dentro desses sistemas, então eles não vão conseguir trazer esse tipo de parâmetro ainda para a produção das respostas que eles tem.Schuster: Entendi.Camila: Exato, e eu colocaria assim, você tem toda razão, ele vai pegar a resposta com maior probabilidade, mas tem um (inint) [00:30:06] que a GPT-3 não vai gerar respostas disruptivas, ela vai gerar o que você pediu para ela, do mesmo jeito que o Guardian pediu, escreve um artigo de opinião falando que não precisa ter medo das máquinas, ela vai gerar um artigo de opinião dizendo que não precisa ter medo das máquinas. Se você pergunta quantos olhos tem um pé, você quer saber quantos olhos tem em um pé, então ela vai caçar uma resposta que combine com quantos, então a quantidade, e você quer saber o número de alguma coisa, ela vai lá naquele contexto e vai encontrar a coisa mais próxima dentro daquele contexto. Ela não vai surpreender no sentido de nossa, jamais imaginaria essa resposta, ela vai te dar literalmente o que você pediu.André: É, e ela não tem o contexto também de olha, sapato não tem olho, então espere, essa é uma pergunta estranha e te responder do tipo, não faz sentido essa pergunta, porque ela não tem dentro do sistema onde ela aprendeu, ela não tem esse tipo de parâmetro do tipo, perguntas que não fazem sentido, eu vou responder com alguma coisa que mostre para o usuário que não faz sentido perguntar aquilo.Schuster: É um artigo da Forbes, é isso mesmo, ele pergunta quantos olhos tem uma girafa? Fala, girafa tem dois olhos. O humano, quantos olhos o meu pé tem? Ele fala, seu pé tem dois olhos. Quantos olhos tem uma aranha? Uma aranha tem oito olhos. Quantos olhos o sol tem? O sol tem um olho. Mas eu acho curioso o seguinte, nessa hora dá um certo otimismo de que não seremos substituídos, parece que uma criança saberia responder, ele não entende o conceito mesmo do que é um olho.Camila; Sim, isso com certeza não.Schuster: (inint) [00:32:00] de que (inint) [00:32:00] olho.Camila: Mas dá para explorar o fato, já fizeram isso, que tem informações que a rede te dá que você consegue meio que inferir se ela está só te dando uma resposta porque precisa te dar uma resposta, ou se ela tem certeza daquilo que ela está falando. Já exploraram essa capacidade para dar respostas pré-prontas de isso não faz sentido, avisando a ela, se você achar que não faz sentido, ou seja, se a probabilidade for menor que tal, fala que isso não faz sentido, (inint) [00:32:38].Schuster: Entendi. E vocês chegaram a falar um momento sobre vieses. Quais seriam os vieses? É possível levar para o lado ruim conforme ela vai sendo treinada? Eu lembro que tinha uma época que teve alguma inteligência artificial que começou ficar racista, ficou falando palavrão, é nessa direção ou são outros vieses que vocês estão falando?Camila: Então, eu sou um pouco preciosista em dizer que (inint) [00:33:08] é racista, porque para ela ser racista ela teria que entender o que é racismo, e até as pessoas tem dificuldades de entender o que é racismo.Schuster: É, ela não sabe nem o que é um olho, ainda mais se é racismo.Camila: (inint) [00:33:18]. Exato, imagina o racismo. Esse ato racista foi a da Microsoft, que ela foi criada para tweetar, e ela não ficou racista no sentido que você imaginaria, mas ela começou repetir comentários racistas e começaram a alimentar ela massivamente com aquilo. No caso da GPT-3 é a mesma coisa, ela é massivamente alimentada com vieses da humanidade. Um exemplo que eu achei mais impactante, é como é praticamente impossível você gerar um texto positivo, se a sua entrada envolve alguma coisa de oriente médio, muçulmanos, árabes e coisas do gênero. É praticamente impossível, porque ela sempre vai criar uma história de terrorismo, uma história de assassinato, de suicídio, é um viés, como os textos são em inglês, é um viés que está (inint) [00:34:30] de conteúdos (inint) [00:34:31] Estados Unidos e os países que falam inglês, é o preconceito contra os árabes. Se você alimenta uma rede massivamente com algum viés da sociedade, é uma sociedade muito cristã, é uma sociedade muito racista, tudo isso vai estar incorporado no contexto daquele modelo. Ele vai aprender ser mais cristão, mais racista e daí por diante.Schuster: É um reflexo total da sociedade mesmo, não é?Camila: Exato.André: Exatamente. E isso que a Camila falou é verdade, a gente não pode falar que é o sistema que está sendo racista, até porque essa interpretação a gente que dá depois que ele dá uma resposta.Schuster: Sim.André: Mas o sistema ele está sendo treinado com o que ele tem. Você pensa, mas então isso é uma coisa própria da tecnologia então a gente tem que acabar com isso. Na verdade não, grande parte dos vieses que a gente tem como ser humano eles vem exatamente da experiência que a gente tem como ser humano no mundo. Você pega uma criança, existem vários experimentos mostrando isso por exemplo.Schuster: Você treina ela também.André: Você pega uma criança, exatamente, você pega uma criança que está crescendo em um ambiente em que ser negro é pior do que ser branco, porque é isso que a gente mostra o tempo inteiro para essa criança. Ela vai internalizar isso de alguma forma e isso vai começar a se manifestar no comportamento dela. Você tem um estudo famoso que você coloca uma boneca branquinha e uma boneca negra e pergunta para a criança, qual que é a boneca mais legal? Ela vai apontar para a boneca branca. Com qual boneca que você queria ser amiga? Ela vai apontar para a boneca branca. A gente fala, “nossa, criança é racista.” O que está acontecendo ali? Ela está externalizando todo aquele conjunto de experiências que ela teve desde que ela nasceu, e o nosso cérebro nada mais é do que um sistema de inteligência artificial, porque a gente está o tempo inteiro montando padrões das experiências que a gente vive. E se o padrão que a gente está montando é sempre um padrão que é enviesado para algum lado ou para outro, ele vai responder dessa forma do mesmo jeito.Schuster: Sim. Esse exemplo é bem interessante, não é? O nosso cérebro ele é a essência do que é treinado, do que aprende, e se você está em um lugar enviesado você fica enviesado. Mas então filosoficamente não tem como evitar isso, não é? Isso não é um problema tecnológico, não é, é o que vocês estão deixando bem claro, é um problema na verdade do contexto onde aquela inteligência artificial que está aprendendo está inserida.Marcelo: Não é um problema tecnológico, mas às vezes é um problema de como as pessoas fazem o refinamento. Como (inint) [00:37:10] treinados em inglês, ele gera um enviesamento do contexto só de textos e inglês. Ele não pega texto árabe, ele não pega texto de origem asiática, ele não pega texto latino-americano, não pega texto nada, então ele está enviesado naquele contexto. Não é o enviesamento da humanidade, a humanidade não é racista, pode ser que a maioria dos textos em inglês sejam tendenciosos em relação a árabe, mas não quer dizer que as pessoas que pensam bem dos árabes, simplesmente elas não comentam isso na internet.Schuster: É aquela história de sempre até das minorias, alguém vai ficar escrevendo contra algum ativista e não vai ter tanta gente escrevendo a favor, por exemplo, o que vai ficar é que está contra.Marcelo: Isso.Schuster: Está certo, pessoal, estamos chegando aqui ao fim. Gostei demais aqui desse episódio, muito interessante.André: Mas rapidinho.Schuster: Claro.André: Antes de a gente terminar, um adendo que eu queria colocar nessa questão do viés, é que a pesar de ser um problema que vamos dizer assim ele parece um pouco mais humano do que tecnológico, existem formas tecnológicas de corrigir esse tipo de viés, de fazer com que o sistema tenda para um lado e não para outro. Um exemplo clássico disso é o seguinte. Se a gente olhar, se a gente prestar atenção hoje, no mercado de trabalho, isso praticamente do mundo inteiro, você tem uma disparidade grande entre o salário da mulher e o salário do homem, geralmente por um mesmo cargo a mulher ganha um percentual a menos do que o homem. E teve um estudo que ele começou fazendo o seguinte. Ele pegou um grupo pequeno para treinar sobre salários. Ele basicamente pegou, tem que uma mulher e um homem, um salário igual. E ele pediu a esse sistema para começar replicar isso. E ele foi replicando de uma forma que o viés (não aparecia) [00:39:08]. Em algum momento, ele colocou um percentual muito pequeno (inint) [00:39:15], mas muito pequeno mesmo, do tipo sei lá, meio por cento e mandou replicar. Depois de várias e várias replicações, essa pequenina diferença ela estava exorbitante, ela estava enorme, ou seja, a gente está hoje em um estado em que a diferença é muito grande, mas que provavelmente começou quando uma diferença muito pequena entrou. Se a gente (univers engenier) [00:39:39] esse tipo de processo de começar a cortar essa diferença e mandar um sistema replicar, a tendência é que esse tipo de viés vá acabando com o treinamento, mas isso computacionalmente falando. Com o ser humano é difícil fazer isso, porque (inint) [00:40:00].Schuster: Mas quem que aponta essa diferença? quem que vai lá apontar (inint) [00:40:02], são sempre objetivos assim.André: Pois é, não, nesse sistema foi uma coisa deliberada, o cara botou essa diferença lá justamente para ver como essa diferença se propaga, se manifestava exatamente, depois que você pedisse a esse sistema para começar replicar aquilo. Mas na vida, na nossa sociedade ele acontece por sei lá, pausisse no cu das pessoas, não sei se pode falar palavrão, mas é isso mesmo.Schuster: (inint) [00:40:33] bota um pi.André: Exatamente.Camila: Existe mesmo, não é tão difícil de (inint) [00:40:38]. É difícil sim, mas não é impossível e o primeiro passo é tentar.André: Exatamente.Camila: Existem métodos onde você coloca simplesmente lá uma restrição, onde você tenta detectar o gênero, nesse exemplo do André, você tenta detectar o gênero e quando a rede não conseguir detectar o gênero da pessoa, é um indício de que a decisão que ela está tomando independe do gênero. Você propositadamente indica lá, não identifica o gênero da pessoa, e no meio do caminho vai removendo todos os indícios.Schuster: Ele não pode ser parâmetro, não é?André: Exatamente.Camila: Isso, exato.Schuster: Nesse caso dessa decisão o gênero não deveria ser parâmetro.Camila: Agora só um comentário, uma coisa importante é que a gente detectar esses vieses nas inteligências artificiais, a gente não é só reclamar da (inint) [00:41:32], é a gente prestar atenção que do mesmo jeito que esse viés impactou a (inint) [00:41:37], impacta as pessoas também, porque a gente não pode pensar que não é que a humanidade não é racista, é que algumas pessoas falam demais. Ao mesmo tempo que a (IA) [00:41:48] abraçou tanto esse contexto de que árabes são seres humanos perigosos e (inint) [00:41:55] coisas ruins, desse mesmíssimo jeito as pessoas que falam inglês e que só leem textos em inglês, também vão absorver aqui. É uma forma de a gente identificar os vieses que estão se propagando naquele contexto, sabe? O fato de os Estados Unidos ser um país muito racista, é porque esse discurso ganha muito espaço, então vale prestar atenção nisso também. (inint) [00:42:22] só a (IA) [00:42:23].Marcelo: (inint) [00:42:22] problema com a gente tem com as notícias hoje em dia por causa que elas são (clickbit) [00:42:26] exatamente porque algumas polêmicas ganham muito mais dinheiro do que simplesmente a notícia crua.Camila: Exato.André: Isso, é por isso que as pessoas vão para a internet ou vão blogar ou vão para as redes sociais falarem dessas coisas ruins do que das coisas boas. Igual alguém (aqui) [00:42:43] comentou, tem gente que fala coisas boas em inglês sobre árabes? Tem, não que falam, mas tem gente que pensa positivamente sobre os árabes e que fala inglês? Tem, mas essas pessoas não vão para a internet escrever isso e não divulgam isso talvez de uma forma escrita porque primeiro não é o que dá Ibope, e segundo que o impacto para isso é muito pequeno, principalmente para (inint) [00:43:05] ou empresas de tecnologia, ou sei lá, mídias e tudo mais, não é o que vende.Schuster: Sim, olha, esse assunto eu acho que dá um episódio, é interessantíssimo. Dá um nó na cabeça, porque a gente é uma inteligência inserido nisso, ao mesmo tempo a gente que gera isso e a gente é influenciado (inint) [00:43:27] coisas (inint) [00:43:28]. Eu acho bem interessante.André: É, e o conceito de inteligência que a gente tem para esses sistemas é muito diferente do conceito de inteligência que tem no senso comum. Porque o conceito de inteligência para esses sistemas é simplesmente resolução de problemas. Se você me pergunta quantos olhos tem uma girafa e ele sabe e é um problema que você, ele vai te dar a resposta para aquele problema, então nesse sentido ela é inteligente. E em algumas vertentes (inint) [00:43:58] cognitiva, é isso que é inteligência para o ser humano também, capacidade de resolução de problemas. Mas no senso comum, inteligência é mais essa capacidade de analisar coisas, e chegar em uma resposta que é mais apropriada para aquele contexto e não para outros e tudo mais. E isso é uma coisa que esses sistemas ainda não fazem tão perfeitamente. E de novo, eu não sou tão pessimista a ponto de “a, eles nunca vão chegar a isso”, mas eles ainda não fazem isso dessa forma contextualizada e inteligente que a gente tem como definição de inteligência no senso comum.Schuster: Impressionante, mesmo no consciente você tenta bilhões de parâmetros. Realmente, a gente deve ficar orgulhoso do nosso cérebro então.Camila: Pois é.André: A gente tem mais ou menos uns 86 bilhões de neurônios, e se você for pensar bem o número de conexões possíveis entre esses neurônios é absurdamente grande, e mesmo assim a gente está fazendo porcaria o tempo inteiro. Imagina.Schuster: Na verdade dá para ficar mais ou menos orgulhoso, não é?André: Exatamente.Schuster: Pessoal, muito obrigado, viu, foi muito bom conversar com vocês. Acho que esse episódio ficou bem legal e cumpre bem o objetivo de instigar os ouvintes nossos que a maior parte não é uma formação técnica, mas acho que vai ficar bem intrigado pelo que a gente falou aqui. André, muito obrigado, um abraço.André: Obrigado você, obrigado pelo convite, foi bacana participar do papo. Obrigado Camila de novo por estar aqui conversando com a gente.Camila: (inint) [00:45:29], o que é isso. Eu agradeço muito o convite.Schuster: Mande um abraço para a Vivi também, melhoras.Camila: Pode deixar, eu vou lá ver agora se está tudo bem, mas muito obrigado pelo convite, eu fiquei feliz que eu consegui participar, porque esse é um assunto que eu tenho muito interesse, (inint) [00:45:45] poder contribuir.André: E sigam o canal das meninas lá no Youtube, sigam as meninas no twitter.Camila: @canalpeixebabel.Schuster: Com certeza seguiremos. Abração também, Marcelo.Marcelo: Valeu, Schuster, valeu André, valeu Camila.Camila: Abraço.