Ilya: A era da expansão acabou; a era da pesquisa começou. Ilya Sutskever não participa de uma entrevista em podcast há mais de um ano. Ela raramente é vista em público desde que deixou a OpenAI para fundar a SSI (Safe Superintelligence). Recentemente, ele teve uma conversa aprofundada de uma hora e meia no podcast de Dwarkesh Patel. Afinal, Ilya é Ilya; ao contrário de Sam Altman, que passa o dia falando bobagens para vender produtos, a entrevista foi repleta de insights valiosos, e suspeito que algumas de suas opiniões possam até influenciar a direção futura da pesquisa e do investimento em IA. É difícil resumir mais de uma hora de conteúdo em poucas palavras, então vamos organizá-lo por tópico. [1] Por que a IA pode superar os humanos em exames, mas falha em corrigir um bug simples? Na entrevista, Ilya mencionou um fenômeno que muitas pessoas já encontraram e consideraram intrigante: os modelos atuais têm um desempenho surpreendentemente bom em vários sistemas de pontuação, mas, na prática, ficam muito aquém da curva de desempenho. Ainda mais bizarro, se você pede para corrigir um bug, ele o corrige e introduz um novo; se você aponta o novo bug, ele se desculpa e depois volta ao bug antigo. Os dois bugs se alternam como em um jogo de pingue-pongue. Ilya usa uma analogia para explicar esse problema: Imagine dois alunos. A primeira pessoa aspirava a se tornar um programador competitivo de alto nível, praticando por 10.000 horas, memorizando todos os modelos de algoritmos e desenvolvendo uma precisão quase reflexiva. A segunda pessoa achava as competições interessantes, praticou casualmente por 100 horas e também obteve um bom resultado. Qual pessoa tem melhores perspectivas de desenvolvimento de carreira no futuro? É muito provável que seja a segunda opção. Ilya afirma que o modelo atual é ainda mais extremo do que o do primeiro aluno. Durante o treinamento, ele passou por todos os problemas da competição e por aumento de dados para gerar mais variações, reforçando-o repetidamente. O resultado é que todas as técnicas algorítmicas estão internalizadas, mas esse nível de preparação em si limita sua capacidade de generalização. Essa analogia destaca um ponto fundamental: habilidade e generalização são duas coisas diferentes. Praticar problemas de programação em excesso pode, na verdade, bloquear o caminho para aplicar esse conhecimento a outras situações. [2] A verdadeira exploração de recompensas é feita por pesquisadores humanos. Onde estava o problema? Ilya acredita que foi porque a lógica para selecionar os dados de treinamento mudou. A era pré-treinamento era simples: quanto mais dados, melhor; bastava inserir qualquer coisa e ter cuidado. Mas a era do aprendizado por reforço (RL) é diferente. É preciso escolher qual treinamento por reforço realizar, qual ambiente usar e qual objetivo otimizar. Assim, surge um ciclo delicado: os pesquisadores querem pontuações de referência impressionantes no lançamento, então projetam métodos de treinamento de RL para melhorar essas métricas. O modelo torna-se cada vez mais hábil nos testes, mas a lacuna entre a capacidade de realizar testes e a capacidade no mundo real aumenta. Ironicamente, o que realmente recompensa a trapaça não é o modelo em si, mas sim as pessoas que o projetaram e treinaram, que, sem saber, se tornaram excessivamente focadas nas notas dos exames. [3] Por que os humanos aprendem as coisas tão rapidamente? Isso nos leva a uma questão mais profunda: por que os seres humanos aprendem as coisas tão rápido e de forma tão consistente? Ilya mencionou um caso médico particularmente interessante: uma pessoa perdeu todas as emoções devido a danos cerebrais — não conseguia sentir tristeza, raiva ou excitação. Ainda conseguia falar, resolver problemas de raciocínio e suas notas em provas eram normais. Mas sua vida desmoronou completamente: passava horas decidindo que meias usar e suas decisões financeiras eram um completo caos. O que isso significa? As emoções são mais do que apenas emoções; elas atuam, em certa medida, como uma função de valor intrínseca. Elas indicam o que vale a pena fazer, quais escolhas são boas ou ruins, sem que você precise esperar pelo resultado final. A função de valor é um termo técnico, mas o conceito não é difícil de entender. O aprendizado por reforço tradicional funciona assim: o modelo executa uma longa série de ações, obtendo finalmente uma pontuação, e então usa essa pontuação para ajustar todas as etapas anteriores. O problema é que, se a tarefa demora muito para produzir um resultado, a eficiência do aprendizado é muito baixa. A função de valor tem o papel de "antecipar" o jogo. Por exemplo, no xadrez, se você perde uma peça, sabe que foi uma jogada ruim mesmo sem ter jogado a partida inteira. Em programação, se você explora uma direção e percebe que está errada depois de mil jogadas, uma função de valor pode lhe dar um feedback negativo desde o início, quando você escolhe essa direção. É como um GPS; ele não espera você chegar ao seu destino para avisar que o caminho está errado, mas começa a recalcular a rota assim que você faz a curva errada. Os humanos provavelmente possuem esse tipo de sistema. E a beleza desse sistema reside em sua relativa simplicidade, embora funcione em uma ampla gama de situações. Nossas emoções são, em grande parte, herdadas de nossos ancestrais mamíferos, adaptadas ao ambiente de milhões de anos atrás, mas ainda funcionam muito bem na sociedade moderna. Claro, há momentos em que ele falha, como quando nos deparamos com uma rua repleta de comida deliciosa e não conseguimos controlar nossa fome. [4] A era da expansão do poder computacional e dos dados terminou; a era da investigação começou. Será que Ilya acredita que a era do escalonamento acabou? Ele ofereceu uma perspectiva muito interessante: entre 2012 e 2020, todos estavam pesquisando, experimentando diversas abordagens, buscando o que fosse interessante. Então, por volta de 2020, a lei de escala foi descoberta e o GPT-3 surgiu. De repente, todos perceberam que, contanto que se aumente a escala, a quantidade de dados, o poder computacional e o tamanho dos parâmetros do modelo, é possível obter resultados consistentemente melhores. A vantagem de escalar é o baixo risco. A pesquisa, por outro lado, é arriscada; você precisa contratar um monte de gente inteligente para explorar, e não há garantia de sucesso. Mas escalar? Contanto que você invista mais recursos, o retorno é garantido. As empresas adoram essa certeza. Mas o efeito colateral é que isso monopoliza a atenção, comprime o espaço para a inovação e, no fim das contas, cria uma situação em que "há mais empresas do que ideias". Mas e agora? Os dados de pré-treinamento são limitados, e a internet também; eventualmente, eles se esgotarão. O Gemini supostamente encontrou uma maneira de extrair mais dados do pré-treinamento, mas esse caminho tem seus limites. Então, todos se voltaram para o aprendizado por reforço e começaram a investir pesado em poder computacional. A questão é: com o poder computacional já tão elevado, um aumento de 100 vezes realmente trará uma mudança qualitativa? Ilya não acredita nisso. Ele acha que voltamos a um ponto em que precisamos pensar no que devemos fazer, em vez de simplesmente acumular recursos indiscriminadamente. É como escalar uma montanha. No início, você encontra um caminho e simplesmente continua subindo, cada vez mais alto. Mas um dia, você percebe que o caminho acabou e que não dá para subir muito mais. Nesse ponto, você precisa mudar o caminho ou a forma como escala; não dá para continuar com a estratégia antiga. A indústria de IA está atualmente nessa encruzilhada. Então, como disse Ilya, retornamos à era da pesquisa, só que desta vez temos computadores muito maiores à nossa disposição. [5] A capacidade de generalização é a questão central. Segundo Ilya, o problema mais fundamental é que esses modelos têm uma capacidade de generalização muito baixa. O que significa baixa capacidade de generalização? Significa que aprender algo requer muitos dados, e o que você aprende não funciona em um contexto diferente. Os humanos não são assim. Um adolescente pode aprender a dirigir em cerca de 10 horas e já estar na estrada. Além disso, as habilidades visuais de uma criança de cinco anos são suficientes para auxiliar na direção autônoma. Embora não possam dirigir, suas capacidades de reconhecer as condições da estrada e calcular distâncias já são muito fortes, e essas habilidades são aprendidas no ambiente de baixa diversidade de dados da casa de seus pais. Mais importante ainda, os humanos aprendem programação e matemática muito rapidamente. Essas não são habilidades que adquirimos por meio da evolução, pois nossos ancestrais não precisavam escrever código. Isso sugere que os humanos não apenas possuem uma vantagem evolutiva em certas tarefas específicas, mas também uma habilidade mais fundamental no próprio ato de aprender. E quanto ao modelo? Embora supere as pessoas comuns em certas tarefas específicas, ainda está muito atrás em termos de capacidade de aprendizado. Ilya tem algumas ideias sobre o assunto, mas disse que não pode entrar em detalhes agora, pois nem todas as ideias de aprendizado de máquina podem ser discutidas publicamente neste campo altamente competitivo. No entanto, ele deu uma pista: provavelmente está relacionado a como alcançar uma generalização eficiente e estável, como a dos humanos. Existe outro obstáculo em potencial: talvez os neurônios humanos, na verdade, realizem mais cálculos do que imaginamos? Se for esse o caso, as coisas se tornam ainda mais complicadas. Mas, independentemente disso, a própria existência dos seres humanos prova que esse aprendizado eficiente é possível. [6] Redefinindo a IAG: do produto final ao aprendiz Aqui, Ilya faz uma correção conceitual significativa. De onde surgiu o conceito de Inteligência Artificial Geral (IAG)? Ele nasceu como o oposto da "IA restrita". As IAs anteriores só conseguiam jogar xadrez ou outros jogos, o que era muito limitado. Portanto, as pessoas disseram: precisamos criar uma IA de propósito geral, uma IA que possa fazer tudo. O pré-treinamento reforça essa impressão, pois de fato faz com que os modelos tenham um desempenho melhor em uma ampla gama de tarefas. Assim, "IA geral" e "pré-treinamento" tornaram-se conceitualmente ligados. Mas eis o problema: de acordo com essa definição, nem mesmo os próprios humanos se qualificam como IAG (Inteligência Artificial Geral). Os seres humanos possuem um conjunto de habilidades básicas, mas carecem de uma vasta quantidade de conhecimento específico. Dependemos da aprendizagem contínua. Um jovem brilhante de quinze anos pode não saber nada, mas aprender tudo rapidamente. "Vá se tornar um programador", "Vá se tornar um médico", "Vá estudar" — colocar ideias em prática envolve inerentemente um processo de aprendizagem e tentativa e erro. Portanto, na visão de Ilya, uma superinteligência não é um produto acabado que já sabe tudo de fábrica, mas sim um aprendiz capaz de adquirir qualquer habilidade tão rapidamente quanto um ser humano. [7] Em quanto tempo chegará a IA capaz de aprendizagem automática? Quão perigosa ela é? Então, eis a questão: o que aconteceria se existisse um sistema capaz de aprender tão rápido quanto um ser humano e que pudesse ser replicado e implementado em larga escala? Os humanos normalmente levam seis meses para se tornarem produtivos, mas essa IA poderia fazer isso em semanas. Além disso, ela consegue combinar o que diferentes cópias aprenderam — algo que os humanos não conseguem fazer. Isso não levaria a um crescimento explosivo? Ilya acredita que haverá, de fato, um rápido crescimento econômico, mas é difícil dizer exatamente quão rápido. Por um lado, há uma força de trabalho altamente eficiente; por outro, o mundo real é vasto e muitas coisas têm seu próprio ritmo — não se pode simplesmente acelerar as coisas como se deseja. Mas ele mudou um pouco de ideia. Antes, o plano da SSI era "ir direto para a superinteligência" — atingir o objetivo final de uma só vez, sem lançar produtos intermediários. Agora, Ilya acredita que uma abordagem mais gradual pode ser mais importante. [9] Por que é necessário o desdobramento gradual? Porque você precisa vê-lo antes de poder imaginá-lo. Durante a entrevista, Ilya enfatizou repetidamente um ponto: o problema com a IA é que ela ainda não existe, e coisas que não existem são difíceis de imaginar. Você pode ler um artigo que diz "A IA se tornará algo incrível" e, depois de lê-lo, pensar: "Ah, que interessante", e então voltar à realidade. Mas se você vir a IA fazendo isso com seus próprios olhos, a sensação é completamente diferente. Ele usou uma analogia: como discutir "como é se sentir velho e frágil" aos vinte anos. Você pode falar sobre isso, pode imaginar, mas a verdadeira compreensão só vem da experiência. Isso leva a um problema prático: todas as discussões sobre os riscos da IA são baseadas na imaginação sobre o futuro da IA. E a imaginação muitas vezes fica aquém da realidade. Mesmo aqueles que trabalham com IA diariamente subestimam as capacidades dos modelos futuros devido aos vários erros básicos presentes nos modelos atuais. Ilya prevê que, à medida que a IA se torna mais poderosa, o comportamento humano mudará fundamentalmente. Os concorrentes começarão a colaborar em segurança, e governos e o público começarão a levar a regulamentação a sério. Essas mudanças já estão começando a surgir, mas estão longe de ser suficientes. O verdadeiro catalisador é que as pessoas vejam uma IA ainda mais poderosa. É por isso também que ele suavizou sua posição em relação à estratégia da SSI de "direto para a superinteligência". Sua ideia original era evitar a competição de mercado, concentrar-se em pesquisa e liberar a tecnologia somente quando estivesse pronta. Agora, ele acredita que tornar a IA visível é valioso por si só. É claro que, independentemente do caminho escolhido, a implementação final deve ser gradual. [9] O que faz a SSI? Diferentes abordagens técnicas A SSI arrecadou US$ 3 bilhões. Esse valor parece grande por si só, mas parece insuficiente em comparação com as dezenas de bilhões de dólares investidos por outras empresas. Ilya fez os cálculos. Uma grande parte desses valores elevados é usada para serviços de inferência. Além disso, o desenvolvimento de produtos exige um número significativo de engenheiros, equipe de vendas e desenvolvedores de funcionalidades, o que dilui os recursos destinados à pesquisa. Os recursos efetivamente utilizados para pesquisa de ponta não são tão desproporcionais quanto parecem. Mais importante ainda, se você estiver fazendo algo diferente, não precisa necessariamente da computação em maior escala para validar suas ideias. A AlexNet foi treinada usando duas GPUs. O artigo sobre o Transformer utilizou um máximo de 64 GPUs em 2017, o que equivale a cerca de duas placas de vídeo hoje em dia. As capacidades de inferência do primeiro modelo de inferência, O1, não foram alcançadas simplesmente acumulando poder computacional. A pesquisa exige uma certa quantidade de poder computacional, mas não o máximo. O verdadeiro gargalo está na ideia. Qual é, então, o roteiro técnico da SSI? Ilya não revelou tudo, mas a direção principal é resolver o problema da generalização. Ele acredita que os métodos atuais chegarão a um ponto de estagnação, continuando a melhorar, mas incapazes de alcançar capacidades de aprendizado verdadeiramente semelhantes às humanas. A SSI, por outro lado, está explorando caminhos diferentes. Qual é o cronograma? De cinco a vinte anos para atingir capacidades de aprendizagem em nível humano. [10] O que é alinhamento seguro? Com o que deve ser alinhado? Ao discutir superinteligência, a questão do alinhamento seguro é inevitável. A ideia de Ilya é permitir que a IA se importe com seres sencientes. Por que esse objetivo em vez de "cuidar da humanidade"? Ele deu uma razão interessante: a própria IA também possui habilidades perceptivas. Se você quer que a IA cuide da humanidade, isso pode ser mais difícil, pois requer um processamento específico. No entanto, fazê-la cuidar de todos os seres sencientes é, de certa forma, mais natural, semelhante à empatia humana pelos animais, que deriva do uso dos mesmos circuitos neurais para entendermos os outros e a nós mesmos. É claro que esse plano também tem problemas. Se a maioria dos seres sencientes for IA, os humanos serão uma minoria ínfima. Isso realmente pode garantir os interesses da humanidade? Ilya reconhece que esta pode não ser a melhor opção, mas acredita que pelo menos deve ser incluída na lista restrita para que as empresas possam escolher entre ela mais tarde. Outra ideia que ele mencionou, mas que não lhe agradou muito, foi a integração humano-máquina. Isso envolve o uso de tecnologia semelhante à interface cérebro-computador da Neuralink para transformar parcialmente humanos em IA. Dessa forma, a compreensão da IA espelharia a compreensão humana, e a situação da IA espelharia a situação humana, mitigando, assim, o problema de alinhamento até certo ponto. No entanto, essa é claramente uma solução muito radical. [11] Como codificar desejos avançados? A entrevista terminou com uma discussão muito interessante. Os seres humanos têm muitos desejos sociais: o desejo de serem respeitados, a preocupação com o status social e a preocupação com a forma como os outros os percebem. Esses não são sinais de baixo nível, ao contrário dos sensores químicos diretos que detectam o aroma da comida. O cérebro precisa integrar uma grande quantidade de informações para "compreender" o que está acontecendo em uma situação social. Mas a evolução conseguiu programar a predisposição para "se importar com isso" nos genes. Como eles fizeram isso? Embora seja concebível "conectar a dopamina aos receptores olfativos", é muito mais difícil imaginar "conectar sinais de recompensa a algum tipo de julgamento de alto nível que exija que todo o cérebro trabalhe em conjunto para tomar uma decisão". Ilya diz que tem algumas conjecturas, mas nenhuma é satisfatória. É um mistério. Mas a própria existência desse mistério é muito esclarecedora, sugerindo que a evolução encontrou uma maneira de implantar, de forma confiável, objetivos de nível superior em sistemas cognitivos complexos. [12] O que é o gosto da pesquisa? Ao final da entrevista, Dwarkesh fez a Ilya uma pergunta fundamental: Como alguém que co-criou uma série de trabalhos marcantes como AlexNet e GPT-3, como você avalia quais ideias valem a pena serem desenvolvidas? A resposta de Ilya foi poética: Estou em busca da beleza. Não se trata de qualquer tipo de beleza, mas de uma beleza multifacetada: simplicidade, elegância e a inspiração certa para o cérebro. Neurônios artificiais são uma boa ideia porque o cérebro de fato possui muitos neurônios e, embora seja complexo, o conceito abstrato de neurônio captura sua essência. Representações distribuídas são uma boa ideia porque o cérebro realmente aprende com a experiência. Quando uma ideia parece "certa" em múltiplas dimensões, possuindo uma certa harmonia inerente, você pode estabelecer uma crença de cima para baixo. Essa crença é crucial porque sustenta sua persistência mesmo quando os resultados experimentais são desfavoráveis. Às vezes, os experimentos falham não porque a direção esteja errada, mas porque há um bug. Como decidir se você continua a depurar ou abandona a direção? Isso se baseia nesta intuição estética de cima para baixo: isso deveria ser assim, então deve funcionar; continue procurando problemas. Essa pode ser a diferença entre os pesquisadores de ponta e os pesquisadores comuns. Os pesquisadores comuns se deixam levar facilmente pelos dados, mudando de direção se um experimento não funciona. Os pesquisadores de ponta, por outro lado, têm um certo senso estético, sabem o que é fundamentalmente correto e conseguem encontrar um equilíbrio entre os resultados experimentais e sua intuição.
Carregando detalhes do thread
Buscando os tweets originais no X para montar uma leitura limpa.
Isso normalmente leva apenas alguns segundos.