Última entrevista em vídeo de Ilya, versão bilíngue completa (chinês e inglês). Ilya: A era da escalabilidade termina, próxima fase: como fazer os modelos aprenderem como humanos. Esta é a primeira exposição sistemática de Ilya sobre suas reflexões abrangentes acerca do desenvolvimento atual da IA, da inteligência futura, do alinhamento com a segurança e da evolução da sociedade humana desde que deixou a OpenAI para fundar a SSI. O tema principal de toda a conversa girou em torno de três pontos: Por que as pontuações atuais nos testes de IA são altas, mas seu desempenho no mundo real está longe do ideal? De que forma a "generalização e a função de valor" da inteligência humana podem inspirar futuros métodos de treinamento de IA? Que tipo de "Superinteligência Segura" a SSI pretende construir? 1. O problema fundamental do estado atual da IA: ela consegue obter pontuações altas, mas não consegue realizar trabalhos práticos. Os modelos atuais (como a série GPT) têm um desempenho excepcional em tarefas de teste (avaliações), mas seu impacto econômico real é limitado. O modelo pode encontrar um "erro cíclico" em tarefas complexas — corrigir um erro apenas introduz outro. Ilya destaca que isso ocorre porque estamos muito focados em "recompensar os humanos" durante a fase de aprendizado por reforço, negligenciando a capacidade de generalização no mundo real. 2. Pré-treinamento versus Aprendizagem por Reforço: Onde se encontra a verdadeira inteligência? Pré-treinamento: Utilizando "todos os dados" sem seleção humana, o modelo aprende uma projeção ampla do mundo humano. Aprendizagem por reforço (RL): requer um ambiente projetado manualmente, e o objetivo geralmente é definido como "fazer o modelo parecer melhor nas avaliações". Ilya argumenta que isso faz com que o modelo se assemelhe a um "aluno que só sabe fazer provas", carecendo de verdadeira compreensão e capacidade de transferência de habilidades. 3. A chave para a inteligência humana: Função Valorativa e Emoção Lya propôs que a razão pela qual os humanos conseguem aprender e generalizar em um mundo complexo é porque possuímos um "sistema de valores intrínseco". Este sistema é a emoção: Felicidade → Feedback Positivo; Ansiedade → Lembrando você de riscos potenciais; Vergonha → Ajustar estratégias sociais; A curiosidade inspira a exploração. Em aprendizado por reforço, isso é semelhante a uma função de valor implícita. Isso permite que as pessoas saibam com antecedência que "a direção está errada", em vez de esperarem por um sinal de punição. Portanto, ele acredita: "A verdadeira inteligência não é apenas a capacidade de prever, mas um sistema de valores em constante atualização." Se a IA do futuro puder aprender a "autoavaliar se a tarefa está na direção certa", ela possuirá "capacidade de aprendizado orientada por significado", assim como os humanos. 4. "A era da escalabilidade terminou e a era da pesquisa chegou." Ilya fez uma crítica contundente ao estado atual da indústria de IA. Ele afirmou que a última década de progresso da IA pode ser dividida em duas eras: 2012–2020: A Era da Pesquisa → A inovação surge de arquiteturas revolucionárias (AlexNet, Transformer). 2020–2025: A Era da Escalabilidade → Todos os esforços estão concentrados em "acumular dados, poder computacional e parâmetros do modelo". Ele acredita que essa tendência atingiu seu ápice: “A expansão acabou com a inovação.” Atualmente: O poder computacional permanece elevado, mas os benefícios da acumulação adicional de recursos estão diminuindo. O próximo avanço deve retornar à questão de como fazer o modelo aprender como um humano, em vez de exigir mais poder computacional. Em outras palavras, o foco mudou da expansão quantitativa para a inovação estrutural. A chave para a competição futura não será o poder computacional, mas sim quem conseguir propor novos princípios de aprendizagem. 5. Roteiro para os próximos dez anos Previsão de Ilya: Nos próximos 5 a 20 anos, a IA aprenderá a aprender de forma semelhante aos humanos; Pode: Explore o mundo ativamente; Compreender as leis da física e da sociedade; Autorreflexão; Também possibilita o raciocínio intermodal (integração multissensorial). Quando esse sistema estiver maduro, ele trará os seguintes resultados: Explosão da produtividade econômica; Os modelos de educação e pesquisa foram completamente reformulados; A relação entre humanos e máquinas entrou na era da "co-inteligência". No entanto, Ilya enfatizou que tais sistemas devem ser implementados de forma gradual e transparente para permitir que o público e o governo compreendam suas capacidades e riscos. Ele enfatizou que a SSI procederá de forma progressiva, segura e transparente: as capacidades, os riscos e as estratégias de controle em cada etapa serão submetidos a revisão externa. (Como esta é uma tradução automática, podem ocorrer pequenos erros. Esteja ciente da possibilidade de erros.)
Transcxiaohu.ai/c/ai/ilya-scal…/t.co/Oyoutu.be/aR20FWCCjAsnal: https://t.co/cd3sNhZ9Jz