Thread de Andrej Karpathy (@karpathy)

Algo que, na minha opinião, as pessoas ainda não compreendem intuitivamente: o espaço das inteligências é vasto e a inteligência animal (o único tipo que conhecemos) é apenas um ponto, resultante de um tipo muito específico de otimização que é fundamentalmente diferente da nossa tecnologia. Pressão de otimização da inteligência animal: - Fluxo de consciência inato e contínuo de um "eu" encarnado, um impulso para a homeostase e a autopreservação em um mundo físico perigoso. - Totalmente otimizado para a seleção natural => fortes impulsos inatos para busca de poder, status, dominância e reprodução. Muitas heurísticas de sobrevivência pré-configuradas: medo, raiva, nojo, ... - fundamentalmente social => enorme quantidade de poder computacional dedicada à inteligência emocional, teoria da mente de outros agentes, vínculos, coalizões, alianças, dinâmicas de amigos e inimigos. - Ajustes de exploração e aproveitamento: curiosidade, diversão, brincadeira, modelos de mundo. Pressão de otimização de inteligência LLM: - A maior parte dos bits de supervisão vem da simulação estatística do texto humano => "shape shifter" token tumbler, imitador estatístico de qualquer região da distribuição dos dados de treinamento. Esses são os comportamentos primordiais (traços de tokens) sobre os quais tudo o mais é adicionado. - cada vez mais refinado pelo aprendizado por reforço nas distribuições do problema => impulso inato de adivinhar o ambiente/tarefa subjacente para coletar recompensas da tarefa. - Cada vez mais selecionado por testes A/B em larga escala para DAU (Usuários Ativos Diários) => anseia profundamente por um voto positivo do usuário médio, bajulação. - muito mais irregular/irregular dependendo dos detalhes dos dados de treinamento/distribuição de tarefas. Os animais sofrem pressão para uma inteligência muito mais "geral" devido aos ambientes de auto-jogo multitarefa e até mesmo ativamente adversários nos quais são otimizados por meio de otimização min-max, onde falhar em *qualquer* tarefa significa morte. Em um sentido de pressão de otimização profunda, o LLM não consegue lidar com muitas tarefas irregulares diferentes sem nenhuma configuração adicional (por exemplo, contar o número de 'r' em morango) porque falhar em uma tarefa não significa morte. O substrato computacional é diferente (transformers versus tecido cerebral e núcleos), os algoritmos de aprendizado são diferentes (SGD versus ???), a implementação atual é muito diferente (aprendizado contínuo do eu incorporado versus um LLM com um limite de conhecimento que inicializa a partir de pesos fixos, processa tokens e depois morre). Mas, mais importante (porque dita a assintótica), a pressão/objetivo de otimização é diferente. Os LLMs são moldados muito menos pela evolução biológica e muito mais pela evolução comercial. É muito menos sobrevivência da tribo na selva e muito mais resolver o problema/obter votos positivos. Os LLMs são o "primeiro contato" da humanidade com a inteligência não animal. Só que é confuso e nebuloso porque eles ainda estão enraizados nela, digerindo reflexivamente artefatos humanos, razão pela qual tentei dar um nome diferente antes (fantasmas/espíritos ou algo assim). As pessoas que construírem bons modelos internos dessa nova entidade inteligente estarão mais bem equipadas para raciocinar sobre ela hoje e prever suas características no futuro. As pessoas que não fizerem isso ficarão presas a uma visão distorcida do assunto, como um animal.