O conteúdo aweibo.com/2126427211/QjI…ang Jie: https://t.co/AOdkBXNIey Gostaria de compartilhar algumas ideias recentes, na esperança de que sejam úteis para todos. O pré-treinamento permite que modelos de grande porte adquiram conhecimento de senso comum sobre o mundo e possuam habilidades básicas de raciocínio. Mais dados, parâmetros maiores e computação mais robusta continuam sendo a maneira mais eficiente de escalar modelos de pedestal. Ativar o alinhamento e aprimorar as capacidades de inferência, especialmente ativando capacidades mais abrangentes para caudas longas, é fundamental para garantir o desempenho do modelo. Embora os benchmarks gerais avaliem o desempenho geral dos modelos, eles também podem levar ao sobreajuste em muitos casos. Em cenários do mundo real, como os modelos podem alinhar cenas reais com caudas longas de forma mais rápida e eficiente, aumentando a sensação de realismo? O treinamento durante e após o treinamento possibilita alinhamento rápido e capacidades de inferência robustas em mais cenários. As capacidades dos agentes representam um marco na expansão das capacidades dos modelos e são essenciais para permitir que modelos de IA entrem no mundo real (virtual/físico). Sem essas capacidades, grandes modelos permanecerão no estágio de aprendizado teórico, assim como uma pessoa que aprende continuamente, mesmo ao obter um doutorado, apenas acumulando conhecimento sem transformá-lo em produtividade. Anteriormente, os agentes eram implementados por meio da aplicação do modelo; agora, os modelos podem integrar diretamente os dados dos agentes ao processo de treinamento, aumentando sua versatilidade. No entanto, o desafio persiste: a generalização e a transferência entre diferentes ambientes de agentes não são fáceis. Portanto, a solução mais simples é aumentar continuamente os dados provenientes de diferentes ambientes de agentes e implementar o aprendizado por reforço adaptado a esses ambientes. A obtenção de memória do modelo é essencial, uma capacidade necessária para que qualquer modelo seja aplicado em ambientes do mundo real. A memória humana é dividida em quatro estágios: curto prazo (córtex pré-frontal), médio prazo (hipocampo), longo prazo (córtex cerebral distribuído) e histórico (wiki ou livros de história). A forma como grandes modelos conseguem obter memória em diferentes estágios é crucial. Contexto, período de tempo e parâmetros do modelo podem corresponder a diferentes estágios da memória humana, mas como alcançar isso é fundamental. Uma abordagem é a compressão de memória, que consiste simplesmente em armazenar o contexto. Se um modelo grande puder suportar contextos suficientemente longos, então alcançar a memória de curto, médio e longo prazo torna-se virtualmente possível. No entanto, iterar pelo conhecimento do modelo e modificar seus parâmetros continua sendo um desafio significativo. Aprendizado online e autoavaliação. Com a compreensão dos mecanismos de memória, o aprendizado online torna-se um foco essencial. Os modelos de grande escala atuais são periodicamente retreinados, o que apresenta diversos problemas: o modelo não consegue iterar verdadeiramente por si só, embora o autoaprendizado e a auto-iteração sejam inevitavelmente capacidades necessárias na próxima etapa; o retreinamento também é dispendioso e resulta na perda de muitos dados interativos. Portanto, como alcançar o aprendizado online é crucial, e a autoavaliação é um aspecto fundamental desse aprendizado. Para que um modelo aprenda por si só, ele precisa primeiro saber se está correto ou incorreto. Se souber (mesmo que apenas probabilisticamente), conhecerá o objetivo de otimização e poderá se aprimorar. Portanto, construir um mecanismo de autoavaliação de modelos é um desafio. Este pode ser também o próximo paradigma de escalabilidade. Aprendizado contínuo/aprendizado em tempo real/aprendizado online? Finalmente, à medida que o desenvolvimento de modelos em larga escala se torna cada vez mais integrado, é inevitável combinar o desenvolvimento e a aplicação de modelos. O objetivo principal da aplicação de modelos de IA não deve ser a criação de novos aplicativos; sua essência é a IA substituir o trabalho humano. Portanto, desenvolver IA que substitua diferentes funções é fundamental para sua aplicação. O chat substitui parcialmente a busca e, de certa forma, incorpora a interação emocional. O próximo ano será um ano decisivo para a IA substituir diferentes funções. Em conclusão, vamos discutir multimodalidade e corporeidade. A multimodalidade é, sem dúvida, um futuro promissor, mas o problema atual é que ela não contribui significativamente para o limite superior da inteligência artificial geral (IAG), e o limite superior exato da IAG geral permanece desconhecido. Talvez a abordagem mais eficaz seja desenvolvê-las separadamente: texto, multimodalidade e geração multimodal. É claro que explorar a combinação dessas três de forma moderada pode revelar capacidades muito diferentes, mas isso requer coragem e apoio financeiro substancial. Da mesma forma, se você entende de agentes, saberá onde residem os principais problemas da inteligência incorporada: é muito difícil generalizar (embora isso não seja necessariamente verdade), mas ativar capacidades incorporadas gerais com uma pequena amostra é praticamente impossível. Então, o que fazer? Coletar ou sintetizar dados não é fácil nem barato. Por outro lado, à medida que a escala de dados aumenta, as capacidades gerais surgirão naturalmente e criarão uma barreira de entrada. Claro, esse é apenas um desafio relacionado à inteligência. Para a inteligência incorporada, os próprios robôs também representam um problema; a instabilidade e as frequentes falhas limitam o desenvolvimento da inteligência incorporada. Espera-se um progresso significativo nessas áreas até 2026. Vamos também discutir o modelo mestre de domínio e suas aplicações. Sempre acreditei que o modelo mestre de domínio é uma proposição falsa; com a IA já implementada, que IA específica de domínio existe...? No entanto, como a IA ainda não foi totalmente desenvolvida, os modelos de domínio existirão por muito tempo (quanto tempo é difícil dizer, dado o ritmo acelerado do desenvolvimento da IA). A existência de modelos de domínio reflete essencialmente a relutância das empresas de aplicativos em admitir a derrota para as empresas de IA. Elas esperam construir uma barreira de conhecimento de domínio, resistir à intrusão da IA e domesticar a IA como ferramenta. Mas a IA é inerentemente como um tsunami; ela varre tudo em seu caminho. Algumas empresas de domínio inevitavelmente romperão suas barreiras e serão arrastadas para o mundo da IA. Em resumo, dados de domínio, processos e dados de agentes entrarão gradualmente no modelo mestre. A aplicação de modelos em larga escala também deve retornar aos princípios fundamentais: a IA não precisa criar novas aplicações. A essência da IA é simular, substituir ou auxiliar humanos na execução de certas tarefas humanas essenciais (certos trabalhos). Isso provavelmente leva a dois tipos de aplicação: um é habilitar softwares existentes com IA, modificando o que originalmente exigia intervenção humana; o outro é criar softwares de IA alinhados a um trabalho humano específico, substituindo o trabalho humano. Portanto, a aplicação de modelos em larga escala precisa ajudar as pessoas e criar novo valor. Se um software de IA for criado, mas ninguém o usar e ele não gerar valor, então esse software de IA certamente não terá vitalidade.
Carregando detalhes do thread
Buscando os tweets originais no X para montar uma leitura limpa.
Isso normalmente leva apenas alguns segundos.