Acabei de perceber que, se vivermos em um mundo onde a tese do "núcleo cognitivo" de x.com/karpathy/statu…1RtvrEGIXd) for verdadeira em sua forma máxima (ou seja, que o LLM do núcleo cognitivo seja de fato superior - foi assim que ele o descreveu na entrevista com Dwarkesh P.),
Nesse caso, a captura de valor no mercado de IA pode ter um aspecto fundamentalmente diferente. Ou seja, pode haver muito menos valor em grandes modelos "de vanguarda" que apenas as maiores empresas conseguem desenvolver. Por outro lado, o uso de alto desempenho do "núcleo cognitivo" exigiria acesso.
Para dados de alta qualidade, adaptadores, plug-ins, etc. Se esses fatores diferenciassem a "boa IA" da "má IA", é aí que deveríamos esperar que toda a atividade econômica acontecesse. E isso abre espaço para empresas menores e especializadas.
E isso pode levar ao crescimento de um ecossistema de 'infofinance' [descentralizado], o que incentivaria os participantes do mercado a oferecer dados e componentes de maior qualidade.
Um artigo recente que introduz o conceito de 'cartuchoarxiv.org/abs/2506.06266eia5) pode nos dar uma ideia para um tipo de produto que funcionaria bem com um 'núcleo cognitivo'. Um cartucho é um prefixo KV treinado em um "autoestudo" de um conjunto de documentos.
Se o 'núcleo cognitivo' conhece apenas um mínimo de fatos, muita informação precisa ser incluída no contexto, e seria muito mais eficiente usar cartuchos com pensamentos pré-computados do que vasculhar documentos brutos a cada consulta.
Além disso, o artigo anterior sobre "ajuste de prefixo" demonstrou que o prefixo KV também pode ter o mesmo efeito que o ajuste fino, de modo que o cartucho também pode incluir habilidades, estilo textual, etc. E, ao contrário dos adaptadores LoRa, eles são componíveis.