Thread de Dwarkesh Patel (@dwarkesh_sp)

“Existem muito mais empresas do que ideias.” O poder computacional é suficientemente grande, de modo que não é óbvio que você precise de muito mais poder computacional para provar alguma ideia. A AlexNet foi construída com 2 GPUs. O Transformer foi construído com 8 a 64 GPUs. O que seria equivalente a, o quê, 2 GPUs hoje em dia? Poderíamos argumentar que o raciocínio de ordem 1 não era a coisa mais computacionalmente exigente do mundo. Para fins de pesquisa, você certamente precisa de alguma capacidade computacional, mas está longe de ser óbvio que você precise da maior capacidade computacional possível. Se todos estiverem dentro do mesmo paradigma, então a capacidade computacional se torna um dos grandes diferenciais.” @ilyasut