Un modelo de lenguaje con un cuatrillón de parámetros no es del todo descabellado (salvo por la cuestión de dónde obtener todos esos datos). Aunque probablemente necesitarías un 25 % más de GPU para el contexto y la caché KV. Probablemente 100.000 H100 podrían hacerlo.
