Trabajamos con ggml y lmstudio en esta versión para garantizar un buen rendimiento. Todavía esperamos que la API sea la fuente de verdad para el rendimiento y la cuantificación puede afectar las capacidades de contexto largo, pero lo he estado probando en casa y el GGUF funciona muy bien :)
Cargando el detalle del hilo
Obteniendo los tweets originales de X para ofrecer una lectura limpia.
Esto suele tardar solo unos segundos.