¿Es posible ahora despixelar modelos de texto grandes? ¿Alguna vez te has encontrado con una situación en la que un modelo grande genera un resultado a medias y luego rechaza la solicitud? Así es, te has topado con la censura interna del modelo. El mecanismo del modelo deja de generar salida cuando se detecta información sensible. Entonces, aparece la herramienta de jailbreak: Heretic. No te preocupes si no recuerdas el nombre del repositorio; la palabra simplemente significa hereje, jajaja. Su uso también es muy sencillo. Primero, instale: pip install heretic-llm Luego, simplemente ejecuta `heretic {huggingface model_name}` en la línea de comandos. No es necesario configurar ningún parámetro. En cuanto a la velocidad de ejecución, un modelo de 8 bytes tarda aproximadamente 45 minutos en una RTX 3090. ¿Eso equivale a unos 6 minutos para un modelo de 1 byte? Además, se admiten tanto modelos densos como modelos MoE. Sin más dilación, aquí está la dirección:
