이제 큰 텍스트 모델의 픽셀을 없앨 수 있나요? 대형 모델이 절반만 출력한 후 요청을 거부하는 상황을 경험해 본 적이 있나요? 맞습니다. 내부 모델 검열에 직면하셨군요. 민감한 정보가 감지되면 모델 메커니즘이 출력을 중단합니다. 그러다가 탈옥 도구인 '헤레틱(Heretic)'이 등장합니다. 저장소 이름이 기억나지 않더라도 걱정하지 마세요. 그냥 헤레틱이라는 뜻이거든요. 하하하. 사용법도 매우 간단합니다. 먼저 pip install heretic-llm을 설치하세요. 그런 다음 명령줄에서 `heretic {huggingface model_name}`을 실행하세요. 매개변수는 설정할 필요가 없습니다. 실행 속도 측면에서 8바이트 모델은 RTX 3090에서 약 45분이 걸립니다. 1바이트 모델은 약 6분이 걸리죠? 또한, 밀집 모델과 MoE 모델이 모두 지원됩니다. 더 이상 미루지 말고 주소를 알려드리겠습니다.
