낮은 정밀도의 부동 소수점 숫자의 놀라운 속성이 다시 뉴스에 등장했습니다! 이러한 숫자 형식은 대규모 NN에서는 흔히 볼 수 있지만 대부분의 프로그래머에게는 새로운 것입니다. 그래서 저는 지난주에 @klyap_와 함께 이 작은 시각화 도구를 만들었습니다: https://t.co/ntHlazyDmK.
https://t.coquant.exposedComputePrj의 Microscaling Formats(MX) 사양(fp8 및 fp6의 두 가지 변형, 스케일링 전용 e8m0 형식, 그리고 아주 작은 fp4)의 양자화된 부동 소수점 숫자에 대한 값과 비트 패턴을 교차 검사할 수 있습니다.
이 페이지는 2바이트 이상의 부동 소수점 형식을 다루는 @BCiechanowski의 httfloat.exposed많은 영감을 받았습니다. Bartosz는 해당 도구에 대한 훌륭한 동반 게시물을 여기에 작성했습니다. https://t.co/OdKCVxU8Ad.
그 프로젝트는 또한 @b0rk의 https://tinteger.exposed데, 제가 가장 먼저 접한 것이 바로 그것입니다.
정수와 부동 소수점을 노출하는 도구는 비트 문자열(직접 작성한 어셈블러, IP 주소)을 다룰 때 매우 유용합니다. https://t.co/4PJvda0eDy가 양자화된 부동 소수점 숫자를 다루는 사람들에게도 도움이 되기를 바랍니다!