RT @mikasenghaas: 이 겸손한 pydantic 구성은 logprobs를 사용하여 32k 토큰에 대해 약 200ms가 걸립니다. 네, 4KB에서 CPU 오버헤드가 10분 이상 발생합니다.
스레드를 불러오는 중
깔끔한 읽기 화면을 위해 X에서 원본 트윗을 가져오고 있어요.
보통 몇 초면 완료되니 잠시만 기다려 주세요.
스레드를 불러오는 중
깔끔한 읽기 화면을 위해 X에서 원본 트윗을 가져오고 있어요.
보통 몇 초면 완료되니 잠시만 기다려 주세요.
트윗 1개 · 2025. 10. 30. 오전 3:12
RT @mikasenghaas: 이 겸손한 pydantic 구성은 logprobs를 사용하여 32k 토큰에 대해 약 200ms가 걸립니다. 네, 4KB에서 CPU 오버헤드가 10분 이상 발생합니다.