‘training’ 태그의 글

메모리 아끼면서 Cross Entropy Loss 계산하기

긴 context와 큰 vocabulary에서 LM head + cross entropy가 만드는 logits 메모리 병목과 FLCE로 이를 줄이는 방법.Read More →