- 저자가 수동으로 GPT-2와 유사한 트랜스포머 모델을 구축하여 간단한 시퀀스를 예측하고 트랜스포머와 주의 메커니즘에 대한 더 깊은 이해를 얻음.
- 트랜스포머는 기존 가중치를 사용하여 훈련되지 않았으며, 각 가중치는 수동으로 할당되었음.
- 트랜스포머에 선택된 작업은 "aabaabaabaa…
잼난 개발놀이, 노리컴퍼니