Positional Encoding
Positional Encoding
Positional Encoding
- 트랜스포머에서는 순차적인 데이터를 입력받음
- 이 때 MLP로 한 번에 입력받기 때문에, 순서(위치) 정보가 유실됨
- 따라서 순서 정보를 별도로 넣어줘야 함
- 따라서 각 단어의 임베딩을 모델에 넣어 줄 때, 위치 정보 값을 더해서 넣어줌
- 이 위치 정보 값을 positional encoding이라고 함
- Trnasformer는 사인/코사인 함수를 이용해 이 값을 계산