[LLM] 임베딩과 위치 인코딩 생성하기

위치 인코딩에 대한 설명

위치 인코딩은 자연어 처리 모델, 특히 Transformer 모델에서 문장 내 단어들의 순서 정보를 표현하는 데 사용되는 중요한 기술입니다. 단어 임베딩이 단어의 의미를 벡터로 표현하는 반면, 위치 인코딩은 단어가 문장 내에서 어디에 위치하는지를 벡터로 표현합니다.

왜 위치 인코딩이 필요한가요?

RNN(Recurrent Neural Network)과 달리 Transformer 모델은 입력 시퀀스를 순차적으로 처리하지 않습니다. 즉, 모델은 단어들의 순서 정보를 암묵적으로 파악하지 못합니다. 따라서 단어의 의미뿐만 아니라 문장 내에서의 위치 정보를 명시적으로 모델에 제공해야 합니다. 이를 위해 위치 인코딩을 사용합니다.

위치 인코딩은 어떻게 생성되나요?

위치 인코딩을 생성하는 방법은 여러 가지가 있지만, 일반적으로 다음 두 가지 방법이 널리 사용됩니다:

1. 절대 위치 인코딩: 각 위치에 고유한 값을 할당하는 방식입니다. 예를 들어, 문장의 첫 번째 단어에는 1, 두 번째 단어에는 2와 같은 값을 할당합니다. 이 값들은 학습 가능한 임베딩 벡터로 변환되어 모델에 입력됩니다. 위 코드에서 사용된 nn.Embedding(max_position, embedding_dim)은 이러한 절대 위치 인코딩을 생성하는 방법입니다.
2. 상대 위치 인코딩: 단어들 간의 상대적인 거리를 기반으로 인코딩을 생성하는 방식입니다. 예를 들어, "나는"과 "파리" 사이의 거리를 계산하여 인코딩에 반영합니다. 이 방식은 문장 길이에 상관없이 일관된 인코딩을 생성할 수 있다는 장점이 있습니다.

위치 인코딩의 역할

위치 인코딩은 Transformer 모델에서 다음과 같은 역할을 수행합니다:

1. 단어 순서 정보 제공: 모델이 단어들의 순서를 이해하고 문맥을 파악할 수 있도록 돕습니다.
2. 성능 향상: 위치 정보를 활용하여 모델의 성능을 향상시킵니다.
3. 장거리 의존성 학습: 문장 내에서 멀리 떨어진 단어들 간의 관계를 학습하는 데 도움을 줍니다.

728x90

 

 

이 코드는 단어 임베딩과 위치 인코딩 두 가지를 생성하는 데 중점을 둡니다. 이들은 많은 자연어 처리(NLP) 모델, 특히 Transformer 아키텍처 기반 모델에서 필수적인 구성 요소입니다.

 

1. 차원 설정

• embedding_dim = 16: 임베딩 벡터의 차원을 설정합니다. 각 단어와 위치는 16차원 벡터로 표현됩니다.
• max_position = 12: 모델이 처리할 수 있는 최대 문장 길이를 정의합니다. 즉, 이 경우 최대 12개의 단어로 구성된 문장을 처리할 수 있습니다.

2. 임베딩 레이어 생성

• embed_layer = nn.Embedding(len(str2idx), embedding_dim): PyTorch의 nn.Embedding 모듈을 사용하여 단어 임베딩 레이어를 생성합니다.
  • len(str2idx): 어휘 크기(입력 텍스트의 고유 단어 수)를 제공합니다.
  • embedding_dim: 단어 임베딩의 차원을 지정합니다(이 경우 16).
• position_embed_layer = nn.Embedding(max_position, embedding_dim): 위치 정보를 위한 임베딩 레이어를 생성합니다.
  • max_position: 최대 위치 수를 설정합니다(12).
  • embedding_dim: 위치 인코딩의 차원을 지정합니다(역시 16).

3. 위치 ID 및 인코딩 생성

• position_ids = torch.arange(len(input_ids), dtype=torch.long).unsqueeze(0): 입력 문장의 단어에 해당하는 위치 ID 시퀀스를 생성합니다.
  • torch.arange: 0부터 input_ids (단어 ID 목록)의 길이까지 숫자 시퀀스를 생성합니다.
  • unsqueeze(0): 임베딩 레이어와 호환되도록 텐서에 추가 차원을 추가합니다.
• position_encodings = position_embed_layer(position_ids): position_ids를 position_embed_layer에 전달하여 위치 인코딩을 가져옵니다. 이는 기본적으로 문장에서 각 위치에 대해 미리 학습된 벡터 표현을 찾습니다.

4. 토큰 임베딩 생성

• token_embeddings = embed_layer(torch.tensor(input_ids)): embed_layer를 사용하여 입력 문장의 각 단어에 대한 단어 임베딩을 가져옵니다.
• token_embeddings = token_embeddings.unsqueeze(0): 추가 차원을 추가하여 토큰 임베딩을 추가 연산과 호환되도록 만듭니다.

5. 임베딩 결합

• input_embdeeings = token_embeddings + position_encodings: 단어 임베딩(token_embeddings)과 위치 인코딩(position_encodings)을 더하여 결합하는 중요한 단계입니다. 이렇게 하면 모델에 문장에서 각 단어의 의미와 위치에 대한 정보가 제공됩니다.

6. 모양 확인

• input_embeddings.shape: 최종 input_embeddings 텐서의 모양을 표시하여 차원을 확인할 수 있습니다. 모양은 일반적으로 (1, 시퀀스 길이, 임베딩 차원)이며 배치 크기, 시퀀스 길이 및 임베딩 크기를 반영합니다.