[LLM] 트랜스포머

 

LLM을 공부하면서 다양한 AI를 사용하면서 공부를 하고 있다.

예전에 하던 구글 검색방식보다 훨씬 효율적이라고 느껴지고 있다.

 

LLM에서 트랜스포머의 정의

LLM (Large Language Model)에서 트랜스포머는 텍스트 데이터를 처리하는 데 특화된 신경망 아키텍처입니다. 어텐션 메커니즘을 사용하여 입력 시퀀스의 서로 다른 위치에 있는 단어 간의 관계를 파악하고, 이를 통해 문맥을 이해하고 의미 있는 표현을 생성합니다.

핵심 특징:

1. 어텐션 메커니즘: 입력 시퀀스의 모든 단어에 대해 가중치를 부여하여, 문맥적으로 중요한 단어에 집중합니다. 이를 통해 모델은 문장의 의미를 더 정확하게 파악할 수 있습니다.
2. 병렬 처리: 어텐션 메커니즘은 입력 시퀀스를 순차적으로 처리할 필요가 없기 때문에, 병렬 처리가 가능합니다. 이는 학습 속도를 크게 향상시킵니다.
3. 긴 의존 관계 학습: 트랜스포머는 입력 시퀀스에서 멀리 떨어져 있는 단어 간의 관계도 효과적으로 학습할 수 있습니다. 이는 RNN (Recurrent Neural Network) 기반 모델의 한계를 극복한 것입니다.

트랜스포머의 구조:

트랜스포머는 크게 인코더와 디코더 두 부분으로 구성됩니다.

• 인코더: 입력 텍스트를 처리하여 문맥 정보를 담은 벡터 표현 (hidden state)을 생성합니다. 여러 개의 인코더 레이어가 쌓여 있으며, 각 레이어는 어텐션 메커니즘과 피드포워드 네트워크로 구성됩니다.
• 디코더: 인코더에서 생성된 hidden state를 사용하여 출력 텍스트를 생성합니다. 인코더와 마찬가지로 여러 개의 디코더 레이어가 쌓여 있으며, 각 레이어는 어텐션 메커니즘과 피드포워드 네트워크로 구성됩니다. 디코더는 이전에 생성된 단어들을 참고하여 다음 단어를 예측합니다.

LLM에서의 역할:

트랜스포머는 LLM의 핵심 구성 요소입니다. GPT, BERT, T5 등 다양한 LLM이 트랜스포머 아키텍처를 기반으로 개발되었습니다. 트랜스포머는 LLM이 대규모 텍스트 데이터를 학습하고, 자연어를 이해하며, 다양한 자연어 처리 tasks를 수행할 수 있도록 하는 기반을 제공합니다.

요약:

• 트랜스포머는 어텐션 메커니즘을 사용하여 입력 시퀀스의 단어 간 관계를 파악하는 신경망 아키텍처입니다.
• 병렬 처리가 가능하고, 긴 의존 관계를 효과적으로 학습할 수 있습니다.
• 인코더와 디코더로 구성되며, LLM의 핵심 구성 요소입니다.

728x90

 

트랜스포머라는 이름의 유래

트랜스포머라는 이름은 모델의 핵심 기능인 어텐션 메커니즘에서 비롯되었습니다. 어텐션 메커니즘은 입력 시퀀스의 각 단어에 대한 가중치를 계산하여 중요한 정보에 집중하는 역할을 합니다.

이러한 과정은 마치 입력 시퀀스를 "변환 (transform)"하여 중요한 정보를 추출하는 것처럼 보이기 때문에, "트랜스포머"라는 이름이 붙여졌습니다.

논문 "Attention is All You Need" 에서는 트랜스포머 모델을 처음 제안하면서, 다음과 같이 설명했습니다.

"The Transformer is the first transduction model relying entirely on self-attention to compute representations of its input and output without using sequence-aligned RNNs or convolution."

즉, 트랜스포머는 RNN이나 CNN을 사용하지 않고, 어텐션 메커니즘만을 사용하여 입력을 출력으로 변환 (transduce)하는 첫 번째 모델이라는 것입니다.

"변환 (transform)"이라는 개념을 좀 더 자세히 살펴보면:

1. 입력 시퀀스: 트랜스포머는 단어들의 순서대로 이루어진 입력 시퀀스를 받습니다.
2. 어텐션 메커니즘: 어텐션 메커니즘은 입력 시퀀스의 각 단어에 대한 가중치를 계산합니다. 이 가중치는 단어의 중요도를 나타냅니다.
3. 가중치 합: 가중치를 사용하여 입력 시퀀스의 단어들을 합쳐 새로운 벡터를 생성합니다. 이 벡터는 입력 시퀀스의 정보를 요약한 것입니다.
4. 출력: 이 벡터를 사용하여 다음 단어를 예측하거나, 다른 task를 수행합니다.

이처럼 트랜스포머는 입력 시퀀스를 어텐션 메커니즘을 통해 가중치가 부여된 새로운 벡터로 변환 (transform)합니다. 이러한 변환 과정을 통해 트랜스포머는 입력 시퀀스의 중요한 정보를 추출하고, 문맥을 이해하며, 의미 있는 표현을 생성할 수 있습니다.

요약:

• 트랜스포머라는 이름은 어텐션 메커니즘을 통해 입력 시퀀스를 중요한 정보를 담은 새로운 벡터로 변환 (transform)하는 기능에서 유래했습니다.
• "Attention is All You Need" 논문에서 처음 제안되었으며, RNN이나 CNN 없이 어텐션만으로 입력을 출력으로 변환하는 모델입니다.