[LLM] 텐서 (tensor)란?

LLM를 공부하는데 기초가 없는 상태에서 시작하다보니 용어부분에서 막히는 부분이 생겨

하나씩 정리하고 있습니다.

AI를 통해 AI를 학습 중입니다.

 

 

텐서는 쉽게 말해 다차원 배열입니다. 숫자들을 특정한 형태로 모아놓은 구조라고 생각하면 됩니다.

숫자 하나만 있는 경우는 스칼라(0차원 텐서), 숫자들을 일렬로 나열한 경우는 벡터(1차원 텐서), 숫자들을 행과 열로 구성한 경우는 행렬(2차원 텐서)이라고 합니다. 텐서는 이러한 개념을 확장하여 3차원, 4차원, 또는 그 이상의 차원을 가질 수 있습니다.

예시:

• 스칼라: 5 (단일 숫자)
• 벡터: [1, 2, 3] (숫자들의 1차원 배열)
• 행렬: [[1, 2], [3, 4]] (숫자들의 2차원 배열)
• 3차원 텐서: [[[1, 2], [3, 4]], [[5, 6], [7, 8]]] (숫자들의 3차원 배열 - 이미지 데이터 등을 표현할 때 사용)

텐서가 왜 중요할까요?

딥러닝에서는 데이터를 텐서 형태로 표현합니다. 이미지, 텍스트, 음성 등 다양한 종류의 데이터를 텐서로 변환하여 모델에 입력합니다.

텐서를 사용하면 다음과 같은 이점이 있습니다.

1. 데이터를 효율적으로 저장하고 처리: 텐서는 데이터를 압축적으로 표현하여 메모리 사용을 줄이고 계산 속도를 높입니다.
2. 다양한 종류의 데이터를 표현: 텐서는 숫자, 텍스트, 이미지 등 다양한 종류의 데이터를 표현할 수 있어 딥러닝 모델에 적용하기 용이합니다.
3. GPU 연산 활용: 텐서는 GPU 연산에 최적화되어 있어 딥러닝 모델 학습 속도를 크게 향상시킬 수 있습니다.

텐서와 딥러닝의 관계

딥러닝 모델은 입력 데이터를 텐서 형태로 받아들여 연산을 수행하고 결과를 출력합니다. 예를 들어, 이미지 분류 모델은 이미지 데이터를 텐서로 변환하여 입력받고, 이미지에 대한 예측 결과를 출력합니다.

텐서는 딥러닝 모델의 핵심 구성 요소이며, 모델 학습과 추론 과정에서 중요한 역할을 합니다.