딥러닝/LLM

LLM 생성 원리

간단하게 LLM 생성 원리를 리마인드하고자하는 글이다. LLM(Large Language Model)의 생성 원리LLM은 자연어 이해와 생성 능력을 보여주며, 다양한 언어 관련 작업을 수행할 수 있다. 핵심 내용- 트랜스포머 구조를 기반으로 대규모 텍스트 데이터를 자기지도 학습 방식으로 처리- 모델은 문장의 일부를 가리고 다음 단어를 예측하는 방식으로 언어 패턴 학습- 자연어 이해와 생성 능력을 통해 다양한 언어 작업 수행결론- 자기지도 학습과 트랜스포머 구조가 LLM의 핵심 작동 원리위는 LLM의 근간이 되는 트랜스포머 구조이다. 특히, GPT는 오른쪽 부분만 활용하였다. 특히, 여기서 중요하게 생각되는 부분은 어텐션 메커니즘이다. 트랜스포머 구조의 핵심- 어텐션 메커니즘이 이 입력 텍스트 간의 관계를..