딥러닝

LLM 생성 원리

간단하게 LLM 생성 원리를 리마인드하고자하는 글이다. LLM(Large Language Model)의 생성 원리LLM은 자연어 이해와 생성 능력을 보여주며, 다양한 언어 관련 작업을 수행할 수 있다. 핵심 내용- 트랜스포머 구조를 기반으로 대규모 텍스트 데이터를 자기지도 학습 방식으로 처리- 모델은 문장의 일부를 가리고 다음 단어를 예측하는 방식으로 언어 패턴 학습- 자연어 이해와 생성 능력을 통해 다양한 언어 작업 수행결론- 자기지도 학습과 트랜스포머 구조가 LLM의 핵심 작동 원리위는 LLM의 근간이 되는 트랜스포머 구조이다. 특히, GPT는 오른쪽 부분만 활용하였다. 특히, 여기서 중요하게 생각되는 부분은 어텐션 메커니즘이다. 트랜스포머 구조의 핵심- 어텐션 메커니즘이 이 입력 텍스트 간의 관계를..

[자연어처리] Applying LLMs to Threat Intelligence (medium 번역)

개요 https://medium.com/malware-buddy/applying-llms-to-threat-intelligence-f3b8ba4463a4 Applying LLMs to Threat Intelligence A Practical Guide with Code Examples blog.securitybreak.io 개인적 공부를 위해 위 글을 단순 번역한 글입니다. LLMs, or Large Language Models, are an exciting technology designed to leverage natural languages with various technologies. Specifically in Cybersecurity, and more so in Threat Intellige..

[HDF5] HDF5 소개 및 h5py 사용법

1. HDF5란? 1-1. 정의 HDF는 계층적 데이터 형식(Hierarchical Data Format)의 약자로 대용량의 데이터를 저장하기 위한 파일 형식이다. HDF4와 HDF5가 있지만, HDF5가 현재 표준이다. 파이토치에서는 텐서를 호환 가능한 형태로 저장해야 할 때 사용할 수 있다. 1-2. 장점 XML과 동일하게 자기기술적으로 구성되어 있어 데이터 형식을 파일 안에 기술 가능하다. 자기기술적: 데이터의 내용과 구조를 모두 표현 많은 양의 데이터를 저장 가능하다. 검색 속도가 빠르다. 병렬 입출력을 지원한다. 데이터의 무작위 조회(Random Access)가 가능하다. 20여년 이상 개발되어온 포맷으로 안정적이다. 수많은 프로그래밍 언어와 오픈소스 라이브러리르 통한 API가 지원된다. 2. ..