반응형 self attention1 BERT BERT BERT는 2018년 구글이 공개한 사전 학습된 모델이다. BERT는 트랜스포머를 이용하여 구현되었으며, 위키피디아(25억 단어)와 BooksCorpus(8억 단어) 같은 레이블이 없는 텍스트 데이터로 사전 훈련된 언어 모델이다. BERT가 높은 성능을 얻을 수 있는 것은 레이블이 없는 방대한 데이터로 사전 훈련된 모델로 레이블이 있는 다른 작업(Task)에서 추가 훈련과 함께 하이퍼파라미터를 재조정하여 성능이 높게 나오는 기존의 사례들을 참고하였기 때문이다. 다른 작업에 대해서 파라미터 재조정을 위한 추가 훈련 과정을 파인 튜닝(Fine-tuning)이라고 한다. BERT 학습 과정 1. 단어들을 임베딩한다. (input layer) - Token Embedding : 각 문자 단위로 임베딩 .. 2023. 4. 4. 이전 1 다음 반응형
