자연어처리1 [자연어 처리] Do it! BERT 와 GPT로 배우는 자연어처리 요 1-1 딥러닝 기반 자연어 처리 모델 모델의 출력은 0과1사이에 확률이다. 아웃풋으로 나온 확률 값을 활용하여 후처리(레이어추가?)하여 자연어 형태로 가공 반환. 2번을 하는 이유는 문서 분류, 문장 쌍 분류, 개체명 인식, 질의응답, 문장생성 등의 과제를 해결하기 위함. 학습데이터에는 문장과 레이블(라벨)이 쌍으로 구성됨. 학습시 모델의 출력값이 레이블 값과 가까우도록 업데이트 함. 1-2 트랜스퍼 러닝 트랜스퍼 러닝(transfer learning) : 특정 테스크를 학습한 모델을 다른 테스크 수행에 재사용 하는 기법. 1번을 비유를 하면 경험을 재활용한다는 의미. 특정 태스크(과제)를 학습한 모델을 다른 태스크 수행에 재사용하는 기법. 업스트림(upstream) : 문장의 다음 단어 맞히기, 빈칸 .. 2022. 12. 7. 이전 1 다음 728x90
