[나의 한줄 추천사]
BERT 라이브러리 써봤는데, 동작방식이 궁금하다. 나만의 "BERT" 모델을 만들고 싶을때 이 책을 보라
[책 추천 이유]
자연어처리(NLP)를 공부하다 보면 무조건 1번 이상은 보게 되는 "BERT" 에 대해서 하나씩 짚어보면서 이해할 수 있도록 설명 해주고 있다. 그리고 연습문제를 하나씩 풀어보면서 머리속에서 정리가 되어서 더 좋다. 필요할때, 막힐때 꺼내보면 좋은 책이다.
[내가 찾고자 했던 질문들]
1. BERT 동작 방식은?
- MLM (Mask Language Model) : 자동 인코딩 모델로, 예측을 위해 문장을 양방향으로 읽는다. 주어진 입력 문장에서 전체 단어의 15%를 무작위로 마스킹하고 마스크된 단어를 예측하도록 모델을 학습시킨다. 마스크된 단어를 예측하기 위해서 모델은 양방향으로 문장을 읽고 마스크된 단어를 예측하려 시도한다.
- NSP (Next Sentence Prediction) : 다음 문장 예측은 이진 분류 테스트다. BERT에 두문장을 입력하고 두번째 문장이 첫번째 문장의 다음 문장인지 예측하려 시도한다.
2.BERT 종류 및 활용은?
- BERT light 버전 : ALBERT
- BERT 효율적 사용 버전 : RoBERTa, ELECTRA,
- 질문-응답, 관계 추출 : SpanBERT
- 지식증류 방식
(1) 대형 BERT -> 소형 BERT 지식이 이전되는 '교사 - 학생' 새로운 모델 생성됨 (DistilBERT)
(2) 대형 BERT -> 다양한 데이터 증식(data augmentation) 새로운 모델 생성됨 (TinyBERT)
- 두 문장 유사도 계산 : Sentence-BERT
- domain-BERT
(1) 대규모 생물 의학 코퍼스 사전학습 (BioBERT) : 생물의학 질의 응답, 개체명 인식(NER)
(2) 임상문서 사전학습 (ClinicalBERT) : 재입원 예측, 체류 기간, 사망 위험 추정, 진단 예측
- 영상과 언어 동시에 학습 : VideoBERT
3. 한국어 BERT는?
- 한국어 위키피디아 약 500만개 문장과 5,400만개 단어 학습으로 좋은 성과를 내고 있음 : KoBERT, KoGPT2, KoBART
4.참고할 만한 소스 코드는?
- 원서인 Packt 출판사에서 아래의 깃헙 제공하고 있다.
https://github.com/packtpublishing/getting-started-with-google-bert
"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."
https://github.com/packtpublishing/getting-started-with-google-bert