콘텐츠 바로가기
본문 바로가기


블로그 전체검색
구글 BERT의 정석

[도서] 구글 BERT의 정석

수다르산 라비찬디란 저/전희원,정승환,김형준 역

내용 평점 5점

구성 평점 5점

[나의 한줄 추천사]

BERT 라이브러리 써봤는데, 동작방식이 궁금하다. 나만의 "BERT" 모델을 만들고 싶을때 이 책을 보라

[책 추천 이유]

자연어처리(NLP)를 공부하다 보면 무조건 1번 이상은 보게 되는 "BERT" 에 대해서 하나씩 짚어보면서 이해할 수 있도록 설명 해주고 있다. 그리고 연습문제를 하나씩 풀어보면서 머리속에서 정리가 되어서 더 좋다. 필요할때, 막힐때 꺼내보면 좋은 책이다.

[내가 찾고자 했던 질문들]

1. BERT 동작 방식은?

- MLM (Mask Language Model) : 자동 인코딩 모델로, 예측을 위해 문장을 양방향으로 읽는다. 주어진 입력 문장에서 전체 단어의 15%를 무작위로 마스킹하고 마스크된 단어를 예측하도록 모델을 학습시킨다. 마스크된 단어를 예측하기 위해서 모델은 양방향으로 문장을 읽고 마스크된 단어를 예측하려 시도한다.

- NSP (Next Sentence Prediction) : 다음 문장 예측은 이진 분류 테스트다. BERT에 두문장을 입력하고 두번째 문장이 첫번째 문장의 다음 문장인지 예측하려 시도한다.

2.BERT 종류 및 활용은?

- BERT light 버전 : ALBERT

- BERT 효율적 사용 버전 : RoBERTa, ELECTRA,

- 질문-응답, 관계 추출 : SpanBERT

- 지식증류 방식

(1) 대형 BERT -> 소형 BERT 지식이 이전되는 '교사 - 학생' 새로운 모델 생성됨 (DistilBERT)

(2) 대형 BERT -> 다양한 데이터 증식(data augmentation) 새로운 모델 생성됨 (TinyBERT)

- 두 문장 유사도 계산 : Sentence-BERT

- domain-BERT

(1) 대규모 생물 의학 코퍼스 사전학습 (BioBERT) : 생물의학 질의 응답, 개체명 인식(NER)

(2) 임상문서 사전학습 (ClinicalBERT) : 재입원 예측, 체류 기간, 사망 위험 추정, 진단 예측

- 영상과 언어 동시에 학습 : VideoBERT

3. 한국어 BERT는?

- 한국어 위키피디아 약 500만개 문장과 5,400만개 단어 학습으로 좋은 성과를 내고 있음 : KoBERT, KoGPT2, KoBART

4.참고할 만한 소스 코드는?

- 원서인 Packt 출판사에서 아래의 깃헙 제공하고 있다.

https://github.com/packtpublishing/getting-started-with-google-bert

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."


https://github.com/packtpublishing/getting-started-with-google-bert
 
취소

댓글쓰기

저장
덧글 작성
0/1,000

댓글 수 0

댓글쓰기
첫 댓글을 작성해주세요.

PRIDE2