A/B테스트는 사람들의 클릭률을 높일 수 있는 최적의 조합을 찾아서 비즈니스적으로 활용하고자 하는 시도이다. 나같아도 넷플릭스 등 앱에서 보고 싶은 혹은 사고싶은 상품의 대표 이미지가 무엇이냐에 따라서 최초 클릭 여부가 갈린다. 사실 블로그를 조금만 해봤다면 커버 이미지를 고심해서 골랐던 적이 있을 거다. 그런 것도 모두 효과적인 클릭률을 위한 것이 아니었나 생각한다.
책은 A/B테스트를 소개하면서 여기에 들어간 각종 확률 분포, 덧셈정리, 곱셈정리, 이항 분포 등에 대해 차근차근 설명이 들어간다. 통계 쪽을 좀 알고 있다면 무난히 넘어갈 수 있지만 만약 그런 부분들을 보충해야 된다면 기초 단계부터 설명이 들어가므로 따라가면 충분히 이해할 수 있다.
이후 2장에서는 확률적 프로그래밍을 좀 더 쉽게 하기 위한 PyMC3를 소개한다.
3장에서는 3개 이상의 선택지가 조합으로 묶일 때 어떻게 테스트할지에 대한 내용이다. A/B테스트는 2가지 경우에 대해서만 집중했기 때문에 현실에서는 주로 더 많은 선택 조합이 나올 가능성이 높다.
3장에서는 여러 가지 다양한 조합을 찾고 교호 작용에 대해서도 소개를 한다. 여기까지 읽었을 때 책의 비중이 주로 통계적 스킬에 대부분을 할애하고 있다는 것을 알았으니 참고하면 좋겠다.
4장에서는 메타휴리스틱 방법을 소개한다. 어떤 통계적 모델을 사용하기보다는 일반적으로 좋다고 알려진 지식을 휴리스틱적으로 풀어가는 것을 말한다. 답이 딱히 정해지지 않았는데 문제를 풀어야 되는 상황에서 이런 메타휴리스틱적 방법은 충분히 고려해볼 만하다. 언덕 오르기 알고리즘이 코드로도 제시되어 있으므로 한번 연습하는 것도 좋겠다.
이밖에 슬롯머신 알고리즘, 조합 슬롯머신 등 실제 비즈니스에서 최적화를 위한 여정을 이어갈 때 일어날 수 있는 상황을 앞에 도입 부분에서 상황 설명을 하고 이를 각 해결방법으로 설명한 뒤 이론이나 더 알면 좋을 이론 내용으로 부가설명하는 것이 이 책의 공통적인 부분이다. 전반적으로 통계쪽 내용의 비중이 높으니 참고하면 좋겠다.
"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."