1   Taylor Series \(x=a\)에서 무한번 미분 가능한 함수 \(f(x)\)를 근사 다항식으로 표현한 것을 테일러 급수(taylor series, taylor expansion)라고 합니다. [\begin{aligned} f(x) &= \cfrac{f(a)(x-1)^0}{0!} + \cfrac{f^{(1)}(a)(x-a)^1}{...

랜덤 포레스트를 이해하기 위해 필요한 bagging과 관련된 확률 이론을 정리해보겠습니다. 1   Bagging Bootstrap data point가 n개 있을 때, bootstrap은 n개의 크기를 가진 표본을 복원 추출하는 방법을 말합니다. Bootstrap을 통해 추출된 크기가 \(n\)인 표본은 \(X=\{X_{1}, X_{2},...

확률과 관련된 공부를 하면서, semicolon(;), commam(,), vertical line(|)이 포함된 probability notation을 많이 보았습니다. 그러나 그 의미가 혼용되어 사용되는 것을 발견하고 그것을 정리하기 위해 포스팅을 작성합니다. 1   \(P(x\vert\theta)\)를 바라보는 2가지 관점 \(P(x...

왜 NN의 출력층에 sigmoid, softmax 함수를 사용할까요? 이는 출력층의 값을 ‘확률’로서 표현하기 위한 필연적 결과입니다. 본 글에서는 logit, sigmoid, softmax의 관계에 대해서 정리해보았습니다. 1. Basic 앞으로 내용을 전개할 때 중요하게 사용되는 bayes theorem(베이즈 정리) 및 law of to...

최근 NLP에서 tokenizer로 많이 사용되고 있는 BPE에 대해서 간단하게 정리해 보겠습니다. 전체코드는 이곳에서 확인해 보실 수 있습니다. 1   Backgroud: Subword Segmentation subword segmentation(단어 분리, 단어 분절)이란, 하나의 단어(혹은 토큰)는 여러 개의 subword의 조합으로 이...

이상화 교수님의 확률 및 통계 5강 ‘이산 확률 변수와 연속 확률 변수’ 강의를 듣고 간단하게 내용을 정리해보도록 하겠습니다. 1   왜 연속 확률 변수는 특정 실수값의 확률을 정의할 수 없을까? 0과 1사이의 ‘모든’ 실수값들 중에서 ‘0.5’라는 숫자를 뽑을 확률을 정의해봅시다. 0과 1사이에는 무수히 많은 숫자들이 있을 것이고. 그 중...

MAB를 이해하기 위해 필요한 베타분포(Beta Dist.), 이항분포(Binomial Dist.), 베이지안 추정(Bayesian Estimation), 톰슨 샘플링(Tompson Sampling)과 관련된 내용을 정리하였습니다. 1   A/B 테스트 자동화의 필요성 특정 캠페인을 진행하면서, 어떤 캠페인의 배너가 더 잘 구매 전환을 유도하는...

김성현 연구원님의 T아카데미 토크ON세미나 ‘딥러닝 기반의 자연어 언어 모델 BERT’ 라는 세미나를 듣고 알게된 정보와 구글링을 통해 알게된 정보를 종합하여 관련 내용을 정리해 보고자 합니다. 1   From word embedding To pretrained language models 1.1   Traditional context-fr...