안녕하세요. 이커머스 도메인에서 데이터 분석을 하고 있는 구국원이라고 합니다. 평소에 블로그에 글을 작성하고는 있었지만 특정 독자를 염두에 둔 글이 아니다 보니 글이 흐지부지 되는 경우가 많았습니다. 그러던 중 글또라는 좋은 취지의 모임(?)이 있다는 소식을 주변 동료에게 접하고 바로 지원서를 작성하게 되었습니다. 또 운이 좋게도 글또 활동을 할 수 ...

이산형 확률 분포에 대해서 정리해 보았습니다. 본 내용은 하버드 확률론 기초 강의(Statistics 110)를 참고하여 정리했음을 밝힙니다. 연속형 확률 분포에 대한 글은 이곳을 참고해주세요. 0   확률 변수(Random Variable)와 확률 분포(Distribution) 확률 변수란 표본 공간(\(S\))에서 발생 가능한 outc...

배치 정규화(batch normalization) 기법을 자주 활용했으나, 정확한 작동 원리에 대해서 알지 못했기 때문에 논문을 읽고 내용을 정리해 보았습니다. 친절한 논문은 아니어서 읽는데 꽤 시간이 걸렸습니다. 또한 관련 자료를 탐색 하던 중 배치 정규화 논문에서 주장하는 covariate shift에 대해 반박하는 논문도 있다는 정보를 보았는데요...

하버드 기초 통계학 강의(Statistics 110)를 오늘에서야 완강하였습니다 😄. 분명히 통계학 기초 강의인데… 제 수준에서는 결코 기초가 아니었습니다. 한번에 이해가 안되는 강의가 거의 80% 정도였던 것 같고, 강의 전반에 대한 이해는 50%도 되지 않는 것 같습니다. 그럼에도 불구하고 간단한 회고의 글을 쓰는 것은 그만큼 저에게는 어려웠고, ...

현업의 데이터를 다루다보면 데이터에 noisy label이 많이 발생합니다. 가장 좋은 점은 일일이 수작업으로 data cleaning을 하는 것이 좋겠지만, 데이터의 양이 늘어남에 따라 라벨링을 교정하는 것 자체가 일이 되는 경우가 발생하게 됩니다. 이와 관련된 고민을 하던 중 noisy label이 모델에 끼치는 영향력을 분석한 논문을 발견하여 읽...

“Attention Is All You Need” 논문을 읽은 후 관련 자료를 정리한 내용을 바탕으로 논문 리뷰를 진행 해보겠습니다. 서론 및 문헌연구는 제외하겠습니다. 1     Model Architecture transformer에서 가장 중요한 block은 self-attention과 point-wise feed forward net...

1   에라토스테네스의 체란? 고대 그리스 수학자 에라토스테네스가 고안한 N까지의 수열에서 소수만을 골라내는 알고리즘입니다. 소수를 대량으로 빠르게 판별할 수 있는 장점이 있습니다. 2   알고리즘 구현 원리 Step1. 먼저 판별하고 싶은 범위의 수열을 초기화 합니다. 예시로 2부터 120까지의 자연수(\(N=120\)) 중 소수를 판별하는 ...

미분 공식을 이해하고 내면화하기 위해 대표적인 미분 공식 증명을 정리해 보겠습니다. 1   \(f(x)=x^{n}\)일때, \(f'(x)=nx^{n-1}\) [\begin{aligned} f’(x) &= \lim_{h \to 0} \cfrac {f(x+h) - f(x)} {h} &= \lim_{h \to 0} \cfrac...

Fasttext 논문(Enriching Word Vectors with Subword Information)을 리뷰해 보았습니다. 슬라이드쉐어에 동일한 내용을 업로드 하였으며, 슬라이드쉐어에서 보시려면 이곳을 확인해 주세요. 1   Introduction 2   General Model 3   Subwor...

머신러닝의 학습의 판단 기준이 되는 error를 bias, variance, irreducible error의 관점에서 분해해보고 좋은 품질의 데이터가 필요한 이유와 bias 및 variance의 trade-off가 발생할 수밖에 없는 이유를 알아보겠습니다. 1   Prerequsite to start with 통계학에서의 추정은 모집...