슈퍼짱짱

Kullback–Leibler divergence - 두 확률분포의 차이를 계산하는 데에 사용하는 함수- 두 확률변수에 대한 확률분포 {\displaystyle P,Q}가 있을 때, 두 분포의 KL divergence는 다음과 같이 정의 - KL divergence는 어떠한 확률분포 {\displaystyle P}가 있을 때, 그 분포를 근사적으로 표현하는 확률분포 {\displaystyle Q}를 {\displaystyle P} 대신 사용할 경우 엔트로피 변화를 의미즉, 의 분포를 사용하고 싶은데 모를 때, 분포로 추정하기 위해 사용 결국, ( 대신 를 사용할 때의 cross entropy)와 (원래의 분포가 가지는 entropy)의 차이는 다음과 같으며, 이는 과 동일{\displaystyle D_{..

차원의 저주 - 차원이 늘어남에 따라 필요한 데이터 양이 급격하게 증가즉, 같은 공간의 비율을 설명하기 위해 필요한 데이터 양이 급격히 증가 - 1차원에서 20%의 공간을 채우기 위해서는 변수 1개당 20%의 데이터만 있으면 된다. - 하지만, 2차원에서 20%의 공간을 채우기 위해서는 변수 1개당 약 45%의 데이터가 필요하다.∵ 0.45*0.45 ≒ 0.2 - 마찬가지로, 3차원 공간에서 20%의 공간을 채우기 위해서는 변수 1개당 약 58%의 데이터가 필요하다.∵ 0.58*0.58*0.58 ≒ 0.2 문제점 - 차원이 늘어나면 해당 공간을 설명하기에 데이터가 부족하므로 overfitting문제가 발생따라서 모델의 성능이 떨어진다.

Unsupervised Deep Embedding for Clustering Analysis(DEC) arXiv : 24 May 2016 논문 링크 : https://arxiv.org/pdf/1511.06335.pdf 깃 링크 : https://github.com/piiswrong/dec 1. Introduction - 데이터 분석과 visualization에서 핵심인 Clustering은 각기 다른 관점에서 unsupervised machine learning으로 널리 연구되어 왔다. * What defines a cluster? * What is the right distance metric? * How to efficiently group instances into cluster? * How to ..