curse of dimensionality - 차원의 저주

차원의 저주

- 차원이 늘어남에 따라 필요한 데이터 양이 급격하게 증가

즉, 같은 공간의 비율을 설명하기 위해 필요한 데이터 양이 급격히 증가

- 1차원에서 20%의 공간을 채우기 위해서는 변수 1개당 20%의 데이터만 있으면 된다.

- 하지만, 2차원에서 20%의 공간을 채우기 위해서는 변수 1개당 약 45%의 데이터가 필요하다.

∵ 0.45*0.45 ≒ 0.2

- 마찬가지로, 3차원 공간에서 20%의 공간을 채우기 위해서는 변수 1개당 약 58%의 데이터가 필요하다.

∵ 0.58*0.58*0.58 ≒ 0.2

---

문제점

- 차원이 늘어나면 해당 공간을 설명하기에 데이터가 부족하므로 overfitting문제가 발생

따라서 모델의 성능이 떨어진다.