PLS 도입으로 Feature 19개를 2개로 압축해 MSE 105,000 달성

Context

19개의 상관관계 높은 Feature를 사용한 Linear Regression 모델의 Overfitting 문제 발생. Training Data에 과적합된 모델이 새로운 데이터셋에서 예측 성능이 급격히 저하되는 Multicollinearity 현상 식별.

Technical Solution

• PCA 기반의 Unsupervised 차원 축소 후 Regression을 수행하는 PCR 구조 설계
• Target Variable을 고려하여 Predictive Signal이 강한 방향을 찾는 Supervised 차원 축소 방식의 PLS 도입
• k-fold Cross-Validation을 통한 최적의 Component 개수 선정 및 Model Complexity 최적화
• Max Variance 중심의 PCR 대비 Target Relevance 중심의 PLS를 통한 Feature 압축 효율 극대화
• Hard Cutoff 방식의 PCR과 Soft Shrinkage 방식의 Ridge Regression 간의 Trade-off 분석
• 해석 가능성(Interpretability) 포기 대신 예측 정확도(Predictive Accuracy) 확보를 위한 Latent Variable 모델 채택