Model Selection

from sklearn import datasets
from sklearn.model_selection import cross_val_score   # 교차 검증을 해주는 함수
from sklearn.linear_model import LogisticRegression

import numpy as np
import pandas as pd

# 경고 메시지 출력을 막는 코드 추가
import warnings
warnings.simplefilter(action='ignore', category=FutureWarning)

iris_data = datasets.load_iris()

X = pd.DataFrame(iris_data.data, columns=iris_data.feature_names)
y = pd.DataFrame(iris_data.target, columns=['Class'])

X.head()

y.head()

logistic_model = LogisticRegression(max_iter=2000)

cross_val_score(logistic_model, X, y.values.ravel(), cv=5)
# ravel(): 다차원 array를 1차원 array로 평평하게 펴주는 함수.

# 이렇게 평균낸 값을 해당 모델의 성능으로 생각
np.average(cross_val_score(logistic_model, X, y.values.ravel(), cv=5))

from sklearn import datasets
from sklearn.linear_model import Lasso
from sklearn.preprocessing import PolynomialFeatures

from sklearn.model_selection import GridSearchCV   # Grid Search를 쉽게 해주는 함수

import numpy as np
import pandas as pd

boston_dataset = datasets.load_boston()

X = pd.DataFrame(boston_dataset.data, columns=boston_dataset.feature_names)

# 입력변수를 6차항으로 바꾸기
polynomial_transformer = PolynomialFeatures(2)   # 2차항 변환기 준비
polynomial_features = polynomial_transformer.fit_transform(X.values)
features = polynomial_transformer.get_feature_names(X.columns)

# 바꾼 값들을 다시 X로 저장
X = pd.DataFrame(polynomial_features, columns=features)
X.head()

y = pd.DataFrame(boston_dataset.target, columns=['MEDV'])
y.head()

# boston housing 데이터는 미리 셔플하지 않으면 교차검증할 때 score값이 매우 낮게 나옴
# 이처럼, 데이터가 특정 순서에 따라 정렬되어 있는 경우 셔플해서 사용하는 게 좋다

joined_data = X.join(y)
shuffled_data = joined_data.sample(frac=1)
shuffled_X = shuffled_data.iloc[:, :-1]
shuffled_y = shuffled_data.iloc[:, -1]

# Grid Search를 통해 성능을 테스트해보고 싶은 hyperparameter를 dictionary 형태로 적어준다
# key: parameter명, value: 테스트해볼 값들의 리스트
hyper_parameter = {
    'alpha': [0.001, 0.001, 0.01, 0.1, 1],
    'max_iter': [500, 1000, 1500, 2000, 3000]
}

lasso_model = Lasso()  ## hyperparameter를 우선 하나도 넣지 않고 모델을 만든다

grid_search = GridSearchCV(lasso_model, hyper_parameter, cv=5)
    # 검증할 모델, 검증할 hyperparameter들을 적어준 dictionary를 적어줌
    # cv는 성능을 몇 겹 교차검증으로 평가할지 정하는 파라미터. cv=5면 5겹 교차검증을 하겠다는 의미. (cv=5가 default)

grid_search.fit(shuffled_X, shuffled_y)  # 일반적인 모델을 학습시키듯이 fit()에 X, y를 써주면 된다

grid_search.best_params_   ## 최적의 hyperparameter를 찾아줌

grid_search.best_score_

scores_df = pd.DataFrame(grid_search.cv_results_)
scores_df[scores_df['rank_test_score'] < 6][['params', 'mean_test_score', 'rank_test_score']]

# Import RandomizedSearchCV
from sklearn.model_selection import RandomizedSearchCV

# GridSearch에서 활용했던 lasso_model와 hyper_parameter를 그대로 활용
lasso_model = Lasso() 

hyper_parameter = {
    'alpha': [0.001, 0.001, 0.01, 0.1, 1],
    'max_iter': [500, 1000, 1500, 2000, 3000]
}

# Randomized Search 모델을 만들고 fit
random_search = RandomizedSearchCV(lasso_model, hyper_parameter, cv=5)
random_search.fit(shuffled_X, shuffled_y)

print(random_search.best_params_)

random_search.best_score_

scores_df = pd.DataFrame(random_search.cv_results_)
scores_df[scores_df['rank_test_score'] < 6][['params', 'mean_test_score', 'rank_test_score']]