데이터 전처리

import pandas as pd
import numpy as np

from sklearn.datasets import load_boston  # boston 집값 데이터
from sklearn import preprocessing

boston_dataset = load_boston()

boston_data = pd.DataFrame(boston_dataset.data, columns=boston_dataset.feature_names)
boston_data.head()

boston_data.describe()

# Min-Max Normalization
scaler = preprocessing.MinMaxScaler()
normalized_data = scaler.fit_transform(boston_data)

# df로 정리해서 확인
normalized_df = pd.DataFrame(normalized_data, columns=boston_dataset.feature_names)
normalized_df.head()  ## 다 0~1 사이의 값으로 바뀌었음

normalized_df.describe()    ## 모든 열이 min=0, max=1로 잘 바뀜

# 소수점 2번째 자리까지만 출력되도록 설정
pd.set_option('display.float_format', lambda x: '%.2f' % x)

# Standardization
scaler = preprocessing.StandardScaler()   # MinMaxScaler와 비교했을 때, 이 한 줄만 바뀜.
standardized_data = scaler.fit_transform(boston_data)  # 위에서 사용했던 boston_data df를 그대로 사용
    
standardized_df = pd.DataFrame(standardized_data, columns=boston_dataset.feature_names)

standardized_df.describe()  ## 모든 열이 평균은 0, 표준편차는 1이 되도록 잘 표준화됨

import pandas as pd

titanic_df = pd.read_csv('data/titanic.csv')   ## 데이터 출처: kaggle
titanic_df.head()

titanic_sex_embarked = titanic_df[['Sex', 'Embarked']]  ## 사용할 열만 따로 가져옴
titanic_sex_embarked.head()

## pandas의 get_dummies 함수를 사용하면 쉽게 더미변수를 만들 수 있다

one_hot_encoded_df = pd.get_dummies(titanic_sex_embarked)
one_hot_encoded_df.head()

# columns=[]로 더미변수화해줄 열을 정해주면 된다
one_hot_encoded_df = pd.get_dummies(data=titanic_df, columns=['Sex', 'Embarked'])
one_hot_encoded_df.head()