# 데이터 앞부분을 볼 수 있는 head()메서드의 default값은 5
 
df_train.head()

# 데이터 앞부분을 볼 수 있는 head()메서드의 default값은 5
 
df_test.head()

# pandas 데이터 프레임에는 describe 매서드가 있다. 
# train 데이터의 대략적인 수치들을 보여준다.
 
df_train.describe()

# train 데이터의 차원 확인
 
df_train.shape

# pandas 데이터 프레임에는 describe 매서드가 있다. 
# test 데이터의 대략적인 수치들을 보여준다.
 
df_test.describe()

# test 데이터의 차원 확인
 
df_test.shape

# train data 각 열에 null데이터가 몇 개있는지 확인하고 퍼센트로 확인
 
for col in df_train.columns:
    msg = 'column: {:>10}\t Percent of NaN value: {:.2f}%'.format(col, 100 * (df_train[col].isnull().sum() / df_train[col].shape[0]))
    print(msg)

# test data 각 열에 null데이터가 몇 개있는지 확인하고 퍼센트로 확인
 
for col in df_test.columns:
    msg = 'column: {:>10}\t Percent of NaN value: {:.2f}%'.format(col, 100 * (df_test[col].isnull().sum() / df_test[col].shape[0]))
    print(msg)

# train data의 null 위치 분포를 볼 수 있다.
# missingno 라는 라이브러리를 이용해서 input에 data frame을 넘겨주고,
# matrix 형태를 만들어 주는데, 
# index location 이라는 iloc를 이용해서 원하는 위치에 있는 컬럼을 가져와서 사용할 수 있다.
# figsize는 그래프 크기이고, color는 rgb로 이루어져 있다.
 
msno.matrix(df=df_train.iloc[:, :], figsize=(8, 8), color = (0, 0.5, 1))

# train data의 null의 퍼센트를 볼 수 있다.
# missingno 라는 라이브러리를 이용해서 input에 data frame을 넘겨주고,
# 아래와 같은 bar 형태를 만들어 준다.
# index location 이라는 iloc를 이용해서 원하는 위치에 있는 컬럼을 가져와서 사용할 수 있다.
# figsize는 그래프 크기이고, color는 rgb로 이루어져 있다.
 
msno.bar(df=df_train.iloc[:, :], figsize=(8, 8), color = (0, 0.5, 1))

# test data의 null 위치 분포 확인
 
# missingno 라는 라이브러리를 이용해서 input에 data frame을 넘겨주고,
# matrix 형태를 만들어 주는데, 
# index location 이라는 iloc를 이용해서 원하는 위치에 있는 컬럼을 가져와서 사용할 수 있다.
# figsize는 그래프 크기이고, color는 rgb로 이루어져 있다.
 
msno.matrix(df=df_test.iloc[:, :], figsize=(8, 8), color = (1, 0.3, 0))

# test data의 null의 퍼센트 확인
 
# missingno 라는 라이브러리를 이용해서 input에 data frame을 넘겨주고,
# 아래와 같은 bar 형태를 만들어 준다.
# index location 이라는 iloc를 이용해서 원하는 위치에 있는 컬럼을 가져와서 사용할 수 있다.
# figsize는 그래프 크기이고, color는 rgb로 이루어져 있다.
 
msno.bar(df=df_test.iloc[:, :], figsize=(8, 8), color = (1, 0.3, 0))

# 파이플랏에 서브플랏으로 row 1, column2 즉 1행 2열로 된 파레트를 총 가로 18 세로 8 크기로 만듬
 
f, ax = plt.subplots(1, 2, figsize=(18, 8))
 
# eplode는 pie를 중심에서 얼만 큼 떨어트릴것이냐.
# autopct='%1.1f%%'는 퍼센트형식을 나타냄
# ax=ax[0]는 ax[0,1]중에 0에다 그린다는 뜻
 
df_train['Survived'].value_counts().plot.pie(explode=[0, 0.1], autopct='%1.1f%%', ax=ax[0], shadow=True)
ax[0].set_title('Pie plot -Survived')
ax[0].set_ylabel('')
 
# seaborn의 카운트플랏의 인풋으로 'Survived' 라는 이름을 가진 column을 준다.
# 그리고 데이터는 df_train을 사용하겠다.
# 그리고 ax=ax[1]이용해서 도화지의 두번째부분에다 그리겠다는 뜻
 
sns.countplot('Survived', data=df_train, ax=ax[1])
ax[1].set_title('Count plot - Survived')
plt.show()

# Pclass 컬럼과 서바이벌 컬럼 비교. 이때 리스트로 가져와야함
 
df_train[['Pclass', 'Survived']]

# 그룹바이로 묶어줄 것인데,
 
df_train[['Pclass', 'Survived']].groupby

# Pclass로 묶을래
# data frame groupby 객체가 하나 생성됌
 
df_train[['Pclass', 'Survived']].groupby(['Pclass'])

# 그룹바이 객체는 수많은 매서드를 가지고 있다.
# sum 매서드은 Pclass 1, 2, 3각각에 해당하는 Survived 샘플을 모두 더한것이다.
 
df_train[['Pclass', 'Survived']].groupby(['Pclass']).sum()

# Survived 열이 무슨 객체들로 이루어져있는지 확인해보면
# 0과 1로 이루어져있음을 알 수 있고,
# 위에 136, 87, 119는 
# Pclass n에 해당하는 Survived의 샘플들 0과 1을 모두 더했더니 각각 136, 87, 119라는 뜻
 
df_train['Survived'].unique()

# 클래스 샘플이 몇개나 존재하는지
 
df_train[['Pclass', 'Survived']].groupby(['Pclass'], as_index=True).count()

# 종합적으로 그린 표
# margins=True 는 All을 표시한다는 뜻.
 
pd.crosstab(df_train['Pclass'], df_train['Survived'], margins=True)

# .style.background_gradient(cmap='summer_r') 를 이용해서 가독성 좋게 'symmer_r'색상을 적용
# 더 많은 색상은 color map scheme 를 검색해서 찾아보면 된다!
 
pd.crosstab(df_train['Pclass'], df_train['Survived'], margins=True).style.background_gradient(cmap='summer_r')

# 이 데이터셋에서는 클래스별로 평균을 구하면 -> 생존률 이 된다.
# as_index는 Pclass를 인덱스로 둘 것인지 결정하는 것이다.
# 만약 False로 두면 시리즈가 2개가되기 떄문에 plot을 2개로 하기 때문에
# 이 문제에서는 index를 True로 설정해서 시리즈 1개로 설정하고 plot해야한다.
# mean()로 평균을 구하면 Pclass와 Survived 묶음이기때문에 생존률이 됌.
# ascending은 True로하면 오름차순 정렬, False는 내림차순 정렬
# type을 찍어보면 data frame이기때문에 plot을 가지고 볼 수 있음
# 더 잘보기 위해 plot.bar()를 해주었음
 
df_train[['Pclass', 'Survived']].groupby(['Pclass'], as_index=True).mean().sort_values(by='Survived', ascending=False).plot.bar()

# 왼쪽은 count그래프를 그렸다.
# 오른쪽은 생존과 피클래스까지 다 합쳐서 볼 수 있도록 그렸다.
# 이때 hue는 색깔을 서바이벌에 색깔을 지정해서 한 plot으로 나타내 준 것이다. 
# 색을 하나 지정해주면 색깔을 나눠서 표시해준다.
 
y_position = 1.02
f, ax = plt.subplots(1, 2, figsize=(18, 8))
df_train['Pclass'].value_counts().plot.bar(color=['#CD7F32', '#FFDF00', '#D3D3D3'], ax=ax[0])
ax[0].set_title('Number of passengers By Pclass', y=y_position)
ax[0].set_ylabel('Count')
sns.countplot('Pclass', hue='Survived', data=df_train, ax=ax[1])
ax[1].set_title('Pclass: Sturvived cs Dead', y=y_position)
plt.show()

# 왼쪽은 count그래프를 그렸다.
# 오른쪽은 생존과 Sex까지 다 합쳐서 볼 수 있도록 그렸다.
# 이때 hue는 색깔을 서바이벌에 색깔을 지정해서 한 plot으로 나타내 준 것이다.
# 색을 하나 지정해주면 색깔을 나눠서 표시해준다.
# index = True로 하면 sex가 컬럼으로 들어간다
 
f, ax = plt.subplots(1, 2, figsize=(18 ,8))
df_train[['Sex', 'Survived']].groupby(['Sex'], as_index=True).mean().plot.bar(ax=ax[0])
ax[0].set_title('Survived vs Sex')
sns.countplot('Sex', hue = 'Survived', data=df_train, ax=ax[1])
ax[1].set_title('Sex: Survived vs Dead')
plt.show()

df_train[['Sex', 'Survived']].groupby(['Sex'], as_index=False).mean()

pd.crosstab(df_train['Sex'], df_train['Survived'], margins=True).style.background_gradient(cmap="summer_r")

# factorplot
# X축은 Pclass, Y축은 Survived, 
 
sns.factorplot('Pclass', 'Survived', hue='Sex', data=df_train, size=6, aspect=1.5)

# x, y, col
 
sns.factorplot(x="Sex", y='Survived', col="Pclass", data=df_train, saturation=5, size = 9, aspect = 1)

# x, y, hue
# 선 양끝에 직선은 error bar라고 하는데 이 수치가 얼마나 믿을 수 있는가 를 나타내는 지표라고 보면된다.
# 에러바가 짧으면 긴것보다 더 신뢰할 수 있음. 
 
sns.factorplot(x="Sex", y='Survived', hue="Pclass", data=df_train, saturation=5, size = 9, aspect = 1)

# df_train 에서 각종 조건의 탑승객 나이 확인
 
print('제일 나이 많은 탑승객 : {:.1f} years'.format(df_train['Age'].max()))
print('제일 어린 탑승객 : {:.1f} years'.format(df_train['Age'].min()))
print('탑승객 평균 나이 : {:.1f} years'.format(df_train['Age'].mean()))

# kdeplot 을 구글링해보자.
# kernel density estimate plot이다.
# 히스토그램으로 그린 것을 커널밀도함수를 이용해서 스무스하게 표현.
 
fig, ax = plt.subplots(1, 1, figsize=(9, 5))
sns.kdeplot(df_train[df_train['Survived']== 1]['Age'], ax = ax)
sns.kdeplot(df_train[df_train['Survived']== 0]['Age'], ax = ax)
plt.legend(['Survived == 1', 'Survived == 0'])
plt.show()

# 번외
# 도화지를 준비하는 세가지 방법 소개
# 세 가지 문법 모두 알면 좋음
 
# 1
# f = plt.figure(figsize=(5, 5))
# 2
# f, ax = plt.subplots(1, 1, figsize=(5, 5))
# 3
plt.figure(figsize = (5, 5))
 
a = np.arange(100)
b = np.sin(a)
 
# 1
# plt.plot(b)
# 2
# ax.plot(b)
# 3
plt.plot(b)

# 다시 본론으로
# 클래스별로 나이 분포를 확인
 
plt.figure(figsize=(8, 6))
# hist를 쓰면 겹치면 안보인다.
# df_train['Age'][df_train['Pclass'] == 1].plot(kind ='hist')
# df_train['Age'][df_train['Pclass'] == 2].plot(kind ='hist')
# df_train['Age'][df_train['Pclass'] == 3].plot(kind ='hist')
df_train['Age'][df_train['Pclass'] == 1].plot(kind ='kde')
df_train['Age'][df_train['Pclass'] == 2].plot(kind ='kde')
df_train['Age'][df_train['Pclass'] == 3].plot(kind ='kde')
 
plt.xlabel('Age')
plt.title("Age Distribution within classes")
plt.legend(['1st Class', '2nd Class', '3rd Class'])

# 클래스 1의 생존분포
# &(불린)을 사용해서
# 생존하지 않은 사람인데 pclass가 1인것
# 생존한사람인데 Pclass가 1인것
 
fig, ax = plt.subplots(1, 1, figsize=(9, 5))
sns.kdeplot(df_train[(df_train['Survived']== 0) & (df_train['Pclass'] == 1)]['Age'], ax = ax)
sns.kdeplot(df_train[(df_train['Survived']== 1) & (df_train['Pclass'] == 1)]['Age'], ax = ax)
plt.legend(['Survived == 1', 'Survived == 0'])
plt.show()

# 클래스 2의 생존분포
# &(불린)을 사용해서
# 생존하지 않은 사람인데 pclass가 2인것f
# 생존한사람인데 Pclass가 2인것
 
fig, ax = plt.subplots(1, 1, figsize=(9, 5))
sns.kdeplot(df_train[(df_train['Survived']== 0) & (df_train['Pclass'] == 2)]['Age'], ax = ax)
sns.kdeplot(df_train[(df_train['Survived']== 1) & (df_train['Pclass'] == 2)]['Age'], ax = ax)
plt.legend(['Survived == 1', 'Survived == 0'])
plt.show()

# 클래스 3의 생존분포
# &(불린)을 사용해서
# 생존하지 않은 사람인데 pclass가 3인것
# 생존한사람인데 Pclass가 3인것
 
fig, ax = plt.subplots(1, 1, figsize=(9, 5))
sns.kdeplot(df_train[(df_train['Survived']== 0) & (df_train['Pclass'] == 3)]['Age'], ax = ax)
sns.kdeplot(df_train[(df_train['Survived']== 1) & (df_train['Pclass'] == 3)]['Age'], ax = ax)
plt.legend(['Survived == 1', 'Survived == 0'])
plt.show()

# 10살은 총 몇명이고 그중 몇명 살았는지 
 
i = 10
df_train[df_train['Age'] < i]['Survived'].sum() / len(df_train[df_train['Age'] < i]['Survived'])

# 1살~80살까지 1살은 총몇명인데 몇명 살았고, 2살은 총몇명인데 그중에 몇명살았고 ...등
# y = 1.02는 제목의 위치를 살짝 조절해준것 (예쁘게 나오도록)
 
change_age_range_survival_ratio = []
 
for i in range(1, 80):
    change_age_range_survival_ratio.append(df_train[df_train['Age'] < i]['Survived'].sum() / len(df_train[df_train['Age'] < i]['Survived']))
    
plt.figure(figsize=(7, 7))
plt.plot(change_age_range_survival_ratio)
plt.title("Survival rate change depending on range of Age", y = 1.02)
plt.ylabel("Survival rate")
plt.xlabel("Range of Age(0~x)")
plt.show()

# split=True은 그래프를 겹쳐보여주는 것. 
# set_yticks y축 단위
 
f, ax = plt.subplots(1, 2, figsize=(18, 8))
sns.violinplot('Pclass', 'Age', hue = 'Survived', data=df_train, scale='count', split=True, ax=ax[0])
ax[0].set_title('Pclass and Age vs Survived')
ax[0].set_yticks(range(0, 110, 10))
 
sns.violinplot('Sex', 'Age', hue = 'Survived', data=df_train, scale='count', split=True, ax=ax[1])
ax[1].set_title('Sex and Age vd Survived')
ax[1].set_yticks(range(0,110,10))
plt.show()

# 승선한 장소와 생존의 관계 파악
 
f, ax = plt.subplots(1, 1, figsize=(7, 7))
df_train[['Embarked', 'Survived']].groupby(['Embarked'], as_index=True).mean().sort_values(by='Survived', ascending=False).plot.bar(ax=ax)

# 판다스 데이터프레임, 시리즈를 정렬하고싶을때 사용법 1
# value에 대해서 sort 방법
 
df_train[['Embarked', 'Survived']].groupby(['Embarked'], as_index=True).mean().sort_values(by='Survived')

# 판다스 데이터프레임, 시리즈를 정렬하고싶을때 사용법 2
# index에 대해서 sort하는 방법
 
df_train[['Embarked', 'Survived']].groupby(['Embarked'], as_index=True).mean().sort_index()

# plt.subplots_adjust(wspace=0.2, hspace=0.5)는 공백을 지정해주어 각 그래프사이에 간격 설정
 
f, ax = plt.subplots(2, 2, figsize=(20, 12))
sns.countplot('Embarked', data=df_train, ax=ax[0, 0])
ax[0, 0].set_title('(1) No. of Passengers Board')
 
sns.countplot('Embarked', hue='Sex', data=df_train, ax=ax[0, 1])
ax[0, 1].set_title('(2) Male-Female split for embarked')
 
sns.countplot('Embarked', hue='Survived', data=df_train, ax=ax[1, 0])
ax[1, 0].set_title('(3) Embarked vs Survived')
 
sns.countplot('Embarked', hue='Pclass', data=df_train, ax=ax[1, 1])
ax[1, 1].set_title('(4) Embarked vs Pclass')
 
plt.subplots_adjust(wspace=0.2, hspace=0.5)
plt.show()

# 가족수가 가장 많은 것과 적은 경우를 확인
 
print('Maximum size of Family:', df_train['FamilySize'].max())
print('Minimum size of Family:', df_train['FamilySize'].min())

# 가족수와 생존 상관관계 확인
 
f, ax = plt.subplots(1, 3, figsize=(40, 10))
 
sns.countplot('FamilySize', data=df_train, ax=ax[0])
ax[0].set_title('(1) No. Of Passenger Boarded', y=1.02)
 
sns.countplot('FamilySize', hue='Survived', data=df_train, ax=ax[1])
ax[1].set_title('(2) Survived countplot depending on FamilySize', y = 1.02)
 
df_train[['FamilySize', 'Survived']].groupby(['FamilySize'],as_index=True).mean().sort_values(by='Survived', ascending=False).plot.bar(ax=ax[2])
ax[2].set_title('(3) Survived rate depending oin FamilySize', y=1.02)
 
plt.subplots_adjust(wspace=0.2, hspace=0.5)
plt.show()

# distplot은 series를 받으면 히스토그램을 그려주는 plot
# Skewness는 왜도라고해서 그래프가 얼마나 쏠렷느냐를 알려주는 지표(분포의 비대칭성)-왜도의 기준은"0",첨도의 기준은"3"이지만 많은 통계프로그램에서는 "-3 shift"시켜서 기준값이 보통"0"이다.
# a = 0이면 정규분포, a > 0 이면 좌측으로 치우침, a < 0이면 우측으로 치우침
# g는 matplotlib의 객체가된다.
# g를 반납한다는 말은 결국 그림객체 하나를 넘겨준다는 것.
# 그림객체에 legend를 달겠다.
 
fig, ax = plt.subplots(1, 1, figsize=(8, 8))
g = sns.distplot(df_train['Fare'], color='b', label='Skewness: {:.2f}'.format(df_train['Fare'].skew()), ax=ax)
g = g.legend(loc='best')

# 번외
# lamda함수를 이용한 것인데, 간단한 예시는 아래와 같다.
x = lambda i : i * i
x(2)

# 다시 본론
 
df_train['Fare']

# Fare 피쳐를 lamda함수를 이용해서 로그를 취해서 매핑한 후 그래프 다시 출력
# distplot은 series를 받으면 히스토그램을 그려주는 plot
# Skewness는 왜도라고해서 그래프가 얼마나 쏠렷느냐를 알려주는 지표(분포의 비대칭성)-왜도의 기준은"0",첨도의 기준은"3"이지만 많은 통계프로그램에서는 "-3 shift"시켜서 기준값이 보통"0"이다.
# a = 0이면 정규분포, a > 0 이면 좌측으로 치우침, a < 0이면 우측으로 치우침
# g는 matplotlib의 객체가된다.
# g를 반납한다는 말은 결국 그림객체 하나를 넘겨준다는 것.
# 그림객체에 legend를 달겠다.
 
fig, ax = plt.subplots(1, 1, figsize=(8, 8))
g = sns.distplot(df_train['Fare'], color='b', label='Skewness: {:.2f}'.format(df_train['Fare'].skew()), ax=ax)
g = g.legend(loc='best')

df_train['Ticket'].value_counts()

# Ticket에 대한 idea를 생각해보고 Ticket feature를 이용해 보기를 권장함.
 
df_train['Ticket'].unique()

# test 데이터에서 Fare의 null data는 1개
 
df_test['Fare'].isnull().sum()

# test data의 152번째
 
df_test[df_test['Fare'].isnull()]

# train data의 Fare 피쳐 평균값 확인
 
df_train['Fare'].mean()

# test data 결측값 대치 확인
 
df_test.loc[152]

# Age의 null data는 177개
 
df_train['Age'].isnull().sum()

# train dataframe column확인
 
df_train.head()

# test dataframe column확인
 
df_test.head()

# 성별에 따라 어떻게 count되어있는 지 확인
 
pd.crosstab(df_train['Initial'], df_train['Sex']).T.style.background_gradient(cmap='summer_r')