my_plots = plot_partial_dependence(my_model,       
                                   features=[0, 1, 2], # column numbers of plots we want to show
                                   X=X,            # raw predictors data.
                                   feature_names=['Distance', 'Landsize', 'BuildingArea'], # labels on graphs
                                   grid_resolution=10) # number of values to plot on x axis

注意点として挙げられていたのは、grid_resolutionを細かくしたときに、乱れたグラフが見られたとしても、その細かな挙動に対して文脈を考えすぎること。どうしてもランダム性があるので、細かな挙動にいちいち気にしているとミスリードになる。

なお、partial_dependenceという関数を用いると、グラフを出力するのではなく、数値データそのものを得られる。

my_plots2 = partial_dependence(my_model,       
                                   target_variables=[0, 1, 2], # column numbers of plots we want to show
                                   X=X,            # raw predictors data.
                                   grid_resolution=10) # number of values to plot on x axis

なお、微妙にオプションが異なることに注意…。

タイタニックの例

PDPを見ることで、年齢や支払い料金と生存結果の関係を解釈する例が記載されていた。

「考察」に関する議論

PDPで得られた結果を考察すること自体について、議論があるようだ。意味のある・なし、という点において。

dansbecker/xgboost

2019-04-12

Machine LearningModelXGBoost

Kaggle, Machine Learning, Model, XGBoost

参考
メモ
- チューニングパラメータ

参考

メモ

XGBoost自体については、XGBoostの概要がわかりやすい。

チューニングパラメータ

n_estimators
- 大きさは100〜1000の間の値を用いることが多い
early_stopping_rounds
- n_estimators を大きめにしておいて、本パラメータで学習を止めるのが良さそう
learning_rate
- 加減しながら・・・。例では0.05あたりを使っていた。
n_jobs
- 並列処理（コア数の指定）

dansbecker/using-categorical-data-with-one-hot-encoding

2019-04-12

Machine LearningPreparation

Kaggle, Machine Learning, Preparation

参考
メモ

参考

Kaggleのusing-categorical-data-with-one-hot-encoding

メモ

one hot encodingについて。 Kaggleのラーニングコースを読んでみた。

カテゴリ値の判定にカージナリティを利用

コメントにもやや恣意的な…と書かれてはいたが、カージナリティが低く、dtypeが objectであるカラムをカテゴリ値としたようだ。

low_cardinality_cols = [cname for cname in candidate_train_predictors.columns if 
                                candidate_train_predictors[cname].nunique() < 10 and
                                candidate_train_predictors[cname].dtype == "object"]
numeric_cols = [cname for cname in candidate_train_predictors.columns if 
                                candidate_train_predictors[cname].dtype in ['int64', 'float64']]

カラムのdtype確認

こんな感じで確かめられる。

1	train_predictors.dtypes.sample(10)

結果の例

LandContour     object
ScreenPorch      int64
BsmtFinSF2       int64
SaleType        object
BedroomAbvGr     int64
(snip)

Pandasのget_dummies

1	one_hot_encoded_training_predictors = pd.get_dummies(train_predictors)

学習データとテストデータの列の並びを揃える

学習データとテストデータをそれぞれone hot encodingすると、それぞれの列の並びが揃わないことがある。 scikit-learnは、列の並びに敏感である。そこで、DataFrame#alignを用いて並びを揃える。

one_hot_encoded_training_predictors = pd.get_dummies(train_predictors)
one_hot_encoded_test_predictors = pd.get_dummies(test_predictors)
final_train, final_test = one_hot_encoded_training_predictors.align(one_hot_encoded_test_predictors,
                                                                    join='left', 
                                                                    axis=1)

なお、joinオプションはSQLにおけるJOINのルールと同等だと考えれば良い。

dansbecker/handling-missing-values

2019-04-12

Machine LearningPreparation

Kaggle, Machine Learning, Preparation

参考
メモ

参考

メモ

Kaggleのhandling-missing-values の内容から気になった箇所をメモ。

欠落のあるカラムの排除

最もシンプルな方法として、欠落のあるカラムを排除する方法が挙げられていた。

cols_with_missing = [col for col in X_train.columns 
                                 if X_train[col].isnull().any()]
reduced_X_train = X_train.drop(cols_with_missing, axis=1)
reduced_X_test  = X_test.drop(cols_with_missing, axis=1)

X_train[col].isnull().any()のところで、カラム内の値のいずれかがNULL値かどうかを確認している。

欠落を埋める

欠落を埋める。

from sklearn.impute import SimpleImputer

my_imputer = SimpleImputer()
imputed_X_train = my_imputer.fit_transform(X_train)
imputed_X_test = my_imputer.transform(X_test)

なお、SimpleImputer#fit_transformメソッドの戻り値は、numpy.ndarrayである。

また、scikit-learnのimputeの説明を見る限り、カテゴリ値にも対応しているようだ。

欠落を埋めつつ、欠落していたことを真理値として保持

imputed_X_train_plus = X_train.copy()
imputed_X_test_plus = X_test.copy()

cols_with_missing = (col for col in X_train.columns 
                                 if X_train[col].isnull().any())
for col in cols_with_missing:
    imputed_X_train_plus[col + '_was_missing'] = imputed_X_train_plus[col].isnull()
    imputed_X_test_plus[col + '_was_missing'] = imputed_X_test_plus[col].isnull()