実行例は「saka.mokumoku」の「Google Colabotry」環境に保存してある
１．iris データセットの説明
データセットのロード
load_iris 関数でロードする
データセットの説明
DESCR (description) の中身を見る
Attribute の意味
sepal length：ガクの長さ
sepal width：ガクの幅
petal length：花弁の長さ
petal width ：花弁の幅
from sklearn.datasets import load_iris
iris = load_iris()
#
print(iris.DESCR)
データセットの内容
データセットの形状・・・特徴量は 4 個で、150 個のデータ
形状は shape で確認する
花の種類・・・target_names に３種類の花が格納されている
setosa、’versicolor、’virginica
先頭５件・・・iris.data
4 つの特徴量(ガクの長さ、幅、花弁の長さ、幅)
iris.target
３種類、0(=setosa), 1(=versicolor), 2(=virginica)
print(iris.data.shape)
#
print(iris.target_names)
#
for data, target in zip(iris.data[:5], iris.target[:5]):
print(data, target)
２．データフレーム作成
データフレームにするとデータを扱いやすくなる
target の行が 0, 1, 2 だと分かりにくいので種類名に置き換える
describeで平均値、最小、最大値を眺める
import pandas as pd
#
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['target'] = iris.target
df.loc[df['target'] == 0, 'target'] = "setosa"
df.loc[df['target'] == 1, 'target'] = "versicolor"
df.loc[df['target'] == 2, 'target'] = "virginica"
#
print(df.describe())
３．ペアプロットする
各特徴量のペアごとに散布図を表示する
特徴量のペアで見ても同じ品種が固まっているので、比較的分類しやすい
import seaborn as sns
#
sns.pairplot(df, hue="target")
４．分類アルゴリズム
分類アルゴリズムの特徴を見るために
作成したモデルの決定境界(decision boundary)を表示する
モデルを validation 用、test 用に分けたり、正答率の評価は行わない
X に訓練データをセットする
特徴量はガクの長さ、花弁の長さの２つだけを使用する
y に教師データとして品種をセットする
描画用にコードを準備する
# import some data to play with
X = iris.data[:, [0, 2]]
y = iris.target
import numpy as np
import matplotlib.pyplot as plt
# graph common settings
h = .02 # step size in the mesh
x_min, x_max = X[:, 0].min() - .5, X[:, 0].max() + .5
y_min, y_max = X[:, 1].min() - .5, X[:, 1].max() + .5
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
def decision_boundary(clf, X, y, ax, title):
clf.fit(X, y)
# Plot the decision boundary. For that, we will assign a color to each
# point in the mesh [x_min, x_max]x[y_min, y_max].
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
# Put the result into a color plot
Z = Z.reshape(xx.shape)
ax.pcolormesh(xx, yy, Z, cmap=plt.cm.Paired)
# Plot also the training points
ax.scatter(X[:, 0], X[:, 1], c=y, edgecolors='k', cmap=plt.cm.Paired)
# label
ax.set_title(title)
ax.set_xlabel('sepal length')
ax.set_ylabel('petal length')
５．教師あり学習
k-近傍法 (k-NN)
モデルには訓練データセットを格納するだけ
予測時は、予測したいデータポイントの近くの k 個の近傍点を確認し
その中で一番多数派のクラスを予測結果として採用する
KNeighborsClassifierを使用する
n_neighbors で予測に使用する近傍点の数を設定する
n_neighbors = 1 の場合は決定境界が鋭角になる部分もある
数が多くなるに従いなだらかになっていき、
10 になると境界が単純になりすぎて予測性能が落ちる
from sklearn.neighbors import KNeighborsClassifier
fig, axes = plt.subplots(1, 4, figsize=(12, 3))
for ax, n_neighbors in zip(axes, [1, 3, 6, 10]):
title = "%s neighbor(s)"% (n_neighbors)
clf = KNeighborsClassifier(n_neighbors=n_neighbors)
decision_boundary(clf, X, y, ax, title)
ロジスティック回帰
回帰とあるが、分類アルゴリズム
LogisticRegressionを使用する
決定境界は直線になる
C は正則化の度合いを調整するパラメータ
正則化は学習時にペナルティを与えることで過学習を抑える
C を大きくすると正則化が弱くなり過学習気味になる
Ｃを小さくするとデータの特徴を大雑把にしか獲得できない
ロジスティック回帰などの線形モデルは
高次元（特徴量の数が多い）のデータに対して有効
高速のため、他の手法では学習できない
from sklearn.linear_model import LogisticRegression
fig, axes = plt.subplots(1, 3, figsize=(10, 3))
for ax, C in zip(axes, [0.01, 1, 100]):
title = "C=%s"% (C)
clf = LogisticRegression(C=C)
decision_boundary(clf, X, y, ax, title)
線形サポートベクタマシン
LinearSVCを使用する
線形なので、決定境界も直線になる
C はロジスティック回帰同様、正則化の度合いを調整するパラメータ
from sklearn.svm import LinearSVC
fig, axes = plt.subplots(1, 3, figsize=(10, 3))
for ax, C in zip(axes, [0.01, 1, 100]):
title = "C=%s"% (C)
clf = LinearSVC(C=C)
decision_boundary(clf, X, y, ax, title)
カーネル法を用いたサポートベクタマシン
SVM とも呼ばれる
線形カーネルベクタマシンと比べて、非線形な分離が可能
SVCを使用する
C は正則化のパラメータ
gamma は訓練データの影響が及ぶ範囲
小さいと遠くまで、大きいと近くになる
大きすぎると過学習になり
小さすぎると大雑把にしかデータの特徴を獲得できない
from sklearn.svm import SVC
fig, axes = plt.subplots(3, 3, figsize=(10, 10))
for ax_row, C in zip(axes, [0.01, 1, 100]):
for ax, gamma in zip(ax_row, [0.1, 1, 10]):
title = "C=%s, gamma=%s"% (C, gamma)
clf = SVC(C=C, gamma=gamma)
decision_boundary(clf, X, y, ax, title)
決定木
質問を通してデータを分類する手法
あやめの場合には
花弁の長さが何センチ以上 or 未満
ガクの長さが何センチ以上 or 未満・・・と質問を繰り返す
DecisionTreeRegressor を使用する
max_depth がツリーの深さで、質問数になる
多ければいいわけでもなく、
訓練データに過剰適合するので過学習となる
from sklearn.tree import DecisionTreeRegressor
fig, axes = plt.subplots(1, 3, figsize=(10, 3))
for ax, max_depth in zip(axes, [1, 3, 8]):
title = "max_depth=%s"% (max_depth)
clf = DecisionTreeRegressor(max_depth=max_depth)
decision_boundary(clf, X, y, ax, title)
ランダムフォレスト、勾配ブースティング回帰木
ランダムフォレストは異なる決定木をたくさん作り
全ての決定木で予測した結果から
もっとも確率が高くなるラベルを正解とする
個々の木だと過剰適合しているかもしれないが、
多くの結果を集約することで過学習を抑制する効果がある
RandomForestClassifier を使う
勾配ブースティング回帰木もたくさんの決定木を作るが、
一つ前の決定木の予測値と正解のズレを修正するように
次の木を作っていく
GradientBoostingClassifier を使う
ランダムフォレストよりモデル構築に時間がかかり
パラメータ設定のチューニングが大変らしいが、
その分予測性能がよくなる
GBDT = Gradient Boosting Decision Tree
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import GradientBoostingClassifier
fig, axes = plt.subplots(1, 2, figsize=(7, 3))
clfs = [RandomForestClassifier(), GradientBoostingClassifier()]
titles = ["RandomForestClassifier", "GradientBoostingClassifier"]
for ax, clf, title in zip(axes, clfs, titles):
decision_boundary(clf, X, y, ax, title)
ニューラルネットワーク
MLPClassifier を使う
隠れ層 15 個で計算した結果を図示する
同じパラメータでも決定境界が異なってくる
異なる理由は、異なる初期状態から学習を開始するから
from sklearn.neural_network import MLPClassifier
fig, axes = plt.subplots(1, 4, figsize=(12, 3))
for ax, n in zip(axes, [15, 15, 15, 15]):
title = ""
clf = MLPClassifier(hidden_layer_sizes=[n, n])
decision_boundary(clf, X, y, ax, title)
６．教師なし学習
k-means
教師データなしで分類する手法
KMeans を使う
n_clustersで何個に分類するかを指定する
from sklearn.cluster import KMeans
fig, axes = plt.subplots(1, 4, figsize=(12, 3))
for ax, n_clusters in zip(axes, [2, 3, 4, 5]):
title = "n_clusters=%s"% (n_clusters)
clf = KMeans(n_clusters=n_clusters)
decision_boundary(clf, X, y, ax, title)
