[解決済み] scikit-learnのcross_val_predictの精度スコアはどのように計算されるのですか？

質問

を使用していますか？ cross_val_predict (参照 doc v0.18）では k -のように、各折り返しの精度を計算し、最終的にそれらを平均化するかどうか？

cv = KFold(len(labels), n_folds=20)
clf = SVC()
ypred = cross_val_predict(clf, td, labels, cv=cv)
accuracy = accuracy_score(labels, ypred)
print accuracy

解決方法は？

いいえ、そんなことはありません。

によると クロスバリデーション文書 のページをご覧ください。 cross_val_predict はスコアを返さず、ここで説明する特定の戦略に基づいたラベルのみを返します。

関数 cross_val_predict のインタフェースは cross_val_score。 を返しますが，入力の各要素に対して その要素がテストに含まれるときに得られた予測値が セット . すべての要素をクロスバリデーションに割り当てるストラテジーだけが を使用することができる(そうでない場合は例外が発生する)。

そのため accuracy_score(labels, ypred) は、前述の特定の戦略によって予測されたラベルの正確さのスコアを計算しているだけです。 を真のラベルと比較する。これも同じドキュメントのページに明記されています。

これらの予測値は、分類器を評価するために使用することができます。

predicted = cross_val_predict(clf, iris.data, iris.target, cv=10) 
metrics.accuracy_score(iris.target, predicted)

この計算結果は若干異なる場合があります。 とは異なり、要素がグループ化されているため、cross_val_scoreを使用した場合 を異なる方法で設定します。

もし、様々な折り方の精度が必要な場合は、試してみてください。

>>> scores = cross_val_score(clf, X, y, cv=cv)
>>> scores                                              
array([ 0.96...,  1.  ...,  0.96...,  0.96...,  1.        ])

そして、すべてのフォールドの平均精度を求めるには scores.mean() :

>>> print("Accuracy: %0.2f (+/- %0.2f)" % (scores.mean(), scores.std() * 2))
Accuracy: 0.98 (+/- 0.03)

Cohenカッパ係数と各フォールドの混同行列を計算するには？

計算方法 Cohen Kappa coefficient というのは、真のラベルと各フォールドの予測ラベルの間のカッパ係数と混同行列のことだと思われます。

from sklearn.model_selection import KFold
from sklearn.svm.classes import SVC
from sklearn.metrics.classification import cohen_kappa_score
from sklearn.metrics import confusion_matrix

cv = KFold(len(labels), n_folds=20)
clf = SVC()
for train_index, test_index in cv.split(X):
    clf.fit(X[train_index], labels[train_index])
    ypred = clf.predict(X[test_index])
    kappa_score = cohen_kappa_score(labels[test_index], ypred)
    confusion_matrix = confusion_matrix(labels[test_index], ypred)

はどのようなものですか？ cross_val_predict を返しますか？

これは、KFoldを使ってデータを分割し k の部分と、その後に i=1..k の繰り返しになります。

• 取る i'th の部分をテストデータ、それ以外を学習データとして使用します。
• は学習データを使ってモデルを学習します。 i'th )
• のラベルを予測し、この学習済みモデルを用いて i'th の部分 (テストデータ)

各反復で、ラベルの i'th の部分が予測される。最後にcross_val_predictは部分的に予測されたラベルをすべてマージし、最終結果として返す。

このコードでは、この処理を順を追って説明する。

X = np.array([[0], [1], [2], [3], [4], [5]])
labels = np.array(['a', 'a', 'a', 'b', 'b', 'b'])

cv = KFold(len(labels), n_folds=3)
clf = SVC()
ypred_all = np.chararray((labels.shape))
i = 1
for train_index, test_index in cv.split(X):
    print("iteration", i, ":")
    print("train indices:", train_index)
    print("train data:", X[train_index])
    print("test indices:", test_index)
    print("test data:", X[test_index])
    clf.fit(X[train_index], labels[train_index])
    ypred = clf.predict(X[test_index])
    print("predicted labels for data of indices", test_index, "are:", ypred)
    ypred_all[test_index] = ypred
    print("merged predicted labels:", ypred_all)
    i = i+1
    print("=====================================")
y_cross_val_predict = cross_val_predict(clf, X, labels, cv=cv)
print("predicted labels by cross_val_predict:", y_cross_val_predict)

その結果、次のようになります。

iteration 1 :
train indices: [2 3 4 5]
train data: [[2] [3] [4] [5]]
test indices: [0 1]
test data: [[0] [1]]
predicted labels for data of indices [0 1] are: ['b' 'b']
merged predicted labels: ['b' 'b' '' '' '' '']
=====================================
iteration 2 :
train indices: [0 1 4 5]
train data: [[0] [1] [4] [5]]
test indices: [2 3]
test data: [[2] [3]]
predicted labels for data of indices [2 3] are: ['a' 'b']
merged predicted labels: ['b' 'b' 'a' 'b' '' '']
=====================================
iteration 3 :
train indices: [0 1 2 3]
train data: [[0] [1] [2] [3]]
test indices: [4 5]
test data: [[4] [5]]
predicted labels for data of indices [4 5] are: ['a' 'a']
merged predicted labels: ['b' 'b' 'a' 'b' 'a' 'a']
=====================================
predicted labels by cross_val_predict: ['b' 'b' 'a' 'b' 'a' 'a']