総合情報サイト / マニュアル / AIの学習 / 精度評価の見方(文書データ(自然言語処理))

精度評価の見方(文書データ(自然言語処理))

精度評価の見方_テキスト_1.png

1.マクロ適合率

AIが真と予測したものの中で、実際の値(=投入した学習データの値)も真であったものの割合です。
予測が実際の値と、どのくらい一致しているかを表す「正確性」の指標です。
100%に近いほど正確に予測できていることを表します。

2.マクロ再現率

実際の値が真のものの中で、AIが真と予測したものの割合です。
予測が実際の値を、どのくらい網羅しているかを表す「網羅性」の指標です。
100%に近いほど網羅的に予測できていることを表します。

3.全体正解率

すべての予測結果の内、実際の値と一致しているのがどのくらいあるかを表す、AIモデルを評価する指標です。
100%に近いほど予測精度が良いことを表します。

4.平均正解率

各分類カテゴリーの正解率の平均です。
100%に近いほど予測精度が良いことを表します。

5.マクロF値

「正確性の適合率」と「網羅性の再現率」を組み合わせた指標で、調和平均です。
1.0に近いほど予測精度が良いことを表します。

6.混同行列

分類した予測結果をまとめた表です。
どのカテゴリーを正しく分類でき、どのカテゴリーを誤って分類したか確認できます。

<混同行列の色の濃さについて>
正解とAIの予測が一致している個数が多いほど、濃い紫で表示されます。
予測があたっている部分の色が濃ければ、AIモデルの予測精度は高いと言えます。
逆に、予測がハズレている部分の色が濃ければ、予測精度は低いと言えます。