機械学習における正解率とは？関連する評価指標やポイントを解説

機械学習の活用は、人間では処理しきれない大量のデータの分析を可能にします。また、社内システムに機械学習の技術を導入すれば、業務の効率化やコスト削減などの効果が期待できます。本記事では、機械学習における重要な指標である「正解率」を中心に、評価指標やポイントを解説していきます。

▼更に機械学習について詳しく知るには？
【完全版】機械学習とは？解決できる課題から実例まで徹底解説

▼社内のデータをAI化するには？
ノーコードAIツールUMWELT紹介ページ（活用事例あり）

機械学習の正解率（正答率）とは

機械学習モデルを構築する際、その性能を評価する基準の一つとなるのが「正解率（正答率）」です。機械学習モデルの評価指標は複数ありますが、まずは機械学習の定義とその評価の概要を理解する必要があります。ここからは、そもそもの機械学習とは何なのかなど、基本的な部分を解説していきます。

機械学習とは

機械学習は、AIの１つの要素技術であり、コンピュータに大量のデータを入力し、データに潜むパターンやルールを発見させる技術です。

機械学習の正解率

機械学習の正解率とは、分類における予測された値と正解データの一致率を指します。正解率は機械学習の最も基礎的かつ一般的な評価関数です。その簡潔さから専門的な知識を持たない人にも理解しやすいため、広く使われています。

評価指標の必要性

機械学習の目的は、学習データから説明変数（特徴量）を使って目的変数を予測するモデルを構築することです。しかし、予測モデルの運用にあたって、なぜ評価指数を設ける必要があるのでしょうか。答えは、予測精度を評価する数値指標があれば、（複数の）アルゴリズムの妥当性を定量的に評価・議論できるからです。予測モデルを数値で評価することで、どの機械学習モデルがどれだけ効果的だったかを可視化できるのです。

機械学習の評価指標

評価指標の必要性について述べましたが、機械学習の評価指標はさまざまです。そこで、以下ではそれらの算出方法と、それぞれの特徴を紹介します。

適合率（精度）

適合率は「真と予測したもののうち、実際に真であるものの割合」を表す指標です。「真と予測したが、実際は偽である」ケースをエラーとして重視するこの方法が有効なのは、真かどうかを正確に判断したい場合です。この指標の弱点は、偽の予測が含まれないことにあります。「偽と予測したが、実際は真である」ケースの予測は適合率に反映されないため、このケースが多い場合では使えないことを覚えておきましょう。

再現率

再現率は「実際に真であるもののうち、正しく真と予測できたものの割合」を指します。適合率とは対照的に、「実際に真であるが、偽と予測した」ケースをエラーとして重視しているため、実際に真であるケースをもれなく予測できたかの網羅性を判断したい場合に向いています。同様に、再現率は「真と予測したが、実際は偽である」ケースを無視する指標であるという点も、適合率とは反対です。お互いに短所と長所が対応しているため、必要に応じて使い分けましょう。

特異率

特異度は「偽と予測したもののうち実際に偽であった割合」です。簡単に言えば、再現率の正負が反転したものです。適合率と同様、「真と予測したが、実際は偽である」ケースが少ないほど値が大きくなります。

F値

F値は対照的な特徴を持つ適合率と再現率の調和平均を指しています。適合率と再現率の積が分子となるため、どちらかが極端に低い場合などに正確な評価を下すことが可能になります。偽陰性と偽陽性のいずれかが極端に低いと必然的にF値も低くなるため、バランスをとった評価が可能になります。

重み付きF値

重み付きF値は「重みパラメータを用いたF値」のことです。F値と異なり、ユーザーの反応といった一定の前提条件に従って”適合率をより重視する”など、F値に重みをつけるために活用される方法です。

Log Loss（クロスエントロピー）

機械学習では、正解ラベルをただ出力するだけでなく、「どれくらいそのラベルが正解でありそうか」を確率として出力することもできます。例えば、「正常である確率」=0.7、「異常である確率」=0.3とすれば、正常であると判断出来る上、モデルの出力の信頼度も分かります。正解ラベルは「正常」か「異常」なので、それぞれの確率は1として解釈できます。
Log Lossはこのように、出力と正解を確率として捉えることによって、分類の予測を正解・不正解だけではなく、それらの間の距離も評価できる指標です。Log Lossは他の評価と異なり、数値が小さいほど精度が高いことになるため、結果の見方には注意が必要です。この評価指標は正解率よりも詳細にモデルを評価できる点が特徴です。

AUC

AUC（Area Under the Curve）は読んで字のごとく、ある曲線における下側の面積の大きさを評価する指標です。面積は0から1の範囲で変動し、これが大きくなるほど優れていることになります。AUCには横軸に偽陽性率、縦軸に再現率をとる「ROC曲線」と、縦軸に適合率、横軸に再現率をとる「PR曲線」の2種類があります。

機械学習における評価指標のポイント

モデルの評価指標が数多く存在することはお分かりいただけたと思いますが、実際にモデル評価を行う際にはどのように決めればいいのでしょうか。機械学習における評価指標のポイントをあらかじめ知っておくことで、モデル評価はスムーズに実施できます。そこでここからは、機械学習の評価指標ポイントを紹介します。

目的にマッチする評価指標を使う

機械学習モデルの評価指標にはさまざまなものがあり、どれを用いるかは構築するモデルの目的や最終的なゴールによって異なります。機械学習を行う目的は業務改善から利益の拡大まで幅広いため、自社の状況なども鑑みて適切なものを選択しましょう。例えば、前述した適合率や再現率などは、互いに長所と短所が対応しているため、モデルの目的に応じてどちらが適しているかを考慮する必要があります。

適合率と再現率は一得一失

適合率と再現率は、一般にどちらか一方が上がればどちらか一方は下がる、シーソーのような関係にあります。そのため、一方が必要な場合は必然的に選択肢は絞られます。対して、調和平均であるF値を評価することで、ある程度双方の特性を両立することができます。

評価結果が高すぎる場合は要注意

性能評価は「高ければ高いほど良いわけではない」という点に注意が必要です。例えば、あるモデルの精度が100％を示した時、それは「過学習」の可能性を示唆していると考えます。過学習とは、訓練データに過剰に適応した結果、かえって未知データへの精度が下がる現象です。モデルの汎化性能を判断するには、データを学習用データと検証用データに分割し、学習したモデルを使って検証用データで性能をはかるといった方法や交差検証を用います。

ノーコードAIツール「UMWELT」で機械学習をはじめよう

経産省がDX（デジタルトランスフォーメーション）を推進している背景もあり、機械学習を活用することへの重要性は日々高まっています。機械学習は学習させたあとの評価も大切ですが、AI人材が不足する最中で機械学習によるデータ分析体制構築から評価までを社内単独でワンストップで運用することは困難を極めます。そこでおすすめのツールが、TRYETINGのノーコードAIクラウドUMWELTです。

UMWELTは多種多様な機械学習のアルゴリズムが搭載されており、これらをプログラミングをすることなく誰でもかんたんに使用することが可能です。 ビューティーブランドのオルビス様の事例では、UMWELTを活用して全国に約100拠点以上ある店舗の在庫量の適正化に取り組み、高いパフォーマンスを発揮しました。大手からスタートアップまで、業界業種・企業規模問わず多くの企業様にご利用頂いているAIツールとなっています。

まとめ

機械学習の評価は、予測モデルを実践的に投入する前の検証や、定期的なメンテナンスに欠かせないステップです。これを適切に行うことで機械学習の効率が高まります。UMWELTであれば、AI人材でなくても誰でもかんたんに多数の機械学習アルゴリズムを使用可能です。自社の現場で機械学習の技術を取り入れたいと考えている方は、UMWELTの導入をぜひご検討ください。

参照文献

いまさら聞けない機械学習の評価関数｜Gunosyデータ分析ブログ（2016）

UMWELTのサービスページをチェックする

AI予測ツールUMWELT紹介ページ（活用事例あり）