「XAI」はブラックボックスを透明な箱に変える

人工知能（AI）とは多くの人々にとって、説明も解釈もできないブラックボックスであり、数百万、時には数億にも及ぶ入力情報から答えを導き出し、人間はそのAIの回答を信頼して行動するものとされている。しかし、こうした行動の影響は広範囲に及ぶこともあるため、説明可能な（Explainable）AI、すなわち「XAI」に向けた動きがでてきている。

AIモデルは、教師データとアルゴリズムを用いて結果を出す。新しい情報が与えられると、その情報を用いて何らかの回答を推測する。たとえばマーケティングでは、オンラインストアを訪問した顧客の購入履歴、閲覧履歴、年齢、位置情報、およびその他の属性情報などのデータを用いてレコメンドを行う。

マーケターが、それぞれの提案に合わせて顧客をターゲットするため、顧客をそれぞれのグループにセグメント化したい場合もAIが使える。AIモデルが顧客を分類する仕組みと理由を把握しているなら、各グループに対するマーケティング戦略の設計と実施の改善も可能になる。

たとえば、マーケターはAIを用いて、購入が確実な買い手、迷っている買い手、ウィンドウショッパーの3グループに顧客をセグメント化し、それぞれのグループごとに対応を決定できる。購入が確実な買い手はそのままアップセルに送り、迷っている買い手には割引コードやクーポンを送信して購入の可能性を高めるといったことが考えられるだろう。購入しないことが明らかな人には、何もする必要はない。

AIがマーケットをどのようにセグメント化するのかを把握することで、マーケターはグループごとに適切な戦略を考えることができる。

「XAI 」（説明可能なAI）がマーケターにとって重要な理由

AIモデルの説明可能性のレベルは、マーケターが何を知りたいのかによって異なる。マーケターは用いられるアルゴリズムの仕様には関心がないかもしれないが、フォローアップ活動を計画するため、どのような特徴やシステムへの入力情報がAIモデルの提案に影響するのかは把握したいのではないだろうか。

たとえば、AIが「迷っている」顧客だと推測する可能性があるシグナルはいくつもある。マウスカーソルが商品の上を何度も通過したからなのかもしれないし、顧客がショッピングカートに商品を入れたがまだ決済していないからなのかもしれない。しかし、この2つのケースへの対応は同じにはならないだろう。前者の場合は、顧客が見ている商品と似ている商品をレコメンドする方法が考えられる。後者の場合、期間限定の無料配送を提供して購入の決断を後押しすることかもしれない。

マーケターが把握する必要があるのは、モデルが判断に至った要因だ。アルゴリズムを理解するのは難しくても、判断を左右する要因がわかればモデルを解釈しやすくなる。

説明可能なAIといっても、複雑なモデル全体を理解する必要はなく、モデルの出力に影響する可能性がある要素がわかればいい。モデルの仕組みの理解と、モデルが特定の結果を出す理由の理解はかなり違う。

XAI（説明可能なAI）なら、システムのオーナーやユーザーは、AIモデルの判断プロセスを理解し、その強みと弱みを把握し、システムがこれからどのように動作していくのかの見通しを得られる。

画像認識では、注目する部分を変えるようAIモデルに指示すれば、異なる結果が得られる。画像のどの部分がモデルを特定の結果や決定に導く可能性が高いかを把握することで、AIモデルの行動に対する理解を深めることが可能だ。

XAIは、戦略に関する意思決定に役立つだけでなく、マーケターなどのAIモデルユーザーが経営陣やステークホルダーに結果を説明できるようになる。戦略採用の理由やモデルの出力を正当化する時に有効だろう。

AIモデルによって説明しやすさに違いがあることを理解することが重要だ。研究者の間には、デシジョンツリーやベイズ分類器といったアルゴリズムは画像認識や自然言語処理で使われるようなディープラーニングモデルよりも解釈しやすいとの声がある。また、正確さと説明しやすさはトレードオフだとも言われている。モデルが複雑になると、通常はパフォーマンスが向上するものの、専門家以外が仕組みを説明するのは難しくなる。

「XAI」（説明可能なAI）とAIモデルのバイアス

教師データにバイアスが含まれる可能性があることから、どのAIモデルにもバイアスが存在する。また、意図したものであれ偶然によるものであれ、アルゴリズムの設計にもバイアスが存在する可能性がある。ただ、バイアスは悪いことばかりではない。

バイアスは正確な予測を行うために利用することができる。ただし、人種や性別など、配慮を要する分野に適用する場合は慎重に扱う必要がある。

XAIは、モデルが判断に用いているのが良いバイアスなのか悪いバイアスなのかを区別するのにも役立つ。また、XAIならモデルの判断にとってどの要因がより重要なのかもわかる。バイアスを検知するわけではないが、XAIによってモデルがその判断を下した理由を理解できるからだ。

またXAIならば、バイアスがモデルの教師データ自体に由来するものなのか、それともモデルによるさまざまなラベルの重み付けの仕方に由来しているのか、などもわかる。

信頼の問題

多くの人にとって、AIとはデータが入るブラックボックスのようなものであり、出力やアクションは不明瞭なアルゴリズムの収集の結果のように見えている。そのため、モデルが出す結果が一見、直観に反していたり、間違っているように思えたりすると、それが不信につながるおそれがある。

XAIなら、これらのモデルを人間にとってより理解しやすく理にかなったものにするので、誰もが結果を見て使用するかどうかを判断できる。XAIは判断のループに人間を参加させ、判断を下す前の最終段階は人間に委ねる。こうすることで、プロセス全体の信頼性が高まる。

将来は、どのような経緯でその判断に至ったのかをAIモデル自身が説明できるようになるかもしれない。それにより判断の評価が可能になり、モデルを構築する開発者の説明責任は重みを増すだろう。AIモデルの判断が（ブラックボックスではなく）トレース可能になることで、近い将来、それがどのように機能するのかを自ら説明するシステムも登場するだろう。

より説明しやすいAIモデルの開発

AIや他の方法による説明を容易にするため、学術の世界ではいくつかの論文が提示されてきた。

説明のしやすさはモデルによって違う。たとえば、ディープラーニングモデルは説明が難しいことがある。そこで説明のために、代理モデルを使ってディープラーニングモデルの動作を模倣することを提案している研究がある。代理モデルのほうが説明しやすいからだ。

そのほかにも、説明しやすくなるように、計画的にモデルを構築する方法がある。たとえば、ニューラルネットワークで使用するパラメーターを減らすと、複雑さを抑えつつ同じような正確さが得られることがあり、結果、モデルが説明しやすくなる。

AIを利用する企業はますます増えており、AIの判断を理解するためにも、望ましくないバイアスを識別するためにも、システムを信頼できるようにするためにも、モデルがどのように機能しているのかを把握することは極めて重要だ。XAIは、AIと機械学習のブラックボックスを「透明な箱」に変えることで、人間が簡単にその中を見ることができるようにしている。

---

著者のソウドウ・リン（Shou-De Lin）博士は、Appierのチーフマシンラーニングサイエンティスト。