MatrixFlow導入インタビュー

クレジットカードの不正注文をAIで検知し、安心できるサイト運営を（株式会社ベガコーポレーション様）

株式会社ベガコーポレーションは、トレンド性の高い家具・インテリアを低価格で提供するEC事業(LOWYA事業) と、日本の製品を海外に向けて販売する越境ECプラットフォーム運営事業(DOKODEMO事業)を展開しています。 今回はAIを使って、不正な注文のパターンを洗い出すことにしました。「こういう発注については不正な購入の可能性が高い傾向がある」というような機械学習を使ったルールを作って、検知された受注に対して、人間が更にチェックするというオペレーションに繋げています。

取材にご協力いただいた方：
データ戦略部　部長　古賀 良国　様
データ戦略部　分析グループ　牧 周佑　様

インタビュアー：
株式会社MatrixFlow　営業部　中島 龍征

【導入前】

クレジットカードの不正利用のターゲットに

古賀さん
ベガコーポレーションは、オフライン店舗（リアル店舗）を持っていないというのが大きな特徴で、全てECで販売している会社になります。

当社のビジネスは、D2C（Direct to Consumer）と言われるビジネスモデルになっています。
企画、生産管理、販売から物流まで、全てのプロセスを自社で行っています。
EC専業ですので、クレジットカードを使った決済の割合が非常に高いのですが、昨今ECサイトでクレジットカードを不正に利用して購入するケースが少なからずみられます。
この不正利用にはいくつかパターンがあるのですが、例えば、クレジットカードをスキミングして不正に入手した悪意のあるユーザーが、ECサイトで商品を購入し、料金は本来カードを所有していたユーザーに請求されてしまうというようなことが起きています。

そのため当社も決済に際して、「このクレジットカードの利用は不正か否か」を検知・判断して、不正な購入を阻止できるかが、企業オペレーション上の大きな課題になっています。

今回はAIを使って、不正な注文のパターンを洗い出すことにしました。
「こういう発注については不正な購入の可能性が高い傾向がある」というような機械学習を使ったルールを作って、検知された受注に対して、人間が更にチェックするというオペレーションに繋げています。

目検での不正検知に限界を感じ、AIの導入を検討

ーMatrixFlowを導入する前はどのようなオペレーションだったのですか。

牧さん
受注に対しての不正のチェックは顧客対応担当の部署が24時間365日行っています。
1日あたり数千件の受注に対してより効率的かつ精度高くチェックを行いたいというニーズがあり、MatrixFlowによる推論を導入してみることにしました。

ーでは、定期的（数時間ごと）にMatrixFlowにかけて不正を見つけているのですか

古賀さん
そうですね。疑わしいものについては発注を止めざるを得ないので、スピード感を重視しています。
もし我々が不正検知をのんびりやっていたら、お客様は注文したけれど、「我々がチェックするまで待ってくださいね」となってしまいます。
例えば1日に1回しかチェックしないとすると、タイミングが悪いと、お客様は購入の意思表示後、24時間経過してからようやく次のプロセスに進むということになります。
不正ではなかった場合、ただ商品が届くのが遅くなるので、お客様は不満を感じてしまうことも多いでしょう。
それは顧客体験として非常に良くないので、受注が発生したらできるだけタイムリーに確認していく必要があります。

ー目検ではなく購入プロセスで自動化できるようにシステム上にチェック機能を入れ込むことは検討しなかったのですか。

古賀さん
いわゆるクレジット不正検知のサービスはありますので、もちろん我々も検討しています。
カードの不正を検知するツールは、ユーザーの行動でおかしなところがある場合に本当にそのカードの所有者かどうか確かめるためのポップアップ画面が出てきてユーザーに入力を強制するという仕組みです。
不正ではないユーザーに対しても確認のポップアップが出てしまう可能性があってユーザー体験としては低下してしまいます。
不正対策をしたが故に、不正に関係のない大多数のお客様に不便をかけないよう、多方面から我々がどういう対策をしていくべきなのか話をしている最中ですね。

【導入後】

AI活用で検知の効率が上がり、不正が減少

ーAIツールの検討については他も選択肢に上がっていましたか。

牧さん
当社では機械学習を構築可能なサービスを複数利用していますが、今回は実装工数がかからず、結果が理解がしやすい点を評価して採用させていただきました。
結果的に、MatrixFlowは今回の課題感に合っていたと思います。

ー機械学習の知見がないメンバーが業務を行っているのですね。

牧さん
オペレーションを行うメンバーは「この注文は、怪しい／怪しくない」 という結果だけをみています。
AIが100％正解ではないので、「AIがどうやって判断しているのか」「AIは最低でも期待値としてこれくらいは当たります」というところをあらかじめ理解しておいてもらう必要があり、説明に腐心しました。
MatrixFlowは非常に説明がしやすいUIであると感じました。

ーMatrixFlow導入後、不正チェックの体制は変わりましたか。

牧さん
以前に比べると業務負荷が減ったと聞いています。
ただ、機械学習だけはなく、既存のルールベースでの判断基準も併用しており、以前より効率的にチェックできるようになったということは聞いております。

古賀さん
今後の対応方針について、MatrixFlowというツールを使って不正検知のサポートをどのくらい続けますかと議論した時に、現場からは『MatrixFlowによって調査対象として調べるべき件数が絞り込めた結果として、オペレーションの効率化に繋がっている状態なので使い続けたい』というコメントをもらっています。

ーMatrixFlowを使ってから不正のリスクは減りましたか。未然に防げていると感じますか。

牧さん
不正注文がブロックされたという実績が上がってくることによって不正自体の件数が減って来ると思います。
ただ、時間経過に伴い検知精度が下がってくるということもあるので、継続的な改善が課題です。
不正なクレジットカード決済を行う者も検知パターンに対応した不正注文をするようになることも考えられます。

ーブロックできているからこそ新しいパターンが生み出されてしまうのですね

古賀さん
我々から不正チェックが入ることが不正なクレジットカード決済を行う者に気づかれると、手口を変えてくることも想定されます。
そうなると我々が作ったAIモデルが通用しなくなるという状況が発生します。

ーとはいえ、それで対策をやめてしまったら、このサイトは甘いと判断されてしまいますよね

古賀さん
我々がきっちりチェックをしていくと、不正が通る確率が落ちていって、そもそもこの事業者で不正をすることが効率が良くないという形で諦めてもらうというのが一つの目標、ゴールと考えてやっています。

【今後期待すること】

スピーディに変化に対応していくために

ー使う中でMatrixFlow社のサポートは必要でしたか？

牧さん
運用に関してはAPIも用意していただいていたので、ほとんど手がかからない状態でできています。
ただ課題になっているのは、モデルの改善という部分です。
自然現象に対してではなく、人の手による恣意的な操作に対する異常検知なので、その変化に日々適応していく必要があります。
さらに不正自体は数としては少ないので、分類における正解ラベルを蓄積しにくく、精度の高い再学習モデルが作りにくいことが課題です。
例えば学習済みモデルを提供していただくであるとか、データの偏りをなくすような処理ができる機能を実装していただけると大変ありがたいなと思います。