小売業界も愛用する、類似性を分析する「４つの具体的な手法」を解説

データ分析、機械学習、自然言語処理（NLP）などにおいて、異なるデータやオブジェクト、小売業界だと製品、顧客などがどれだけ類似しているかを計算する類似度の手法はいままで多く存在します。このブログでは、この類似性を計算する４つの主要な手法—コサイン類似度、ユークリッド距離、ジャッカード係数、そして相関係数—について解説します。

コサイン類似度

コサイン類似度は、多次元空間において二つのベクトル間の類似度を測る指標です。この手法は特にテキスト分析、情報検索、機械学習でよく用いられます。基本的なアイデアは、二つのベクトルの間の角度のコサイン値を計算することです。

数学的には、コサイン類似度は以下の式で表されます。

ここで、A⋅BはベクトルAとBのドット積（内積）、||A||および||B||はそれぞれベクトルAとBの長さです。
この指標の利点は、ベクトルの長さに依存しないことです。つまり、商品ですと売れ筋の物やそうでない物、文書ですと長くても短くても、その方向性が同じであれば、類似度は高くなります。これは、良く売れる物・売れない物に左右されずに商品毎類似性や顧客の類似性を追求する場合に有用といえます。

ユークリッド距離

ユークリッド距離は、二点間の「直線距離」を計算する幾何学的な手法です。数学的には、n次元空間内での二点AとB間のユークリッド距離は下記の数式で求めることが出来ます。
直感的で理解しやすく、2Dまたは3D空間において特に有用ですが、高次元データでは効果が薄れる事があるために注意が必要です。

※高次元データとは、多数の属性（次元）を持つデータのことを指します。例えば、機械学習の文脈では、特徴ベクトルが多次元空間内で表現される場合があります。次元が非常に多いと、計算コストが高くなるだけでなく、「次元の呪い（curse of dimensionality）」という現象も発生する可能性があります。この「次元の呪い」によって、高次元空間内での距離や密度の計算が直感と異なる結果をもたらすことがあります。

ジャッカード係数

ジャッカード係数は、二つの集合間の類似度を測るための指標です。
この係数は、共通の要素の多さに基づき、0から1の値を取ります。特にテキストマイニングやカテゴリデータの比較によく用いられます。利点として計算が容易で、理解しやすい事が上げられます。特に、非専門家でも容易に取り扱いが可能です。

相関係数

相関係数は、二つの変数間の線形関係の強度と方向を測定する統計的指標です。特にピアソンの相関係数がよく用いられます。
利点として、相関係数は理解しやすく数学的な専門知識がなくても容易に解釈できます。また、散布図と併用することで、データのトレンドを直視的に把握することができます。

類似度計算の手法は多く存在し、それぞれが特有の利点と制約を持っています。何を目的とするかによって、最適な手法が異なる場合が多いです。理解と選択が重要です。

CRUNCHがコサイン類似度を採用する理由

弊社が展開しているCRUNCHではコサイン類似度をベースとした分析を行っています。このメリットとしては下記が上げられます。

スケーリング不要
コサイン類似度はベクトルの長さ（ここで言えば、購買量や頻度など）に依存しないため、大量購入客と少量購入客、または人気商品と不人気な商品を公平に比較できます。

高次元データに効果的
小売業では商品の種類が多く、顧客ごとに異なる商品を購入するため、データは高次元かつ煩雑になりがちです。コサイン類似度はこれに対処するのに適しています。

個別の嗜好の把握
顧客が購入する商品の「方向性」を捉えることができます。これは、顧客が何に興味を持っているのかを理解し、パーソナライズされた推薦やマーケティング戦略に活用できます。

柔軟なアプリケーション
コサイン類似度は商品間の類似性だけでなく、顧客間、または商品と顧客間の類似性も計算できます。これにより、より精度の高いターゲティングが可能です。

リアルタイムで高速な分析
コサイン類似度の計算は比較的高速であり、大量の購買データに対しても長い時間をかける事なくリアルタイムで類似度分析が可能です。

このように、コサイン類似度は小売店舗における商品別・顧客別の類似度計算に多くの利点をもたらします。すでに購買情報を保有している店舗はもちろん、これから購買情報を活用する為にデータを蓄積する事を検討している企業に対して、それを活用する事は今後の店舗運営に必須となってきます。
これらを類似度を活用する事により、精度の高い顧客体験を提供し、最終的には売上向上に貢献する可能性があります。