遊戯王OCG全カードの知名度が調べられた！

前回挑戦したが微妙な結果だった知名度ランキング。

しかし「知名度」の指標として「Google検索ヒット数」を使用するアイディアは良かった。
前回をベースとして改善した結果いいかんじのランキングができた。

遊戯王OCG全カードの知名度(≒Google検索ヒット数)を調べる

「青眼の白龍」、「ブラックマジシャン」など数ある有名カードのうちどれがどのくらい有名なのか、
あるいはどのカードの知名度が低いのか。
知名度を数値化することでカード間の比較を行いたい。

ここで「知名度」の指標として「Google検索ヒット数」を使用する。
「Google検索ヒット数」はWEB上でどれだけその言葉が使用されているかを表す。
イコールではないが相関が高そうに思われる。

前回の記事は今回の実験に向けた準備。

本当は複数の検索エンジンで調べて平均を取るなどしたい、

Google検索ヒット数を取得したい

Google検索で単語を検索したときに表示される

約 00,000 件 （0.00 秒）

のような検索ヒット数を取得したい。
数十個なら手作業でなんとかなるが数千個だと無理。

はじめはスクレイピングしようと思ったがGoogleはガチガチのスクレイピング対策してて難しそう。
調べたところ「Google Custom Search API」を使えばできそうなのでこれを使う。

Bigqueryのテーブル作成→サービスアカウント作成→PythonでBigquery操作

BigqueryはGoogle Cloud Platform(GCP)の提供するデータベース。
Pythonでquery操作してデータ取得できると便利なので実験。

GCSバケット作成→サービスアカウント作成→PythonでGCS操作

Google Cloud Storage(GCS)はGoogle Cloud Platform(GCP)の提供するストレージサービス。
AWSでいうところのS3。

Pythonでファイル操作できると便利なので実験。

「Azure Text to speech」 の使い方

以前、Azureの「Speech To Text」を使って音声のテキスト化を行った。
今回はその逆。

テキストを入力して音声に変換する。

前回↓

今回はMicrosoft Azure「Text To Speech」APIの使い方を記す。

商品購入ログから商品間の類似度取得・クラスタリング

商品購入ログを使って商品の共起分析。
以前行った実験と同じデータを使ってより高度な前処理を行う。

前回の実験↓

今回は下記の図に示すようにデータを加工していく。

ログデータのクロス集計までは前回と一緒。

その後、

• 共起行列
• PPMI
• SVD

と続く。

成果物として、

• アイテム間のコサイン類似度表
• アイテムのクラスタリングリスト

が得られる。

商品購入ログを使って商品の推薦システムを作る

商品購入ログから商品の推薦を行う。
「この商品を買った人はこれも買ってます」というやつ。

これは共起分析によって簡単に実現できる。
共起分析とは「共に起こる」の通り、同時に発生したかどうかを特徴として分析する手法。

具体的に今回の購入ログの例でいうと、
「あるユーザーが商品Aと商品Bを両方購入している」とか、
「ある商品をユーザーAとユーザーBが両方購入している」とか、
そういった情報を特徴として分析に使用する。

これによってある商品を買った人が一緒に何を買いがちか分かる、
この結果を任意の商品を買ったユーザーに伝えることで他の商品を推薦できる。
今回はPythonで実験する。

商品購入ログを使って商品のクラスタリング

商品購入ログから商品のクラスタリングをしたい。
Pythonの最強ライブラリscikit-learnを使って行う。

• 最もメジャーなK-means
• 疎行列に強いらしいSpectralClustering
• 階層型クラスタリングのウォード法

同一データに対して、上記3種のクラスタリングを行う。

「Custom Speech」によってAzure音声認識APIの日本語モデルの精度を向上

前回行ったAzure音声認識APIの実験の続き。

前回↓

Azureの音声認識サービス「Speech to Text」にはユーザーのデータからモデルの再学習を行い認識精度を高める機能がある。

「Custom Speech」と呼ばれるその機能は「音声ファイル」、ラベル付きテキスト、音素による発音指定テキストなど様々なデータによるカスタマイズが可能。

扱う言語によって機能に制限があり、日本語は「プレーンテキスト」によるカスタマイズ以外はできないと書いてある。

前回「プレーンテキスト」によるカスタマイズを試したときに「音声＋トランスクリプト」もできそうな感じだったので実験する。
結果から言うと音声の学習はうまくいかない。