顔の位置を合わせたい

複数の顔画像の位置合わせをしたい。
face alignmentなどというやつ。
第一段階として顔の回転角度を平行に合わせる。

ブラウザで顔検出したい

ブラウザで顔検出したいのでface-api.jsを使う。

face-api.jsは画像から顔検出ができるJavaScriptのAPI。
顔検出以外にも顔特徴点抽出、年齢、性別、感情の判別などできる。
詳細はface-api.jsのgithubに書いてある。

顔検出ライブラリは他にも多数あるが、中でもface-api.jsはJavaScriptでありクライアントサイドで動いてくれるため以下の点で良い。

• ユーザ側で計算するためサーバに負担がかからない
• ユーザが画像をサーバに送る必要がない
• 開発環境に左右されない

FaceBoxes

CPUでもリアルタイムかつ高精度に顔検出ができるらしい。
2017年に発表されてて新しめ。

Zhang, Shifeng, et al. “Faceboxes: A CPU real-time face detector with high accuracy.” 2017 IEEE International Joint Conference on Biometrics (IJCB). IEEE, 2017.

以前使用したMTCNNと比較する。

以前のやつ↓
(Windows10 + Anaconda で　facenet-pytorchからMTCNNを使用する)

DXキラッCHU

ミラクルキラッツのマスコットキャラクターキラッCHU。
アニメでは動くがプリズムストーンで販売しているキラッCHUは動かない。
動かすには自分でDXキラッCHUを作るしかない。
キラッとやってみよう。

Face Frontalization(正面顔推定)

横顔を入力すると正面顔が出力される。
正面顔推定なのか正面顔変換なのか対応する日本語は分からない。
横顔や斜め顔を正面に向けたいという需要があるので実験する。

githubに良い感じのがあったのでそれを使うだけ。
https://github.com/scaleway/frontalization

pytorchで動く。

Albumentationsで画像処理

Albumentationsは機械学習において画像の水増しに使われるライブラリ。
画像内に雨や雪を降らせたりできるらしい。
前回使用したtorchvision.transformsと比較する。

torchvision.transformsで画像処理

pytorchの仲間であるtorchvisonは画像に関する便利なライブラリ。
その中のtorchvision.transformsは様々な画像処理が行える。
pytorchを使わずとも独立して使える。

conda installとpip install 併用できる

conda installとpip installを併用すると環境が壊れるとか壊れないとか言われている。
なんか怖いので今までpipを使うときは専用の環境を作るなどして日和っていたが、調べたところ普通に併用できるらしい。

Anaconda公式のブログに書いてあった。

MTCNNによる顔検出・特徴点抽出

MTCNNを使ってこんな感じのことをしたい。

これが、

こうなる。

Hexoブログ記事内でjavascriptを動かす方法

記事ファイル「〇〇.md」中に直接書いたら動いた。

本文中に

1
2
3

<script>
source code
</script>

と書くと反映される。