javascriptで動画加工をする

ブラウザで画像処理に続いて動画像処理。

• 動画ファイルを選択
• 選択した動画を再生
• 加工した動画を再生
• 加工した動画をダウンロード

これらをブラウザ上で実現。
HTML5とjavascript、優秀。

EISeg便利

物体検出を行うためにはアノテーションという苦行に耐える必要がある。
画像のどこに物体があるか目視で確認してマウスで一本一本線を引く作業だ。

当然アノテーションをサポートするためのツールはいくつか存在する。
「Labelme」、「Labelimg」など便利に使っていたが、「EISeg」という最高のツールがそれらを過去のものにした。

下の記事を見たらもうすべてわかるがポンポンクリックするだけでアノテーションできる。

セットアップの方法については記事を書かれた当時と状況が違うようなのでそこだけ書く。

YOLOXをWindows10で使いたい

YOLOXという物体検出モデルがある。
これをWindows10の環境に導入して学習を行いたい。

公式のGitHubリポジトリはおそらくUnix系を前提としているのか「ReadMe」に素直に従うとエラーが起こる。

ここで、Windows10によるYOLOXの環境構築からCOCOデータセットを利用した学習までの実現方法を記載する。

Deep Yu-Gi-Oh!

「Deep Yu-Gi-Oh!」はおよそ1万枚存在する遊戯王カードを学習して作られた、存在しない遊戯王カードを無から生成して表示するサービス。
かねてより開発していた「Deep Yu-Gi-Oh！」がついに完成した。

遊戯王カードのイラストをディープラーニングにより学習

以前「Progressive GAN」を利用して遊戯王カードのイラストを自動生成する実験を行った。

それよりも優秀らしい「LightWeight GAN」というものを知ったので今回は「LightWeight GAN」による遊戯王カードの自動生成を試す。

定量評価はできないため主観だが「LightWeight GAN」の方がきれいな画像の生まれる割合が多いように感じた。
加えて、GitHubリポジトリのテストコードが便利で簡単なので「LightWeight GAN」を薦める。

以降、Windows10による環境構築と実験結果を記す。

「ひぐらしのなく頃に」の重大な「ネタバレ」を含むため注意！

Flaskでアップロードした画像を加工して返すWebアプリを作る

FlaskはPythonでWebアプリが作れる便利なフレームワーク。
これを使って画像処理するWebアプリを作る。

初めて使うので環境構築から。

遊戯王カードのイラストをディープラーニングにより学習

GANという技術があって学習した画像に似た画像が生成できる。
人の顔、背景、動物、イラストなどいろいろな分野で成果が出ている。

そのGANを使って遊戯王カードのイラストの自動生成を行う。

以下の理由から都合がいい。

• カードの種類が1万枚以上と豊富
• 画像が入手できる
• 画像が正方形

GANの中にも種類があり、今回はProgressive Growing GAN(以降PGGAN)という手法を使う。

最終的にこんな感じになる。

顔の識別(Face Identification)

facenet-pytorchを使うと顔と顔の類似度が分かる。

github_facenet-pytorch

例えばこの2つの顔画像の類似度は0.87(-1 ～ 1 の間で値が大きいほど似ている)

facenet-pytorchによる同一人物判定の実装と、その性能評価を行う。

opencv.js 4.4.0

知らないうちにopencvがjavascriptでも使えるようになっていた。
加えてopencv自体もいつのまにかバージョンが上がって4.4.0になっていた。
ブラウザで簡単に画像処理ができるのは極めて便利。
試してみる。