fakeapp / deepfakersの技術背景をメモする
最近、redditでfakeappもしくはdeepfakesという動画の自動顔合成器みたいなやつが流行っている。
fakeapp自体はredditのスレにチュートリアル付きで上がっている。
スレッドいろいろ見て回るのはいいけど、ネタがネタだけに超閲覧注意。
こういうネタ、はてなには向かないので、リンクは貼らない。興味あればご自分で検索してほしい。
最近は、OpenPoseの顔特徴点抽出器でも70点くらいそこそこ速く取れてしまうし、Menpoプロジェクトも充実してきたので、顔のアラインも含めて顔まわりの処理はかなり実用性高いところまで来ているのだろう。
（faceappはdlibで顔を取ってきているんだけども。OpenPoseにしたら適用できる画像の幅は増えそう）
- CMU-Perceptual-Computing-Lab/openpose: OpenPose: Real-time multi-person keypoint detection library for body, face, and hands estimation
- The Menpo Project · The Menpo Project
keras実装のコード自体も公開されているようで、ちゃんと読みきれてないが、意外と層が深くないCNNのautoencoderというかencoder+decoderモデルっぽい。
GANじゃないのが意外かもしれないが、そこそこデータがあるケースでないと上手く行かないのではないかと思うし、時系列方向に整合性ある内容を出力させるにはちょっと工夫が必要だ。
一応、PRで議論されているようではある。
- deepfakes/faceswap: Non official project based on original /r/Deepfakes thread. Many thanks to him!
- GitHub - dfaker/df: Larger resolution face masked, weirdly warped, deepfake,
人間、こういう面白い道具が出ると真っ先にエロに使うわけだが、他にも使いみちがありそうと思ったり。
そもそも、顔を自在に操りたいよねみたいな研究はいくつかある。表情を転写したり、顔を入れ替えてみたり、RGB画像から3D顔モデルを出してみたり。
- TUM Visual Computing: Prof. Matthias Nießner
- shaoanlu/faceswap-GAN: A denoising autoencoder + adversarial loss for face swapping.
- Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression
人の顔じゃなくても良くない？っていう話は出るけど、 やっぱり人の顔まわりのアライメントや検出技術は非常に長い歴史の積み重ねがあるので、真っ先にという感じだろうか。。。
