これまでとこれから 2020年12月30日現在

これまでとこれからを記します。

今までやってきたこと

tonoshake.hateblo.jp
twitter.com

tonoshake.hateblo.jp
youtu.be
tonoshake.hateblo.jp
tonoshake.hateblo.jp
初期のものはあまり書いてないですが、自分が気合入れたものは大体ブログ記事にしてます。
気になるところがあれば更に掘り下げた記事を書くかもしれません。

今やっていること

深度とRGBの入力から部屋のライティングを変更しよう！というものを研究でやっています。
youtu.be
右が現実の部屋で左がライティングをし直した部屋の映像です。
光源を回転させること、金属に適したライティングモデルを実装することで反射光が強く出るようにしたことでわかりやすくしています。

どうして深度とRGBの入力だけにこだわるかというと、手軽さを重視しているからです。
手軽さの指標となるのがスマホかなと僕は考えたので、スマホに搭載され一般化してきている深度カメラとRGBカメラだけでできるようにしたかったからです。
最終的にはスマホ1つでリアルタイムに部屋のライティングをし直せるようなものを作ろうとしています。
しかし僕の代だけでは大枠を作るところで時間切れ目前なので、興味がある後輩が引き継いでくれたらなと思います。

これからやりたいこと

僕は来年IAMASに進学します。
そこでやりたいなと思っているのは、音と映像の質感を揃えるという事です。
www.youtube.com
音と映像の一致具合はこれがわかりやすいと思います。

しかしここまで映像先行ではなく、もっと音も映像も等価に扱うような物を目指しています。
必要になるだろうなって思っているのは機械学習のスキルと多少の音楽の知識です。
ちょっと音楽は触ってたのでいいとして、ほぼ知識のない機械学習は近いうちに覚えていきたいです。
友達が読み終わり次第生成系の機械学習本を借りる予定です。わくわく