この記事はまだ解決には至っていないため、チュートリアルというよりはやったことをまとめたメモです
インタラクティブアートで出てくるような沢山の点（ポイントクラウド・点群）を移動させて作るアートを作りたいと思ったので挑戦。未だ映像として残せてはいないが、試したことを記録しておく。今後なんらかの形で映像に残せたらその試した記録も追記で載せていきたい。
そもそもどんなものを作りたかったのか？
きっかけとしては下記のムービー。(KAZU - Come Behind Me, SO Good! (KAZU - Come Behind Me, So Good! (Official video by Daito Manabe + Kenichiro Shimizu))
イントロのようなパーティクルが移動してきて実際の地形や人を形作るような表現がとてもかっこいい。ドットや図形だけで作るアートもかっこいいが、実際の地形や人と、パーティクルや図形のような模様が行ったり来たりするような、そんなイメージのものを作りたいと思った。
上記のムービーも制作過程がムービーにまとめられており、どんな技術が使われているのかを知ることができた。
例えば動画の中では以下のような技術が紹介されていた：
- Photogrametry : 複数の角度から静止画を撮って、２Dデータから、３Dデータを再構築する
- Faroを使用して、静止画以外に地形など動かないものはレーザースキャン→ポイントクラウド（点群データ）やマテリアルデータを撮って地形を３Dデータに
- スキャンシステムである4d Viewsシステムでダンサーを撮影→CGとして映像に配置
- ドローンで撮影→GPSとLitchiというアプリを使用して、飛行ルートをプログラムしておく
- Houdiniでポイントクラウド（点群データ）を作成。色やアウトラインのデータは4D viewデータから取得
- ポイントクラウドにラインなどのエフェクトをつけたり、ウェーブのエフェクトをつけて動きをつける
この中で小さく再現できるものはなんだろう？
こうして技術を整理してみると、無料でパソコンやスマホがあればできそうなことから、設備がないとできなそうなことまである。以下のようなことは今からすぐにトライできた。
- Scan → iphoneのLidarスキャンを使う→アプリはPolycamとか
- HoudiniまたはBlenderのような３Dソフトウェアを使用して３Dデータを操作
Polycamでスキャン
まずはスキャンを試みる。かなり綺麗にスキャンすることができた。ファイルをエクスポートする時も、ポイントクラウド用に「plyファイル」をエクスポートすることができた。（有料版のみ）
Blenderにplyファイルをインポートする
Blenderにポイントクラウドのファイルをインポートする。詳しいやり方は下記に書いた。インポートの際には、Point Cloud Visualizerを使用した。
-
-
[Blender3.1] Point Cloud Visualizerを使ってblenderに点群データを表示させる
点の集まりでできたデータを表示させたいときは、「Point Cloud Visualizer」を使うと便利。 ファイルをダウンロード 下記リンクからファイルをダウンロードする。 https://git ...
続きを見る
各点も小さくしたり、点の量も調節できるようになった。
問題：どのように動かすか？
blenderにポイントクラウドを移すまではできたのだが、ここからどのようにドットを動かせるのかという部分で詰まった。blenderの使い方をマスターしている訳ではないので手始めにチュートリアル動画から探すことになるのだが、なかなかよい動画が見つからない。（おそらく検索の方法も悪いのかもしれない）
イメージから技術：
- 動画みたいに、点が散らばっているところから点が流れてきて、徐々に人の形に変化していくのをイメージ→自分のイメージにぴったり合ったチュートリアルはなかなか見つからない
技術からイメージ：
- 沢山使い方・基本操作のチュートリアルは載っているものの、それをどう組み合わせて行けば良いのかわからない。
やはり地道にまずはある程度基礎を学んでいかないといけないのだろうか？勉強しなくちゃいけないなとも思いつつ、今何か対処できる方法を引き続き考えた。
Touchdesignerにポイントクラウドを動かすチュートリアルが沢山
色々検索してみると、blenderよりTouchdesignerの方が、ポイントクラウドを動かすチュートリアルが見つけやすいことに気づく。
TouchDesignerに関しては以下に詳しく書いた。
-
-
TouchDesignerとは プログラミングで創造的に表現する
TouchDesignerとは何か？TouchDesignerは何に使われて、どのように動いているのか？ TouchDesignerとは Touchdesignerは「ビジュアル・プログラミング」を可 ...
続きを見る
例えば以下のように点群データを使って図形から他の図形に変化させていくような動画もみつかる。
なら早速Touchdesignerで作ってみようということで、Touchdesignerを起動してファイルをインポートしてみた。
問題：ファイルが重すぎて編集できない
Touchdesignerで編集しようとした際に新たな問題が生じる。Touchdesignerにplyファイルをインストールしたとき、ファイルが重すぎて全く操作ができなくなってしまった。
「Point Cloud Visualizer」を使ってblenderでファイルをインポートすると、Vertices(頂点)が0になる。このファイルを保存してTouchdesignerにインポートしようとするが、このファイルでは点が反映されなかった。
「Point Cloud Visualizer」を使わずそのままblenderでファイルをインポートすると、Vertices(頂点)が2,726,260と膨大な数になる。このファイルでTouchdesignerにインポートすると点は反映されるが、重すぎてすぐに操作できなくなる。
今後も試行錯誤の結果をこちらにアップデート予定。
