Uploaded October 2012 | Updated September 2026, 2 weeks ago

---

【筆者サポートページ】
【私設研究所Neo-Tech-Lab.com】『Kinectが変えるセンシングの世界』
【関連情報】　neo-tech-lab.co.uk/ARsensing

【CQ出版】『インターフェース2013年1月号』(11月25日発売予定)
kumikomi.net/interface/contents/201301.php
センサ＆カメラで ジェスチャ検出! 動き見切ったり!
スポーツ/医療/ヘルスケアに必要な回路から信号処理まで
研究 人間センシング

【Kinectを用いた音の拡張現実】
●Ceatec2012 2012年10月2日～6日
●音の種類判別はKinectのデプスイメージを８回取得してZ値テンプレートとし、テンプレートから1cm～15cmの範囲に手が入った場合に、所定の音（オルガン調あるいはドラムや動物の鳴き声）が選択されたものとしている。
●デプス・イメージ上に見える白い枠線内のデプス値が所定内(1cm～15cm)の変化をしたときにその音源が選択中であると判定している。なので、なんでも手近なものを楽器化することができる。
●音出しタイミングはKinect単体では実質的に毎秒25フレーム程度なので弾きづらく、両手首の加速度センサが必要となる。Kionix(Rohmの子会社)製のI2CインターフェースKXTI9-1001をUSBシリアルコンバータ（FT232R）をBitBangモードで接続。
●当初、ドラム・システムでのデモを考えたが、ドラム・ソロは演奏者が限定されてしまうので、エレクトーン風味に変更。音源（wavファイル）はExcel VBAでDDS(Direct Digital Synthesizer)アルゴリズムで作製。
●プログラムはKinect for Windows SDK Version 1.5を使い、Visual C#で記述。
●同時に複数音を再生させるために、DirectX.AudioVideoPlaybackを利用。
Copyright by Tomoaki Ueda