KinectAudioImageInput (KINECTをつかった音声、画像入力RTC)¶
概要¶
音声入力デバイスとしてマイクロソフト社製のKinectを使用し、 KinectSDK を用いて音源の方向と周囲雑音の少ない音声信号を取得するためのコンポーネントKinectAudioImageに対して、KINECTのカメラを使った画像入力と認識したユーザの骨格情報を取得するコンポーネントです。
現在、このコンポーネントで取得できる音声データは、16bits, 16KHzに固定されております。 また、画像取得に関しては、カラー画像か深度画像を選ぶことができます。深度画像を選んだ場合のみユーザの骨格情報を取得することができます。
このコンポーネントから出力される画像は、CvMonitorというコンポーネントで確認することができます。また、骨格情報は、ChoreonoidとそのプラグインRobotMotionRtcPluginを使うことで、G-ROBOT GR-0001 を操作することもできます。
動作確認OS¶
- Windows 7以上のOS (Windows for Kinect の制限によりVMware等の仮想OS上では動作しません）
依存ライブラリ¶
- OpenRTM-aist ： OpenRTM-aist-1.1.0-RELEASE(C++)
- Kinect for Windows SDK ： Kinect for Windows SDK-1.5
ダウンロード¶
このコンポーネントは、下記からダウンロードすることができます。 また、現在はソースコードのみがダウンロード可能であり、VS2010(Express Editionでも可)でのみコンパイル可能です。
データポート¶
| 名前 | フローポート | データ型 | 説明 |
| signal | OutPort | TimedOctetSeq | 録音した音声データ |
| angle | OutPort | TimedDouble | 録音された音源の方向 |
| rawImage | OutPort | TimedOctetSeq | カラー画像または深度画像（コンフィグレーション: capturingで設定） |
| tracking | OutPort | TimedShortSeq | 姿勢データ（表示用の座標）、深度画像取得の設定時のみ |
| skeleton | OutPort | TimedFloatSeq | 姿勢データ（ロボット操作用の座標）、深度画像取得の設定時のみ |
コンフィグレーション¶
| 名前 | データ型 | デフォルト値 | 設定範囲 | 説明 |
| max_angle | double | 0.3 | -0.9～0.9 | 録音可能な音源の方向の上限（Kinectの正面を0とする) |
| min_angle | double | -0.3 | -0.9～0.9 | 録音可能な音源の方向の下限（Kinectの正面を0とする) |
| capturing | int | 0 | 0,1,2 | 0:画像取得なし、1:カラー画像取得、2:深度画像取得 |
| intval | int | 100 | 1以上 | 画像取得のインターバル設定。ECが、音声取得の周期で動作するために、各周期で画像取得すると、音声取得に影響があるため。 |