Analyzing Free-standing Conversational Groups: A Multimodal Approach (ACMMM15) を読んだ

スタンディングディスカッション形式での会話を評価した研究

Summary Slide

X Alameda-Pineda, Y Yan, E Ricci, O Lanz, N Sebe
“Analyzing Free-standing Conversational Groups: A Multimodal Approach”, in 2015 ACM Multimedia Conference

link

を読んだので、軽くメモ。

マルチモーダル系の論文初めて読んだんですが、まとめるとコントリビューションが 5 つあると主張。

Contribution

• 音声・近接情報、そして監視カメラからの身体と頭の姿勢推定からマルチモーダルに解析
• フリースタンディングディスカッションを身体・頭の姿勢推定から解析
• カメラと音声・近接センサーからなるマルチモーダルな解析するためのフレームワークを提案
• ラベリングされてないデータに対する行列補間問題の考案
• SALSA(データ・セット)を公開・評価

SALSA というポスターセッションの動画と音声のデータも公開されている

SALSA: Synergetic sociAL Scene Analysis

動画は Google Drive で公開されていて時代の波を感じる。

• データセットを公開
• 論文も読みやすい
• 新しい行列補完計画法(アルゴリズム)を提案
• 実問題に取り組む

と盛り沢山な内容で面白かった。

スライド内のリンクは Google Slide で共有しているのでこちらを参照すると便利です。

X Alameda-Pineda, Y Yan, E Ricci, O Lanz, N Sebe "Analyzing Free-standing Conversational Groups: A…