Nazuki
適切な相槌は対話を円滑にする。これは人間同士の対話においてのみならず，人とエージェントの対話においても言えることである。すなわち，エージェントが人と円滑な対話を行うためには，エージェントは適切な相槌を打つ必要がある。我々は，人間同士の対話コーパスをマルチモーダル分析し，話し手の表情・声の様子・発言内容に対して，どのような相槌を打つことが適切なのか明らかにする。この知見に基づいて，適切な相槌を打つエージェントを実現することを目指す。
Appropriate backchannels facilitate dialogue. This is true not only for human-human dialogue, but also for human-agent dialogue. This means that an agent needs to give appropriate backchannels to have a smooth dialogue with a human. We perform multimodal analysis on human-human dialogue corpora and reveal what kind of backchannels are appropriate for the speaker’s facial expression, voice behavior, and utterance content. Using this knowledge, we aim to realize an agent that can give appropriate backchannels.
査読付国際会議
- Toshiki Onishi, Naoki Azuma, Shunichi Kinoshita, Ryo Ishii, Atsushi Fukayama, Takao Nakamura, and Akihiro Miyata: Prediction of Various Backchannel Utterances Based on Multimodal Information. Proc. the 23rd ACM International Conference on Intelligent Virtual Agents (IVA ’23) (2023).
- Shunichi Kinoshita, Toshiki Onishi, Naoki Azuma, Ryo Ishii, Atsushi Fukayama, Takao Nakamura, and Akihiro Miyata: A Study of Prediction of Listener’s Comprehension Based on Multimodal Information. Proc. the 23rd ACM International Conference on Intelligent Virtual Agents (IVA ’23) (2023).
研究会・シンポジウム
- 東直輝, 大西俊輝, 木下峻一, 石井亮, 深山篤, 中村高雄, 宮田章裕: マルチモーダル情報に基づく多様な相槌の予測の検討. 情報処理学会シンポジウム論文集, マルチメディア, 分散, 協調とモバイル (DICOMO ’23), pp.352–358 (2023).
- 東直輝, 大西俊輝, 木下峻一, 石井亮, 深山篤, 中村高雄, 宮田章裕: マルチモーダル情報に基づく多様な相槌の生成の基礎検討. 情報処理学会研究報告グループウェアとネットワークサービス (GN), Vol.2023-GN-119, No.8, pp.1–6 (2023).
- 【受賞：優秀発表賞】木下峻一, 大西俊輝, 東直輝, 石井亮, 深山篤, 中村高雄, 大澤正彦, 宮田章裕: マルチモーダル情報に基づく聞き手の理解度推定の基礎検討. 情報処理学会研究報告グループウェアとネットワークサービス (GN), Vol.2023-GN-119, No.7, pp.1–6 (2023).
- 大西俊輝, 木下峻一, 東直輝, 石井亮, 深山篤, 中村高雄, 宮田章裕: マルチモーダル情報に基づく聞き手のバックチャネルの種類推定の基礎検討. 情報処理学会グループウェアとネットワークサービスワークショップ2022論文集, Vol.2022, pp.64–66 (2022).
この研究は日本電信電話株式会社との共同研究である。
This project is being conducted with NTT Corp.