TY - JOUR A2 - Loui, Alexander AU - Motlicek, Petr AU - Duffner, Stefan AU - Korchagin, daniel AU - Bourlard, Hervé AU - Scheffler, Carl AU - Odobez, Jean-Marc AU - Del Galdo, Giovanni AU - Kallinger, Markus AU - Thiergart，SP - 175745 VL - 2013 AB -我们描述了一个系统的设计，该系统由几个最先进的实时音频和视频处理组件组成，可实现多模式流操作(例如:自动在线编辑多方视频会议应用)在开放，不受约束的环境。底层算法的设计允许多人不受限制地进入、交互和离开可观察场景。它们包括音频对象的连续定位及其在空间音频对象编码中的应用、面孔的检测和跟踪、头部姿势和注意力的视觉焦点的估计、语言和副语言事件的检测和定位，以及这些不同事件的关联和融合。将所有这些组合在一起，它们用音频对象和语义视频对象表示多模态流，并为流操作系统(如虚拟导演)提供语义信息。通过各种实验对系统的性能进行了评估。获得的结果证明了所提出的设计、各种算法的有效性，以及在这种场景中融合不同模式的好处。SN - 1687-5680 UR - https://doi.org/10.1155/2013/175745 DO - 10.1155/2013/175745 JF - Advances in Multimedia PB - Hindawi Publishing Corporation KW - ER -