大视景科技

多视频流与三维场景的虚实融合需求的难点在于视频模型渲染效率和视频解码效率。

针对前者，我们采用视频建模和投影纹理映射(project texture mapping)结合的方法来实现高效视频融合渲染。方法流程如图所示，分为两个阶段：

（1）预处理阶段。提取视频的背景帧进行交互式建模，得到简单的视频模型，然后与三维场景模型进行注册；

（2）在线阶段。将视频的每一帧画面进行直接纹理投影，也就是视频投影，无需计算纹理坐标，实现视频的高效渲染。

针对后者，我们采用软硬件混合解码调度算法和基于相机视点的评价调度算法来实现高效的视频解码调度。

根据目标场景特点和监控需求，支持矫正室内场景中布置的大视场相机视频画面。传统的鱼眼、超广角、全景或其他大视场相机的画面变形严重，无法还原监控区域的真实情况，对全方向图像进行自动角点识别，进一步进行布局恢复。经过畸变矫正后的画面以现实中真实比例再现实时场景，符合人类观察习惯，使用户更高效地掌控场景里的工作状况以及人员情况。自动角点识别算法可以处理鱼眼、超广角、全景等全方向图像，已在国际增强现实/混合现实顶级会议ISMAR发表并宣讲。

由于多视频流虚实融合中视频中的动态物体并未三维化，这类技术不可避免存在偏离原视点会出现画面畸变的现象。研究视点变化与画面畸变之间的关系，设计了一种基于视频投影中的画面畸变的视点质量评价方法，提出了一种虚实融合场景中的自动路径规划方法，来尽量减少畸变现象。

针对目标表观不一致和相机间时空约束缺失问题，提出了一种利用行人重识别及相机拓扑的在线跨相机轨迹关联算法。在DukeMTMC和NLPR数据集上的实验结果表明，该方法大幅度减少了匹配次数，提高了轨迹关联效率，并显著提升了算法准确率。该工作在国际顶级会议ACM MM发表。