该技术的核心部分是一种快速建模视频背景的交互式方法,使用体元和场景树来描述图像中各元素之间的建模关系,首先针对单幅图像,在图像几何分析的预处理基础上,进行图像与场景模型的三维注册,然后提出了一种体元的定义,支持交互式的方式进行基本几何结构的恢复,实现单幅图像场景的视频模型生成。在此基础上,定义了一种基于单幅照片建模生成的视频模型,它描述了该照片对应的三维几何结构以及各部分区域的特效处理图层。
多视频流与三维场景的虚实融合需求的难点在于视频模型渲染效率和视频解码效率。
针对前者,我们采用视频建模和投影纹理映射(project texture mapping)结合的方法来实现高效视频融合渲染。方法流程如图所示,分为两个阶段:
(1)预处理阶段。提取视频的背景帧进行交互式建模,得到简单的视频模型,然后与三维场景模型进行注册;
(2)在线阶段。将视频的每一帧画面进行直接纹理投影,也就是视频投影,无需计算纹理坐标,实现视频的高效渲染。
针对后者,我们采用软硬件混合解码调度算法和基于相机视点的评价调度算法来实现高效的视频解码调度。
根据目标场景特点和监控需求,支持矫正室内场景中布置的大视场相机视频画面。传统的鱼眼、超广角、全景或其他大视场相机的画面变形严重,无法还原监控区域的真实情况,对全方向图像进行自动角点识别,进一步进行布局恢复。经过畸变矫正后的画面以现实中真实比例再现实时场景,符合人类观察习惯,使用户更高效地掌控场景里的工作状况以及人员情况。自动角点识别算法可以处理鱼眼、超广角、全景等全方向图像,已在国际增强现实/混合现实顶级会议ISMAR发表并宣讲。
由于多视频流虚实融合中视频中的动态物体并未三维化,这类技术不可避免存在偏离原视点会出现画面畸变的现象。研究视点变化与画面畸变之间的关系,设计了一种基于视频投影中的画面畸变的视点质量评价方法,提出了一种虚实融合场景中的自动路径规划方法,来尽量减少畸变现象。
针对目标表观不一致和相机间时空约束缺失问题,提出了一种利用行人重识别及相机拓扑的在线跨相机轨迹关联算法。在DukeMTMC和NLPR数据集上的实验结果表明,该方法大幅度减少了匹配次数,提高了轨迹关联效率,并显著提升了算法准确率。该工作在国际顶级会议ACM MM发表。
首页
核心技术
产品中心
行业应用
关于大视景
技术前沿
大视景数字孪生系统
智慧城市
公司介绍
产品能力
三维视频融合监控系统 MRC
监控升级
新闻资讯
实景指挥系统 ARC
监管场所
加入我们
BV数字孪生APP
工业危化
Web模块
场馆园区
BV数字孪生服务 DTS
智慧交通
三维全景采集器
二次开发