字孪生将物理世界的各种采样数据,在数字空间进行精确映射,重构出可与物理世界交互影响的数字空间模型,是当前国际上普遍关注的战略性关键技术之一,国际著名的咨询机构高德纳(Gartner)公司连续将数字孪生技术评为2017、2018、2019、2020年十大战略性技术趋势之一。数字孪生主要覆盖设计、制造、运行服务这三个阶段,实景数字孪生技术面向运行服务阶段,基于VR/AR技术,将实时视频流和数据流在三维空间中进行虚实融合绘制,提供实时、直观反映真实世界动态变化的交互式数字孪生场景。
视景科技致力于“物理世界与信息世界的交汇融合,智慧、协同、高效的数字化生存”,持续在XR、三维视觉、人工智能等技术领域进行探索、研发与应用迭代,技术团队拥有以“单幅照片建模”国际专利为核心的专利群,并与相关科研机构合作解决了国际上多项技术难点问题,在IEEE ISMAR/ACM VRST/中国科学等国际著名期刊/会议发表或在国家重大战略任务中进行应用。大视景科技将不定期整理部分可公开技术进行介绍,供业内同行参考,敬请关注"大视景科技"微信公众号的技术前沿动态。
部分核心技术
  • 专利技术:基于单幅照片的交互式建模方法
  • 专利技术:多视频流与三维场景的虚实融合方法
  • 鱼眼、超广角、全景图像的畸变校正
  • 多视频流虚实融合场景中的路径规划方法
  • 利用行人重识别及相机拓扑的在线跨相机轨迹关联算法

该技术的核心部分是一种快速建模视频背景的交互式方法,使用体元和场景树来描述图像中各元素之间的建模关系,首先针对单幅图像,在图像几何分析的预处理基础上,进行图像与场景模型的三维注册,然后提出了一种体元的定义,支持交互式的方式进行基本几何结构的恢复,实现单幅图像场景的视频模型生成。在此基础上,定义了一种基于单幅照片建模生成的视频模型,它描述了该照片对应的三维几何结构以及各部分区域的特效处理图层。

监控场景中存在大量相机视频区域重叠度不足的情况,因此现有基于多视图的建模方法不能适用。这里使用点线联合匹配优化的模型对齐方法,将新图像与现有视频模型的注册,进而链式地匹配和注册更多的图像场景结构。某街道建模效果如下图所示。

多视频流与三维场景的虚实融合需求的难点在于视频模型渲染效率和视频解码效率。

针对前者,我们采用视频建模和投影纹理映射(project texture mapping)结合的方法来实现高效视频融合渲染。方法流程如图所示,分为两个阶段:


(1)预处理阶段。提取视频的背景帧进行交互式建模,得到简单的视频模型,然后与三维场景模型进行注册;

(2)在线阶段。将视频的每一帧画面进行直接纹理投影,也就是视频投影,无需计算纹理坐标,实现视频的高效渲染。

基于视频模型的视频融合流程

针对后者,我们采用软硬件混合解码调度算法和基于相机视点的评价调度算法来实现高效的视频解码调度。

根据目标场景特点和监控需求,支持矫正室内场景中布置的大视场相机视频画面。传统的鱼眼、超广角、全景或其他大视场相机的画面变形严重,无法还原监控区域的真实情况,对全方向图像进行自动角点识别,进一步进行布局恢复。经过畸变矫正后的画面以现实中真实比例再现实时场景,符合人类观察习惯,使用户更高效地掌控场景里的工作状况以及人员情况。自动角点识别算法可以处理鱼眼、超广角、全景等全方向图像,已在国际增强现实/混合现实顶级会议ISMAR发表并宣讲。

鱼眼相机画面示意图
鱼眼校正后视频融合示意视频
球面全景的畸变画面
超广角畸变校正后的画面

由于多视频流虚实融合中视频中的动态物体并未三维化,这类技术不可避免存在偏离原视点会出现画面畸变的现象。研究视点变化与画面畸变之间的关系,设计了一种基于视频投影中的画面畸变的视点质量评价方法,提出了一种虚实融合场景中的自动路径规划方法,来尽量减少畸变现象。

针对目标表观不一致和相机间时空约束缺失问题,提出了一种利用行人重识别及相机拓扑的在线跨相机轨迹关联算法。在DukeMTMCNLPR数据集上的实验结果表明,该方法大幅度减少了匹配次数,提高了轨迹关联效率,并显著提升了算法准确率。该工作在国际顶级会议ACM MM发表。

相机拓扑大幅度提升了行人重识别效率
应用于某博物馆的行人检索系统
联系电话:
联系邮箱:
联系地址:
北京市海淀区知春路9号坤讯大厦十六层
扫码关注
了解更多