多视频流与三维场景的虚实融合需求的难点在于视频模型渲染效率和视频解码效率。

针对前者，我们采用视频建模和投影纹理映射(project texture mapping)结合的方法来实现高效视频融合渲染。方法流程如图所示，分为两个阶段：

（1）预处理阶段。提取视频的背景帧进行交互式建模，得到简单的视频模型，然后与三维场景模型进行注册；

（2）在线阶段。将视频的每一帧画面进行直接纹理投影，也就是视频投影，无需计算纹理坐标，实现视频的高效渲染。