"我们采用USB摄像头、PXI硬件、LabVIEW和NI视觉助手开发了一个手势识别系统。"- Yang Hao, Tsinghua University

The Challenge:

开发一个互动360度立体三维影像系统，可呈现视觉模型与真实物体，观看者无需使用眼镜，价格也十分合理。

The Solution:

开发拥有如下3个组成部分的三维显示系统： 收集、处理以及三维显示。

Figure 1. 三维显示系统

3D电影增强了深度知觉的光学幻象，但必须使用眼镜才能观看，而且电影院内的观看角度有限。

立体显示系统或3D电视机大多价格昂贵，没有交互功能。 这也意味着，创造一个无需使用眼镜、价格适中且能呈现视觉模型与真实物体三维图像的互动360度立体显示系统，是一项巨大的挑战。

我们的系统包括三种类型的采集功能，包括建立视觉模型、NI 1764智能相机和转台非实时采集真实物体、以及4个USB摄像头捕捉真实物体的实时图像。

虚拟模型

为了获取虚拟模型，我们采用了NI LabVIEW软件来读取虚拟三维模型文件并设定参数值 ，如图2.2所示，我们将不同的方向采集到的4张模型图组合在一起，形成一张图片。 又如图2.1和图2.3所示，新创建的图像被投射到一个倒置的金字塔光学结构上。

Figure 2. 成像原理

Figure 3. 虚拟模型显示

Figure 4. 虚拟模型三维显示项目

手势识别

我们采用USB摄像头、PXI硬件、LabVIEW和NI视觉助手开发了一个手势识别系统。 系统捕捉一只手的图像序列，以此判断它的移动，我们可以采用此信息来控制三维显示。 举例来说，如图6所示，单手滑动可以控制图标的旋转，两只手则可以控制图标的缩放。

Figure 5. 手势识别

Figure 6. 采用视觉助手查找图片中的对象

Figure 7. 手势识别项目

非实时采集

非实时采集系统依靠于一个NI 1764智能相机和一个PXI控制的转台。 将物体放在转台上，并在其旋转时拍摄图像，我们可以获取各个方向的物体信息，然后选出我们想要用来显示三维图像的四张图片。

Figure 8. 非实时采集系统的硬件

Figure 9. 图像采集

Figure 10. 真实物体三维显示

Figure 11. 非实时采集系统项目

实时采集

我们在物体周围放置着4个USB摄像头，使用PXI和NI图像采集软件采集四个不同方向的实时图像。 然后我们就对这些图像进行处理，以光学结构显示三维图像。

Figure 12. 实时采集系统界面

Figure 13. 实时采集系统硬件

Figure 14. 实时采集系统硬件