本文是Techfans.net的增强现实系列文章的一篇,这个系列文章的列表请查看这里。本文将介绍增强现实技术在娱乐中的应用。
在国际图形年会SIGGRAPH上,有多个参展方展出了‘虚拟盒子’,盒子中实时的将真实的演员和虚拟的背景结合起来并且在3D中显示。演员们站在很大的蓝色屏幕前,由一个电脑控制的移动摄像头进行拍摄。由于摄像头的位置被记录下来了,并且演员的位置也是知道的,所以把演员自然的融入到3D虚拟背景中就成为可能。例如,演员要站在一个虚拟的圆环中的话,那这个虚拟圆环的前半部分就会遮住演员,而圆环的后半部分则被演员遮住。娱乐产业把这视为节约成本的一种方法:因为制造和储存虚拟的物体总是要比制造一个实实在在的家伙便宜的多。MIT Media Lab的ALIVE项目就旨在自动生成虚拟环境,环境中还要有虚拟的智能生物能对人们的动作做出反应。

本文是Techfans.net的增强现实系列文章的一篇,这个系列文章的列表请查看这里。本文将介绍增强现实技术在机器路径规划中的应用。
对机器人进行远程操作一直是一个难题,尤其是当机器人距离很遥远时,通信连接会有很大的延迟。在这个情况下,相比于直接远程控制机器人,控制本地的一个虚拟机器人就更有优势。用户通过操作本地的虚拟机器人,就可以实时的规划和制定机器人的行动。这些结果会被直接的在现实世界得到显示。只要规划经过测试并决定后,用户就告诉真实的机器人执行该规划。这就避免了冗长的延迟导致的导航不稳定。虚拟的机器人还可以模拟在假造的环境中的效果,从而为特定任务的规划提供帮助。ARGOS系统就证明了相比传统的单视场的接口,立体AR是进行机器路径规划的更好更精确的方法。还有其他的很多研究团队也在远程呈现系统中用到这个应用。图10展现了一个一个虚拟的线框如何描绘机器手臂的未来位置。

图10: 虚线显示了机器手臂规划的运动
本文是Techfans.net的增强现实系列文章的一篇,这个系列文章的列表请查看这里。本文将介绍增强现实技术在注释和形象化中的应用。
AR还可以用来给物体或者环境提供公共的或者私人的信息,从而给它们做注解。使用公共信息的应用都会有一个公共数据可可以利用。例如,用户携带一个便携式的显示器,就能在图书馆中轻松获得各种公共信息。在欧洲计算机产业研究中心(European Computer-Industry Research Centre ),用户只要指向引擎模型的任何一个部件,AR系统就能显示出这个部件的名称。图7显示了一个用户正在使用这个系统,他指向一个排气管,然后便签‘exhaust manifold’就会显示出来。
图7: 引擎模型可以自动显示用户所指向的部件的名称。
当然,这些注释也可以是因人而异的私人信息。哥伦比亚大学的研究人员们正在推广一个概念,他们要使用标准的用户接口对某个特定的地理位置、或者某个特定物体附加一个信息窗口,主要用于提醒和记忆。图8就显示了一个学生身上的悬浮信息。他身上戴了一个跟踪设备,用于让计算机识别他的位置。如果这个学生来回走动,红色的信息窗口就会跟着移动,为AR用户记住他要跟这个学生的谈话。

Figure 8: 显示在特定实物上的信息窗口。
AR同时还能协助将一些任务更加形象化。一个戴着视透HMD的建筑师可以看到一个还未建的摩天楼会怎么改变他的视图。如果数据库中包含的建筑结构的信息可以获得,AR还可以给出一个建筑内的‘X射线视图’,显示出管道、电线以及墙内的支撑结构。多伦多大学的研究人员就制造出了叫做Augmented Reality through Graphic Overlays on Stereovideo (ARGOS) 的系统,这套系统可用于在复杂的视图环境下,让图像变得更简单易懂。图9就显示了一个航天飞机停留站的轨道线框。通过这些线框来看这个停留站的几何结构自然会一清二楚。类似的,这些虚拟的线还可以在可见度很低的情况下(例如水下、雾中),帮助实现导航或者环境理解。
图9: 虚拟的线用于帮助显示停留站的几何结构。
本文是Techfans.net的增强现实系列文章的一篇,这个系列文章的列表请查看这里。本文将介绍增强现实技术在制造与维修中的应用。
AR的另外一类应用,是用于复杂机械的装配、维护和维修上。悬浮在真实器械表面的3D虚拟指令,可以告诉操作者每一步该做什么,怎么做,这当然要比带有文字和图片的操作手册更加直接明了。
目前已经有很多的项目已经成功的将AR在这一领域很好的应用了。在图4和图5中展示的就是哥伦比亚大学的Steve Feiner的团队就使用AR制造了一套激光打印机维修系统[Feiner93a]。图4是旁观者视图;而图5则是带上这套系统的用户所能看到的视图,图中电脑生成的线框是在告诉操作者把纸托盘取下。

图4: 哥伦比亚大学的打印机维修系统的旁观者视图

图5: 哥伦比亚大学激光打印机维护系统。图中所示为指引操作着取下纸托盘
而波音公司的一个研究团队则在使用AR技术帮助技术人员安装组成飞机电路系统的线束。把这些操作流程以数字的形式存储起来既节省空间有节省开支。目前在波音,技术人员们都是使用巨大的实体布局板来制作线束,这些巨大的布局板要用好几个大仓库来储存。如果新开发的这套系统能得到很好的应用,这些仓库就可以空出来用于别处了。波音正在运营一套技术再投资计划(Technology Reinvestment Program TRP),投资推动将这项技术投入到工厂中。图6展示的是Adam Janin使用一套AR原型系统来制作线束。AR技术在未来一定会被用到诸如汽车引擎等更加复杂的机器上。

图6: Adam Janin延时波音的线束制作系统
本文是Techfans.net的增强现实系列文章的一篇,这个系列文章的列表请查看这里。本文将介绍增强现实技术在医疗中的应用。
医生们如今可以使用AR技术作为外科手术的可视化和培训设备。使用磁共振成像(Magnetic Resonance Imaging)、计算机断层扫描(Computed Tomography scans)、超声波图像诊断(ultrasound imaging)等非侵入式传感器,我们已经可以实时的收集到一个病人的三维影像数据集。这些数据集可以实时得到渲染,并和病人实体进行结合。在效果上来看,这会让医生得到病人体内的‘体内X射线视图’。在最低创伤外科手术(小刀口或者不需要刀口的手术,从而减小创伤)中,这将变得尤其有用。因为在一般的最低创伤外科手术中,医生很难看到病人体内的状况,这使得手术变得尤其困难。AR技术却能在这时提供体内视图,而完全不需要刀口。
AR当然也可以在外科病房中的日常的可视化任务上发挥作用。外科医生可以使用裸眼,发现一些他们单独在MRI或者CT中无法看到的病人生理特征。AR可以让外科医生们同时得到这两种视图。这样的视图还能用于执行一些精准操作,例如,在外科头部手术中显示在头盖骨的哪里钻孔,或者对一个小肿瘤执行穿刺活检。从非侵入式传感器得到的信息,将和病人实体结合并显示出来,精准的告诉医生从哪里开始他的手术。
AR在培训中也可以很好的得到运用。虚拟说明可以直接告诉一个新手外科医生详细的操作步骤,而不需要把视线从病人身上移开,去查阅手册。虚拟物体可以用于帮助分辨器官,指定具体的位置从而避免误操作。
许多的项目正在对这个运用领域进行开发。在北卡大学UNC教堂山分校,一个研究团队使用超声波传感器扫描了一个孕妇的子宫,生成子宫中胎儿的3D影像,并在一个透视HMD中显示(图2)。他们的目标是让医生能看到躺在妈妈子宫里面的运动着的婴儿,也就是制造一个‘3D听诊器’。而最近的应用则是用于一个乳房肿瘤的穿刺活检。图3显示了这个穿刺活检的肿瘤的模型,图中的虚拟物体就是肿瘤的具体位置,从而指引针的走向。另外还有很多的研究团队也在努力将MRI和CT的影像数据和病人身体直接结合,包括麻省理工学院MIT AI LAB,通用电气General Electric以及其他。
图2: 在孕妇子宫里面的虚拟婴儿影像

图3: 胸部肿瘤的针刺活检模型,3D影像用于指引针的插入
本文是Techfans.net的增强实境系列文章的首篇,这个系列文章的列表请查看这里。本文将对增强现实下定义,探讨什么是增强实境/增强现实/Augemented reality。
增强现实,又被译为增强实境,英文叫做Augmented Reality (AR)。
所谓增强现实,是虚拟现实(Virtual Environments/Virtual Reality,以下简称VE)技术的升级技术。使用VE技术的用户,将完全沉浸于一个虚拟的合成世界中,这个时候,用户是无法看到他所处的现实世界的。而AR却可以让用户看到虚拟事物和信息与现实世界重叠的二维世界。也就是说,AR是使用信息技术对现实世界的一种补充和增强,而不是用虚拟化技术制造出一个完全虚拟的世界来取代现实世界。因此,在用户看来,虚拟和现实在同一个空间得到了结合,就像电影‘谁陷害了兔子罗杰’中的情形一样。图1是用来说明上述观点的一个很好的例子。图中有一个真实的桌子和一个真实的电话,同时还有两个虚拟的椅子和一个虚拟台灯。这些物品在三维空间中结合在一起,所以虚拟的台灯遮住了部分真实的桌子,而真实的桌子也部分遮住了两个虚拟的椅子。所以说,AR技术可以被认为是VE技术(完全虚拟)和远程呈现技术(completely real,完全现实)的中间态技术。

图1: 带有一个虚拟台灯和两个虚拟椅子的真实桌子。
一些研究人员从头戴显示技术(Head-Mounted Displays HMDs)的角度去定义AR,而我们认为这是不恰当的。为了防止AR技术被一些特定的技术所限制,这篇文章将从以下三个角度去定义AR:
- 结合现实与虚拟
- 实时交互
- 3-D
这样的定义可以让AR必要的组件得到保留,同时也允许了一些除了HMDs之外的其他的技术。举例子来看这个定义,它可以把电影和2-D overlays排除在外。像‘侏罗纪公园’这样的电影虽然把虚拟物品和真实环境在3D中混合在了一起,但是它并没有互动功能。实时视频中的二维虚拟覆盖(2-D virtual overlays)虽然可以实现互动,但是它却不是在3D中和现实世界相结合的。当然,这样的定义也允许基于显示器的接口,单眼系统,透视头戴式显示系统和其他的许多综合技术。
所谓增强实境(Augmented reality,下面简称AR),是一种结合虚拟化技术再来观察世界的方式。
直接来看,AR能为我们提供现实中无法直接获知的信息。但是,更深层次来讲,这种信息实际上又让每个人眼中的世界更加多样性。同样的大楼在我们的AR视线里,会披上完全不同的‘信息外套’,这或许又是一种‘长尾现象’。另外,海淀的百货大楼和朝阳的百货大楼,在地理上没有任何关联,可是却在AR中可以以信息的形式连接到一起。这些都是目前AR已经显现出来的一些特点。当然随着技术的发展,未来的AR可能会更加先进。
上段文字摘自这里。
从今日起,Techfans将用几个月的时间,对增强现实/增强实境/扩增实境(augmented reality)技术进行全方位报道,从原理到应用,以及AR技术的发展前景和瓶颈。
点击这里查看文章目录。
目录大致如下:
概述
什么是增强现实
应用
医疗
制造与维修
注释和形象化
机器路径规划
娱乐
军用飞行器
展望
增强现实的商机
增强现实的商机之PPT
更多……
敬请期待……
本文是Techfans.net的增强实境系列文章的一篇,这个系列文章的列表请查看这里。

位于加拿大蒙特利尔市的麦吉尔大学(McGill University)的研究人员们最近开发出一种很神奇的地板砖,这些地板砖可以模仿沙地、雪地、草地的环境(包括视觉、听觉、感觉等)。这些地砖可能被用于一些增强实境的应用,包括电话会议、远程培训、远程医疗等等。
这个地砖系统是由虚浮在一个平台上的一些可变形的盘子组成。在盘子和平台之间有很多的用于感应用户脚部力量的传感器。这些盘子可以震动,以模拟步入不同环境中的感觉。还有一个从上到下的投影与一个扬声器,用于给出视觉与听觉的反馈。
麦吉尔大学智能机器研究中心的研究员Yon Visell(同时是本论文的第一作者)说,‘这些地砖既可以用于人机互动,也可以用于沉浸式的虚拟实境中’。
这个地砖系统还能被用作一个巨型的由脚控制的触摸屏,例如,可以用作一种导航投射在建筑物大厅或者公共广场的巨型地图的方法。同时还能被用于游戏和娱乐之中,增加人机之间的互动性。
这篇论文在2010 IEEE Haptics Symposium会议上发表。
这个系列文章是Technology Review今年评出的最重要的十项创新技术。点击这里查看该系列所有文章。
查看原文。

三星B710手机看起来跟普通智能手机没有什么区别,可是当你把屏幕躺下朝天放置的时候,你会惊奇的发现:屏幕上的影像从2D变成了3D!这项能产生深度知觉的技术是Dynamic Digital Depth公司的CTO Julien Flack的作品。为了使这个软件能实时将2D内容转换成3D,Flack用了十多年的时间不断的来完善他的软件。这项技术解决了3D技术目前最大的一个问题:需要戴上特殊眼镜才能把两幅不同的图像分别送到两个眼球(裸眼3D)。
Flack的软件通过估计每个物体的深度,从而从已有的2D视频中生成3D影像;比如,一帧的顶部的天空会被判为是远景。然后它就会向各个方向发射出一些不同的光线,这些图像在观众的头脑中结合从而产生有远有近的深度感觉。
这项技术可以被用于今年一月上市的3D电视(需要携带眼镜),不过它的最大影响力肯定还是用于在便携式设备上产生自动的立体3D显示:通过向各个方向发出不同的图像直接进入观众的双眼。这个效果目前还只能在一个很窄的视角内实现,因此还不是很适合电视和电影。但是手机通常只有一个人看屏幕,并且很容易被放置在一个特定的角度上。这就是为什么便携式设备会在3D普及的过程中成为电视、电脑等的领路人。
由于Flack的软件,Dynamic Digital Depth已经成为移动3D领域的绝对老大。这个软件已经植入在2007年三星发布的B710手机中,而且最近Dynamic Digital Depth又授权三星在今年三月份发布的W960中使用这项技术。DisplaySearch研究公司预计到2018年,全球将有7100万个移动设备使用这项技术。
目前看来,Flack的技术最有趣的应用领域就是游戏。成千上万的游戏实际上都在2D层面上模拟3D效果,并在最终以2D方式呈献给用户。如果使用了Flack的技术,真正的3D立体效果可以很容易的在显示器上呈现。Dynamic Digital Depth最近已经发布了他们的PC软件,可以轻松的把所有现有游戏直接在电脑上实现真正的3D显示。类似的软件预计将在一到两年内在移动设备上运行。
这项技术在移动游戏和视频领域的应用将大大驱动3D显示器的普及。这又正好会反过来刺激新一代的显示接口和应用的产生,就如当初2D显示器在移动设备上的普及之后诞生的触摸技术和增强实境技术等。
点击这里查看视频:
Watch Flack discuss and demo his new 3-D software.
研究人员:
Julien Flack
(Dynamic Digital Depth) Mobile 3-D could spark new computing applications and interfacesOTHERS WORKING ON MOBILE 3-D
3M, St. Paul, MN
Nintendo, Kyoto, Japan
Nvidia, Santa Clara, CA
N4D, Atlanta, GA
只需要一部手机,MIT media lab的同学可以让电视节目跳出屏幕的限制,大家快来围观Surround Vision‘增强电视’系统!
增强实境对于我们来说已经不算陌生了。比如你在巴黎,你拿起一部手机(或者其他便携式设备),开启摄像头对准埃菲尔铁塔,你的手机屏幕不但会告诉你这是埃菲尔铁塔,还会附上很多关于此塔的其他信息。可以说,这是目前连接我们生活的原子世界和虚拟的信息世界的最 棒的技术。
不过MIT的研究人员们正努力尝试把这项技术带到我们的客厅中,他们开发了一套‘增强电视’系统,名字叫Surround Vision。
Santiago Alfaro是在研究科学家Michael Bove实验室的一名研究生。他使用了一年时间调研了增强实境技术,他发现其实这项技术可以被用到更好。我们日常生活中的电影、电视、视频游戏都是在二维的给人们传输信息,也就是除了图像以外,你还可以靠声音来判断屏幕中没有显示的地方在发生什么事情。Alfaro说:‘当你在看电视,有人在接受采访,突然旁边有直升机的声音,如果你想看看直升机,现在还不能实现。但是为什么不实现呢,只要你想换角度看别的,随时可以~!’
Surround Vision的运作还需要手持设备(当然需要内置数字罗盘等组件)。如果观众想看电视屏幕以外左边在发生什么,他只需要拿起手机,把摄像头对准那个方向,然后手机的屏幕上就可以显示他想要的了。举个例子,如果使用了这项技术,很多人在看一起看电视球赛的时候,除了电视作为主要屏幕外,各人还可以根据自己的需要看看别处在发生什么。
为了演示他的发明,Alfaro从MIT media lab门外放置了三个摄像机。电视
机直接显示的是中间的摄像机的内容。如果你将手机的摄像头直接也对准电视机,你就可以在手机屏幕上看到和电视机中一样的画面。如果把手机对准电视左边,就会显示左边摄像机的画面。这样,观众就可以有选择自己所要看的画面了。
那么如果这个系统商用了,该怎么实施呢?Alfaro说,电视运营商们(电视台)依然按照老样子来拍摄节目,当然,这时候需要的是三个同时向外广播的摄像头。中间的摄像头依然通过电视网传输节目,直接显示在电视上。而另外侧面的两台采集的视频信号,则是通过互联网进行广播,并在有需求的观众的手机上进行显示。而用户不需要购买任何的额外设备,只需要一台电视机以及一台可以接入互联网的手机即可(Wi-Fi或者3G)。
无论如何,这确实是个不错的创新。国内的研究生同胞们估计没有这个想法,也很少有人有机会去实施。不得不佩服MIT的同学,实在太厉害了!
最近评论