增强现实(AR)的应用案例
在这一章中,我们将探索AR这一新兴技术目前在不同领域的运用情况,并预测有可能成为未来主流的最佳实践。我们选取了一定数量的AR创新案例,归纳成四种功能类别;每一种都会在个人或公司使用AR应用时为其带来显著益处。
情境敏感式信息——在恰当的事件地点出现的信息
第一类是情境敏感式信息,涵盖能够根据特定情境轻松获取互联网已有静态数据的各种应用。
Wikitude和Metaio公司的Junaio(魔眼)是AR浏览器两个最有名的例子,它们提供的情境敏感式信息软件能够识别场所或物体,并将数字信息与现实世界的场景连接起来。智能手机都可以运行这一软件,用户可以通过手机摄像头的视角看到周围的数字信息。
这些数字信息可以是附近感兴趣的地方,比如博物馆、商店、餐馆或者前往下一个公交站的步行路线。该软件通过GPS、WiFi和3D建模实现图像识别和用户定位功能。
语言翻译是AR应用中最具发展前景的领域之一。现有的一款应用Word Lens兼容于几乎所有智能手机,能够将文本同步翻译成另一种语言。打开应用后,用户只要将设备对准外国文字即可。设备就会将此信息翻译成用户母语并显示出来。而且翻译后的文本是同样的字体,印在同一面墙上——就跟原始文本一样。
面部检测和AR的结合则是在现实生活特定情境中轻松获取互联网信息的另一个例子。Infinity是一款AR应用,它可以分析一张面孔,将其与社交网络(如Facebook)上的头像进行比对匹配,匹配目标在社交网络中发布的信息就会显示在用户视野中。
这项功能在消费应用领域非常实用的技术也会受到执法部门的欢迎(如扫描人群,寻找通缉犯)。但不难理解,这款应用已经引发了许多人对隐私的担忧。
大众公司开发的MARTA系统是汽车领域中在恰当地点提供恰当信息的极具可行性的最佳实践解决方案。
该系统在汽车运转失常时派上用场,帮助用户进行汽车维修及维护。它能通过物体识别技术识别出汽车零部件,实时详细地将所有必需的维修、维护步骤描述并图示出来,并配有需要用到哪些设备的信息。这款应用可以在多种移动设备上运行。目前,该系统为大众服务独家使用,不过可以想象,未来消费者都会用上类似的系统,不太了解汽车机械的人都能修好自己的汽车。
增强感知——成为人类2.0
即便是今天,AR应用所能提供的也远不止是随时检索互联网信息这么简单。下面讲述的几个AR用例通过主要由设备传感器收集的数据生成新的信息,实现增强现实。这一系列设备能够增强我们的感知,延伸人类能力,超越目前我们所能取得的成就。
已经问世的Recon Jet是一套用于休闲活动的AR系统。该设备便于运动的平视显示器(HUD)可以与蓝牙、WiFi等第三方传感器连接,提供导航和天气信息,访问社交网络,显示实时的状态信息。例如,跑步者可以看到自己的速度,到终点线的距离,目前的海拔提升高度以及心率。目前已有上述功能的Recon Jet计划未来针对在危险环境中工作或从事体力劳动人群开发可穿戴AR设备,监测他们的生命体征和周围环境。
再举一个平视显示器的例子,某些型号的宝马汽车能够在挡风玻璃上投影行驶速度等传感信息。这种增强感知功能自从2004年以来被汽车公司所采用,宝马正在不断增加新功能,持续改进其HUD系统。
宝马目前的ConnectedDrive HUD系统的增强方式是在外部环境真实物体上叠加虚拟标记。这样导航信息或者驾驶助手系统的信息可以显示在司机前方道路视野的精确位置上。导航指示可以层叠在道路上,其它汽车或安全相关的物体可以根据情况高亮显示或标记出来。宝马夜视系统提供的可视化信息正是HUD应用的绝佳例证。
屡获殊荣的iOnRoad应用是一个类似于宝马HUD的增强驾驶助手系统,只不过面向平民大众市场,也没那么先进。该应用仅使用智能手机相机和一些视觉算法,提供了诸如碰撞预警、出口监测、道路出界预警以及事故后能派上用场的黑匣子录像功能。
Liver Explorer是AR应用在另一个截然不同的领域中的例证。外科医生可以通过Fraunhofer MEVIS公司开发的Liver Explorer应用增强感知。该应用能够为执业医生提供实时的AR向导和辅助。设备通过摄像头捕捉肝脏影像,利用AR技术将手术计划的数据叠加到器官上。
另外,该软件还能实时响应(如根据系统持续追踪的血管运动状态及时更新手术计划)。这些功能超越了MARTA系统对于情境敏感式信息的定义。如果该应用能得到积极评价的话,未来很可能会改造推广到更多的手术领域中。
在危险情况下,随时掌握关键信息尤为重要。正因为如此,军方成为了AR应用最大的投资者之一。Q-Warrior Helmet是一款军事应用。该AR项目希望能为士兵们提供“保持警惕,视野开阔,手搭扳机”的场景意识,以及敌我识别、夜视影像和远程协调小分队的增强功能。该头盔会将每个佩戴者的具体位置信息提供给其他人,军事组织可以通过它在战斗或侦查行动中集结、行军、分享信息与位置。不难想象,未来类似的系统会出现在其他工作环境危险的职业中(如消防员、执法人员)。
混合现实模拟——在现实中探索虚拟
上述案例以提供静态数字信息的方式为我们展示了增强现实的应用,然而接下来这一类的AR实践相比之下更进了一步。通过这些所谓的混合现实模拟,用户可以在现实环境中动态地更换或调整虚拟物体。
最新的宜家应用Ikea Catalog就是其中最为突出的一个例子。借助于这个由Metaio公司开发的AR应用,消费者可以使用移动设备把所选的数字版宜家家具“放置”在自己家客厅里,从而更方便地测试家具的尺寸、风格、颜色摆在某个位置是否合适。该应用还允许用户调整每一个部件的尺寸和颜色。
优衣库的试衣魔镜(Magic Mirror)提供了一种更加个人化的AR试衣体验。2012年旧金山的一家优衣库门店安装了这台大型增强试衣镜,它能够识别顾客的身材和所选衣物,因此免去了再试其它颜色的必要。顾客只需换上某件衣物站到镜子前;根据触摸屏的提示选择其它颜色,镜子中就会投射出顾客身着另一种颜色的影像。
佳能推出的MRERL系统能够实现3D电脑渲染模型在现实环境中与现实世界物体无缝融合的设计过程。举例来说,汽车领域可以借助于这套系统设计出新汽车的模型。MREAL系统支持多用户协同工作,同步进行完整规模的产品设计。
这套系统可以用来分析新规划设计中现实部件如何组合的问题。其实现方式是,渲染出包括现有部件和新设计概念的3D模型,再将两者组合起来。
例如,可以将现有的汽车座椅整合到新车虚拟设计的投影中。MREAL系统提供的是混合现实,因此用户可以真的坐到(真实的)座椅上,看到汽车外面的真实环境以及汽车内部的数字虚拟模型——包括全新设计的仪表盘和方向盘。
另一个已投入使用的工业级AR应用来自空中客车公司(Airbus)。为了能够完全依靠数字工具完成新飞机的生产流程,空中客车公司于2009年联合打造了MiRA(混合现实应用)。该应用利用AR扫描部件、检测错误,从而提高了生产线的效率。
以A380客机为例,由平板PC、特制传感套件和软件组成的MiRA应用现在已将组装机身中成千上万个支架的时间由300小时降低至惊人的60小时。更为震撼的是,之后发现,损坏、安装错位或者遗失支架的数量却降低了40%。
我们可以展望一下若干年后AR应用的样子。日本的一位黑客利用现有的3D模型和廉价的动作传感器实现了与日本超人气虚拟歌手初音未来的AR“约会”。在演示视频中,初音陪着他漫步公园,初音能够识别现实世界的物体并做出反应(比如坐在真实的长椅上)。该软件甚至还能与这位虚拟歌手互动(比如摸摸她的头或领带)。尽管这个应用有着明显的煽动性,但它绝非只是噱头。由此我们可以想到,不久之后人们或许会有虚拟伴侣的陪伴,在需要时提供帮助(比如,辅助搞定医疗或工程问题,或者以人形界面的形式处理个人日历、备忘录、通讯录等日常数字事务)。
虚拟界面——在虚拟中控制现实
接入互联网“智能”玩意儿越来越多,获取数字信息的方式越来越多,于是打算利用AR设备及数据来工作的人也越来越多。因此,我们讨论的第四类——虚拟界面,关注的是提供以数字形式控制现实世界物体的新方式的AR技术。本质上说,这类技术让调整、控制真实物体的混合现实成为可能。
手势是一种随时与数字世界进行交互的高级方式。上文所说的麻省理工学院开发的SixthSense正是这么一种手势界面系统。尽管该系统目前采用的是空间AR技术,它也可以应用于其它各种技术中。借助于该系统,用户可以使用自然手势与信息进行交互。为了捕捉用户的输出意图,该系统的相机采用计算机视觉技术对用户手势进行识别和追踪。
基于AR的界面不局限于计算机设备。还能用来控制汽车,娱乐设备,以及加热系统这样的家居配套设施。仍在开发之中的家庭自动化系统Revolv正是这样的例子。结合Google Glass后,用户可以通过该系统控制家中的所有数字设备(如照明系统和门锁系统)。于是就形成了可以用语音或指尖控制的增强“智能”家居环境。
中国电商1号店的例子告诉我们,虚拟界面也不局限于家中。该公司曾宣布,将成立全球第一个AR连锁超市。
每一家超市将会有一块约1.2平方米的货架,设置在“空白”的公共区域(比如火车车站或地铁车站,公园或大学校园)。裸眼看去只是空荡荡的货架和墙壁,通过AR设备看到的则是完整的一个超市,货架上堆满了数字形式的真实商品。用户只需通过移动设备扫描商品,添加到网络购物车中,即可完成购买。AR购物完成后,用户会在家中收到配送的商品。这个概念类似于韩国地铁站里基于二维码的乐天超市,但得到了AR技术的增强。
应用详解:物流中的AR
上面我们将各种各样的最佳实践分为四类,接下来我们将以物流产业为例,具体说明一下AR技术奖发挥怎样的影响。
虽然AR在物流业中的采用仍处于相对早期阶段,但AR也能提供巨大的益处,例如AR可以让物流供应商随时随地快速获预期信息。这对于配送及优化配载等任务的精确规划和细致运作来说至关重要,同时也能为提供更高质量的客户服务打下坚实基础。
报告将其它行业里我们所认为的最佳实践移植到物流中,由此为AR在物流业中的应用设想了一些用例。在这里拿出来阐述的用意更多的是借此展开讨论、眺望未来,而不是对未来AR在物流业中的发展做出精确预测。
这些用例分为以下四类:
• 仓库运作
• 运输优化
• 最后一公里配送
• 强化增值服务
仓库运作
仓库运作是AR在物流中最具应用前景的领域。这些运作大约占到物流总成本的20%,而拣货任务占到仓库运作总成本的55%到65%。AR可以由改进拣货流程入手,大幅降低运作成本。AR还有助于培训仓库新员工及临时员工,并为仓库规划提供参考。
视觉拣货(Pick-by-vison):优化拣货流程
在物流中,最切实际的AR解决方案要数能够优化拣货流程的系统。发达国家里,绝大部分仓库仍采用纸质拣货(pick-by-paper)的做法。但任何基于纸质的做法都是低效、易错的。另外,拣货工作往往由临时工完成,这些人通常需要耗费成本进行培训,以确保他们能够高效拣货,不犯错误。
Knapp、SAP和Ubimax共同研发的视觉拣货系统目前处于最后的现场测试阶段,该系统包括头戴式显示器(HMD)之类的移动AR装置,相机,可穿戴PC,以及续航至少为一班次时长的电池模块。其视觉拣货软件功能包括实时物体识别,条形码读取,室内导航,以及与仓库管理系统(Warehouse Management System,简称WMS)的无缝信息整合。视觉拣货带来的最大好处是,仓库工在人工拣货时无需腾出手来即可获得直观的数字信息支持。
借助于这样的一套系统,每位仓库工都能在视野中看到数字拣货清单,还能受益于室内导航功能,看到最佳路径,通过有效路径规划减少移动耗时。该系统的图像识别软件能自动读取条形码以确认仓库工是否到达正确位置,并指引他在货架上快速定位待拣物品。
接着,仓库工可以扫描该物品,将此流程同步登记到仓库管理系统中,实现实时的库存更新。另外,诸如此类的系统能够降低新员工的培训耗时,还能为文化水平有限的仓库工解决可能遇到的语言障碍问题。
这些AR系统的现场测试已经证明,它们为仓库运作的效率提升做出了巨大贡献。举例而言,持续的拣货验证功能可以减少40%的错误。尽管如今的拣货错误率非常低,即使用的还是纸质拣货方法——专家估计错误率约为0.35%——但每一个错误都必须避免,因为每一个错误都会带来高昂的连锁代价。
• 拣货人员佩戴专为拣货流程开发的可穿戴AR设备
• 该解决方案提供数字导航,有助于更加高效地找到正确路径和正确物品,同时降低培训时间
• 主要目的:减少拣货错误,降低查找时间
仓库规划
AR很可能还会对仓库规划流程产生积极作用。如今的仓库不再只是存放和集散的节点;它们逐渐地肩负起越来越多的增值服务,从产品的组装到贴标签、重新打包,乃至产品维修。
这意味着仓库必须重新设计以适应上述这些新服务的需求。可以用AR从全局角度直观地看到任何重新规划的效果,实现在现有的真实仓库环境中放置将来准备改动的可交互数字模型。管理者可以检查所规划的改动尺寸是否合适,并为新的工作流程建立模型。受益于此,未来的仓库实地可以用作仓库运作规划的试验场所。
• 实现仓库运作流程的混合现实模拟
• 改动可以叠加在真实环境中,从而做到“现场测试”,并因地适宜,调整所规划的尺寸。
• 主要目的:支持仓库的重新设计与规划,并降低成本
运输优化
过去十年中,物流供应商对高新信息技术的运用极大地提高了货物运输的时效性、可靠性和安全性。在完整性检查、国际贸易、司机导航和货物配载等领域,AR有着进一步优化货物运输的潜力。
完整性检查
AR可以实现更加高效的分拣。佩戴AR设备的拣货员快速扫视一下配载,就能知道是否完整。目前,这项工作需要人工统计,或是用手持设备花大量时间逐个扫描条形码。未来,可穿戴AR设备利用扫描仪和3D景深传感器的组合,就能确定货盘或包裹的数量(通过扫描每个包裹上的特殊标识),或者确定包裹的体积(通过测量设备)。测量值与预定义值相比较,结果呈现在拣货员眼前——最好两者一致。此类AR系统还可以扫描物品,检测是否有损坏或错误。
•AR设备能够登记一批货物是否完整、可供分拣。
• 通过标识或先进的物体识别技术,捕捉货盘和包裹的数量、体积。
• 识别到无损包裹数量正确后,AR自动确认、交付分拣。
• 主要目的:节省时间,完整性检查,损坏检测
国际贸易
随着全球越来越多的地区经济开始腾飞,往来于新兴市场的运输量正在显著增长。这是物流供应商的巨大商机,但同时也增加了物流的复杂程度,原因在于世界各地的贸易条例及要求之间存在着巨大差异。
AR也许能在这方面为全球贸易服务供应商们提供价值。在发货前,AR系统可以帮助检查货物是否符合相关的进出口条例,或者帮助检查贸易文件填写是否正确、完整。AR设备可以扫描文件或货物搜寻关键词,自动给出修改建议或自动纠正商品编码分类。
在发货后,AR技术可以实时翻译贸易术语等贸易文件文本,从而大幅减少耽误在港口和储存上的时间。
• 为全球的贸易服务供应商提供AR支持
• AR设备可以检查(打印版)贸易文件并识别商品编码分类。
• 实时翻译包裹标签或外国贸易术语
• 主要目的:加快贸易文件和国际货物的处理速度
动态交通支持
很多严重依赖于实物商品畅通流转的经济流程往往受制于交通拥堵。据估计,交通拥堵每年让欧洲损失了约1%的国内生产总值(GDP),而且随着拥堵的愈发严重,人们愈发需要能提高正点率的解决方案。
未来我们将看到,提供实时交通数据从而优化路线(或在货物运输过程中重新规划路线)的动态交通支持会越来越普遍地应用于物流业中。AR驾驶助手应用(无论是显示在眼镜上还是挡风玻璃上)能够实时地在司机视野中呈现信息。实际上,AR系统将会成为目前导航系统的继承者,其关键优势在于司机的视线不用离开道路。AR系统还能为司机显示车辆和货物的关键信息(如货物温度)。
• 在运输车辆中使用AR设备(眼镜或挡风玻璃投影)代替传统导航系统
• 分析实时交通数据,在司机视野中显示相关信息(如拥堵情况以及代替路线)
• 叠加显示周围、车辆及货箱的关键信息(如冷箱的温度)
• 主要目的:行驶过程中优化路线,改善驾驶安全,把让司机分心的因素降至最低
货运配载
如今,空运、水运及陆运这些货运方式高度依赖于数字数据和规划软件,以达到优化配载规划和提高车辆利用率的目的。每件货物的内容,重量,大小,目的地及后续处理都属于系统的考虑因素。即便系统或许还存在进一步改进的空间,货运配载的瓶颈往往是配载流程本身。
AR设备可助其一臂之力,它能够取代打印版的货物清单和配载说明。比如说在中转站里,配载员可以在AR设备上实时得知接下来该取哪个包裹,这个包裹应该放在车上的哪个位置。AR设备能够以箭头或在货车内部高亮显示适当目标区域的方式,为配载员提供配载指引。这一信息要么由规划软件事先生成,要么依赖于特定物体识别技术的实时计算。后一种方法可以用风靡全球的电脑游戏《俄罗斯方块》来解释,在这个游戏中,玩家必须根据下一个随机物体的形状,将它放置在恰当位置,从而尽可能填充空间、避免间隙。与目前纸质清单不同的是,基于AR的货物清单还能支持各种实时操作——这在配载过程中时有发生。
• 使用AR设备优化货运配载
• 配载员直接从AR设备显示屏商直接接收规划及指示(接下来拿哪件包裹、将它放在哪里)
• 让打印版的配载清单变得无关紧要
• 主要目的:加快货运配载流程
最后一公里配送
最后一公里是AR技术的另一个重要应用领域。人们对电子商务不断增长的依赖使得最后一公里配送服务呈爆炸式增长,这是供应链的最后一个环节,往往也是成本最高的一个环节。因此,在优化最后一公里配送以降低成本、提高利润这一领域中,AR设备的应用前景一片光明。
包裹配载及送达
据估计,司机离开配送中心后有40%到60%的时间不在开车。这段时间,他们都在货箱里寻找接下来要配送的包裹。目前的物流行业中,司机想要找到包裹,只能靠自己对配载过程的深刻记忆。
未来在配送中心,每个司机通过AR设备看一下包裹,就会接收到该包裹的关键信息。该信息可包括运输商品的种类,每个包裹的重量、配送地址,是否易碎,是否需要正确摆放以避免损坏。接着,AR设备会实时计算每个包裹的空间需求,扫描车辆货箱寻找合适的空位,然后提示司机应该将包裹摆放在哪个位置,并记入规划路线中。
在高效智能的包裹配载以及AR设备为司机高亮显示正确包裹的帮助下,查找流程将会方便快捷得多,极大地节省了每一次配送的时间。
另外,AR还有助于减少包装损坏事件。目前包裹损坏的一个关键原因是,司机需要腾出手来关车门,只能将包裹放在地上或夹在胳膊里。有了AR设备,无需用手就能关上车门——司机可以通过语音或者眼球/头部的动作发送命令。
• 员工借助于可穿戴AR设备完成包裹处理、配载及配送的流程
• 透过AR设备看,所有包裹上都叠加了关键信息(如内容,重量,目的地)及处理指示,而且包裹经过智能配载,装在车厢里。
• 主要目的:改进处理流程,避免不当处理,确保配载优化
最后一米导航
司机关上车门,手里拿着正确包裹,往往接下来会面临如何找到对应建筑的难题。第一次配送到某个地址时尤其如此,因为会存在许多的复杂因素,比如门牌号或街道名牌被遮挡或遗失,入口隐藏在后院里,或者像很多发展中国家那样,街道和建筑没有根据规则命名。
在这样的情况下,AR可以起到极大的帮助;司机将AR设备指向某个建筑或建筑群,它会显示出谷歌(微博)街景之类的信息,或源自其它数据库的相关详情。如果在公共数据库中找不到可用信息,还可以使用AR设备根据入口位置或其它当地特征来放置标记,从而逐渐建立起一个独立的数据库。下一次再配送到这个地址时,AR设备会访问之前收集的数据;同时渲染相应的虚拟信息图层。
有些时候,最后一米配送需要用到室内导航。尽管GPS导航在户外非常好用,但建筑物往往会对GPS信号造成严重干扰。学习型AR设备在建筑物内部多个点位放置LLA(经度、纬度、海拔)标记是一种可行的解决方案。
• AR设备识别建筑物及入口,并提供室内导航,从而实现更快送达
• 学习型AR系统能够添加用户生成内容(UGC),尤其是在公共数据库不可用时
• 主要目的:高效的室内导航,减少寻找地址和送达包裹的时间,尤其是在首次配送至某地址时
经AR验证安全的包裹交付
让员工佩戴AR设备还能够改善安全性,提高客户接触的质量。在面部识别技术的帮助下,签收包裹的人无需出示任何身份证件即可被精确识别。AR设备会拍照并自动与社保数据库进行比对。考虑到数据隐私问题,需要在得到签收人许可的前提下才能使用这种AR面部确认技术。普通的日常配送或许用不上这种服务,但在包裹价值不菲的时候,用户就会感受到更高安全级别的好处,因为它与易于伪造的身份证或收件人签名相比要可靠得多。
• AR利用面部识别技术对包裹签收人进行精确识别
• 取代身份证或签名,完成可视化的批准/拒绝签收
• 主要目的:提高挂号信的安全性,加快配送流程
• 服务需要事前得到批准并完成注册
强化增值服务
除了帮助物流供应商改进流程以外,AR还能使其开展新的客户服务(如组装、维修),并为其提供新型的客户支持工具。
组装与维修
越来越多的物流供应商开始为客户提供组装、维修这样的增值服务。举例而言,物流方不仅从奥迪的零件供应商收取材料,还将这些零件组装成汽车门内板,然后配送至位于德国的奥迪生产车间。
目前,这样的任务需要技术工人来完成,而且每一种任务都需要进行单独培训。不过,将来的AR可以培训并帮助仓库员工组装各种产品,并确保组装服务的高标准,进而为客户降低成本。
AR系统能够监视每个工作步骤(借助于增强图像识别技术)并检测组装流程中的错误,从而保证质量控制。对于维修人员而言,AR系统可以提供一种直观的视觉方式,帮助他们识别并修复问题——考虑到终端消费技术和终端消费电子产品数量的不断增长,这一点显得尤为重要。此类交互式维修指南的投入使用可以显著降低培训成本以及技术员工的平均修复时间。
• 组装与维修团队配备有支持特定任务的无需用手的AR设备(眼镜)及软件
• 其软件为组装或维修工作提供了可视化的逐步工作指导,同时解放每位工人的双手,以便他们按照指导执行步骤
• 主要目的:质量控制,显著降低培训成本
客户服务
不久的将来,加入AR功能的包裹服务应用可以让客户使用支持AR的设备扫描待寄物品,测量体积,估算重量,从而确定选用物流供应商尺寸最合适、价格最低廉的包裹盒。另外,该应用还能显示不同的寄件方式和保价选项。
尽管类似这样的复杂应用尚未出现,不过目前有一个可用的简易版。DHL Paketassistent注释11应用让用户打印一张纸,上面有一个类似于二维码的图标。相机扫描该图标后,DHL可选包裹盒的全息模型就会投影在用户面前,以便用户比对物品、选择合适尺寸的包裹盒。
• 针对终端消费设备(如智能手机、平板电脑)的AR应用可以带来便利的寄件体验
• 主要目的:扫描待寄物品,将包裹盒的虚拟呈现与扫描图像相层叠,帮助客户选择合适的寄件方式并下单;提升包裹处理环节
总而言之,AR在物流业中有着远大的前程。从仓库里的视觉拣货,到帮助客户进行售后服务,显然AR能够在物流价值链的几乎所有环节中发挥作用。尽管上述用例目前只有少数得到了开发,但物流业中的AR应用正在出现鼓舞人心的“星星之火”迹象。这一趋势将会持续增长,我们希望更多的物流供应商能够加入进来,共同推动AR革命。(