视频增强现实产品与视频矩阵拼接等产品开发,增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。增强现实技术,它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术,不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。
虚拟现实技术是仿真技术的一个重要方向是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合是一门富有挑战性的交叉技术前沿学科和研究领域。虚拟现实技术(VR)丰要包括模拟环境、感知、自然技能和传感设各等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外,还有听觉、触觉、力觉、运动等感知,甚至还包括嗅觉和味觉等,也称为多感知。自然技能是指人的头部转动,眼睛、手势、或其他人体行为动作,由计算机来处理与参与者的动作相适应的数据,并对用户的输入作出实时响应,并分别反馈到用户的五官。传感设备是指三维交互设备。
北京太速科技有限公司成立于2010年,总部位于北京亚运村,一直面向军工、工业领域,致力于智能图像产品开发。主要包括智能图像DSP计算平台、光纤图像传输平台、工业智能图像一体机、军工工业编解码器,机器人视觉伺服模块;产品以TI DSP为主,结合xilinx高性能FPGA,Intel X86 CPU,构造VPX、CPCIe、PCIe服务器系统,相机一体机,模块产品。产品均以工业级芯片设计,满足高低温、抗震、盐雾等要求,深受军工研究所、大中型上市公司的欢迎。
公司在2010年为航天5院开发视频增强产品,对太空舱的六路视频相机进行采集存储 、视频叠加,字符操作指令叠加,视频移动缩放等。产品基于高性能的FPGA和DSP处理器,实现视频增强应用。
多年的图像处理技术研究,特别是视频硬件平台的开发,在国内处于领先的水平,随着AR/VR产业的发展,公司把AR/VR方向作为战略主打方向,目前和xilinx公司、altera等FPGA公司研究高端方案。
对AR/VR想要快速地从行业应用走向大众应用,主要取决于产品体验,体验效果好则很容易走向大众;而这种良好的体验效果,则依赖于IC如CPU、GPU、音视频处理、传感器、显示驱动IC等的全力“配合”。
AR/VR的识别/定位/运算/传输等需要GPU/CPU/传感器等IC器件的支撑,在芯片需求上,AR/VR与手机有所不同。“通信功能是手机芯片最为核心的模块。而AR芯片要满足的功能排序是CV/AI算法>显示>通信(CV为Computer Vision, AI为Artificial Intelligence)。AR更关心对输入信息的认知与理解,需要处理目标识别、定位、跟踪和建模等人工智能和计算机视觉问题,计算量大,对CPU和GPU有较高要求;有些应用可能还需要增加DSP、FPGA和定制芯片来满足大运算量。
在半导体IP技术方面,“为实现移动AR/VR对低功耗的需求,ARM的CPU与Mali GPU力推低功耗。同时,ARM推出一系列兼顾计算图形能力与低功耗的处理器IP,如Cortex-A72、Mali T760、Mali T880。”ARM业务产品线事业部负责人章立表示。据悉,今年1月ARM还推出4K移动显示处理器,可支持全高清(1920x1080像素)以及更高的分辨率,同时保持图像质量和更长的电池寿命。
Imagination则推出视觉IP平台,集GPU、Power VR视觉平台、图像编解码于一身,可为摄像头应用节省功耗,还可为面部和手势识别、增强实境技术等情景感知应用奠定基础。
在SoC集成方案商环节,也有相应的AR/VR解决方案。据高通介绍,骁龙820能应用到AR/VR领域,可调度组合系统级芯片上不同的功能性内核,例如CPU、GPU和数字信号处理器内核,使用同一内核处理不同任务,可实现良好的性能。
英特尔的Edison开发板也能够应用在AR/VR方面。英特尔介绍,这是一款已经开发完成的、具备无线功能的通用计算平台,拥有1G RAM、4G内存以及Wi-Fi和蓝牙功能。
MARVELL(美满)针对VR产业的策略是,“基于Mochi的Virtual SoC建立优化的开发者平台,加速开发进度。同时,开发一系列的北桥(计算)和南桥(连接)Mochi, 组合出适合不同新兴应用的虚拟SoC,借助端到端的平台让开发者快速实现创意。” Marvell Seeds产品市场总监Lance Zheng告诉《智慧产品圈》记者。
除国外芯片企业在抓紧布局之外,国内芯片企业也在发力。联发科主推的HelioX20集成了ARMMali-T880MP4图形处理单元,频率达到700MHz。不过,该GPU只能满足对2K分辨率屏幕的支持。