协会首页|展厅首页|高等院校发明成果展区|创新工匠成果展区|青少年发明创新|综合展区
项目名称 技术分类 单位信息 第一发明人 专利情况 项目简介 发明创新点 产业化及市场应用

项目名称:基于国产虚拟现实引擎的VR教学内容开发一致性研究

  • 上海曼恒数字技术股份有限公司
  • 上海市松江区顺庆路500号B栋11楼
  • 201615
  • 王昱
  • 18602111994
  • www.gdi.com.cn

第一发明人

姓名 周清会 电话 电子邮件 yulishi@gdi.com.cn
区号 邮编 通信地址 上海市松江区顺庆路500号B栋11楼

专利情况

专利类型 专利状态
申请号 授权日期 授权专利号
ZL202110550053.0 2022-07-15 ZL202110550053.0
ZL 2021 1 0566156.6 2022-09-07 ZL 2021 1 0566156.6
ZL 2020 1 0036315.7 2021-05-02 ZL 2020 1 0036315.7
ZL 2018 1 1109736.7 2022-01-18 ZL 2018 1 1109736.7
ZL 2018 1 1580567.5 2021-09-10 ZL 2018 1 1580567.5
ZL201830707053.6 2019-08-13 ZL201830707053.6
ZL201730082091.2 2017-08-22 ZL201730082091.2
参展目的

项目简介

一、所属科学领域 项目属于虚拟现实技术应用领域。近年来,虚拟现实技术已经走入普通大众消费者的视野,在国内大专院校和科研院所,以及大中型企业的虚拟现实应用也越来越成熟。根据Digi-Capital的最新报告,2020年全球虚拟现实技术相关的市场总规模将达到1500亿美元,年复合增长率超过130%。但是,目前国内市场上的虚拟现实软件系统主要依赖于国外的虚拟现实软件引擎,且主要集中在Unity3D和Unreal Engine等。这些引擎厂商赚走大部分虚拟现实软件系统的利润,既不利于国内虚拟现实软件产业的发展,也不利于国家安全,特别是会给使用虚拟现实技术比较多的国防军事和航天行业带来很大的潜在威胁。 针对此,上海曼恒在虚拟现实引擎核心底层技术进行了多年技术积累,并基于之前自研的DVS3D-虚拟设计协同工作台,继续技术攻关、创新,开发出完全拥有自主产权的基于5G网络的国产虚拟现实引擎实时渲染引擎平台【简称:IdeaVR】。支持目前市场上几乎所有主流的虚拟现实设备,结合公司自研的视觉追踪实时定位技术打造大空间多人协同VR体验、交互编辑器及混合追踪系统等亮点。同时基于AI+云渲染技术的VR教学内容开发一致性研究,使得VR内容的开发成本大幅度降低,省去不同设备之前的适配工作,用户只需开发一次内容和交互逻辑,借助本项目的研究成果,除了能够适配头戴式显示设备,还可以将直接使内容无缝运行在3DLED大屏、VR桌面一体机,在行业内尚属首创。通过本项目的技术落地,将有助于进一步加速国内虚拟现实内容产业的发展,促进虚拟现实生态的繁荣。 二、技术创新内容 1. 零编程交互编辑器,操作简易。用户可以通过“零编程”图形化的方式,快速制定交互逻辑,从而取代以往编写大量复杂的脚本才能完成的工作,极大地降低了用户制作虚拟现实应用的门槛,也加速了虚拟现实内容的产出。 2. 基于云渲染技术,解决内容开发一致性的问题,即不同的虚拟现实平台借助本项目的研究成果可共用一个可执行文件,打通内容与硬件适配的问题。 3. 基于AI深度学习技术,提升系统实时渲染的性能。 4. 采用主动式交互追踪技术,完美融合了追踪高精度和低延迟性特点,支持全身追踪的多人协同和半实物仿真技术。

发明创新点

本项目具有以下五个主要的技术创新点:1)零编程交互编辑器,操作简易。简单易用的零编程交互编辑器:用户可以通过“零编程”图形化的方式,快速制定交互逻辑,从而取代以往编写大量复杂的脚本才能完成的工作,极大地降低了用户制作虚拟现实应用的门槛,也加速了虚拟现实内容的产出。2)基于云渲染技术,解决内容开发一致性的问题。即不同的虚拟现实平台借助本项目的研究成果可共用一个可执行文件,打通内容与硬件适配的问题。通过研究不同显示终端的立体成像原理以进行匹配,同时深入研究从显卡直接获取视频画面并进行压缩,再流送至其他设备终端。项目团队需要深入了解各类虚拟现实终端的立体显示原理以及交互方式,并开发客户端应用,该应用主要是把图形工作站渲染的画面进行左右眼视角内容的分割,再按照当前设备的立体显示原理和方式进行重组,以实现立体效果。此外,该应用还需要把本地的交互操作以数据流的方式传送到渲染端,渲染端根据接收到的信息进行场景绘制操作。每一帧要完成数据的双向通信,且渲染终端到立体显示端还涉及到大量的视频流传输,整个数据量非常大,对视频编解码、网络传输延迟等技术的要求都非常苛刻。3)基于AI深度学习技术,提升系统实时渲染的性能。 场景越复杂,材质越逼真,渲染的计算开销就越大,与传统的性能优化技术不同,本项目拟采用AI深度学习技术来提升系统的渲染性能,该技术在低分辨率下进行渲染,绘制的像素数大幅度降低,性能得到提升。在绘制完成后,通过深度学习的技术,在不降低画质的将画面超采样至更高的分辨率,已知的相似技术如NVIDIA的DLSS,但是DLSS受限于必须在NVIDIA的显卡上才能使用,无法匹配其他显卡,如国产操作系统和显卡。4)主动式交互追踪技术,满足全身追踪的多人协同和半实物仿真。本项目摒弃了传统红外光学设计方案,创新性采用主动式追踪设计思路,完美融合了追踪高精度和低延迟性特点,又加入多相机对LED群标记点的图像识别技术。该解决方案可有效突破空间约束,并解决了传统红外追踪存在追踪死角的问题,让实训人员不再受人数和空间限制,自由在虚拟场景中训练。在多人协同演练系统中,受训人员能够操作各种工具进行实际处置。传统的多部门协同演练需要大量的物料及耗材成本投入,现在通过对工具、物料、机械设备等都进行三维仿真构建,受训人员在虚拟环境中就能实现对这些工具的使用练习,这无疑大大降低演练培训的成本。另外利用VR技术可以模拟各种装备,让受训人员熟悉不同的“真实”装备,并进行实际操作,提高实操能力。

产业化及市场应用效益情况

项目应用:本项目的研发将云计算的理念及技术引入到VR业务应用中,借助高速稳定的承载网络,云端的显示输出和声音输出等经过编码压缩后传输到用户终端,实现VR业务的渲染上云、内容上云,VR引擎及内容云化后,大大降低用户成本,容易进入千家万户,高品质VR内容和VR商业场景也会繁荣起来。同时,IdeaVR作为一款虚拟现实内容创作引擎,以全新的方式制作虚拟现实内容的交互逻辑,对于终端用户来说更加的易学易用,降低了内容创作者的学习门槛,也加速了优秀虚拟现实内容的产出。 本项目涉及主要产品IdeaVR和LinkXR,2021年先后作为官方指定软件参与教育部全国职业院校技能大赛、人社部全国行业职业技能大赛、人社部新职业技术技能大赛三项国家级大赛,并在首届医学虚拟仿真实验创新大赛中为医学专业选手提供易学易用的VR内容创作工具。多年打磨的IdeaVR开始在国家级舞台上与国外主流引擎软件同台竞技。LinkXR自2021年推出以来,已在国家虚拟仿真职业教育基地进行部署,满足VR桌面一体机使用PCVR内容的需求,进一步拓展教学内容的应用场景。 本项目主要产品IdeaVR将用于商业、教育、高端装备、军事应用等领域;在未来两三年,随着虚拟现实产业与5G技术的结合有望迎来爆发式的成长。曼恒数字主要的盈利途径有两个:整体解决方案销售、根据客户的应用需求模块销售。 整体软件方案定价:含沉浸式VR洞穴交互显示产品、7摄像头G-Motion交互追踪单元、场景管理、教学资源管理专业版、内容桥接软件。定价为1398000。 按模块定价:沉浸式VR大屏交互现实产品,直屏,场景管理,内容管理,内容桥接软件等,不同产品进行套餐方式自行自动报价。 截止至2020年11月,曼恒总计销售额为8466.27万元,其中IdeaVR软件的销售额为1236.28万元,占总销售额的14.6% 目前按照平台的理论市场容量考虑,至少国内的12000多家工业企事业单位是我们的重要目标客户群体,如果再加上高校、科研院等,预计达到50亿元的容量。 通过我们的产品导入,用户解决了设计的时间过长的问题,同步效率提升,间接给客户带来了成本的降低。例如:我们为商飞试飞中心提供虚拟现实的模拟飞行系统,对实际飞机中飞行的参数进行监控分析,确保飞机在预备飞行和实际飞行中相关参数的准确和正常,为C919成功首飞提供坚实的数据保证。用虚拟数字技术大大的解决了高成本高难度的解决。

关于我们|联系我们|入会申请

版权所有:中国发明协会 京ICP备13024222号-1 京公网安备110102006451
地址:北京市海淀区复兴路甲15号专家公寓6层 邮编:100036