《科技创新与品牌》杂志社创新成果 Achievements

维卓致远:混合现实, 赋能造就“超级医生”

维卓致远创始人鲁通博士.jpg

维卓致远创始人鲁通博士


2018年,可以说是医学混合现实技术(MR:Mixed Reality)的历史“元年”,混合现实和人工智能为医学事业进一步发展带来了革命性的机遇。

作为在医学可视化领域深耕15年的国家高新技术企业,北京维卓致远医疗科技发展有限责任公司致力于利用混合现实、人工智能、云计算等前沿技术,搭建智慧医学平台,通过产品和服务提升医生感知和应用医学信息的能力,增强医学远程协同能力,实现“为医生赋能,成就超级医生”的企业使命。

维卓致远使用HoloLens(微软首个不受线缆限制的全息计算机设备,具有全息、高清镜头、立体声等特点,能让用户与数字内容交互,并与周围真实环境中的全息影像互动),借助透明的混合现实眼镜,为医生同时呈现虚拟医学影像数据与真实空间环境,从更高的维度探索、应用数据,深度挖掘影像数据,提高医生对影像数据的空间认知能力,开创辅助医疗全新场景,将科学幻想变为科学现实,以科学现实带动医疗行业变革。

回首过往,人类在医疗领域对虚拟现实技术的探索,从上世纪70年代起就从未停止过。

1989年,日本研发出一种可佩戴头盔显示设备,可以检测人体四肢的运动。超声波、CT和各类造影技术的发展,让医生能够获得更多组织和器官的影像甚至是三维模型,基于医学影像的计算机辅助医疗现已在日常疾病诊断和治疗中日趋普及。

现今,“健康中国”正上升为国家战略。在如此良好的发展背景下,个性化、智能化和精细化医疗的需求显著增长。这不仅对影像模型的细节和精准度提出更高要求,还寄望实现更友好的呈现方式,超越屏幕的限制,利用创新的交互方式启发全新应用场景。

传统的医疗影像呈现技术已无法满足疾病诊疗所需的更多洞察需求,面临诸多应用挑战。平面展示可提供的诊断信息有限,不仅无法展现三维模型的深度信息,其坐标参考和位置相对性也不够直观,常见的表面渲染技术只能提供贴图细节,不能展示器官内的组织结构,也无法满足严苛的诊疗要求。

由于缺乏良好的可交互性,医疗影像和模型的使用场景有限,用户体验也因此受到极大限制。例如术中远程会诊迫切要求的实时性和动态可交互性是传统图片、视频和语音沟通无法有效提供的,信息交换效率低,沟通成本高。

临床模拟方面,即使在影像的帮助下,临床和外科实验仍需依赖实体标本,风险大、成本高,具有高危险性的项目难以开展。在个性化、人性化医疗背景下,如何以更自然、直观的方式与患者展开沟通,同样是医疗从业者不断思考的问题。而医学影像数据的复杂性和庞大数据量,使渲染、处理、预测和分析持续成为医疗行业面临的挑战。

这些挑战形成的痛点,包括信息展示效率低、影像沟通繁琐、信息化程度和数据共享率低、数据分析工作沉重且繁复,无法符合更多场景需求。医疗行业迫切希望一套数字化解决方案,满足不同场景的诊疗需求,这些需求可总结为:

如何从影像数据中更快、更多地挖掘有效信息?

如何实现异地医生间的良好合作?

如何使医学信息更全面而自然地呈现?

对医学而言,引入混合现实技术有着划时代的意义。在手术中,混合现实技术在手术部位呈现3D解剖模型,对于提高医生空间感知能力有很大的帮助。医学混合现实技术作为前沿可视化技术,有巨大医学潜力和探索价值。维卓混合现实医学方案,正是应此必然趋势而生。

使用星影混合现实显示系统2.jpg



使用星影混合现实显示系统1.jpg

使用星影混合现实显示系统


使用星图混合现实显示系统1.jpg



使用星图混合现实显示系统2.jpg



使用星图混合现实显示系统3.jpg

使用星图混合现实显示系统


维卓致远正致力于构建其未来数字医学平台,即:

首先,一切医学信息是全息可视化的。通过混合现实、增强现实技术,全息呈现基于CT、MRI重建的立体影像数据,记录全息医学工作流。

其二,医学影像数据的分析和手术操作是智能化的。通过人工智能,深度分析和可视化处理影像数据,通过智能执行设备协助医生完成手术,使医生成为人机智能结合的“超级医生”。

其三,异地医疗场景高度一体化。维卓致远在云端存储、计算、分享医学数据,连接和融合异地医疗空间,实现医学数据和医生的“跨空间、超时空”协同与传输。

维卓致远混合现实数字医学平台全息呈现影像数据,目前包含术前影像诊断辅助(星影)、术前手术方案制定(星图)、术中导航辅助(星航)、远程医疗解决方案等多种产品。

智能数字医学平台如何连接信息、人、机器?如何打造三者间融合与多向互动的新维度?

星影混合现实显示系统是一款基于混合现实技术的影像数据全息体素渲染阅片工具,也是毋须人工操作、不含学习成本的高效率产品。

星影中导入影像数据,系统智能分析并体绘制(直接由三维数据场产生屏幕上二维图像)渲染至眼镜,不需要人工重建3D模型,省时间、省精力。医生佩戴透明的混合现实眼镜,可同时看真实世界和立体影像数据。

星影混合现实显示系统的优势是临床医生无需掌握建模等计算机技术,只需导入影像数据便可全息探索和挖掘立体影像数据;可在立体影像数据上模拟手术路径、置入植入体等临床环节,有利于精准诊断与手术方案策划与制定;建立局域网,无延迟,体验流畅,不接互联网,保证数据在医院局域网中的高度安全性;电脑端体素编辑,实时与眼镜端同步。

“当观察事物的方式改变时,理解事物的方式也会随之改变。若我们以全新的方式认知世界,就会获得不一样的理解。”这是维卓致远采用微软混合现实技术实现医疗影像解决方案的核心思考。也正是基于这样的理念,星图混合现实显示系统以微软先进的混合现实技术为根本,结合大数据、医疗云、人工智能等技术推动医疗领域进入全新时代。该系统由三维影像工作站、后台服务器、MR空间站组成。三维影像工作站内嵌智能分割算法,实现CT、MRI数据的高效三维重建;MR空间站和后台服务器让全息阅片和创新交互成功走入临床。

维卓致远将病人的CT、MRI等影像数据转换成全息三维影像模型,利用精细而复杂的体渲染(Volume Rendering)技术,进一步丰富模型细节和内部组织结构,最终利用HoloLens呈现高精度的三维全息影像。医生借助HoloLens,可以将全息影像与真实解剖部位或病灶相叠加,并进行缩放、旋转、移动、改变透明度等操作,了解病灶与周围的解剖关系,从而获得高度可透视、可自由交互的视诊信息。

这种虚拟与现实叠加的展示方式彻底改变了传统影像使用体验,使影像真正得以“跃然纸上”,如此豁然开朗的使用感是虚拟现实(VR)和增强现实(AR)所无法媲美的。

该解决方案可用于术前手术规划和医患沟通,以及在术中为手术方案决策提供辅助信息,为远程会诊和医学实验带来了极大便利。全息浏览医学影像让手术规划更加安全合理。过去,医生需要不断将医学影像与解剖部位进行比照,而通过将虚拟影像与真实手术进行视觉重叠,在外科手术前就可以对患者脏器分布、形态,周围血管、神经分布等一目了然,轻松掌握体内特征信息,确定最佳手术方案。通过术中全息辅助与引导,混合现实以叠加显示的方式让过去不可见、不可触的对象在手术开始前就变得“活灵活现”,为术者提供更具参考价值的影像信息。有效提升空间感知能力,无论是心血管支架,还是骨钉,都可以清晰且精准地被定位和识别,将手术创伤降至最低。在全息影像的辅助下,主刀医生可以更好地观察穿刺深度等,过去在术中需要花费数十分钟和其他医生讨论的内容,现在只需在全息影像上看几眼就可直观得出结论,从而更快做出正确决策,有效缩短了手术时间。

混合现实技术通过透明眼镜全息呈现所需信息.jpg

混合现实技术通过透明眼镜全息呈现所需信息


得益于HoloLens所拥有的实时通信能力,该解决方案允许多人同步观看相同的数字与现实叠加的场景。现在,无论是查房讨论,还是专家远程会诊,医生无需面对CT图片等反复通话,更不用在照片上做出标记再回传至手术现场,医生可以展现患者的个体化Dicom影像模型,放置在真实物理环境的“画布”上。无论身处何地,不同人员只要戴上HoloLens就可以获得与现场相同的视野和画面,通过一系列手势,自主调节画面内容,放置标记,添加重要提示信息,这种实时的可交互性让医疗交流呈现“身临其境”感。

维卓致远HoloLens混合现实医疗影像解决方案还可提供医学会议和示教支持,成为虚拟医疗实验室,对以往受限于标本、场地和成本的解剖、手术训练和临床实验等进行充分模拟,让无法在病人身上实践的操作在虚拟模型上完成。该方案还可让患者和医生一起观看三维病灶模型,更直观地了解疾病状况和相应治疗方案,以更自然的方式让患者放心。

维卓致远建立在HoloLens上的医疗影像呈现体验释放了无限可能,开创了更多使用场景。除了术前规划、手术预演,该方案还可实现可交互式医学训练,如器官认知和腹腔镜检查模拟;让学生获得第一视角的手术现场观摩,更直观地观察手术过程;或实现远程手术,甚至是在事故现场向医生远程呈现伤员病况并获取远程抢救指导等。

医学的复杂性使任何辅助医疗技术都无法变得简单。维卓致远星图混合现实显示系统解决方案的稳定性和完整性建立在先进的数据处理能力和使用链上。为了向医生提供更好的决策支持,同时展现病灶附近的血管、神经等信息也非常必要。医疗模型在精度、更新速率、分辨率方面都提出了极高要求,因此存在计算量大、建模复杂和渲染耗时等问题。维卓致远通过专门针对医疗模型而优化的高性能算法,使用微软智能云平台Azure强大的数据分析和存储能力,对医学影像数据进行深度加工、分析和挖掘。在Azure深度学习和人工智能技术的帮助下,维卓致远实现了对医学图像病变区域进行检测、识别和分割,能够对CT或MRI影像中的心脏、肝脏等器官的自动分析,并将二维影像智能重建为3D模型。在肝胆外科的实践应用中,可一键实现肿瘤分割、血管的识别与提取,可根据血流方向自动分肝段、计算肝体积和残肝比等。对病理病因进行探究,通过数据演算,以脏器模型为基础进行自动筛查、智能诊断,并实现对不同治疗方案的比对、疗效评估,预测疾病的发展和预后,为医生提供更加精准的参考信息。

维卓致远使用多种创新技术提高了内容呈现和互动操控操控能力。通过建立局域网,把HoloLens与存储影像数据的服务器电脑和平板控制器相连接,让服务器承担繁重的计算与渲染工作,让HoloLens将计算能力尽可能多地展现在全息影像上;支持使用平板控制器对模型大小、位置、透明度等进行调整,与手势操作相比,使用触屏可以更精准地调整模型样式,并支持更多实用功能。这些技术的结合,不仅大幅降低了HoloLens的计算压力,也保证了使用稳定性。为了将模型与手术区域精准定位,维卓致远利用磁定位装置对空间位置进行精准标定,然后把图像渲染至HoloLens进行呈现,从而为手术提供了精准实用的混合现实导航体验。

维卓致远混合现实云端平台解决方案减少了患者的创伤,降低了治疗风险,提高了诊断效率,提升了手术精准性,同时促进了远程医疗等场景下的沟通体验。结合微软智能云Azure和微软人工智能AI服务,星图混合现实显示系统进一步提供了智能化病情分析、手术方案辅助设计和疗效评估等能力。

数据安全也是医院关注的重点问题。星图支持混合云部署模式,将三维立体影像存储在医院内网的高性能服务器,HoloLens可以直接通过医院局域网读取并实时渲染。而对于远程医疗和跨医院的医学合作项目,则使用微软Azure公有云平台在云端进行三维模型处理和存储,然后利用Azure建立安全的端到端网络连接,实现数据分享和协作。

目前,维卓致远的星图混合现实显示系统已在全国70多家医院完成了超过100例混合现实手术。2017年1月,北京某三甲医院泌尿外科在维卓致远的技术支持下顺利完成了国内首例HoloLens混合现实技术和达芬奇机器人辅助的腹腔镜下肾部分切除术。2017年8月,在维卓致远的星图混合现实显示系统技术支持下,武汉协和医院完成了若干例骨科手术,把混合现实技术用于医患沟通、手术方案制定、术中辅助引导等各个环节,引起了业界轰动,成为科技与医学相结合的典范。

维卓致远的核心团队在医学可视化领域的研究与积累可以追溯到15年前,从三维影像重建到个性化定制的3D打印,从VR的术前沟通到MR的交互式全息影像系统,维卓致远始终都走在行业前端。

星航混合现实导航系统可以提高手术精准度,降低临床操作培训成本。它跟踪手术器械的实时位置信息,将空间信息在混合现实中进行呈现,引导医生实现精准手术。在医学教学培训中,星航可引导临床操作,验证操作是否准确。

维卓致远还致力于推进全球混合现实医学促进计划,打造协同发展平台,进一步赋能医生创新。

在维卓致远看来,作为一家初创企业,单纯倚靠自己的力量普及混合现实和全息影像技术辅助医疗是充满困难与挑战的。合作伙伴微软作为全球领先的技术公司,为维卓致远提供了先进的技术平台和强有力的品牌背书。以国家医疗改革发展路线为蓝图,维卓致远将进一步强化该解决方案在远程医疗场景下的应用,以技术优势解决医疗资源发展不均衡导致的不发达地区医疗水平落后的问题。在开展个性化医疗时,医学领域的复杂和空间抽象性要求更广泛的多学科协作,维卓致远相信基于混合现实的解决方案将通过更自然直观的交互,可以迅速发挥作用,释放医疗创新的正能量。