医生都对VR临床说不？他想把3D影像重建技术用于
日期：2018-08-03 / 人气：
我们是基于医疗的AR/VR产品，而不是基于AR/VR的医疗产品。」说起VR和AR与医疗行业的结合，这几年已诞生了很多案例，但在爱姆智能创始人赵金虎看来，这些距离着真正临床落地还有不少距离。
事情还要从他所做的项目开始说起。原来，赵金虎打算进行首次公开路演，在路演之前与青亭网进行了沟通交流。
01，他在做一件什么事情？
展示环节，赵金虎拿出了一台宏碁3D投影器和配套3D眼镜，一台高性能游戏本，就这样简单最直接的告诉他们在做的事情：把2D的医疗数据，经过3D重建，以3D形式展现出来。
工作原理是：把CT和核磁原始DICOM数据导入，然后分割提取，进行立体成像，并加以交互，让枯燥的2D医疗影像以立体感的方式展现出来，同时也可把不同模块进行分割处理。
现场通过3D眼镜看到带有立体感的3D医疗画面，例如，图中演示可分别对不同血管进行渲染颜色和透明度，对病变位置进行颜色区分。戴着3D眼镜左右走动可看清血管的层次和空间信息，对不同部位也有更清晰的对比，而不像之前看到只是单纯的2D画面。
有了这些数据，医生就可以对影像内各个组织进行渲染，透明、缩放、移动等操作。从更容易看清病变部位和其它组织结构的关联，从而加速完成术前规划。
这套方案的关键就是医疗数据的3D重建过程。和目前常见的VR/AR医疗项目比，它的优势在于采用患者真实的CT、核磁数据，然后进行分析，而目前见到的其它医疗项目几乎都是被设定好的案例，仅能用于演示或辅助教学。
通过3D投影/3D眼镜、笔记本硬件，而且前两者都是其它公司现成产品，再加上自己的软件服务，连交互都是通过鼠标来完成。相比人们印象中复杂艰深的医疗软件，这套方案显得很简单。
02，3D影像的展现形式
实际上，他门使用的是自研软件平台，研发过程仅通过3-4名工程师，历经短短2个月时间，利用工作以外的时间来完成软件基本框架结构。
当然，其演示版本还是一个项目文件，因为还要依赖MFC主体去运行，并且演示过程中出现了一次导入数据未响应的情况。
至于为何选择3D投影仪＋3D眼镜的组合，赵金虎表示，这只一种展现形式，今后也会尝试VR、AR等多种形式，前提是临床医生能够接受和认可。经过反复探索和研究，他认为3D投影类的可扩展式成像系统可看作是目前临床可适用性较高的一种成像方案。
由于3D重将工作需要较高的运算需求，展示时使用的是一台消费级的游戏本，这与医院经常的工作站还是有很大区别。也就是说，它的这套系统核心在于软件，硬件部分终归还是采纳其它设备商的产品。
交互层面，演示过程基于鼠标来实现旋转、缩放等操作，根本就没有看到任何和AR/VR相关的交互。不过他还透露，目前正在研发基于Kinect的手势交互，以及激光笔的远程交互设备，目的就是提升临床使用的便捷性。
03为什么选择做3D重建？
只要对病人治疗和健康有帮助，对医生诊断有帮助的事情自然都有意义，而且从青亭网向多位医疗行业人士了解来看，基本都认可医疗影像3D重建，多数人也认为是今后的发展趋势。
体现在手术中，术前规划阶段就可以帮助医生。赵金虎举例说，常规手术医生需约30分钟术前诊断，而参考3D重建模型，可以缩短医生自己大脑中对影像的重建，时间甚至可减半。不过据笔者向医疗行业人士了解，参考3D影像资料节省不了多少时间，不过确实有利于医生更清楚的了解病灶区域，更好的定位分析。
图片来源于网络
而以骨科手术为例，整个手术过程可能需定位钻孔多次，每一次动作都要保证精准，一旦失误，将留下不可挽回的影响。这也能直接体现出，了解病灶区域和定位分析带来的好处。从这个角度来看，他对于自己的产品落地并没有太多担心。
据了解，目前国内做同样事情的机构几乎并不少，粗略估计也有数十家，并且有不少和赵金虎一样尚未公开的项目。尔国际市场，则已有进行商业化尝试的公司。在赵金虎看来，很多VR和AR团队看重的是医疗市场的红利而加入进来，虽然这些项目看上去很有趣，但它们很多是医疗行业门外汉，其产品距离临床落地还有很一段距离。
赵金虎从事医疗行业超过15年，其中有3年时间从事药品行业，12年时间从事医疗器械相关行业，自称对医疗行业有着深入的了解，这也是他认为自己最大优势所在。他说，「我们做的是基于医疗的AR/VR产品，而不是基于AR/VR的医疗产品。」
他的团队中只有一名放射科医生跟医疗行业相关，同时为了这个项目，他本人也以辅助医生的身份，参与了多项手术跟台，进一步了解医生在临床手术整个过程以及发现痛点。
04应用场景和领域
目前，VR头显设备应用在医疗领域更多的还是集中在培训和熟悉过程的阶段，距离真正的临床使用还差很远。而AR眼镜则是一种很好的展现形式，长远来看可应用在术前和术中的临床全过程，只不过目前AR产品形态还未成熟，也受到了一定局限性。
毫无疑问，对精细度要求越高的手术，术前诊断过程也会越繁琐。因此，赵金虎认为自己开发的系统最适用的是对精细度角球高的神经外科，当然技术是相通的，依然可被应用在骨科或其它科室。
另外，由于3D重建过程需要准备工作，因此他开发的这套系统并不适用于急诊需求，更偏向于住院期间的手术诊断。
根据他本人的调研，几乎所有医生都对VR在临床的适用性给出否定答案。因此3D投影成像系统显得相对接地气一些，这套系统计划应用场景包含了3D重建、术前规划、术中导航。他认为能够做到术中定位导航模拟，才能代表未来医疗VR、AR的最高水平。
05如何获得医生认可
然而就现在的情况来看，赵金虎这套系统依然停留在第一阶段：3D影像重建。
医疗器械对于精准度有着极高的要求，如果在3D重建工作中出现误差，将会对整个手术环节带来极大影响。因此，如果做到更精准的3D影像重建才是他目前最根本的工作。
所有3D影像重建工作都是基于CT、核磁中的DICOM原始数据进行修改，对于把这种2D图像转换成3D图像后的精准度和误差问题，甚至把血管和其它器官染成什么颜色，业界目前并没有统一标准。
因此，整个过程还需要不断的摸索和实验，这也是一个检验产品可行性的必经过程。只有获得医生的认可，才能走出下一步。
随后，笔者又向医疗行业人士咨询其对AR和VR或者是3D投影成像哪个更靠谱，得到的回复是「哪个不晕哪个就靠谱，因此很多医生最容易给出的否定意见就是，戴上晕。」因此，对于实际的展现形式，最终还是要看医生的反馈。
对于未来的销售计划，赵金虎表示一整套产品售价为200万元左右，并包含一定数量3D数据重建数量，其服务模式则是以3D数据重建的数量进行收费。而体现在患者身上的，赵金虎认为3D数据影像重建的收费价格肯定会超过拍摄一次核磁影像的价格。
06缺点和不足
除了上面提到的精准度问题，3D重建的时间也是一个关键因素。此外，还存在被复制的风险。
目前的3D重建工作需要操作人员对传统CT和核磁数据有非常清晰的了解，根据其对不同科室的专业程度操作时间也会有不同。他在进行小型、熟悉科室的3D影像重建大约2分钟，而复杂的则超过1-2小时。
关于这些方面，青亭网向医疗业人士咨询得知，如果是常规对血管分颜色难度不算太大，但是肝胆胰脾轮廓就比较难，效率就相对低下一些。甚至若操作者对该影像资料不够熟悉，还可会带来重建过程中关键信息点丢失等问题。
此外，现在医院的三维重建软件普遍体积庞大，常规电脑的运行不会太特别流畅，不方便给到临床医生，多数情况下医生看到的三维重建仍是几张静态的三维重建图像。也就是说，医院的影像科和医生之间都没有很好的数据传递和交流，这也是传统医院体系中很难打通的一点。而对于爱姆智能科技这样的创业公司来说，无疑面临一个更难攻克的难关。
谈及被复制，赵金虎毫不避讳地称，单论每一具体细节都存在被复制的可能，也间接印证了软件平台的研发难度可能并不高。
丁香园论坛截图
实际上，早在5、6年前国内就进行过将CT、核磁数据进行3D重建的相关工作，这些技术如今已经非常成熟。只不过，难点在于3D影像重建后的精准度。而赵金虎透露，CT、核磁的原始DICOM数据本身就包含深度信息，他做的其实就是在加工、整合的一个过程，一个软硬件整合的过程。
笔者看来，赵金虎之所以想做这件事，不是因为这件事情本身难度有多高，而是因为他对医疗行业的了解程度。
国外，已有一家名为zSpace的美国公司为教育提供整体的VR屏幕解决方案。他们在超过300个学区和130家大学安装了产品，拥有几十万用户。自从2013年以来年增长超过300%，融资额超过5000万美元，今年他们也和深圳国泰安教育合作进军中国。
更大的挑战在于，包括通用公司、西门子等国际医疗行业巨头，已经向核磁或CT的购买方附送了类似的软件解决方案，对于这些巨头来讲，他们已有成熟的CT、核磁设备，很容易通过硬件扩展至软硬件全系统来打通医疗影像的各个环节，这是笔者向一名放射科主治医师咨询的观点。
谈及未来计划，赵金虎希望年底前能够顺利完成初始融资，这些钱除了用于扩充团队外，还有一个更重要的用途：申请医疗器械注册证。医疗器械注册证才是进入医院的必备条件，而他表示该证件最快也得在融资后1年时间才能拿到。而在这段时间，产品的确存在被复制的可能性，那么又将面临新的挑战。
声明：upinvr.com所发布的内容均来源于互联网，目的在于传递信息，但不代表本站赞同其观点及立场，版权归 属原作者，如有侵权请联系删除。
转载自：青亭网 原文链接：http://www.7tin.cn/news/101843.html
事情还要从他所做的项目开始说起。原来，赵金虎打算进行首次公开路演，在路演之前与青亭网进行了沟通交流。
01，他在做一件什么事情？
展示环节，赵金虎拿出了一台宏碁3D投影器和配套3D眼镜，一台高性能游戏本，就这样简单最直接的告诉他们在做的事情：把2D的医疗数据，经过3D重建，以3D形式展现出来。
工作原理是：把CT和核磁原始DICOM数据导入，然后分割提取，进行立体成像，并加以交互，让枯燥的2D医疗影像以立体感的方式展现出来，同时也可把不同模块进行分割处理。
现场通过3D眼镜看到带有立体感的3D医疗画面，例如，图中演示可分别对不同血管进行渲染颜色和透明度，对病变位置进行颜色区分。戴着3D眼镜左右走动可看清血管的层次和空间信息，对不同部位也有更清晰的对比，而不像之前看到只是单纯的2D画面。
有了这些数据，医生就可以对影像内各个组织进行渲染，透明、缩放、移动等操作。从更容易看清病变部位和其它组织结构的关联，从而加速完成术前规划。
这套方案的关键就是医疗数据的3D重建过程。和目前常见的VR/AR医疗项目比，它的优势在于采用患者真实的CT、核磁数据，然后进行分析，而目前见到的其它医疗项目几乎都是被设定好的案例，仅能用于演示或辅助教学。
通过3D投影/3D眼镜、笔记本硬件，而且前两者都是其它公司现成产品，再加上自己的软件服务，连交互都是通过鼠标来完成。相比人们印象中复杂艰深的医疗软件，这套方案显得很简单。
02，3D影像的展现形式
实际上，他门使用的是自研软件平台，研发过程仅通过3-4名工程师，历经短短2个月时间，利用工作以外的时间来完成软件基本框架结构。
当然，其演示版本还是一个项目文件，因为还要依赖MFC主体去运行，并且演示过程中出现了一次导入数据未响应的情况。
至于为何选择3D投影仪＋3D眼镜的组合，赵金虎表示，这只一种展现形式，今后也会尝试VR、AR等多种形式，前提是临床医生能够接受和认可。经过反复探索和研究，他认为3D投影类的可扩展式成像系统可看作是目前临床可适用性较高的一种成像方案。
由于3D重将工作需要较高的运算需求，展示时使用的是一台消费级的游戏本，这与医院经常的工作站还是有很大区别。也就是说，它的这套系统核心在于软件，硬件部分终归还是采纳其它设备商的产品。
交互层面，演示过程基于鼠标来实现旋转、缩放等操作，根本就没有看到任何和AR/VR相关的交互。不过他还透露，目前正在研发基于Kinect的手势交互，以及激光笔的远程交互设备，目的就是提升临床使用的便捷性。
03为什么选择做3D重建？
只要对病人治疗和健康有帮助，对医生诊断有帮助的事情自然都有意义，而且从青亭网向多位医疗行业人士了解来看，基本都认可医疗影像3D重建，多数人也认为是今后的发展趋势。
体现在手术中，术前规划阶段就可以帮助医生。赵金虎举例说，常规手术医生需约30分钟术前诊断，而参考3D重建模型，可以缩短医生自己大脑中对影像的重建，时间甚至可减半。不过据笔者向医疗行业人士了解，参考3D影像资料节省不了多少时间，不过确实有利于医生更清楚的了解病灶区域，更好的定位分析。
图片来源于网络
而以骨科手术为例，整个手术过程可能需定位钻孔多次，每一次动作都要保证精准，一旦失误，将留下不可挽回的影响。这也能直接体现出，了解病灶区域和定位分析带来的好处。从这个角度来看，他对于自己的产品落地并没有太多担心。
据了解，目前国内做同样事情的机构几乎并不少，粗略估计也有数十家，并且有不少和赵金虎一样尚未公开的项目。尔国际市场，则已有进行商业化尝试的公司。在赵金虎看来，很多VR和AR团队看重的是医疗市场的红利而加入进来，虽然这些项目看上去很有趣，但它们很多是医疗行业门外汉，其产品距离临床落地还有很一段距离。
赵金虎从事医疗行业超过15年，其中有3年时间从事药品行业，12年时间从事医疗器械相关行业，自称对医疗行业有着深入的了解，这也是他认为自己最大优势所在。他说，「我们做的是基于医疗的AR/VR产品，而不是基于AR/VR的医疗产品。」
他的团队中只有一名放射科医生跟医疗行业相关，同时为了这个项目，他本人也以辅助医生的身份，参与了多项手术跟台，进一步了解医生在临床手术整个过程以及发现痛点。
04应用场景和领域
目前，VR头显设备应用在医疗领域更多的还是集中在培训和熟悉过程的阶段，距离真正的临床使用还差很远。而AR眼镜则是一种很好的展现形式，长远来看可应用在术前和术中的临床全过程，只不过目前AR产品形态还未成熟，也受到了一定局限性。
毫无疑问，对精细度要求越高的手术，术前诊断过程也会越繁琐。因此，赵金虎认为自己开发的系统最适用的是对精细度角球高的神经外科，当然技术是相通的，依然可被应用在骨科或其它科室。
另外，由于3D重建过程需要准备工作，因此他开发的这套系统并不适用于急诊需求，更偏向于住院期间的手术诊断。
根据他本人的调研，几乎所有医生都对VR在临床的适用性给出否定答案。因此3D投影成像系统显得相对接地气一些，这套系统计划应用场景包含了3D重建、术前规划、术中导航。他认为能够做到术中定位导航模拟，才能代表未来医疗VR、AR的最高水平。
05如何获得医生认可
然而就现在的情况来看，赵金虎这套系统依然停留在第一阶段：3D影像重建。
医疗器械对于精准度有着极高的要求，如果在3D重建工作中出现误差，将会对整个手术环节带来极大影响。因此，如果做到更精准的3D影像重建才是他目前最根本的工作。
所有3D影像重建工作都是基于CT、核磁中的DICOM原始数据进行修改，对于把这种2D图像转换成3D图像后的精准度和误差问题，甚至把血管和其它器官染成什么颜色，业界目前并没有统一标准。
因此，整个过程还需要不断的摸索和实验，这也是一个检验产品可行性的必经过程。只有获得医生的认可，才能走出下一步。
随后，笔者又向医疗行业人士咨询其对AR和VR或者是3D投影成像哪个更靠谱，得到的回复是「哪个不晕哪个就靠谱，因此很多医生最容易给出的否定意见就是，戴上晕。」因此，对于实际的展现形式，最终还是要看医生的反馈。
对于未来的销售计划，赵金虎表示一整套产品售价为200万元左右，并包含一定数量3D数据重建数量，其服务模式则是以3D数据重建的数量进行收费。而体现在患者身上的，赵金虎认为3D数据影像重建的收费价格肯定会超过拍摄一次核磁影像的价格。
06缺点和不足
除了上面提到的精准度问题，3D重建的时间也是一个关键因素。此外，还存在被复制的风险。
目前的3D重建工作需要操作人员对传统CT和核磁数据有非常清晰的了解，根据其对不同科室的专业程度操作时间也会有不同。他在进行小型、熟悉科室的3D影像重建大约2分钟，而复杂的则超过1-2小时。
关于这些方面，青亭网向医疗业人士咨询得知，如果是常规对血管分颜色难度不算太大，但是肝胆胰脾轮廓就比较难，效率就相对低下一些。甚至若操作者对该影像资料不够熟悉，还可会带来重建过程中关键信息点丢失等问题。
此外，现在医院的三维重建软件普遍体积庞大，常规电脑的运行不会太特别流畅，不方便给到临床医生，多数情况下医生看到的三维重建仍是几张静态的三维重建图像。也就是说，医院的影像科和医生之间都没有很好的数据传递和交流，这也是传统医院体系中很难打通的一点。而对于爱姆智能科技这样的创业公司来说，无疑面临一个更难攻克的难关。
谈及被复制，赵金虎毫不避讳地称，单论每一具体细节都存在被复制的可能，也间接印证了软件平台的研发难度可能并不高。
丁香园论坛截图
实际上，早在5、6年前国内就进行过将CT、核磁数据进行3D重建的相关工作，这些技术如今已经非常成熟。只不过，难点在于3D影像重建后的精准度。而赵金虎透露，CT、核磁的原始DICOM数据本身就包含深度信息，他做的其实就是在加工、整合的一个过程，一个软硬件整合的过程。
笔者看来，赵金虎之所以想做这件事，不是因为这件事情本身难度有多高，而是因为他对医疗行业的了解程度。
国外，已有一家名为zSpace的美国公司为教育提供整体的VR屏幕解决方案。他们在超过300个学区和130家大学安装了产品，拥有几十万用户。自从2013年以来年增长超过300%，融资额超过5000万美元，今年他们也和深圳国泰安教育合作进军中国。
更大的挑战在于，包括通用公司、西门子等国际医疗行业巨头，已经向核磁或CT的购买方附送了类似的软件解决方案，对于这些巨头来讲，他们已有成熟的CT、核磁设备，很容易通过硬件扩展至软硬件全系统来打通医疗影像的各个环节，这是笔者向一名放射科主治医师咨询的观点。
谈及未来计划，赵金虎希望年底前能够顺利完成初始融资，这些钱除了用于扩充团队外，还有一个更重要的用途：申请医疗器械注册证。医疗器械注册证才是进入医院的必备条件，而他表示该证件最快也得在融资后1年时间才能拿到。而在这段时间，产品的确存在被复制的可能性，那么又将面临新的挑战。
声明：upinvr.com所发布的内容均来源于互联网，目的在于传递信息，但不代表本站赞同其观点及立场，版权归 属原作者，如有侵权请联系删除。
转载自：青亭网 原文链接：http://www.7tin.cn/news/101843.html
编辑：北极虾
