抽象性

最小入侵外科程序为病人提供小切片、缩短住院时间和快速术后恢复等优异条件外科机器人提高存取率和可视化作用内并扩展极小入侵程序信号DaVinci外科机器人受限即缺少对操作外科医生的感知反馈经验型机器人外科医生使用组织视觉判解和缝合变形替代触摸反馈机器人外科期间遇到的难题是保持适当的缝合紧凑,同时绑结或跟踪解剖缝合实时显示线程有可能减少学习曲线并增强机器人外科程序性能和安全性常规菌株测量方法包括在机器人仪表上安装复杂传感器本文展示非侵入视频处理法判定外科缝合线的强度方法精确计算缝合线段,处理从现有外科摄像头摄像头摄像头录入的视频,使实现过程不复杂视频分析法使用Servocyaulic测试系统线程标准视频开发验证视频线程算法显示能够测量0.2%的线程并分像素分辨率和各种条件证明可靠性

开工导 言

机器人外科应用快速增长,原因是小切片、快速恢复和低成本[一号..举个例子,美国超过50%前列腺癌正由机器人辅助实施2..机器人外科操作模式操作 外科用手控器控制机器人操纵器臂视觉反馈是感知反馈的主要替代物,而外科直接反馈被认为对较难外科程序是必要的3..

DaVinci外科机器人最近成功无强反馈显示高分辨率双目视觉集成允许经验丰富的外科医生使用视觉提示替代感官反馈4..外科医生可以通过视觉观察膜被操纵偏转有效推导力信息机器人外科手术目前仅限于外科医生视觉补偿感知反馈开发感官反馈系统机器人外科程序将减少学习曲线并允许使用最小切机器人技术执行更难操作程序

机器人外科期间遇到的挑战之一是保持缝合紧张结绑定期间过度紧张可能导致缝合或组织破解,而不足紧张可能导致结结失效此外,即使是高技能外科医生也很难在运行解剖线程中保持适当的缝合关系5..事实证明,通过视觉和听力提示传递随机反馈会减少时间执行缝合机器人系统6..数名调查员(例如Akinbiyi等)、Shimachi等安装复杂传感器,以直接测量机器人辅助外科任务期间缝合力7-九九..但这些传感器通常难以应用机器人外科系统,增加相当大的成本和分治风险为此,我们提出了一个新颖的非侵入式方法,直接从机器人外科程序期间常用视频图像计算缝合线,从而避免安装复杂传感器

实时测量并显示缝合强度有可能提高机器人外科操作性能和安全性传统压力测量方法涉及复杂传感器安装,本文介绍非入侵方法,基于视频图像处理下节描述方法和算法,从精度和适应各种条件的角度评价方法性能

二叉方法论

2.1.视频处理算法

测量缝线菌株时,我们使用套线,用一组黑标记定期标注图中显示一号表示外科机器人双抓取器间有标志线程缝线菌株通过视频检测这些标志在紧张状态下移位测量概念看似简单,挑战在于精确实时裁剪用框架逐行视频处理自动识别并跟踪线上标识值,并分页绑定时在不同平面移动

图像处理算法由图中显示的阶梯组成2图像增强(色通道选择)、边缘检测、线检测(Hough变换)、线剖析和标记检测、标记跟踪(quartrict回归)和线段计算每一步的详细描述见本节。

2.1.1.图像增强(色彩通道选择)

为了通过视觉图像处理准确可靠测量菌株,首先必须配有带良好标记对比度的视频图像框算法处理从颜色或B/W摄像头获取的视频框架对颜色视频图像而言,算法自动计算并判定颜色通道,使背景线和缝合线产生最优对比算法随后对通道进行适配,使最暗背景与光线缝合图像相容举个例子,图中显示暗缝合3灰度图像优先反转,缝合图像显示光红色通道选择后台,自蓝光反转后台

2.1.2.边缘检测

色通道选择最优对比缝合后, Sobel边缘运算符应用灰度图像产生二进制图像并配加缝合边框处理Hough变换(见段)2.1.3)

2.1.3线检测(Hough变换)

缝线图像由线检测算法识别两种广为人知算法-Radon变换11和Hough变换12可为此目的通过弧度变换可直接应用到灰度图像上,并因此提供弹性性但由于它是一个计算密集过程,它适用于离线处理或缝合相对静止时。后一种情况中,线检测遍历 Th框架缝合快速移动时必须处理每个框架遇有这种情况,使用计算高效Hough变换,该变换仅对二进制图像操作获取二进制图像时,Sebel边缘检测算法应用到灰度图像中产生二进制图像B/W

图解4a-4说明自动缝线检测过程的各个步骤图4显示通过Sebel边缘检测算法获取的边缘图像后对边缘图像应用Hough变换识别线线,由Hough变换最大强度点表示Hough变换图像点地图 点对准空间 照样 去哪儿 并 偏差线从图像空间源13,14..图4Hough变换结果显示图框直线映射到圆形表示点图4显示原图像显示的标识线

2.1.4行剖分辨标记器检测

标记位置通过延展线和模式的强度剖析检测 匹配已知显示标记强度剖面但由于先前检测到的边缘线与缝合中线不匹配,这种剖析不会产生正确强度剖面因此,在每个增量图像点沿线,我们取 双端线并平均嵌入缝合中心多线剖析过程图解4强度平均延展线(7像素)套接线不与缝合线并行或套接线松散时,此机制也有帮助

沿平均强度剖面图通过模式检测标记位置与已知标记模版匹配软件提供人工取模标记点选项,图中显示红圆4或可自动选择例子中标记由人工选择标记点取出后,其强度剖分在整个跟踪过程使用为模板我们看到当标记分离最大距离时,压力值比较精确模式匹配通过计算已知模板和移动窗口强度剖面的交叉关系实现,图解显示4e)级相关系数 介于模板间 和缝线强度 )定义为 去哪儿 共变并发 , 随机变量差 并 ..并用像素解析法估计线状剖面图标识位置

2.1.5Marker跟踪

标记一旦通过模式匹配前一节,程序选择一组标记并高精度跟踪待跟踪标记或人工选择或自动选择标记一经选择,算法从框架到框架跟踪,标记中心用二次回归估计 去哪儿 象素强度 算法 标志中心沿线坐标和常量 , 并 系装配二次曲线系数并用二次回归判定图5显示曲线适配5个离散强度点标记位置确定为 最小点曲线值

从复方曲线确定标记位置并基于多重单个像素允许检测标记中心位置并分像素解析测量分辨率预期取决于标记宽度和标志边缘对比度:对比度越大,灰度值差越大,我们之间有标志与无标志,允许以更优增量测量位置.上步基于交叉关系标记检测提供单像素空间解析标记跟踪的目的是获取更高分辨率通过对小窗口采行二次回归(曲线搭建),它会无穷解码定位

2.1.6strain计算

标记定位后 缝合线由 去哪儿 参考线程拉伸前标记与拉伸前标记之间的长度 表示标记间长度变化只能计算串线线的可见分量缝合贴近摄像头时,总线段和可见线段等值缝合位置斜向摄像头时,只有与摄像头垂直的线段组件是可检测的本研究用线串定位相容摄像头

strain计算分两种方式实施:一点跟踪和二点跟踪前一方法图解6(a)假设一端固定位置 并单用标识定位变化度量 .采用这种方法确定最高可测精度两点跟踪图解6(b),两个端标识假设在伸展期间移动 并用距离计算线段实现这一方法需要开发算法跟踪运动线程双点跟踪法比单点跟踪法产生较大误差,原因是跟踪两个标记时有添加误差

整合视频处理方法的各个部分后,将构建菌株测量软件图7显示视频处理软件快照,显示顶层窗口视频流和底部最广图中菌株测量中窗口显示强度剖面图,这有助于监控标记检测过程裁剪不受压时 算法产生前后不一的结果多线剖析法允许跟踪松散缝合,尽管在这些条件下无法测量压力值。

2.2.strain测量测试

为了评价视频算法性能,设计并实施了一系列校准缝合加注测试

2.2.1.循环加载静止缝合

评估最高可达分量解析度时,使用Instron 8500+servo-hyculic测试系统进行了一系列静态加载测试,如图所示8.2.0Dexon二类缝合材料用于测试图中显示8(a)缝合用锐机械笔间隔1cm绑定500牛顿加载电池和系统启动器缝线预加2.5牛顿,并测量缝线工作长度启动程序启动线提供0.1%、0.2%、0.3%、0.4%和0.45%

斜坡伸展率为0.2%/sec和峰值和槽悬停二秒9(a))线性定位传感器2601-062++0.013mm)用于控制这部分测试数字摄像头(SonyDCR-SR45分辨率72x480像素)用于录制视频图片缝合运动限于固定距离上与摄像头轴垂直的平面

视频处理估计压力比物料测试系统记录的实际值图像处理算法脱机录入视频流,总线段放大法基于单点跟踪法计算计算线段振荡与Instron测试系统记录的实际线段振荡比较视频处理算法无法检测0.2%以下线缝中的菌株振荡波形图由视频菌株检测算法产生,与物料测试系统生成的偏移匹配,因菌株增长超过0.2%图9(b)显示流位波状的适配性提高,并用视频系统计算成测试系统对缝合应用的实际移位视频算法精度估计为计算线段与测试系统应用线段大小对比多数常用外科缝线报告失效20%以上线段(即图图显示>0.2线段)。10)相形之下算法敏感度能够检测线性线性线性线性高测量分辨率值远低于线性故障线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性线性

2.2.2锐化标记器效果

我们期望标记的形状和对比会影响视觉菌株检测算法的性能具体地说,标记跟踪算法应用曲线与基于强度变异的标记边缘相匹配正因如此,预计带锐度(高对比度)边框的标记将允许高分辨率测量为了调查这种效果,前一节测试带不同对比标记的标本。视频算法对每个标识线的线程测量与Instron测试系统记录的相应测量比较图11显示值测量结果加载周期为0.2%绘图中带锐度标值(顶点标值)的线段测量与前次测量值对比比较低锐度标值(底部标值)。锐度标记提高测量精确度(标准偏差=0.04!root平均平方=0.04比前结果(std=0.06和RMSE=0.06)。

2.2.3.双点标识跟踪

前静态加载测试使用单标记计算菌株并假设缝合的另一端已固定视频图像用单点标记跟踪处理目的虽然是为了确定最大可实现度解法,但在临床环境中,两个端标识可能从框架向框架移动显著在这方面,我们实施改进算法,选择一套适当的标记并跟踪这些标记并计算动态条件下的菌株耐用测试负载用于上文描述的标志缝合,后处理使用一分二分跟踪法进行,以便评估标记跟踪法的精度图12显示两点跟踪线线测量精度(RMSE=0.11)比一点跟踪线测量精度低一分二分跟踪最小可检测菌株分别为0.2%和0.5%

3级结论

引入视频处理法 检测机器人外科期间的缝线视频法使用图像处理算法套件识别缝线,查找并跟踪缝线标识移位,并转换标记移位成缝线菌值方法能跟踪移动缝线标识值,这是外科程序所必备的视频方法性能通过数例测试评价 液压测试机和2.0Dexon二类缝合测试显示最小可检测菌株0.2%用于固定缝线单标志跟踪和0.5%用于移动缝线双标志跟踪最小可检测线比已知线程失效小二阶(20),允许大安全幅度临床环境

解决这一技术预期会进一步改进,商业应用高对比度标志缝合当前视频处理算法的一个限制是当缝合向摄像头斜角时无法精确检测菌株正在开发立体成像算法 计算缝线和摄像头之间的角基于此信息,可见缝合线段用于判定总缝合线段添加立体成像将使临床应用更强健机器人辅助程序期间缝合状态实时反馈预计可补偿机器人外科目前缺少感知反馈的情况,从而减少学习曲线并增强机器人辅助程序安全性

感知感知

论文中报告的研究得到了能源系和芝加哥大学的支持作者感谢Argonne国家实验室与芝加哥大学生物医学高级外科和内科研究所协作,就这个项目进行宝贵讨论。