一种基于改进的非互连Grabcut算法的多目标仔猪图像分割方法

摘要

在猪场仔猪的视频监测中，前景对象的精确分割研究是对目标跟踪和行为识别的先进研究的工作。鉴于这种视频监测系统的非交互式和实时要求，本文提出了一种基于改进的非交互式Grabcut算法的图像分割方法。通过双侧滤波实现保护边缘和降噪的功能。自适应阈值分割方法用于计算局部阈值并完成前景目标的提取。通过形态加工简化了图像;背景干扰像素（例如格栅和壁中的细节）被过滤，并建立前景目标标记矩阵。Grabcut算法用于拆分多个前景对象的像素。通过比较各种算法的分割结果，结果表明本文提出的分割算法是有效准确的，结构相似性的平均范围是[0.88,1]。平均处理时间为1606毫秒，该方法满足农业视频监控系统的实时要求。计算特征向量，如边缘和中央矩，并且可以为特征提取和行为识别建立数据库。 This method provides reliable foreground segmentation data for the intelligent early warning of a video monitoring system.

1.介绍

养猪是中国农业经济的重要产业[1］．现代养猪业通过建立规模化的现代化猪场，实现养殖业智能化、数字化管理。降低养殖户的工作强度，减少养殖户数量，是提高养殖户产量、降低企业成本、增加养殖户利润的最重要因素。

基于机器学习的人工智能具有重要的理论价值和猪行为识别中的重要应用潜力。猪前景目标精确分割的研究是高级研究的基本工作，如人工智能目标跟踪和行为识别。这标识了仔猪的运动，休息或喂养活动，并及时确定仔猪长时间是否被挤压，从而在时间向饲养员发出早期预警，以便及时拯救仔猪并提高其存活率。

在复杂的环境中，有效的前景检测仍然是研究的热点和挑战。主流背景建模检测方法，如背景差，帧差，光流，混合高斯模型或背景减法算法[2-7.[无法有效地检测静止的前景目标。每种方法都有其限制，并且没有常见的方式来准确处理所有复杂的场景，特别是如果这些，则包括不长时间不会移动的沉重阴影或前景目标。

和Schofield在1995年提出的分割跟踪算法主要基于初始分割和背景估计[2];利用图像差来检测中间背景融合方法。该方法要求前景目标不断移动;否则很容易失去目标。Perner在2001年[3.利用背景减法和阈值分割方法检测灰度视频中的猪的位置。Lind使用这种方法来跟踪不同药物作用下的猪的行为[4.］．Viazzi建议在接触行为持续超过5秒的接触行为中必须有爆震，咬伤或挤压，并使用背景减法来识别攻击行为[5.］．Gang提供基于混合高斯模型和二维小波变换的目标检测方法[6.］．该方法仍然基于背景建模;因此，检测较少的移动前景目标仍然无效。彼得开发了一个非常方便的猪行为视频监控系统基于手机[7.］．跟踪算法分为两个步骤:首先，从猪的图像分割数据库中建立地图;其次，使用五维高斯模型来识别猪的位置和形状。该系统可以同时追踪3头猪长达8分钟而不会失去目标。然而，该系统在复杂的养猪场环境下，受灰尘和污垢的影响，也存在大量的识别问题。

背景建模成功的关键是随时更新背景模型。主要的方法包括统计平均、中值滤波、高斯建模和混合高斯背景建模。现有的背景建模方法不适用于有光照变化和前景目标移动较少的情况。当光线突然变化时，大部分像素会作为前景的一部分被检测出来，这会影响检测效果。针对光照变化大、目标移动少、背景变化快的问题，前景目标检测方法更加有效[8.-13.］．

bin shao等。2008年开发了一个实时图像处理系统，以检测运动和监测猪的舒适[8.］．本文采用全局阈值法，采用形态学方法去除图像噪声。用最小欧洲距离来区分猪的热舒适程度。

纳瓦罗在2009年开发了一种系统，用于检测小圈圈内的小猪[9.］．The nine piglets were marked with color, and the system automatically tracked the piglets’ position, so as to analyze their current status: whether they were squeezed into a group, were active, were suckling, etc. The biggest problem of the system is that expert experience is required to analyze and mark the target in the image in advance.

2013年Kashiha提出了一种基于图像处理算法的用水量跟踪分析方法[10.，并于2014年提出了一种基于形态学和椭圆匹配的图像检测方法[11.］．2014年，昌等人。提出了一种基于前台目标的检测方法[12.］．检测方法的重点转移到前景目标的算法研究上。Guo在2015年提出了一种基于多阈值分割方法的精确分割方法[13.］．将初始分割除以最大熵全局阈值，计算从中心到边缘的距离曲线，得到圆半径。在每个圆形区域进行二次分割的基础上提高了阈值分割的准确性。与其他全局分割算法相比，该方法能更准确地分割前景目标。

Vincent等。提出了流域方法[14.］．这种方法速度快，但不能控制超像素的数量、大小和紧凑程度。Boykov等人提出了Graph Cut算法[15.］．本文采用最大流量/最小切割算法找到最优路径，完成交互式目标图像的最优分割。Rother等人提出了一种基于Graph Cut的GrabCut算法[16.］．通过少量的用户交互，可以获得良好的分割效果。2017年，Sun等人提出了一种基于改进的Graph Cut算法的猪图像分割方法[17.］．该方法基于区域分块分水岭的交互结合改进的Graph Cut分割算法对图像前景和背景进行分割，虽然交互分割不能满足实时视频监控系统的要求。

本文将专注于多次仔猪的图像分割。仔猪的特征在于各种活动，这是快速移动的，涉及堆叠和挤出，这对于图像分割很难。当仔猪长期被压制时，它会自动判断，从而发布及时警告喂养员工以拯救仔猪并提高仔猪的整体存活率。

2.方法

提出的分割方法采用组合算法，包括直方图均衡化增强图像对比度，双边滤波保持边缘和降低噪声，自适应阈值分割方法自动计算局部阈值，完成前景目标提取。该方法采用形态学处理方法对图像像素进行简化，滤除栅格、裂缝等背景干扰，建立可能属于前景和背景的像素的标签阵列，作为GrabCut算法的输入矩阵。采用GrabCut算法对猪的前景目标像素进行分割，可以有效地提高识别的准确性。通过计算椭圆拟合轮廓的边缘、中心矩等特征向量，用于特征提取和行为识别，视频监控系统算法框图如图所示1．

2.1。双边过滤

双边滤波是一种非线性滤波，可以达到保持边缘平滑的效果[18.-21.］．双边滤波的权重不仅考虑像素的欧氏距离，还考虑中心像素与邻域像素之间的相似性。双边滤波也是一种加权平均方法，用加权平均的环境像素亮度来表示像素的强度。空间权重通常采用高斯滤波器的加权计算方法，通过计算两个像素之间的距离[22.];公式如下: 权重系数 取决于域和范围的内核乘积。

域内核表示如下: range核的表达式如下: 当两个内核乘以时，可以如下生成双边滤波权限函数：

2.2。自适应阈值分割

在灰度值不均匀或分布的情况下，如果使用全局阈值分割，则分割效果通常不令人满意。强度照明区域仅通过全局阈值分开，而阴影或弱照亮的区域则不会分段。在图像滤波器处理中，平均过滤，高斯滤波和中值过滤使用不同的规则来计算当前像素作为邻域灰度平均值的中心。该原理可以应用于阈值分割算法（改进的自适应阈值分割方法[23.]）通过设置参数来计算自适应和可变阈值。每个像素点的自适应阈值是不同的，并且通过计算像素区域的加权平均值来获得。

在自适应阈值处理中，滤波器运算符的大小由分段对象的大小确定。如果过滤器的大小太小，则计算出的本地阈值不是理想的。过滤器操作员的宽度必须大于被识别的对象的宽度。滤波器操作员的大小越大，结果将越好，结果是每个像素的阈值的参考。本文使用平均滤波器运算符作为自适应阈值分割算法的参数。首先，过滤图像;结果表示为f;然后获得自适应阈值参考矩阵。 ．利用自适应阈值参考矩阵得到分割结果。

2.3。非交互式Grabcut算法

图形切割算法是组合图理论的经典算法之一。近年来，许多学者已经将这种算法应用于图像和视频分段，这取得了良好的效果。图形切割算法是一种基于曲线图切割算法的图像分割技术。它需要人类互动标记和前景和背景像素作为输入。通过基于类似背景和前景像素的各个度，并通过解决最小切割来实现该算法，以区分前景和背景。Grabcut算法是基于曲线图算法的图像分割方法。能量函数定义如下： U函数表示能量函数的面积数据项。使用前景和背景混合高斯模型来表示一个像素是前景或背景像素的概率。V函数表示能量函数的边界和邻域像素在m和n之间的不连续惩罚，如果两个邻域像素之间的差非常小，则它们属于同一前景和背景的可能性非常大。相反，这两个像素很可能是边缘，并与前景和背景分离。采用混合高斯模型计算每个像素属于背景或前景的概率，通过优化能量函数得到图像分割结果。

传统的交互式GrabCut算法要求用户提供包含前景目标的标记矩形图像，以提取图像中的前景。为了满足非交互式视频监控的要求，本文对图像进行自适应阈值分割，得到可能是前景目标和背景的标签阵列。经过多次侵蚀处理，图像中的像素只属于前景目标，使用像素值255标记前景目标像素。通过多次展开获得可能属于背景的元素。将图像中的前景目标和两个标记点的背景相结合作为GrabCut算法的输入图像。同时，将前景目标最小包络矩形作为GrabCut算法的输入矩形。因为在标签矩形中还有一些背景像素，所以标记矩阵不是完全正确的。高斯混合模型并不要求所有的训练数据都是正确的。GrabCut算法利用了高斯混合模型的特性，即使部分分类不正确，通过迭代步骤最终的结果也是正确的。

3.实验

实验数据采集地点为内蒙古农牧业科技园内蒙古农业大学实验基地养猪场。它位于内蒙古自治区包头市土木德右旗110国道668公里处。它位于东经110.5°，北纬40.5°。养猪场为封闭式结构，建筑面积290.83 m2，东29.7 m，南北宽9 m。天花板高2.4米，墙面采用绝缘。实验基地的每个圆宽3米，长4米。底座设有自动上料系统和饮水管道。地面使用网格格栅。我们将摄像机设置在猪舍内，考虑到采集的角度。相机安装时应避免因角度不同造成遮挡和缺图。 The shooting distance should be kept at 1.5 m. The length of time is daylight hours (7 to 9 a.m.). The fixed position of the camera can effectively avoid shaking, so as to improve the stability of the video sample collection.

视频图像为14401440分辨率，计算机配置为Intel (R) Core (TM) i7-4790 @ 3.6 GHz CPU, 16gb内存，图形NV9500GT, 512mb内存，Windows操作系统10，在VS2012编程环境下用Open CV函数库开发的视频监控系统。

4.结果和讨论

该实验收集了160小时的视频图像，随机选择了200个典型图像，用于非交互式算法测试。数字2(一个)是其中一幅原始图像。数字2 (b)显示直方图均衡化的结果。直方图均衡化后，仔猪的对比度增强，但图像易受噪声、阴影和光照变化的影响。直方图均衡化主要解决了仔猪图像对比度低的问题，将输出图像的灰度级放大到指定的程度，使图像的细节变得更加清晰。均衡化后噪声对图像的影响是相当大的:暗区噪声可能被放大而变得可见，而亮区则可能丢失信息。与传统的均值滤波和高斯滤波方法相比，双边滤波基于滤波后的噪声保持目标图像的边缘，这是双边滤波最重要的特征(图)2（c）)．在过滤掉一堵砖墙的背景和部分网格后，前景主题的边缘得到了很好的保留。通过图像分割来完成去除网格的任务。

数字2（d）给出了使用自适应阈值分割方法得到的结果。前景对象可以在不需要人工交互的情况下被分离。自适应阈值分割算法的滤波算子不理想。随着尺寸的增大，前景对象变得越来越完整。自适应阈值分割可以克服光照的不均匀和阴影，从而实现目标区域的完全分割。自适应阈值分割可能不能完全去除背景，而其他物体，如铁管、栅格等与仔猪灰度值相似的物体，需要通过图像形态学方法进行处理。经形态处理侵蚀2次后(图2 (e))，噪音和背景被删除。画面右上角还有一部分白色的屏幕，非常靠近小猪，可以暂时保留。

数字2 (f)被侵蚀了5次;这将显示标记的图像像素中的目标的前景，在5次之后的扩展结果（图2 (g))和复合标签矩阵(图2 (h))作为GrabCut算法图像的输入。数字2(我)结果显示了非交互式Grabcut分段图像。可以看出，该方法可以自适应地使用猪目标的精确分割，并有效地实现目标和背景具有详细划分的交互式实时分割。

4．1.分割效果比较

对比分析了传统的交互式GrabCut方法、交互式分水岭算法、OTSU阈值分割方法、自适应阈值分割算法以及基于改进的非交互式GrabCut算法的小猪图像分割方法。

通过分析分割效果(图3.)，传统的GrabCut算法对局部噪声更敏感，提取边缘费时且不理想，执行多目标分割任务难度大，分割误差大，分割效果差。交互式分水岭算法在对前景目标进行多次标记后，可以区分出目标区域，但存在大量过分割现象，分割误差较大。交互式分割方法不能满足视频监控系统的非交互式要求。虽然自适应OTSU全局阈值分割算法计算简单[24.]但它不会为非均匀照明图像产生良好的结果。自适应阈值可以克服突然光变化和环境变化的影响。但是，它不能完全将前景目标与网格完全分开，并未达到预期的结果。所提出的方法采用先前的方法，例如直方图均衡，双边滤波，自适应阈值分割和形态学处理，以简化图像并提取前景目标像素。这大大降低了Grabcut算法的计算复杂性，而且不仅实现了多个前景目标的自动有效分割，而且符合视频监控系统的实时要求。

采用非交互式GrabCut算法对猪图像进行分割，检测出所有仔猪的轮廓，并滤除每个轮廓的小面积。在图4.，在俯视图中，椭圆更适合适合猪的形状，并可以计算轮廓的中心矩。小猪可以根据重心坐标进行动态跟踪。通过计算中心矩之间的欧氏距离，可以动态观察仔猪的运动范围，并计算出正常情况下的欧氏距离的最小值。当情况很危险时，最小欧几里得距离严重低于平均水平。该系统可以在危险的情况下向农民发送警报，防止长时间挤压仔猪，从而提高仔猪的存活率。

通过本文提出的前景对象的分割方法获得的结果也可以在许多方面进一步研究，例如，计算椭圆和谷之间的接触时间并估计仔猪进食或饮用的时间。Calculating the linear relationship between the test area and the weight of the pig according to the size of the contour, so as to further estimate the weight of the piglet, according to the displacement changes of ellipse and the centroid, the pig’s status is observed for a long time. It is clear that the research on the precise segmentation of the foreground target is the basic work of artificial intelligence advanced research such as target tracking and behavior identification.

4．2．SSIM指标比较分析

Wang等人提出了一种基于结构失真的图像质量评估方法，称为结构相似度(SSIM)方法[25.］．结构相似度是衡量两幅图像相似度的指标，反映了分割后的图像与标准参考图像的相似度。结构相似性从0到1不等。当两幅图像完全相同时，SSIM值为1。相似度值越大，分割精度越高，分割效果越好。该指标可以测量图像结构的畸变，具有一定的通用性。这个公式是 的公式,和分别为分割效果图像S和标准参考图像T的灰度均值，为图像结构信息的亮度度量;和代表S和T的标准偏差，这是图像结构信息的对比度的衡量标准;为S与T之间的协方差，表示图像结构信息的度量;Z是像素的总数。

为了比较和分析不同分割方法的SSIM指标，需要得到标准分割作为分割效果的评价标准。在实验获取的图像中，选择200幅获取的图像，以手工分割的图像作为参考图像，进行手工交互分割。该方法克服了光照、噪声、杂物等干扰因素，使边缘信息得到了更完整的保留。

数字5.展示了对200幅图像采用不同分割算法得到的结构相似性，分析了不同分割方法与参考图像之间的SSIM相似性评价。从图中可以看出5.，本文分割方法的结构相似度平均范围为 ．本文提出的算法可以为视频监控系统提供可靠的前景分段数据，用于视频监控系统的智能行为识别。

4．3．分割效率比较

为了比较和分析不同分段算法的分割效率，我们将200个随机选择的猪图像分为两组，其中包括10个测试图像。每个组的五种不同分段算法的平均执行时间如表所示1．

表的结果1结果表明，所提算法稳定有效，不同分割算法的平均程序运行时间计算如下:GrabCut算法2062 ms，所提算法1606 ms。该方法采用直方图均衡化、双边滤波、自适应阈值分割、形态学处理等方法对图像像素进行简化，提取前景目标，大大减少了GrabCut算法的计算时间。GrabCut算法的平均耗时比传统算法低22.1%，大大提高了效率。本文提出的分割方法，结合算法的优点，不仅实现了对自动多前景目标的有效分割，而且满足了视频监控系统的实时性要求。

5。结论

在本文中，我们提出了一种基于改进的非交互式Grabcut算法的图像分割方法。通过直方图均衡和双侧滤波（可以保护边缘并降低噪声），使用形态处理方法滤除格栅，裂缝和其他背景，使用自适应阈值分割方法自动计算局部阈值和完整的前景目标提取。干扰像素。建立前景目标标记矩阵，将Grabcut算法组合到分段多个猪目标。平均经过的时间是1606毫秒，有效提高分割精度，前景目标结构相似度（SSIM）是平均范围 ．

本文提出的分段方法不仅实现了非交互式多导轨目标的有效分割，而且满足了视频监控系统的实时要求。对前景对象的精确分割的研究是目标跟踪和行为识别的先进研究的基本工作，可以与人工智能和机器学习技术相结合，以进一步加深猪行为研究和环境的实时分析监测。

数据可用性

用于支持本研究结果的数据可根据要求可从相应的作者获得。

的利益冲突

作者声明他们没有利益冲突。

致谢

国家“十二五”科技支撑计划项目(no . 2014bad08b05-04)。

参考文献

1. 黄伟，“中国养猪业的现状与发展”，畜禽业， vol. 9, pp. 4-8, 2011。视图:谷歌学术搜索
2. J. A. Marchant和C. P. Schofield，“扩展蛇图像处理算法，在场景中勾勒出猪的轮廓，”农业计算机和电子产品，第8卷，第2期4，页261-275,1993。视图:出版商网站|谷歌学术搜索
3. P. Perner，“用于行为分析的动物的运动跟踪”视觉形式的国际研讨会，pp.779-786，Springer-Verlag，2001。视图:出版商网站|谷歌学术搜索
4. N. M. Lind，M. Vinther，R.P. Hemmingsen和A. K. Hansen，“用于记录猪球运动行为的数字视频跟踪系统”，“神经科学方法杂志，卷。143，没有。2，pp。123-132,2005。视图:出版商网站|谷歌学术搜索
5. S. Viazzi, G. Ismayilova, M. Oczak等人，“图像特征提取用于猪之间攻击性互动的分类”，农业计算机和电子产品，第104卷，第104号2, pp. 57-62, 2014。视图:出版商网站|谷歌学术搜索
6. G. J.Tu，H. Karstoft，L. J. Pedersen和E.Jørgensen，“母猪分割术母猪”IET图像处理，第8卷，第2期1, pp. 56-68, 2014。视图:出版商网站|谷歌学术搜索
7. P. Ahrendt, T. Gregersen，和H. Karstoft，“开发一个实时计算机视觉系统来跟踪散养的猪，”农业计算机和电子产品，卷。76，没有。2，pp。169-174,2011。视图:出版商网站|谷歌学术搜索
8. 邵波、辛辉，“一种实时计算机视觉评估和控制的群体饲养猪的热舒适”，农业计算机和电子产品第62期1，第15-21页，2008。视图:出版商网站|谷歌学术搜索
9. J. M.Navarro-Jover，M.Alcañiz-Raya，V.Gómez等，“一种用于跟踪仔猪位置的自动颜色基于计算机视觉算法，”西班牙农业研究杂志，第7卷，第5期3，第535-549页，2009。视图:出版商网站|谷歌学术搜索
10. M. Kashiha, C. Bahr, S. A. Haredasht等人，“通过摄像头自动监测猪饮水情况”，农业计算机和电子产品，卷。90，没有。90，pp。164-169,2013。视图:出版商网站|谷歌学术搜索
11. M. Kashiha, C. Bahr, S. Ott等，“利用图像分析自动估计个体猪的体重”，农业计算机和电子产品，卷。107，没有。3，pp。38-44,2014。视图:出版商网站|谷歌学术搜索
12. G. J. Tu, H. Karstoft, L. J. Pedersen, E. Jørgensen，“使用环信传播的前景检测”，生物系统工程，卷。116，没有。1，pp。88-96,2013。视图:出版商网站|谷歌学术搜索
13. Y.-Z。郭,W.-X。朱,p。娇,学术界。马和j j。杨，“基于自适应分割和多级阈值分割的topview群居猪图像多目标提取”，生物系统工程， vol. 135, pp. 54-60, 2015。视图:出版商网站|谷歌学术搜索
14. L. Vincent和P. Soille，“数字空间中的流域：基于浸没模拟的高效算法，”图案分析和机器智能的IEEE交易，卷。13，不。6，pp。583-598,1991。视图:出版商网站|谷歌学术搜索
15. Y. Boykov和M. P. Jolly，“交互图形切割用于N-D图像中目标的最佳边界和区域分割”，IEEE国际会议计算机愿景，卷。1，pp。105-112，2001。视图:谷歌学术搜索
16. C. Rother，V.Kolmogorov和A. Blake，“Grabcut互动前景提取使用迭代的图形切割”美国计算机学会SIGGRAPH会议记录(SIGGRAPH '04)，页309-314,2004年8月。视图:谷歌学术搜索
17. L. Sun，Y. Li，Y.Zou和Y.Li，“猪图像分割方法基于改进的图形切割算法”农业工程学报，卷。33，不。16，pp。196-202,2017。视图:谷歌学术搜索
18. C. Tomaci和R. Mabduchi，“灰色和彩色图像的双边滤波”，在第6届IEEE国际会议计算机愿景的诉讼程序，第839-846页，印度孟买，1998年1月。视图:出版商网站|谷歌学术搜索
19. B. Weisst，“快速中值和双边滤波”，美国计算机学会图形汇刊，卷。25，不。3，pp。519-526,2006。视图:谷歌学术搜索
20. J. Dorsey，“用于显示高动态图像的快速双边过滤”计算机图形和交互技术会议论文集，pp。257-266，ACM，2002。视图:谷歌学术搜索
21. S. Paris和F. Durand，“使用信号处理方法的双边滤波器的快速近似，”国际计算机视觉杂志，卷。81，没有。1，pp。24-52,2009。视图:出版商网站|谷歌学术搜索
22. Jin q, I. Grama, C. Kervrann, and Q. Liu，“噪声去除的非局部均值和最优权值”，暹罗杂志上的成像科学，第10卷，第5期。4，页1878-1920,2017。视图:出版商网站|谷歌学术搜索|Mathscinet.
23. D. B. G. Roth，《使用积分图像的自适应阈值法》，图形Gpu和游戏工具杂志，第12卷，第2期2，页13-21,2007。视图:谷歌学术搜索
24. N. Otsu，“灰度直方图中的阈值选择方法”，Systems Man＆Cyber​​netics上的IEEE交易，卷。9，不。1，pp。62-66,2007。视图:谷歌学术搜索
25. Z. Wang，A. C. Bovik和E.P.Imoncelli，“图像质量评估的结构方法”图像和视频处理手册，卷。8，pp。961-974,2005。视图:谷歌学术搜索

版权

版权所有©2018康飞龙等。这是一篇发布在创意公共归因许可证，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。