扫描电子显微镜(SEM)是广泛应用于材料的分析和研究,包括裂缝分析、微观组织形貌,纳米材料分析。随着材料科学的迅速发展和计算机视觉技术,检测技术水平的不断提高。本文深入学习方法用于智能地识别微裂隙微观形态的扫描电镜图像。深度学习模型基于图像水平选择减少其他复杂的微观地形的干扰,检测方法,密集的连续边界盒适合SEM图像提出了。密集的和连续的边界框被用来获得裂缝的地方特色和旋转边界框减少边界框之间的功能差异。最后,边框和填充回归是用来突出微裂纹检测的效果。结果表明,我们的方法的检测精度达到71.12%,最高mIOU达到64.13%。同时,微裂隙在不同背景不同的放大和检测成功。
扫描电子显微镜(SEM)是一个大型精密仪器用于高分辨率microarea分析。大景深的特点,高分辨率,直观的影像,强大的立体感觉,放大范围宽,被测试的样品可以在三维空间(旋转和倾斜
传统的方法手动改变SEM图像的放大显微形态学中找到感兴趣的区域(
深度学习来自机器学习,并在计算机视觉和杰出的表现自然语言处理(
目前,深入学习算法应用于宏观裂缝的调查取得了阶段性成果,但有微裂隙在微观形态学的研究相对较少。为了进一步探索微裂隙的智能检测微貌,本文使用了一个密集的旋转限位框基于深度学习模型的智能检测微裂隙微貌。SEM图像灰度图像;亮度和对比度信息不同的是由于成像技术的影响。受文献[
我们的方法显示在图的工作流程
说明我们的方法。使用盒子在切割过程中,图像的大小是由大小裂纹在阶段1中。白盒是标记的部分扩大边界框在第二阶段。只有图片的训练数据集用于训练,和有效的图像数据集是用于验证当前在第三阶段在培训过程中培训效果。边界框的不同形状都来自同一个高维特征映射阶段4。
疲劳裂纹扩展的方向主要是作为一个复杂的曲线,由于标本受到影响加载形式,交变应力、表面状态、化学成分、夹杂物。每一个边界框对应于一个完整的检测目标在传统的目标检测方法。限制裂纹形状的多样性,不利于提取有效的特征如果一个边界框是用来表达裂纹的特征信息作为一个整体。因此,边界框只能表达当地的裂纹和表达完整的裂缝信息通过密集的和连续的标签。每个标签框包含裂纹轨迹的本地信息,但也有不同程度的不同信息。发现裂纹信息的传统边界框标签可能成为不规则的线段,通过比较数据
比较不同的标签。的中心点旋转限位框中间的破解补丁,和
神经网络模型是一个特征提取器提取关键信息的图像深度学习模型。本文使用ResNet50 [
深度学习的结构模型。不同尺度上使用相同的残块结构,但所使用的数字是3,4,6,和3。
输入特征重用算法。
| 层 | 输入 | 过滤器 | 内核 | 输出 |
|---|---|---|---|---|
| 0:Conv |
|
|
|
|
| 1:Maxpool |
|
|
|
|
| 2: |
|
|
||
| 3:Conv |
|
|
|
|
| 4: |
|
|
||
| 5:Conv |
|
|
|
|
| 6: |
|
|
||
| 7:Conv |
|
|
|
|
| 8: |
|
|
||
| 9:Deconv |
|
|
|
|
| 10:预测 |
|
|
层:功能层的模型;布洛克:残块,输入和输出表示的形状张量;内核:卷积核的大小;和过滤器:卷积核的数量。
预测表
旋转边界框。绿色的盒子是地面真实,红色框是测试结果。实线座标轴的绝对坐标是基于地面真实,虚线坐标轴是基于旋转边界框的相对坐标。
其中,
大多数SEM图像的裂纹的颜色是黑色或gray-black。人口安排边界框不利于人们观察检测结果,如果预测边界框直接返回到裂纹。本文提出一种方法来修改回归边界框进一步突出SEM图像的检测结果。如图
说明了回归。
实验设备包括台式电脑(Intel (R) (TM)核心i7 - 9700 @ 3.00 ghz CPU、GPU NVIDIA GeForce 2080年代RTX, 16 gb的RAM和windows10 - 64位)范和高真空扫描电子显微镜由美国公司,如图
高真空扫描电子显微镜。
精度
其中,TP与正确的预测是一个正样本,FP和不正确的预测,是一个正样本和FN负样本错误的预测。精度是指比例正样本的预测结果,和许多代表之间的平均误差预测角和真正的角。
旋转注释和传统注释的数据集是用来进行实验。数据
定性分析实验结果。(a, b)的培训我们的方法的损失。精密曲线代表的概率预测是正确的。mIOU代表的平均比率的十字路口和工会预测盒和地面真理盒。
传统的标签容易错过了在当地裂缝检测方法,如图所示的白色标志在第一列的图
定性的比较不同的注释方法。(a - c)原始图像,传统的注释,分别和旋转注释。
成像分辨率不断变化。和图像背景,照明,也和裂缝特征改变当扫描电镜搜索受损区域。为了验证我们方法的可行性,人物
定性的比较不同的边界框。(模拟)原始图像,广场边界盒、圆边界框,分别和实心圆边界框。
本文比较了我们的方法和四种不同的发布方法包括SSD (
定性比较不同的方法。(安妮)SSD, YOLO,意思RetinaNet, R-CNN更快,和我们的方法。
裂缝密度检测方法与旋转边界框基于深度学习模型,提出了实现智能识别微裂隙的扫描电镜图像。首先,密集的和连续的边界框是用来标记沿着微裂纹增长轨迹来减少学习深度学习背景特性的模型。其次,采用旋转角减少裂缝的地方特色的差异在每个边界框架。我们的模型由ResNet特征提取器和一个漂泊的框架CenterNet算法,增加角度预测高维特征图。边界框的形状是修改和填写颜色优化裂缝SEM图像的检测效果。结果表明,我们的方法的检测精度达到71.12%,可用于扫描电镜裂纹图像检测与不同的放大。旋转的回归状态已成功用于区分本地缺口区域的裂纹。本文成功地裂缝深度学习方法结合SEM图像,发现它有很大的发展潜力在计算机通过实验材料。在未来,我们将考虑如何深入学习算法嵌入到SEM实现实时跟踪,和更多的智能检测微裂隙。
可以根据客户要求提供数据。
无花果/ 1. jpg Lun赵获得了博士学位,机械设计及理论从昆明科技大学,昆明,中国,2018年。他目前担任博士后研究员在深圳先进技术研究院、中国科学院深圳,中国。他的研究兴趣覆盖表加入的新技术,添加剂生产和机器学习。无花果/ 2。png Yun Long Pan received his B.S. degree from City College of Dongguan University of Science and Technology in 2019. Now, he is pursuing his M.S degree in Kunming University of Science and Technology. His main research interests include machine vision detection and deep learning algorithms. figs/3.jpg Sen Wang received the Ph.D. degree in the direction of mechanical and electronic engineering from Kunming University of Science and Technology, Kunming, China, in 2017. He is currently a lecturer with the Faculty of Mechanical and Electrical Engineering, Kunming University of Science and Technology. His research interests concentrate on image processing, computer vision and deep learning. figs/4.jpg Liang Zhang received the Ph.D. degree in Materials Science and Engineering from Haerbin Institute of Technology, Haerbin, China, in 2013. He is an Associate Professor in Shenzhen Polytechnic, Shenzhen, China. His research interests include additive manufacturing and welding. figs/5.jpg Md Shafiqul Islam received his Ph.D. degree in mechanical engineering from Blekinge Institute of Technology, Blekinge, Sweden, in 2019. He is currently working as a postdoctoral researcher at the Faculty of Mechanical Engineering, Blekinge Institute of Technology. His research interests cover fracture mechanics, constitutive modelling, and machine learning.
作者宣称没有利益冲突。
Lun赵和云龙锅了同样的工作。