群集分析,它是将数据集分为组,使得类似的元件被分配给同一组,并且相同的元素被分配给不同的元件,已经广泛研究和应用于各种领域。聚类中的两个具有挑战性的任务是确定合适数量的簇和产生任意形状的簇。本文提出了一种新的“epsilon半径邻居”的新概念,其在簇形成过程中起着重要作用,从而自动地确定簇的数量和簇的形状。基于“epsilon半径邻居”,提出了一种新的聚类算法,其中epsilon半径值适应于当前分区中的每个簇的特征。最近,聚类已广泛应用于环境应用,包括地下水质量监测。然而,现有的研究简单地应用了传统的聚类技术,其中上述了两个具有挑战性的任务已经尚未解决。因此,本文采用了拟议的聚类算法,评估了越南巴里亚 - 王省Phu My Town的地下水质量。基准数据集的实验结果证明了所提出的算法的有效性。对于地下水的质量,新算法导致具有不同特性的四个集群。通过本申请,我们发现新算法可以为地下水管理提供有价值的参考信息。
聚类分析是通过对数据进行分组,将相似的元素分配到同一组,将不同的元素分配到不同的组,从而发现数据集的底层结构[
对于(i)中,以确定簇的合适数量的,最常用的方法是运行聚类算法几次,每次用不同数目的簇,并且基于许多的内部效度的措施,如S-指数评估它们,F-指数,唐恩指数,以及解-贝尼指数[
对于(ii)中,DBSCAN [
由于上述缺陷,有必要研究一种能够自动确定聚类个数和聚类形状的聚类新方法。本文提出了一种新的聚类方法,该方法基于一个新的定义,称为<我nline-formula>
地下水的质量取决于各种因素,如气候,含水层,pH,碱度,氧化还原潜力的地质环境,初期源,由于人类活动的污染,以及生物过程。评估地下水质量的常规方法通常基于比较代表水质的参数,该参数由传感器收集,允许的标准。聚类可以帮助解释复杂的数据矩阵,分析水质特征的相似之处,并将它们分组成簇,从而显示其一般特征,以及影响水质的原因。因此,聚类已广泛应用于环境应用,包括地下水质量监测。例如,一些研究[
本文的其余部分安排如下。部分
让<我nline-formula>
很明显,<我nline-formula>
我们知道,如果数据具有平均值的正常分布<我nline-formula>
在哪里<我nline-formula>
让<我talic>
n我talic>是当前处理集群中的样本大小或对象数量<我nline-formula>
然后用置信区间的最大值作为聚类扩展的代表。
它可以从公式中观察到(
根据公式(
所提出的算法的流程图,其中<我talic> 我我talic>为迭代次数。
初始化<我nline-formula>
使用以下公式获取群集的前三个对象:
更新
在公式中(
在上述公式中,<我talic>
d我talic>两者之间的欧几里得距离是多少<我talic>
d我talic>维点。在下面的一些插图中,为了直观起见,
x将被选为二维点(
x1年代ub>和
x2年代ub>),这样我们就可以画出数据的散点图。事实上,
x1年代ub>和
x2年代ub>不仅可以是坐标,还可以是其他信息,比如高度,重量,Ca<年代up>2+年代up>,mg.<年代up>2+年代up>和钠<年代up>+年代up>.此外,
x可以是一个<我talic>
d我talic>维向量,一般。当然,我们可以计算出两者之间的欧氏距离<我talic>
d我talic>- 一致的积分
x和
y使用以下公式:
另外,由于在不同尺度下测量的变量在计算距离时不同时贡献,所以使用以下公式将数据标准化为[0,1]间隔:
为每一个<我nline-formula>
在此步骤中,式(
如果<我nline-formula>
重复上面的三个步骤,直到将所有对象分配给其群集。
所提出的算法的主要思想是,从使用公式初始化的多个点(
上面提出的聚类方法将在评估富美镇,巴地头顿省,越南地下水质被应用。所使用的研究区域和数据描述如下。
Phu My Town的自然面积33,825公顷,人口137,334人。向东,IT毗邻洲地区,巴里亚 - 王省。向西方,它毗邻Gio区,胡志明市,博士市武岩市,巴里亚 - 王省省。到南方,它毗邻巴里亚城市,巴里亚 - 武隆省,北北部是董宁省长距离。Phu My Town位于越南南三角洲的气候区,拥有热带气候,主要受到东北和西南季风的影响。一年中有两个独特的季节,旱季和雨季。从12月到4月的第一个持续持续年度温度为26.3摄氏度,第二个是5月至11月之间,平均年降雨量为1356.5毫米。
Phu My Town是最集中的工业区,是越南Ba Ria-vung Tau省最发达的地区之一。为了服务经济发展,该领域对水的需求相当高,但河流和湖泊的地表水源不符合需求。根据BA RIA-Vung Tau省自然资源与环境部的2012年调查数据,这个城镇的地下水开采总量占18,608,430米<年代up>3.年代up>/年(主要是从富美 - 我的玄水站和TOC田水厂)。地下水开采已报告主要是在更新世含水层,它是由古芝形成,守德的形成,和庄汜的形成与主要矿物的粗粒土:萤石,磷灰石,长石,石膏,电气石,蒙脱石,钛铁矿,和其他一些杂质。
数据集由巴里亚翁头省自然资源和环境司提供。中上更新世(qp .<年代ub>2-3年代ub>)含水层和上更新世(qp .<年代ub>3.年代ub>)的含水层,包括11个变量,从17口监测井中收集。17口监测井的位置如图所示
井的位置。
井中采集的化学参数浓度(mg/l)。
| ID | NA.<年代up>+年代up> | K<年代up>+年代up> | Ca<年代up>2+年代up> | 米<年代up>2+年代up> |
|
艾尔<年代up>3+年代up> |
|
Cl<年代up>-年代up> |
|
|
|
|---|---|---|---|---|---|---|---|---|---|---|---|
| NB3A | 4.19 | 1.47 | 17.03 | 0.61 | 0.00 | 0.00 | 54.92 | 8.15 | 2.40 | 1.20 | 0.00 |
| NB3B | 6.56 | 3.85 | 2.00 | 0.49 | 0.00 | 0.00 | 6.10 | 17.73 | 2.40 | 0.64 | 0.00 |
| QT5B | 6.57 | 4.07 | 17.03 | 0.61 | 0.00 | 0.08 | 54.92 | 10.64 | 9.61 | 1.49 | 0.00 |
| QT7B | 192.73 | 9.00 | 22.04 | 19.46 | 2.31 | 8.51 | 0.00 | 375.77 | 81.65 | 1.15 | 0.00 |
| NB2C | 8.29 | 2.90 | 35.07 | 1.82 | 0.00 | 0.00 | 103.73 | 17.73 | 7.20 | 11.24 | 0.00 |
| NB1B | 4.14 | 2.32 | 1.60 | 0.24 | 0.00 | 0.00 | 12.20 | 7.80 | 2.40 | 0.41 | 0.00 |
| VT4B. | 277.65 | 17.60 | 26.05 | 31.62 | 2.24 | 1.67 | 0.00 | 514.03 | 115.27 | 1.44 | 0.00 |
| VT6 | 33.79 | 7.25 | 10.02 | 0.61 | 0.00 | 0.00 | 24.41 | 49.63 | 19.21 | 2.88 | 7.77 |
| NB4 | 11.00 | 1.44 | 21.04 | 0.61 | 0.24 | 0.00 | 67.12 | 14.18 | 9.61 | 0.91 | 0.01 |
| QT5A | 10.43 | 1.22 | 1.40 | 0.36 | 0.00 | 0.00 | 6.10 | 16.66 | 2.40 | 7.91 | 0.00 |
| QT7A | 644.44 | 57.90 | 100.20 | 118.56 | 36.10 | 0.00 | 494.26 | 946.52 | 528.33 | 6.23 | 7.28 |
| NB1A | 5.00 | 5.38 | 2.00 | 0.49 | 0.00 | 0.00 | 18.31 | 8.86 | 2.40 | 0.59 | 0.00 |
| NB2A | 3.86 | 3.61 | 11.02 | 0.97 | 3.72 | 0.00 | 48.82 | 7.09 | 3.84 | 0.85 | 0.32 |
| vt4a. | 82.73 | 5.76 | 54.11 | 21.89 | 3.65 | 0.00 | 85.43 | 223.34 | 31.22 | 0.81 | 0.00 |
| QT11 | 4.89 | 1.65 | 1.00 | 0.24 | 0.00 | 0.00 | 12.20 | 7.80 | 0.96 | 1.32 | 0.00 |
| VT2B. | 6.88 | 1.94 | 9.02 | 0.61 | 0.11 | 0.00 | 24.41 | 12.41 | 2.40 | 15.14 | 0.01 |
| vt2a. | 4.33 | 2.14 | 5.61 | 1.09 | 0.04 | 0.00 | 18.31 | 8.15 | 3.36 | 11.34 | 0.01 |
在本研究中,计算距离时变量的贡献是相同的,即所提方法对各化学参数的重要性是相同的。在某些化学参数比其他参数更重要的情况下,该方法可以用加权欧氏距离代替标准欧氏距离。此外,需要注意的是,在本应用中,井的位置不作为变量,也就是说,井只根据其化学参数进行分组。因此,算法将不会过于关注位置,而是更多地关注化学性质。当然,如果同一地区的井具有相同的化学性质,它们将被分配到同一簇。因此,我们有按地点分类的井。相比之下,通过聚类结果,我们仍然可以识别出位于同一区域但化学性质不同的井,或者位于不同区域但化学性质相似的井。在这种情况下,也将提供相应的解释。
在本节中,将使用一个简单的数据集来详细说明所提出的算法。数据集由20个二元变量点组成,见表
画报数据。
| 数据 |
|
|
数据 |
|
|
|---|---|---|---|---|---|
| 1 | 42. | 72. | 11. | 41. | 58. |
| 2 | 44. | 71. | 12. | 41.5 | 59. |
| 3. | 46. | 73. | 13. | 42.5 | 59. |
| 4 | 47. | 72. | 14. | 43. | 60. |
| 5 | 49. | 71. | 15. | 45. | 61. |
| 6 | 51. | 71. | 16. | 45.5 | 61. |
| 7 | 52. | 70 | 17. | 47. | 61. |
| 8 | 54. | 69. | 18. | 48. | 61. |
| 9 | 55. | 68. | 19. | 49. | 61. |
| 10. | 57. | 67. | 20. | 50. | 60. |
说明数据点。
使用公式(
最初的原型。
现在,我们用点处理集群中建立集群本身。例如,在图
确定自适应半径和新邻居。
处理群集在绿点延长。
重复上述过程,直到处理群集不能更扩展,也就是处理集群中所有的点都被用于扩展的过程,我们无法找到与他们有关的任何新的点,如图
确定第一个聚类。
数字
确定两个集群。
部分
测试数据集可从(
螺旋:具有螺旋状簇的数据集
聚合:具有不同群集形状的数据集
化合物:具有不同簇形状和密度的复合数据集
高斯:在[
测试的算法包括
ARC1:提出的方法,自适应半径根据公式(
ARC2:提出的方法,自适应半径根据公式(
SU:最近由[
在本文中,调整后的兰特指数,ARI [
桌子
经过测试的算法形成了聚类。
| 螺旋 | 聚合 | 化合物 | 高斯 | |
|---|---|---|---|---|
| 研究进展 |
|
|
|
|
| ARC2 |
|
|
|
|
|
|
|
|
|
|
| 苏 |
|
|
|
|
| DBSCAN |
|
|
|
|
四个数据集的比较方法的ARI。
| 螺旋 | 聚合 | 化合物 | 高斯 | |
|---|---|---|---|---|
| 研究进展 |
|
|
|
|
| ARC2 | 0.9253 | 0.8035 | 0.9438 | 0.7034 |
|
|
0.0924 | 0.5906 | 0.5890 | 0.6968 |
| 苏 | 0.0000 | 0.5638 | 0.7257 |
|
| DBSCAN |
|
0.7338 | 0.7568 |
|
评论:
对于非球形簇,DBSCAN的性能优于SU和<我talic> k我talic>- eans算法。该结果是合理的,因为DBSCAN可以根据密度和连接而不是它们之间的距离,将数据点容易地将数据点分组到任意形状群集中。通常,Arc2算法在ARI方面非常有效,并且在三个数据集中的两个中优于DBSCAN。同时,Arc1实现了最大的ARI值,这表明在聚类精度方面的最佳性能。
对于球形或高斯集群,大多数方法呈现良好的性能,其中ARC1,SU和DBSCAN是正确的方法。这<我talic>
k我talic>-means算法也提供了最好的结果,为<我talic>
k我talic> = 3; however, when<我talic>
k我talic>是随机改变而不满足吗<我talic>
k我talic> = 3, this method shows poor performance. Tables
综上所述,可以说ARC1是一种有效的算法。具体来说,ARC1可以自动确定聚类的数量,并且对于任何给定的数据集具有明显较大的ARI值或明显较好的聚类结果。
在本节中,我们聚集了Ba Ria-Vung Tau省自然资源和环境部提供的地下水质量参数样本。使用的研究区域和数据已在一节中介绍
集群1:NB3A, QT5B, NB4
第二组:NB3B, NB1B, NB1A, QT11
集群3:QT7B,NB2C,VT4B,VT6,QT5A,NB2A,VT4A,VT2B,VT2A
集群4:QT7a
17口井的聚类结果。
集群之间的一些参数的比较显示在图
Cluster 4只有一个well, QT7A,参数值很高。这一结果表明,与其他井簇相比,该井的水质非常差。另外,从表中可以看出
对于三个剩余的集群,可以从图中看到它
Cluster 2由4口质量相对较好的井组成。在该集群中,大多数参数值都低于其他集群,且在安全范围内。可以看出,组2井不受农业活动和盐水入侵的影响。
聚类3由8口井组成,Mg值较高<年代up>2+年代up>,na<年代up>+年代up>,K<年代up>+年代up>,加利福尼亚州<年代up>2+年代up>,cl.<年代up>-年代up>,<我nline-formula>
比较集群之间的参数。(a)群集4和剩余的簇。(b)群集1,群集2和群集3。
基于半径邻域的定义,本文提出了一种新的聚类算法,该算法可以自动确定聚类的数量,并可以找到不同大小、形状和密度的聚类。该算法的半径或扩展与当前处理集群相适应,具有良好的泛化能力。在基准数据集上对该算法进行了测试,并将其应用于越南巴里翁头省富美镇地下水水质评价。在多数据集的实验中,ARC1算法在调整后的Rand指数方面表现出了比其他测试算法更好的性能。在非球形聚类的情况下,ARC2算法的性能优于传统聚类算法,而在球形聚类的情况下性能较差。在对越南巴里翁头省富美镇地下水水质评价中,提出的算法表明,存在4个代表不同来源贡献的水质聚类。
用于支持本研究发现的数据可由通讯作者要求提供。
作者声明他们没有利益冲突。
本研究由越南国立胡志明市大学(VNU-HCM)资助。C2018-24-01。