监督数据分类是一种技术用于从数据中提取重要的信息。分类是一种广泛使用的技术在各个领域,包括数据挖掘、工业、医学、科学、和法律。本文认为监督数据分类问题的一种新的算法与聚类分析相关联。这个算法的数学公式是基于非光滑、非凸优化。解决这个优化问题的新算法是利用。新算法使用derivative-free技术,与鲁棒性和效率。改善分类性能和效率产生分类模型、基于技术的一个新的特征选择算法的凸规划建议。提出的方法是真实数据集上测试过。已经提出了数值实验结果证明了该算法的有效性。
监督数据分类是一种广泛使用的技术在各个领域,包括数据挖掘,其目的是建立规则分类的一些假设观测数据的类是已知的。由于业务的爆炸性增长和科学数据库,从这些数据库中提取有效的分类规则是主要的重要的。
在过去30年中各种算法设计监督数据分类是基于完全不同的方法,例如,统计方法[
算法基于归纳逻辑编程(
另一方面,影响最重要的因素之一的分类准确率是特征选择。如果数据集包含的特性,将大空间的维数和nonclean,可耻的分类准确率(
在这个研究中,新算法基于优化技术的分类和特征选择问题设计;这些方法的执行需要解决复杂问题非凸非光滑无约束最优化、当地或全球。尽管nonsmoothness和nonconvexity目标函数的全局方法更简单,更适用于当地的军队。在目前的研究中,我们适应和作为一种直接的全局优化方法,即网格自适应直接搜索(尼)
提出了计算使用真实数据集的实验结果并与文学最著名的解决方案。
本文组织如下。分类的优化方法被认为是在部分
考虑一组<我nline-formula>
因此,在第一个找到一套有限的集群将被解释的。聚类在<我nline-formula>
考虑集<我nline-formula>
以同样的方式,假设已经计算<我nline-formula>
然后下面的算法提出了解决分类问题。假设数据库包含2类:<我nline-formula>
分类问题的新算法。
假设<我nline-formula>
允许<我nline-formula>
考虑一个数据库,其中包含2非空的有限集<我nline-formula>
特征选择。
让<我nline-formula>
如果<我nline-formula>
在本节中,算法解决问题的讨论中提到的分类算法。由于这些函数非光滑和次梯度估计是困难的,直接搜索方法,优化似乎解决他们的最佳选择。最大的吸引力直接搜索方法找到最优解的能力而不需要计算衍生品,与基于更熟悉的梯度方法(
直接搜索算法可以应用问题难以得到解决与传统优化技术,包括问题很难模型数学或显示不是很好。他们也可以应用目标函数不连续时,随机,高度非线性,或未定义的导数。
一般来说,直接搜索算法被称为模式搜索算法和广义模式搜索算法(GPS)和麦斯算法模式搜索算法,计算的序列点越来越接近最优。在每个步骤中,该算法调查一组点,称为网状,在当前点(点上一步计算的算法)。通过添加当前网格创建指向一个标量的多个向量的集合称为模式。如果模式搜索算法发现一个网格点,使得更好的(减少)目标函数在当前时刻,新的点成为当前点算法的下一步。
马德斯方法被设计成只使用函数值,只需要一个客观的数值;没有知识的内部结构问题是必要的。这些方法可以快速而方便地应用于非线性、非凸,nondifferentiable,不连续,或破坏问题
尼是一个迭代算法。每一次迭代(如图所示的下标<我nline-formula>
一个通用和灵活的算法框架马德斯研究[
后续步骤的算法初始化其他参数。
全局搜索(可选):评价<我nline-formula>
当地民调(强制性):定义一组调查和评估的<我nline-formula>
来验证提出的算法的效率的数值实验和实际数据集进行了电脑,英特尔酷睿2双核处理器,1.95 GB的内存。
乳腺癌澳大利亚信贷数据集,数据集,糖尿病数据集,心脏病数据集,肝功能失调数据集,数据集的德国号码,和蘑菇数据集应用于数值实验。
这些数据集的描述可以在UCI机器学习库(
在表
检查数据库的属性。
| 数据 |
|
|
|---|---|---|
| 澳大利亚的信用 | ||
| 乳腺癌 | ||
| 糖尿病 | ||
| 心 | ||
| 肝 | ||
| 德国的号码 | ||
| 蘑菇 |
首先,所有功能都是标准化的。这是通过一个满秩矩阵,标准偏差值的特性都是1。为了评估性能,使用10倍交叉验证,样品从每个数据集被选中,然后分成10个相等大小的子集。接下来,选择一个子集和指定的测试集和工会其余九个子集后被用作训练集。算法的应用
相比,<我nline-formula>
在数值实验中算法
结果在澳大利亚信贷数据集。
| 算法 |
|
|---|---|
| 马 | |
| NBTree | |
| RBF | |
| KStar | |
| Ridor | |
| VFI | |
| MultiBoost | |
| 贝叶斯网 | |
| 算法 | |
| 不同的方法从米奇 |
结果乳腺癌数据库。
| 算法 |
|
|---|---|
| 马 | |
| PMM | |
| RLP | |
| 嗯 | |
| NBTree | |
| RBF | |
| KStar | |
| Ridor | |
| VFI | |
| MultiBoost | |
| 贝叶斯网 | |
| 算法 |
结果糖尿病数据集。
| 算法 |
|
|---|---|
| 马 | |
| PMM | |
| RLP | |
| 嗯 | |
| 支持向量机 | |
| NBTree | |
| RBF | |
| KStar | |
| Ridor | |
| VFI | |
| MultiBoost | |
| 贝叶斯网 | |
| 算法 | |
| IncNet | |
| 模糊的方法 | |
| FLEXNFIS | |
| 模糊神经网络 | |
| 不同的方法从米奇 |
导致心脏数据集。
| 算法 |
|
|---|---|
| 马 | |
| PMM | |
| RLP | |
| 嗯 | |
| 支持向量机 | |
| NBTree | |
| RBF | |
| KStar | |
| Ridor | |
| VFI | |
| MultiBoost | |
| 贝叶斯网 | |
| 算法 | |
| 不同的方法从米奇 |
导致肝脏数据集。
| 算法 |
|
|---|---|
| 马 | |
| PMM | |
| RLP | |
| 嗯 | |
| NBTree | |
| 规则4 | |
| C4.5 | |
| 朴素贝叶斯 | |
| BNND | |
| BNNF |
结果数据集号在德国的牌子。
| 算法 |
|
|---|---|
| 马 | |
| 并通过 | |
| C4.5 | |
| SMO | |
| 提高 | |
| 贝叶斯 | |
| DC-RBFNN | |
| 中长期规划 | |
| 然而, | |
| 开膛手 | |
| 防毒气的 | |
| FFA | |
| 海关 | |
| 算法 |
结果数据集的蘑菇。
| 算法 |
|
|---|---|
| 马 | |
| 并通过 | |
| C4.5 | |
| SMO | |
| 提高 | |
| 贝叶斯 | |
| DC-RBFNN | |
| 中长期规划 | |
| 然而, | |
| 号 | |
| 开膛手 | |
| FFA | |
| 海关 | |
| 算法 |
的数值结果参数误分类最小化(PMM) [
数值实验的结果通过使用来自米奇(23算法的分类
结果展示在表为澳大利亚的信用数据库
结果第二个数据库,乳腺癌数据库,展示在表
对于糖尿病数据库,数值实验的结果展示在表
结果提出了核心数据库表
结果肝脏数据库提出了表
德国的结果展示在表数据库
最后的结果数据库,蘑菇数据库,展示在表
如表所示
此外,为了评估重要因素的性能马德斯解决分类问题的算法,不同的实验数据集上进行了如前所述。这里只给出了主要结果从不同的实验;这样做是为了避免不必要的细节为了总结。在这个研究中,网格的因素<我nline-formula>
因为调查的方向选择设置为随机马德斯算法,因此每个算法的性能提供了新的结果所以MA方法进行10次,平均的解决方案提出了下面的表。还发现,它们的标准差(解决方案)接近于零。
各种实验数据集上完成如前所述的分类算法有不同的值<我nline-formula>
因此,这项研究的结果发表在表
本文提出了一种新的算法求解分类问题的算法包括非光滑和非凸优化问题。新算法是基于类的数据库使用集群中心,因此,对于每一个类,有估计的聚类分析问题是解决了。
尼法被用于解决非光滑优化问题。使用真实数据集的新方法进行了测试。这些计算实验的结果表明了新算法的有效性。在未来,数据集的大小会增加;显然应用特征选择是用于分类问题,因此似乎应该进一步研究特征选择过程。还提出新的全球化这个方法基于策略结合其他好的方法类似于PSO求解分类问题的未来研究建议。
作者宣称没有利益冲突有关的出版。
作者要感谢马来西亚教育部资助这个研究项目通过马来西亚各种大学的研究型大学格兰特(UTM),项目题为“降维与高维数据聚类和大型数据集”(04 h40)。同时,由于将UTM的研究管理中心(RMC)提供一个很好的研究环境中完成这项工作。