直接支持向量回归机

Journal of Systems Engineering and Electronics ›› 2009, Vol. 31 ›› Issue (1): 178-181.

直接支持向量回归机

杜喆, 刘三阳, 吴青

西安电子科技大学数学科学系, 陕西, 西安, 710071

收稿日期:2007-12-13 修回日期:2008-03-24 出版日期:2009-01-20 发布日期:2010-01-03
作者简介:杜喆(1982- ),男,博士研究生,主要研究方向为机器学习和最优化计算方法.E-mail:duzhe_doog@126.com
基金资助:
国家自然科学基金资助课题(60574075,60705004)

Direct support vector machine for regression

DU Zhe, LIU San-yang, WU Qing

Dept. of Applied Mathematics, Xidian Univ., Xi’an 710071, China

Received:2007-12-13 Revised:2008-03-24 Online:2009-01-20 Published:2010-01-03

摘要/Abstract

摘要： 将超平面偏置项平方加入到最小二乘支持向量回归机(LSSVMR)的目标函数中,提出直接支持向量回归机(DSVMR)。该方法增强了求解问题的凸性,与LSSVMR相比,只需要求解一个与核矩阵类似的对称正定矩阵的逆就可以得到问题的解,再使用Cholesky分解和SMW(Sherman-Morrison-Woodbury)求逆公式,降低了计算复杂度,加快了学习速度,而且逼近能力与LSSVMR近乎相同。最后数值试验表明DSVMR可行且完全具有上述优势。

Abstract: A direct support vector machine for regression(DSVMR) is obtained when appending the square bias of the hyper-plane into the object function in a least square support vector machine for regression(LSSVMR).Compared with LSSVMR,the DSVMR strengthens the convexity of the problem to be solved and only needs to calculate the inversion of a symmetrical positive definite matrix which is similar to a kernel matrix.The Cholesky decomposing and the SMW(Sherman-Morrison-Woodbury) formula are employed to reduce the computing amount greatly,accelerates the learning speed and has no weakening approximate ability.Numerical experiments show that the new method is feasible and has the above advantages.

中图分类号:

TP181

杜喆, 刘三阳, 吴青. 直接支持向量回归机[J]. Journal of Systems Engineering and Electronics, 2009, 31(1): 178-181.

DU Zhe, LIU San-yang, WU Qing. Direct support vector machine for regression[J]. Journal of Systems Engineering and Electronics, 2009, 31(1): 178-181.

参考文献

[1] Vapnik V N.The nature of statistical learning theory[M].New York:Springer,1995.
[2] Drucker H,Burges C J C,Kaufman L.Support vector regression machines[C]//Advances in Neural Information Processing Systems,Cambridge:MIT Press,1997:155-161.
[3] Tay F E H,Cao L.Application of support vector machines in financial time series forecasting[J].Omega,2001,29 (4):309-317.
[4] Flake G W,Lawrence S.Efficient SVM regression training with SMO[J].Machine Learning,2002,41(1):271-290.
[5] 李映,白本督,焦李成.支撵矢量机的分类机理[J].系统工程与电子技术,2001,23(9):25-27.(Li Ying,Bai Bendu,Jiao Li-cheng.The mechanism of classification for support vector machines[J].Systems Engineering and Electronics,2001,23 (9):25-27.)
[6] 周伟达,张莉,焦李成.线性规划支撑矢量机[J].电子学报,2001,29(11):1-5.
[7] Suykens J A K,Vandewalle J.Least square support vector machine classifiers[J].Neural Processing Letters,1999,9:293-300.
[8] Gestel T V,et al.Financial time series prediction using least squares support vector machines within the evidence framework[J].IEEE Trans on Neural Networks,2001.12 (4):809-821.
[9] Wei Chun,Chong Jin Ong,Keerthi S S.An improved conjugate gradient scheme to the solution of least squares SVM[J].IEEE Tansaction on Neural Network,2005,16(2):498-501.
[10] 吴青,刘三阳,张乐友.最小二乘支持向量机的预优共轭梯度法[J].系统工程与电子技术,2007,29(10):1746-1748.(Wu Qing,Liu Sanyang,Zhang Leyou.Preconditioning conjugate gradient method for least squares SVM[J].Systems Engineering and Electronics,2007,29(10):1746-1748.)
[11] Mangasarian O L,Musicant D R.Lagrangian support vector machines,technical report 00-06[R].Data Mining lnstitute:Computer Sciences Department,University of Wisconsin,Madison,Wisconsin,2000.
[12] Mangasarian O L,Musicant D R.Active support vector machine classification,technical report 00-04[R].Data Mining Institute,Computer Sciences Department,University of Wisconsin,Madison,Wisconsin,2000.
[13] Golub G H,Van loan C F.Matrix computations[M].3^rd edition,Baltimore and London:The Johns Hopkins Univ.Press,1996.
[14] Asuncion A,Newman D J.UCI Machine Learning Repository[OL].http://www.ics.uci.edu/～mlearn/MLRepository.html.Irvine,CA:University of California,Department of Information and Computer Science,1998.

[1]	张俊, 张新禹, 姜卫东, 刘永祥, 黎湘. 基于广义近似消息传递的快速DOA估计方法[J]. 系统工程与电子技术, 2022, 44(10): 2995-3002.
[2]	万齐天, 卢宝刚, 赵雅心, 温求遒. 基于深度强化学习的驾驶仪参数快速整定方法[J]. 系统工程与电子技术, 2022, 44(10): 3190-3199.
[3]	何立, 沈亮, 李辉, 王壮, 唐文泉. 强化学习中的策略重用: 研究进展[J]. 系统工程与电子技术, 2022, 44(3): 884-899.
[4]	程恺, 陈刚, 余晓晗, 刘满, 邵天浩. 知识牵引与数据驱动的兵棋AI设计及关键技术[J]. 系统工程与电子技术, 2021, 43(10): 2911-2917.
[5]	赖德迪, 罗智徽, 马应龙. 基于共现分析的分类器链标签序列优化方法[J]. 系统工程与电子技术, 2021, 43(9): 2526-2534.
[6]	吴子龙, 陈红, 雷迎科. 改进DenseNet在电台建链行为识别时的可视化研究[J]. 系统工程与电子技术, 2021, 43(5): 1371-1381.
[7]	施伟, 黄红蓝, 冯旸赫, 刘忠. 面向多类别分类问题的子抽样主动学习方法[J]. 系统工程与电子技术, 2021, 43(3): 700-708.
[8]	李琛, 黄炎焱, 张永亮, 陈天德. Actor-Critic框架下的多智能体决策方法及其在兵棋上的应用[J]. 系统工程与电子技术, 2021, 43(3): 755-762.
[9]	马文, 李辉, 王壮, 黄志勇, 吴昭欣, 陈希亮. 基于深度随机博弈的近距空战机动决策[J]. 系统工程与电子技术, 2021, 43(2): 443-451.
[10]	白静, 陈业华, 石蕊, 张亚明. 基于概率语言赋权交叉熵信度分配的应急决策[J]. 系统工程与电子技术, 2021, 43(2): 476-486.
[11]	吴子龙, 陈红, 雷迎科, 李昕, 熊颢. 基于堆栈式LSTM网络的通信辐射源个体识别[J]. 系统工程与电子技术, 2020, 42(12): 2915-2923.
[12]	邵天浩, 张宏军, 程恺, 戴成友, 余晓晗, 张可. 层次任务网络中的重新规划研究综述[J]. 系统工程与电子技术, 2020, 42(12): 2833-2846.
[13]	王泊涵, 吴超, 柯文俊, 郑恺之, 付修锋, 江山. 基于概率图的作战任务智能规划方法[J]. 系统工程与电子技术, 2020, 42(12): 2795-2801.
[14]	闫实, 贺静, 王跃东, 孙自强, 梁彦. 基于强化学习的多机协同传感器管理[J]. 系统工程与电子技术, 2020, 42(8): 1726-1733.
[15]	李岩, 陈云翔, 罗承昆, 蔡忠义. 基于概率犹豫-直觉模糊熵和证据推理的多属性决策方法[J]. 系统工程与电子技术, 2020, 42(5): 1116-1123.