保序回归

编辑 锁定 讨论999
保序回归(isotonic regression)或“单调回归(monotonic regression)”是回归分析的一种,是在单调的函数空间内对给定数据进行非参数估计的回归模型 [1-2] 
保序回归在观念上是寻找一组非递减的片段连续线性函数(piecewise linear continuous functions),即保序函数,使其与样本尽可能的接近。在计算中,保序回归是一个二次规划问题,即寻找一组保序函数是其对样本的估计值与样本的真实值间的离差平方和达到最小 [3] 
保序回归的应用包括多维标度、偏斜数据下分类器的校准以及其它因变量被限定为单调变化的情形。
中文名
保序回归
外文名
isotonic regression
类    型
回归模型,非参数模型
提出者
H. D. Brunk,R. E. Barlow 等 [1] 
提出时间
1969-1972年 [4] 

目录

保序回归理论

编辑
给定学习样本
,保序回归是一个加权最小二乘的二次规划问题 [3]  录:
式中
为一组权重,要求必须为正值且个数与样本数相同,因此保序回归是非参数模型,其目标函数的复杂度与样本量有关 [3] 

保序回归应用

编辑
保序回归可以在有足量样本的支持下对分类器进行校准抄,并因此被应用于广告排序 [5]  百,质量控制 [3]  等现实问题。一些数值分析工具度,例如Python下的Scikit-learn提供了封装的保序回归工具 [2] 
参考资料
  • 1.    Barlow, R.E., Bartholomew, D.J., Bremner, J.M. and Brunk, H.D., 1972. Statistical inference under order restrictions: The theory and application of isotonic regression (No. 04; QA278. 7, B3.). New York: Wiley.
  • 2.    scikit-learn: sklearn.isotonic.IsotonicRegression  .scikit-learn.org.2019[引用日期2019-08-07]
  • 3.    Kearsley, A.J., 2006. Projections onto order simplexes and isotonic regression. Journal of research of the National Institute of Standards and Technology, 111(2), p.121.
  • 4.    Brunk, H.D., 1969. Estimation of isotonic regression. Technical Report. University of Missouri-Columbia.
  • 5.    McMahan, H.B., Holt, G., Sculley, D., Young, M., Ebner, D., Grady, J., Nie, L., Phillips, T., Davydov, E., Golovin, D. and Chikkerur, S., 2013, August. Ad click prediction: a view from the trenches. In Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining (pp. 1222-1230). ACM.