全部版块 我的主页
› 论坛 › 经济学人 二区 › 外文文献专区
序数回归的神经网络方法
能者818
899 8
2022-04-14
摘要翻译：
序回归是一种重要的学习类型，它既具有分类性质，又具有回归性质。在这里，我们描述了一种简单有效的方法来适应传统的神经网络学习序数类别。我们的方法是有序回归感知器方法的推广。在几个基准数据集上，我们的方法（NNRank）优于神经网络分类方法。与使用高斯过程和支持向量机的有序回归方法相比，NNRank具有相当的性能。此外，NNRank具有传统神经网络的优点：在线和批量学习模式，处理非常大的训练数据集，并进行快速预测。这些特性使NNRank成为大规模数据处理任务的有用和补充工具，如信息检索、网页排序、协同过滤和生物信息学中的蛋白质排序。
---
英文标题：
《A neural network approach to ordinal regression》
---
作者：
Jianlin Cheng
---
最新提交年份：
2007
---
分类信息：

一级分类：Computer Science        计算机科学
二级分类：Machine Learning        机器学习
分类描述：Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文（有监督的，无监督的，强化学习，强盗问题，等等），包括健壮性，解释性，公平性和方法论。对于机器学习方法的应用，CS.LG也是一个合适的主要类别。
--
一级分类：Computer Science        计算机科学
二级分类：Artificial Intelligence        人工智能
分类描述：Covers all areas of AI except Vision, Robotics, Machine Learning, Multiagent Systems, and Computation and Language (Natural Language Processing), which have separate subject areas. In particular, includes Expert Systems, Theorem Proving (although this may overlap with Logic in Computer Science), Knowledge Representation, Planning, and Uncertainty in AI. Roughly includes material in ACM Subject Classes I.2.0, I.2.1, I.2.3, I.2.4, I.2.8, and I.2.11.
涵盖了人工智能的所有领域，除了视觉、机器人、机器学习、多智能体系统以及计算和语言（自然语言处理），这些领域有独立的学科领域。特别地，包括专家系统，定理证明（尽管这可能与计算机科学中的逻辑重叠），知识表示，规划，和人工智能中的不确定性。大致包括ACM学科类I.2.0、I.2.1、I.2.3、I.2.4、I.2.8和I.2.11中的材料。
--
一级分类：Computer Science        计算机科学
二级分类：Neural and Evolutionary Computing        神经与进化计算
分类描述：Covers neural networks, connectionism, genetic algorithms, artificial life, adaptive behavior. Roughly includes some material in ACM Subject Class C.1.3, I.2.6, I.5.
涵盖神经网络，连接主义，遗传算法，人工生命，自适应行为。大致包括ACM学科类C.1.3、I.2.6、I.5中的一些材料。
--

---
英文摘要：
  Ordinal regression is an important type of learning, which has properties of both classification and regression. Here we describe a simple and effective approach to adapt a traditional neural network to learn ordinal categories. Our approach is a generalization of the perceptron method for ordinal regression. On several benchmark datasets, our method (NNRank) outperforms a neural network classification method. Compared with the ordinal regression methods using Gaussian processes and support vector machines, NNRank achieves comparable performance. Moreover, NNRank has the advantages of traditional neural networks: learning in both online and batch modes, handling very large training datasets, and making rapid predictions. These features make NNRank a useful and complementary tool for large-scale data processing tasks such as information retrieval, web page ranking, collaborative filtering, and protein ranking in Bioinformatics.
---
PDF下载：
-->
English_Paper.pdf
大小:(144.33 KB)

 马上下载

二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复
大多数88
2022-4-14 15:53:40
序数回归的神经网络方法Jianlin Cheng Jcheng@cs.ucf。Eduschool,Eduschool,Eduschool,Eduschool of Central Florida University of Electronic Engineering,Orlando,FL 32816,Usa抽象序数回归是一种重要的学习类型，它兼有分类和回归的性质。本文介绍了一种用传统神经网络学习序数类别的简单而有效的方法。我们的方法是有序回归感知器方法的推广。在几个基准数据集上，我们的方法（NNRank）优于神经网络分类方法。与使用高斯过程和支持向量机的有序回归方法相比，NNRank具有相当的性能。此外，NNRank具有传统神经网络的优点：在线学习和批量学习，处理大量的训练数据集，并进行快速预测。这些特性使NNRank成为大规模数据处理任务的一个有用的补充工具，如信息检索、web页面搜索、协作搜索和生物信息学中的蛋白质排序。序号回归（或称排序学习）是一个重要的有监督的学习问题，它具有bothclassioffication和度量回归的性质。有序回归的学习任务是将数据点分配到一组有序的类别中。例如，a教师用a、B、C、D和E(a>B>C>D>E)来评定学生的成绩（Chu&Ghahramani，2005a)。与度量回归不同，有序回归中的反应变量（类别）是离散的，有序回归的研究可以追溯到20世纪80年代的有序统计方法(McCullagh，1980；McCullagh&Nelder，1983)和90年代的机器学习研究（Caruana et al.，1996；Herbrich et al.，1998；Cohen et al.，1999)。近年来，由于其在信息检索（Herbrich et al.，1998)、网页排序（Joachims,2002)、协作搜索（Goldberg et al.，1992；Basilico&Hofmann,2004年；生物信息学中的Yuet al.，2006)、图像检索（Wu et al.，2003)和蛋白质排序（Cheng&Baldi，2006)。许多机器学习方法被开发或重新设计来解决有序回归问题（Rajaram et al.，2003)，包括感知器（Crammer&Singer，2002)及其核化推广（Basilico&Hofmann,2004)、梯度下降神经网络（Caruana et al.，1996；Burgeset al.，2005)，高斯过程（Chu&Ghahramani，2005b；Chu&Ghahramani，2005年a；Schwaighofer等，2005)，大边缘分类器（或支持向量机）（Herbrich等，1999；Herbrich等人，2000年；Joachims，2002年；Shashua和Levin，2003年；Chu&Keerthi，2005年；Aiolli和Sperduti，2004年；Chu&Keerthi，2007)，k-partite Classifileyer(Agarwal&Roth，2005)，boosting算法（Freund et al.，2003；Dekelet al.，2002)，约束分类（Har-Peled et al.，2002)，回归树（Kramer et al.，2001)，NaiveBayes（Zhang et al.，2005)，贝叶斯层次专家（Paquet et al.，2005)，二元分类方法（Frank&Hall，2001；Li&Lin,2006）将原始的有序回归问题分解为二元类集合，以及非光滑代价函数的优化问题（Burges et al.，2006)。这些方法可大致分为两类：两两约束方法（Herbrichet al.，2000；Joachims，2002年；Dekel等人，2004年；Burgeset al.，2005)和多阈值方法（Crammer&Singer，2002；Shashua和Levin，2003年；Chu&Ghahramani,2005a）,前者是将完全排序关系转化为两两顺序约束，后者则试图学习多个阈值来将神经网络方法中的序列回归数据划分为序数类别。
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi
2022-4-14 15:53:46
多阈值方法也可以统一于一般的、扩展的二值分类框架（Li&Lin,2006）下。Prank(Crammer&Singer，2002)是一种快速的在线算法，它将二进制感知器算法推广到有序多类情况。然而，与astandard感知器方法一样，在处理非线性数据时，其精度有所下降，而恶作剧的二次核函数大大缓解了这一问题。精确的大边际分类方法（Herbrich et al.，2000；Joachims，2002)将序数关系转换为结构风险最小化的O(n)(n:数据点的数量）成对排序约束(Vapnik，1995；Schoelkopf&Smola，2002)。因此，它不能应用于中等规模的数据集(>10,000个数据点），而不抛弃一些成对偏好关系。另一类强大的大边界类方法（Shashua&Levin,2003；Chu&Keerthi,2005）将支持向量公式推广到有序回归中，方法是在支持向量公式的直线上设置k-1阈值，将数据划分为K个有序类别。这个优化问题的大小在训练示例的数目上是线性的。然而，像用于分类的支持向量机一样，当解不稀疏时，预测速度很慢，这使得它不适用于时间关键的任务。同样，另一种先进的方法高斯过程方法（Chu&Ghahramani，2005a)也存在处理大量训练数据集和在某些情况下预测速度慢的问题。在这里，我们描述了一种新的神经网络方法，它具有神经网络学习的优点：在线和分批学习，在非常大的数据集上训练（Burges et al.，2005)，处理非线性数据，性能好，预测速度快。我们的方法可以考虑将感知器学习(Crammer&Singer，2002)推广到多层感知器（neuralnetwork）进行有序回归。我们的方法也与经典的广义线性模型（如累积logit模型）有关(McCullagh，1980)。与神经网络方法（Burges et al.，2005)不同的是，我们的方法学习成对的顺序关系，学习成对的顺序关系，我们的方法工作于单个数据点，并使用多个输出节点来估计顺序类别的概率。因此，我们的方法属于多阈值方法的范畴。在相同的基准数据集上，我们的方法的学习过程类似于传统的反向传播神经网络（Rumelhart et al.，1986)。在相同的基准数据集上，我们的方法的性能优于标准的分类神经网络，并与使用支持向量机和高斯过程的最新方法相当。此外，该方法还可以对非超大规模数据集进行学习并做出快速预测。方法2.1.公式D表示一个由n个数据点(x，y)组成的有序回归数据集，其中x∈RDI是一个输入特征向量，y是它从一个集合y得到的序数范畴。在不失一般性的前提下，我们假定以“<”为序关系的taty=1,2,...,K。对于一个标准的分类神经网络，在不考虑类别顺序的情况下，目标是预测数据点x属于某个类别K(y=K)的概率。输入是x，编码类别k的目标是一个向量t=(0，...，0，1，0，...，0)，其中只有元素tki被设置为1，所有其他元素都被设置为0。目标是学习一个函数，将输入向量x映射到概率分布向量o=(o，o，...OK，...OK)，其中OKI接近于1，其他元素接近于零，服从于constraintPKI=1OI=1。相比之下，像感知器方法（Crammer&Singer,2002）一样，我们的神经网络方法考虑了类别的顺序。
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88
2022-4-14 15:53:52
如果一个数据点x属于类别k，那么它也会自动归类到较低的类别(1、2、...、K-1)中。所以x的目标向量是t=(1，1，..，1，0，0)，其中ti(1≤i≤k)设为1，其他元素为零。因此，学习将输入向量x映射到概率向量o=(o，o，...，ok，...ok)的函数的目标是，其中oi(i≤k)接近于1，而oi(i≥k)接近于0.pki=1oii是对x所属类别数（即k）的估计，而不是1。目标向量的公式类似于感知器方法(Crammer&Singer，2002)。它也与经典的累加probit模型有关(McCullagh，1980)，因为我们可以把输出概率向量(o，...OK，...OK)看作是类别(1，...，k，...，k)上的累加概率分布，即pki=1oikis从类别1开始x属于类别的比例。我们的方法的目标编码方案与多标记学习(Bishop，1996)和多标记学习（Jin&Ghahramani，2003)的一种神经网络方法有关，因为我们的方法在标记（或类别）上强加了一个顺序。2.2。我们构造了一个多层神经网络来学习D中的关系，神经网络具有对应于特征向量x维数的Dinput，以及对应于K个序数类别的K个输出节点。可以有一个或多个隐藏层。在不失通用性的前提下，我们用一个隐层构造了一个标准的两层前馈神经网络。就像一个标准的神经网络的分类，输入节点与隐藏节点完全连接，而隐藏节点又与输出节点完全连接。同样，隐节点的传递函数可以是线性函数、sigmoid函数和我们实验中使用的tanh函数。传统神经网络唯一的不足在于输出层。传统的神经网络使用softmaxe-zipki=1e-zi（或归一化指数函数）作为输出节点，满足Outputspki=1oiis1的约束条件。ziis输出节点OI的净输入。相反，我们神经网络的每个输出节点OI使用标准的sigmoid函数1+e-zi，而不包括其他节点的输出。Outputnode OII，用于独立估计adata点属于i类的概率OII，而不像传统的神经网络那样进行归一化处理。因此，对于categoryk的数据点x，目标向量是(1，1，..，1，0，0)，其中firerstk元素是1，其他元素是0。这将输出节点Oi(i≤k)的targetvalue设置为1，并将Oi(i>k)设置为0。目标指示神经网络调整权值，以产生尽可能接近目标向量的概率输出。值得指出的是，对输出节点使用独立的sigmoid函数并不能保证单调关系(O>=O>=...>=oK)，这不是必要的，但却是进行预测所需要的(Li&Lin，2006)。复杂的方法是对输出施加不等式约束来提高性能。有序回归神经网络的训练过程与标准神经网络非常相似。数据点的代价函数x可以是目标向量和输出向量之间的相对熵或平方误差。对于相对熵，输出节点的代价函数为fc=pki=1(tilog oi+(1-ti)log(1-oi))。对于平方误差，误差函数为FC=PKI=1(TI-OI)。前人对神经网络代价函数的研究(Richard&Lippman，1991)表明，相对熵函数和平方误差函数通常得到非常相似的结果。在我们的实验中，我们使用平方误差函数和标准反向传播来训练神经网络。
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi
2022-4-14 15:53:58
由于输出节点Oii的传递函数ftof是独立的sigmoid函数1+e-zi，ftof输出节点Oii的导数为ft zi=e-zi(1+e-zi)=1+e-zi(1-1+e-zi)=oi(1-oi)。因此，对于相对熵代价函数，Fc oi ft zi=Ti-Oioi(1-oi)×oi(1-oi)=Ti-Oi，对于平方误差代价函数，Fc oi ft zi=-2(Ti-Oi)×oi(1-oi)=-2oi(Ti-Oi)(1-oi)。与传统神经网络一样，网络误差通过神经网络传播，采用梯度下降法调整权值，尽管传递函数和导数的计算量都很小，但该方法的训练与传统神经网络相同，可以在onlinemode中对数据进行训练，在onlinemode中对数据进行权值更新，也可以在批处理模式中对数据进行权值更新，在批处理模式中对数据进行权值更新。预测在测试阶段，为了做出预测，我们的方法按照O、O、…、OK的顺序扫描输出节点。当节点的输出小于预先设定的阈值T（例如，0.5)或没有节点时，它停止。输出较大的最后一个节点OK，其索引k为数据点的预测类别。实验和结果3.1.基准数据和评价指标使用八个标准数据集进行有序回归(Chu&Ghahramani，2005a)来基准我们的方法。八个数据集（糖尿病、嘧啶、三嗪、Machine CUP、Auto MPG、Boston、StocksDomain和Babane）最初用于度量回归。Chu和Ghahramani(Chu&Ghahramani，2005a)将实值目标离散成与有限序数类别相对应的有限等间隔。作者随机拆分训练/测试数据集中的每个数据集，并独立重复20次。我们使用与文献[Chu&Ghahramnai，2005a]中完全相同的分区来训练和测试我们的方法。有序回归的神经网络方法我们使用在线模式来训练神经网络。要调整的参数是隐藏单元的数量、历元的数目和学习速率。我们为这三个参数创建网格，其中隐藏单元号在范围[1..15]，纪元号在集合(50，200，500，1000)中，初始学习值在范围[0.01.0.5]中。在训练过程中，如果训练错误持续上升到预先设定的数(40，60，80或100）,则所得率减半。对于每一个数据分割的实验，在不使用任何测试数据的情况下，对训练数据进行神经网络参数的充分优化；对于每一个实验，在对训练数据进行参数优化后，从给定的初始权值开始，用最优参数对训练数据进行模型训练。然后，使用已定义模型的集合来估计测试数据上的广义性能。我们用零一误差和平均绝对误差来评价我们的方法，如Chu&Ghahramani，2005a，zero-one误差是序数类别错误赋值的百分比。平均绝对误差是所有数据点的指定类别(k)与真实类别(k)之间的均方根。在Foreach数据集上，训练和评估过程在20个数据分裂上重复20次。因此，我们计算了两个度量的平均误差和标准差，如[Chu&Ghahramani，2005a)3.2。与神经网络类的比较我们将我们的方法（NNRank）与标准的神经网络类方法（NNClass）进行比较，我们使用C++实现了NNRank和NNClass。如2.2节所述，NNRank和NNClass共享大部分代码，但在输出节点的传递函数及其导数计算方面存在较小的偏差。如表1所示，NNRank在平均零误差和平均绝对误差方面都优于NNClass。
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4
2022-4-14 15:54:04
在某些数据集上，NNRank比NNClass的改进是显著的，如在股票和嘧啶类数据集上，NNRank的平均零一误差比NNClass小4%左右；在四个数据集上（股票、嘧啶、三嗪和糖尿病），平均绝对误差减少了约0.05。结果表明，有序回归神经网络的性能始终优于标准分类神经网络。为了进一步验证神经网络有序回归方法的有效性，我们目前正在生物信息学领域对大量有序回归数据集进行NNRank和NNclass的评估（工作正在进行中）。通过与高斯过程和支持向量机的比较，进一步评价了我们的方法的性能，并用两种高斯过程方法（GP-MAP和GP-EP)(Chu&Ghahramani，2005a)和一种支持向量机方法(SVM)(Shashua&Levin，2003)进行了比较(Chu&Ghahramani，2005a)。三种方法的结果引自（Chu&Ghahramani,2005a)。表2报告了八个数据集的零-1误差。NNRANK在糖尿病、三嗪和鲍鱼上获得了最好的结果，GP-EP在嘧啶、AutoMPG和波士顿上，GP-MAP在机器上和SVMon股票上获得了最好的结果。表3报告了八个数据集的平均绝对误差。NNRank对糖尿病和鲍鱼的预测效果最好，GP-EP对嘧啶、Auto MPG和Boston的预测效果最好，GP-MAP对三嗪和Machine的预测效果最好，SVM对Stocks的预测效果最好。讨论和未来的工作我们描述了一种简单而新颖的方法来适应传统的神经网络进行序数回归。我们的神经网络方法可以被认为是一层感知器方法(Crammer&Singer，2002)到多层的推广。在有序回归的标准基准上，我们的方法优于用于分类的标准神经网络。此外，在同一基准上，我们的方法获得了与两种最先进的有序回归方法（支持向量机和高斯过程）相似的性能。与现有的有序回归方法相比，我们的方法具有神经网络的一些优点。首先，像感知器方法(Crammer&Singer，2002)一样，我们的方法可以在批处理和在线模式下学习。这种在线学习能力使我们的方法成为一种很好的自适应学习工具。神经网络的多层结构和非线性传递函数使该方法比感知器方法具有更强的识别能力。其次，神经网络可以采用veryA神经网络方法对大规模有序回归数据集进行迭代训练，但训练比支持向量机和高斯过程复杂。由于该方法的训练过程与传统的神经网络相似，一般的神经网络用户可以使用该方法来完成任务。第三，神经网络方法一旦训练好模型，就可以进行快速的预测。在大规模数据集上学习和实时预测的能力使我们的方法成为有序回归任务的有用和有竞争力的工具，特别是在信息检索、网页排序、协作搜索和生物信息学新兴领域中的时间关键和大规模排序问题上。我们目前正在根据蛋白质与查询蛋白质的结构相关性来应用torank方法(Cheng&Baldi，2006)。为了方便这种新方法的应用，我们使NNRank和NNClassto都接受一种通用的输入格式，并在ttp://www.eecs.ucf.edu/jcheng/cheng software.html上免费提供。
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

微信QQ空间QQ微博
扫码加好友，拉您进群
各岗位、行业、专业交流群