全部版块 我的主页
论坛 计量经济学与统计论坛 五区 计量经济学与统计软件
5134 4
2014-03-14
问题描述:我现在有几个算法,已经在一组20个测试函数上进行了测试,分别得到了最优值,类似表格:                  algorithm1                  algorithm2                  algorithm3
f1   3.5779400E-025        2.9300000E-007        1.5300000E-027
f2   2.8468900E+002        1.3100000E+003        5.5700000E-001
f3   1.2278200E-013        1.3900000E+000        9.8800000E-013
f4   3.4475300E+012        1.7000000E+013        9.6100000E+012
f5   2.7236300E+008        2.6300000E+008        3.8400000E+008
f6   4.6897000E-009        4.9600000E+006        1.6200000E+007
f7   3.5276700E+008        1.6300000E+008        6.8900000E+005
f8   1.1950700E+008        6.4400000E+007        4.3800000E+007
f9   6.2125400E+007        3.2100000E+008        1.2300000E+008
f10   1.2967200E+004        1.0600000E+004        3.4300000E+003
f11   9.3625400E+000        2.3400000E+001        1.9800000E+002
f12   4.3696100E+006        8.9300000E+004        3.4900000E+004
f13   1.3013200E+003        5.1200000E+003        2.0800000E+003
f14   1.9902200E+008        8.0800000E+008        3.1600000E+008
f15   1.5892400E+004        1.2200000E+004        7.1100000E+003
f16   2.2282600E-013        7.6600000E+001        3.7600000E+002
f17   7.3822100E+006        2.8700000E+005        1.5900000E+005
f18   1.8354900E+003        2.4600000E+004        7.0900000E+003
f19   1.9614100E+007        1.1100000E+006        1.3600000E+006
f20   1.1434100E+003        4.0600000E+003        2.0500000E+003



问:已经对这三个算法进行了多相关非参数检验(Friedman test),现在将Friedman test 里秩最小的那个算法作为控制算法,进行事后检验,如何操作?
     【主要是想做事后检验,参考的论文里说用Holm‘t test,这个spss里貌似木有,但是别的事后检验方法大家有没有什么建议?具体怎样操作??】
内心os:本人女程序猿,统计能力感觉入门级,实在是找不到方法……
              已经苦逼了一个星期了,跪求大神超度我疲惫崩溃的肉体……

泪奔感谢~~




二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2014-3-15 10:52:45
既然是测试那么就知道真实值。用预测值和真实值的差得到偏误。再对偏误的方差进行比较,小的那一个当然是好的了。先用t统计量检验两两之间的均值,再比较方差,这时用F统计量,或者似然比检验也可以。
不是程序员,建议来R版学R,哪里有好多程序问题,期待程序员的加入。P.S.我不是版主
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2014-3-17 11:34:39
nuomin 发表于 2014-3-15 10:52
既然是测试那么就知道真实值。用预测值和真实值的差得到偏误。再对偏误的方差进行比较,小的那一个当然是好 ...
20个测试函数的真实值都是零,单纯比较算法的平均误差和方差这种,编辑说方法太简单了,不够高上大。所以他要求参考这样的检验方式:
---------------------------------------------------------------------------------------------------------------
Table 5 Results of the Iman-Davenport’s test of MA-SSW-Chains
and the reference algorithms for dimensions 50, 100, 200, and 500
Dimension      Iman-Davenport value     Critical value      Significant differences?
50                   5.232034                      2.46                       Yes
100                 3.256133                      2.46                       Yes
200                 2.707457                      2.46                       Yes
500                 2.820250                      2.46                        Yes
---------------------------------------------------------------------------------------------------------
table5中使用的这个Iman‘s Davenport test是Friedman test的改进。话说这个critical value哪里来的?

-----------------------------------------------------------------------------------------------------------
Table 6 Comparison of DE (control algorithm) with CHC, IPOPCMAES,
and MA-SSW-Chains (Holm’s test)
Dimension            Algorithm                  z             pvalue          a/i          Sig.differences?
50                           CHC                  4.461          8.17E-06      0.017          Yes
                           IPOP-CMAES          2.827          4.69E-03      0.025           Yes
                          MA-SSW-Chains       0.251          8.02E-01      0.050            No
100                        CHC                    4.837          1.31E-6        0.017           Yes
                           IPOP-CMAES           3.08            2.08E-3        0.025           Yes
                          MA-SSW-Chains       0.628            0.53            0.050           No
200                           CHC                 4.963            6.93E-7        0.017           Yes
                           IPOP-CMAES           3.079            2.08E-3        0.025            Yes
                           MA-SSW-Chains       1.005              0.31            0.050            No
500                            CHC                  5.780            7.46E-9        0.017            Yes
                             IPOP-CMAES           2.890            3.85E-3        0.025            Yes
                             MA-SSW-Chains       1.634              0.102         0.050             No
-----------------------------------------------------------------------------------------------------------------------------
table6中使用DE作为控制算法,因为DE的average ranking最好。这里的z难道是转换过来的可以用来查标准正态分布表的z值?那p值查表来的?这精度也太精准了,难道是写代码求出来的不是用spss求的吧?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2014-3-17 12:00:50
ThenBreeze 发表于 2014-3-17 11:34
20个测试函数的真实值都是零,单纯比较算法的平均误差和方差这种,编辑说方法太简单了,不够高上大。所以 ...
那么就按照编辑给的统计量计算吧。无非就是基于回归的统计量或者基于误差方差的卡方统计量再组合。计算方法上就是取平方后加总。用R编程序也就是三五行的事情
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2020-7-23 11:24:58
请问,Bergmann-Hommel要怎么操作呢?用什么软件呢?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群