英语原文共 7 页，剩余内容已隐藏，支付完成后下载完整资料
英文文献翻译
1979，第86卷第1期，168-174页
逐步回归的显著性检验
利兰·威尔金森
伊利诺伊大学芝加哥分校
逐步多元回归中样本平方多重相关(R2)因为分布未知，所以其显著性检验的是不可能的。本研究使用蒙特卡罗模拟和最小二乘平滑构建正向选择中样本R2分布的上95和99个百分点的表。一项使用逐步回归的已发表的心理学研究调查发现，与表值相比，报告的显著性水平大幅膨胀。对于使用这些表评估前向选择和其他逐步方法的结果给出了建议。
逐步回归在统计数据分析中有一个有争议的角色。自从在多元回归中选择一组预测变量的“最佳”子集的各种自动化技术被引入以来，研究人员被告知需要他们分情况去使用(例如，Kupper, stewartamp; Williams, 1976）这种谨慎的主要原因是，对于任何基于样本数据检验的子集选择过程，用于检验多重相关性显著性的通常F统计量是有偏的(Pope amp; Webster, 1972)。不幸的是，最广泛使用的计算机程序在每一步都输出这个统计数据，它在自动逐步选择无报错的前提下选择了没有服从 F分布的数据（Armor amp; Couch, 1972; Barr, Goodnight, Sail, amp; Helwig, 1976; Dixon, 1975; Nie, Hull, Jenkins, Steinbrenner, amp; Bent, 1975). 研究人员从逐步分析中获得显著的多重相关性中结论中惊讶地发现，在交叉验证下，它收缩了多少（施密特，科伊尔，amp;劳森伯格，1977）。对于解决这个问题的一个方法，本研究使用蒙特卡罗方法提供了样本逐步平方多相关分布的百分点表，在总体多重相关性为0的假设下。当使用正向选择时，所显示的值可以直接代替计算机输出的值，当使用其他子集选择方法时，它们可以作为近似值。
这项研究得到了伊利诺伊大学芝加哥分校计算机中心的资金支持，作者可以提供FORTRAN子程序列表。南希·赫施伯格在一个关于逐步回归分析的讨论中促成了这项研究。罗威尔·休斯曼，杰里米·谢夫纳和罗恩·戈兰德为该分析提供了有价值的建议。布鲁斯·科斯、杰里·达拉尔和莎莉·戴蒙德对这篇文章发表了有益的评论。重印的请求应发送到利兰·威尔金森，伊利诺斯大学心理学系，信箱 4348，芝加哥，伊利诺斯州 60680。
R方的逐步回归
给定为k 1 多元正态变量，样本 R2 在假设下的第一个变量和其余的 k 个变量之间有beta分布。在这种情况下，转换
F = R2 (n-k - 1)/(1 一 R2 )k（1）
具有自由度 k 和 n-k-1的F分布。只要原假设为真，无论 k 个预测因子的值是固定的还是在不同的样本之间是变化的，这些分布都是适用的。当根据样本从 m 中选择 k 个预测因子时，就会出现相关关系。
然而处理数据中产生了两种简单的情况：当 k=m 和当k=1。如果为 k=m，则上述分布明显适用。如果是k=1，如果是使样本 R 最大化的R方是被选择的，而样本 R2 有一个独立的beta极值分布。在这种情况下，方程 1 中的 F 统计量可以用临界值来表示
a* = 1 - (1-a）1/m（2）
其中 a 为临界水平。除了这两种情况之外，无法得知确切的分布。当选择大小为 k(1lt;klt;m)的子集来最大化样本 R方时，样本 R方的分布是一组相关的 beta 变量的极值分布。当 m 很大，k 渐近地很小时，这接近独立极值分布。当预测因子相关时，这种渐近收敛速度较慢，因为样本之间的依赖性，所有对象的值子集的大小更大。大多数逐步算法并所以不一定会最大化样本 R2。然而，在这些情况下无论预测因素是否相互独立，分布都将会变得更复杂。Diehr 和Hoflin（1974）模拟了样本R2 到最好的 R2 给定了预测因子之间的独立性。这个分布特别重要，因为它的百分比点提供了样本R 方的上界来自独立或相关预测器上的任何子集选择方法的值。对于每一个 m=2-8、k=1-m和n=10、25、50、100 和 200，他们计算出 100-=2 价值每个值都是通过计算所有可能的回归，并选择 R 最大的回归值，得到的计算时间限制了复制的数量和参数值，但它们能够提供一个近似于它们的蒙特卡罗结果的函数：
R2 (k, m, n, a) = w( - v k ), (3)
从R2(1, m, n，a)和 R2 (m, m，n, a)反复的迭代中得出w 和 v 的值.弗尼瓦尔和威尔逊（1974）开发了一种快速的“跳跃式”算法来计算最佳子集 R2 这可以用于扩展迪尔和霍夫林的研究结果。Rencher 和 Fu-Ceayong（注 2）使用蒙特卡罗模拟计算样本 R2 的上百分点 在逐步选择和消除中的分布(Draperamp;Smit，1966，第 171 页)。他们产生了不相关和相关的选择预测因子。在Diehr 和 Hoflin（1974）的研究中，结果是相对较少的重复近似区间为（200-400），但包含了更广泛范围的参数值。 本研究使用了一个简单的算法来选择子集：正向选择(Draperamp;Smith，1966，第 169 页)。这种方法比其他选择程序更快，并且在涉及几个交叉验证标准的蒙特卡罗研究中超过了许多方法 (登普斯特，沙佐夫，amp;Wermuth，1977)。此外，正向选择是最广泛使用的逐步回归统计程序的标准或最基本的选择。
方法
由于通过蒙特卡罗模拟来估计分布中的每个点所需的计算时间(在 10 sec到 5min之间)，使用四阶段过程：(a) 初始近似值选择合适的节点蒙特卡罗估计，(b)为蒙特卡罗模拟选择的节点，(c)平滑蒙特卡罗估计的图形和最小二乘方法，和(d)测试安装值由新的蒙特卡罗模拟。由于大多数贴表值最初不是由蒙特卡罗估计的，因此在最后阶段对平滑过程本身进行检查是可行的。
近似值
使用迭代函数（方程 3）在R2( m、n、a)中生成 k=1-m ,；m=2-30； n-m-1=10、20、30、40、50、60、70、80、90、100、150和200；以及a= 0.05 和0 .01。从这些值中，选择合适的节点来拟合两个表中的列线图。这些节点是n -m-1=10、20、50、100 和 200 在 k=1和k=m 处的已知值，再加上子集(在相同自由度下的 （k、m)=（2,3）（3,4）（2,7）（4,7）（3,12）（7,12）（3,20）（7,20）和（12,20）。
表1
样本平方倍数分布的上95个百分点
正向选择中的相关性
m=预测数；k=所选预测值的数量；n=样本量
数据生成
为蒙特卡罗模拟编写了两个子程序。第一个方法直接从给定 m 和 n 的标准化 Wishart 分布中生成一个样本相关矩阵，并使用了 Odell 和 Feiveson（1966） 的算法。第二个子程序使用简短的高斯杜利特尔方法来计算一个样本R方的值(Draperamp;Smith，1966 年，第178 页)。 样本：R2在 500 次重复后，在第 95 和 99 个百分点进行排序和记录。在每次运行中以 100 块进行额外的重复，直到满足停止规则。停止规则是 99 百分位值被一个小 于 0.01 的值约束。计算是在 IBM370/158 上进行的，使用fortranh 扩展编译器和排序(KB01AD)和子例数（1973）的正常随机数(FA303A)。
表2
样本平方倍数分布的上99个百分点
正向选择中的相关性
曲线拟合
蒙特卡罗模拟和k=1和k=m的已知值用于绘制n-m-1=10-200，m的列线图m=2-20，k=1-m。从这些列线图中读取表1和表2中条目的初始估计值。这些值中的大多数不是通过蒙特卡罗直接估计的。
表 1和表 2 中条目的初始估计值从这些列线图中读取。这些值大部分并不是用蒙特卡罗直接估计的。为了进一步平滑从列线图中得到的结果，每个表中的656 个项目（包括已知的值）都被多元回归预测。20 个线性和非线性项由Diehr 和霍夫林（1974）、zir菲尔（1975）、肯德尔和斯图尔特（1969，第 330 页）中包含的近似构造了 20 个线性项和它们的相互作用。从最好的 15 项预测第95百分位表值的估计的标准误差方程是0.0054；对于表1和表2中的条目取自回归估计值，第 99 百分位表是0.0047。
准确度检查
作为对表值的准确度的检查，模拟运行预测了20个点，在利兰威尔金森以前没有被蒙特卡罗估计的点中，在 1000 次重复的块中继续运行下，直到满足停止规则。停止规则是，两次累积运行导致的第 95 个和第 99 百分位数值的连续差异都小于0.01。在组合表中测试的 40 个值中，有 17 个与蒙特卡罗值相差 0.01,23 个与输出精度完全一致。在不同的表格中没有发现错误的显著差异。
结果
模拟数据在选定参数值下的直方图与 beta 分布相似，尽管没有找到 beta型函数来准确地复制上尾值。表 1 和表 2 给出了这些分布的第 95个百分点和第 99 个百分点。
表的使用
这些表的构造涵盖了所有的实际参数值。线性插值对m和n的效果很好。然而，对于k上的插值，表值的图形绘制提供了更准确的估计。外推法可以适度使用，因为靠近表边缘的值变化缓慢。例如，当 m 和 n 较大时的已知值，可以在具有灵活的绘制曲线的精细图形纸上可以精确地外推。
讨论
这些表格清楚地说明了样本R2的膨胀在逐步回归中，这是统计学家经常注意到的。例如，R2 （4、4、35、0.05）=0.26，而R2（4、20、35、0.05）=0.51。然而，研究人员并不太在意这种膨胀。从 1969年到1977年，使用计算机辅助搜索心理学有关逐步回归的文献，找到了71篇相关文献。在这其中，发现了通常被的F检验为显著性的66项正向选择分析。在这66项分析中，有19项在表 1中不显著。
这种人工选择的程度可能导致了子集选择方法的不妥，所以并未能发表研究。这种情况具有讽刺意味，因为有明确的证据表明，在各种先验分布中，正向选择优于普通最小二乘的实质性优势。在最小化预测和具有高度相关的预测器的权值误差方面，正向选择几乎与岭回归一样有效(Dempster 等。al., 1977).此外，正向选择提供了一个比岭回归更简洁的模型，因为m 中只有 k 个预测因子包含在方程中。
然而，关于这些表的应用，还有三个问题：(a) 这些表可以用于其他子集选择方法吗？(b)当预测因子相互关联时，它们可以被使用吗？(c)当在分析之前 k 未知时，它们是否适用？为了回答第一个问题，可以将提出的值与其他两种子集选择方法的蒙特卡罗研究结果进行比较：最佳子集(Diehramp;Hoflin，1974)和逐步选择和消除(Reacheramp;Fu-Ceayong，注2)。公式3中给出的 Diehr 和 Hoflins 近似的结果值高于表1和表2。差异范围从m=3到10时的 0.01 到 m=20 时的0.10。这种差异部分是由于近似值所带来的，部分差异是由于最佳子集情况下的样本的百分点是所有子集 R 2的上界在相同的参数值下的百分比点。雷彻和傅贤的结果与两个表的值非常吻合。对于两个表中的 15 个可比参数值，最大的差异为 0.02，大多数值小于 0.01。这种拟合表明，这些表格应该适用于逐步选择和消除。虽然在大多数计算机程序中使用的各种次优选择方法偶尔会导致m的大小k的不同子集，但样本 R2 的分布 在这些情况下，可能仍然适合这些表，特别是当m大而k小时。相互相关预测器的问题需要进一步的蒙特卡罗模拟来得到答案。雷彻和傅贤利用对各种相互关联的随机预测因子的逐步回归来研究这个问题。样本 R 2 的上百分点在所有案例中，相关预测因子的分布仅略低于独立预测因子的分布。前向选择的结果应该是相似的。在任何情况下，当这些表用于相关预测器时，如果k相对于m较小，功率损失都不应该很大。
最后，当 k 在分析之前是未知的时，必须应用停止规则(Bendelamp;Afifi，1977)。在这种情况下，它是一个随机变量，而不是一个固定的常数。需要进一步的蒙特卡罗研究来确定停止规则对样本R2的影响分布前向选择最常见的停止规则是继续步进，直到标准 F 检验的样本偏相关性“不显著”(Draperamp;Smith，1966，第 71 页)。作为一种替代方法，同时推理可用于子集选择，以控制 I 型族错误率(Aitkin，1974)。然而，像大多数同时测试程序一样，这种方法是保守的，对于给定的临界水平，它将消除包含“不显著”预测因子的子集，这样将比具有顺序停止规则的正向选择更少。
关于逐步回归中系数的显著性检验仍然存在问题，即使系数的标准误差可能小于对应的普通最小值
m变量的平方方程。研究人员应仔细考虑其优势以及各种子集
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[588048]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
