六 其他回归模型

（一）变异数分析

当我们的资料来自许多不同群组时，变异数分析在找出资料的变异究竟是来自群组之间的差异，还是来自于各个群组内部的差异。这里所谓群组的概念，可以由离散自变项来表示，因而变异数分析在形式上可转换成回归分析，称为“一般线性模式”。当回归模型中仅有一个离散自变项，则称为“单因子变异数分析”，若有两个离散自变项以上，称为“多因子变异数分析”，而如果模型中除了离散自变项外还有连续自变项，则称为共变数分析（ANCOVA），倘若依变项不止一个的话，则称为多变量变异数分析（MANOVA）。

由于变异数分析在统计学教科书中都另有专章讨论，且基于篇幅的限制，在此仅介绍单因子变异数分析及共变数分析，至于其他不同的变异数分析模型，请参考Christensen（1998）。

单因子变异数分析是所有变异数分析中最简单的形式，除了依变项之外，仅有一个类别自变项在回归模型中，以符号来表示其模型为：

其中yij是在j群组中的i成员的依变项值，μj表群组平均数，eij是j群组中的i成员与j群组平均值的离差，γ是样本的总平均数，uj是群组平均数与总平均数的离差。这里的μj可以用βjxj来表示，xj为群组的类别变量，在设定模型时，可预设一个组别的平均数为β0，然后将βj视为组别j与此预设组别的平均数之差，因此组别j的平均数为（β0+βj），比方说，有一个带有三个类别（A, B, C）的自变项，设其A组为预设常数项，B和C组分别由x1和x2来表示，则回归模型为：

如果各个资料的观察点不止一个，比方说在不同时间或实验处理（treatment）下，就称为重复测量变异数分析（repeated measure ANOVA），模型可设定为：

与式（2-27）不同的，式（2-28）中多了下标k，代表不同时间（实验处理）的重复测量点，比方说，yijk可代表工厂工人（以下标i表示）分成不同组别（以下标j表示），在“低度噪声”“中度噪声”“高度噪声”的环境下（以下标k表示）的生产力，所以在此各个符号的意义可以理解为：μjk为j组工人在噪声程度k下的生产力水准；eijk为隶属于j组的工人i在噪声程度k下的生产力水准与μjk的差距；γk为所有工人不分组别在噪声程度k下的生产力水准；ujk为j组工人在噪声程度k下的生产力水准与γk的差距；π为所有工人不分组别不分在何种噪声度程度下的生产力水准；δk为在噪声程度k下的生产力水准与π的差距。

在参数估计上，单因子变异数分析与一般回归模型一样，可用最小平方法将回归系数估计出来后，算出“总变异量”“回归变异量”和“误差变异量”。其中“回归变异量”由于纯粹是群组平均数差异所构成的变异，因此在除以其自由度之后，称为“组间平均变异”。而“误差变异量”由于纯粹是每个组别成员与其群组平均数差异所形成的变异，因此在除以其自由度之后，称为“组内平均变异”，将组间平均变异除以组内平均变异，就得到F分配的统计量，如果F统计量显著大于1，则显示组间的变异的确大于组内，或者是组间的平均数有相当显著的差异，故分组是有必要的，如果F统计量并没有显著大于1，代表组间变异并没有显著大于组内变异，组间的平均数没有显著不同，因此没有分组的必要。

承式（2-28），若以数学符号表示，“时间/实验处理”变异量SSR为V（δk）, “组别”变异量SSG为V（ujk）, “组内”变异量为V（eijk）;“时间/实验处理”变异量的自由度为时间点数减1（即k-1）, “组别”变异量的自由度为组别数减1（即j-1）, “组内”变异量的自由度为时间点数减1和组别数减1的乘积，即（j-1）（k-1）; “时间/实验处理”变异量的F统计量等于：

“组别”变异量的F统计量等于：

至于，平均数检定的显著性则需要用F检定来进行。单因子变异数分析中所需的统计数字如表2-2所示。

关于共变数分析的实例，详见参考方块2-2。

接下来便可透过EM算法来针对遗失资料进行模型估计，利用SAS中的PROC MIXED指令，可得到下面的结果，如表2-4所示。很明显的，虽然显著性检定的结果没有改变，但是F值的估计在两样本间的差异相当明显，基于EM算法在统计方法上对于处理遗漏值的优点，故建议采一般线性模式来克服传统变异数分析在遗漏值处理上的不足。

上面所述的变异数分析，可以应用在多个类别自变项的状况下，但是如果当其中带有连续自变项时，由于连续自变项并不具备组别的意义，不是变异数分析分析的主体，因此必须对于上式进行修正。比方说，倘若式（2-27）中加进个一连续自变项x3，则回归模型变为：

此时除了β3x3之外，上式的各参数的意义都没有改变，而x3所代表的是某连续自变项的数值，β3是一单位x3的变化会造成依变项改变的大小，在这种共变数分析中，通常像x3这样的连续自变项都是作为检证群组平均数时的控制变项。

以数学式来表示：

这里亦可将连续自变项的回归参数αj设为随机的，则：

此处多数的符号同式（2-27）之说明，xij为每个成员的连续自变项值，为连续自变项的总平均值。在式（2-30）中，连续自变项的回归参数α设为固定，而式（2-31）中，则将连续自变项的回归参数αj设为随机，令其为群组的类别变量来解释。共变数分析的基本概念与单因子变异数相同，然而其依变项的变异必须先减去连续自变项的解释变异之后，才能用来进行变异数分析。

此外，在多因子变异数分析中，可以进一步将组间变异数依其来源，分解成纯粹由单个因子（时间、组别、实验处理）产生的变异数，以及不同因子交互作用所产生的变异数。以二因子的模型为例，总变异数等于组内变异数、第一因子变异数、第二因子变异数和两因子交互作用变异数的总和结果。然后对不同来源的变异数分别进行假设检定，来判定两因子各自或其交互作用能否显著地解释依变项的变异。

（二）类神经网络分析

神经网络分析（neural networks）原本指涉的是针对生物神经元（biological neurons）网络的分析，在神经科学中，神经网络分析旨在探求大脑神经元、细胞、触点之间的传导系统如何形成生物的意识，进而解释其认知和行为。而类神经网络分析（artificial neural networks）则是指涉利用数学模型来模拟神经网络系统的一种研究方法，此法除了应用在生物神经元的网络分析外，已经广为应用在工程科学和社会科学的领域中。

类神经网络分析的基本构成单元是神经元，一个神经元的结构是由输入节点（input nodes）、隐藏单元（hidden unit）、输出节点（output node）三部分组成。每一个输出神经元的节点，所接收的讯号都是来自所有“输入节点”传递的分量讯号，经过“隐藏单元”的某种传递函数转换，最后形成输出的讯号，如式（2-32）和图2-3所示：

“输入节点”的讯号分量可以为变量或是定值，如果为变量，则代表每次的神经传导中，这些输入节点所传递的讯号分量都会依某种加权数（weight）而变动；若为定量，则代表每次传导时都有相同的分量传递，此定量一般称为偏置量（bias），而输出偏置量的输入节点则另外称为偏置神经节点（bias neuron）。至于“隐藏单元”对于输入讯息的处理，可以由非线性或线性函数描述之，而偏置量亦在函数转换前、后或者同时设定，其例子如式（2-33）和式（2-34）所示：

式（2-33）所描述的是线性的传导模型，式（2-34）所描述的是非线性的传导模型，转换函数为tanh，在二式中θ（1）和θ（2）分别为函数转换前后的偏置量。当“隐藏节点”多于一个时，二式可推广成：

应用在回归分析上，类神经网络分析可以看做是线性或非线性回归分析的一种变形：输出节点所收到的讯号y为依变项，各输入节点所传递出的讯号分量为自变项xi，分量的权数为回归系数βi，而偏置量则为常数项β0。只要给定目标式，就可以依已观测到的依变项和自变项数值，推估出回归系数βi和常数项β0，完成类神经网络的分析。一般常用的目标式为最小误差平方函数，其推估原理同先前所提的“最小平方法”。

与简单线性回归不同，类神经网络分析通常涵盖多个隐藏单元和输入输出节点，所以其方程组较为复杂，且不同的转换函数有其适用的节点范围。一般而言，在应用类神经网络的分析时，研究者会将资料分成两部分，一部分运用在找出各个输入节点的分量权数和偏置量，称为训练资料（training dataset），另一部分用来验证由训练资料得到的参数推估结果，称为验证资料（test dataset）。由于类神经网络分析的本质为“曲线适配”问题，在评估其适合度时，要注意是否有“过度适配”和“适配不足”的问题，前者所指涉的是转换函数过度适配于训练资料，因而在验证资料中其模型适合度不佳，而后者指涉的是在适配训练资料时，其所选择的转换函数过于简单而产生适配不足的结果。

与回归分析相比，由于“类神经网络分析”设定的网络关系相当复杂，因此适合于现象本质具有高度不确定性的研究中，其主要的功能在于预测，比方说时间序列的分析，像股市的指数波动、国际事件的发生等。此外，亦可广泛应用在区辨分析、群集分析、因素分析以及其他相关的统计课题上。有关类神经网络在社会科学上的应用，请参阅Garson（1998），至于实例说明请详见参考方块2-3。

（三）典型回归分析

在回归分析中，当依变项具有多个变量，但彼此间具有很高的相关性，则可应用典型回归分析（canonical regression analysis）来解决依变项高度相依所造成的推估问题。以数学关系来表示，最基本的典型回归分析为：

与回归分析不同的是，“典型回归分析”要解释的不是单一依变项的变异量，而是一组高度相关依变项之共变数，所以可视为测量模型中的潜藏变项，不过由于上式只取一组线性组合，且在模型推估时并不纳入共变异矩阵的分解和特征值、特征向量的分析，所以此法与结合测量模型和回归模型的“结构方程式”分析有显著的差异，比较接近于线性回归分析。

在模型设定上，如果亦对自变项进行线性组合而形成一综合变量，则自变项与依变项间的相关系数便称为典型相关系数，而依变项和自变项中的线性组合权数，则说明了单项变量与共变数之间的组合关系。

在参数推估上，典型回归分析可利用最大概似法来求解，其原理同线性回归。此外对于模型结果的诠释，由于实质的被解释项为依变项间的共变数，因此必须找出依变项间的主要共同元素，赋予其意义并进行解释。有关典型回归模型的延伸应用，请参考Estrella（2007），至于实例说明，请详见参考方块2-4。

（四）主成分回归分析

在回归分析中，当自变项彼此间具有很高的相关性，也就是具有多元共线性的问题时，则可应用主成分回归分析来解决自变项高度相关所造成的推估问题。

从概念上来说，主成分回归分析试图将高度相关的自变项，透过对于其共变异矩阵的分解和重组，将其转换为彼此正交的新自变项。其中新自变项的组成，可由主成分分析中的特征值和特征矩阵来定义，但自变项组的共变异矩阵维度并没有改变。然而要能解决多元共线性所造成的推估问题，必须要找出多元共线性的来源，针对此，特征值的大小提供了评估的判断的依据：特征值愈小，可解释原自变项的变异愈少，代表多元共线性的程度愈大。基于此，可将对应于最小特征值的新自变项剔除在回归模型之外，此举虽然会造成参数推估的偏误，但因为剔除的新自变项的变异很小，所以对整体模型影响不会太大，并且解决了多元共线性的问题。

以数学式来表示，可将简单线性回归整理成主成分回归模型：

其中

为主成分分析后的依新自变项zi形成的回归模型，相对应于zi的特征值和特征向量为λi和cj=（c1j,c2j, …,cnj）T，而

令zi所对应的特征值λi由i=1, …,n依序递减，则可以依删去zi个数，算出n-1个回归分析式结果：

在模型结果的选取上，可根据三项因素作为评价模型的依据：①回归系数估计的稳定性；②多少资讯量被纳入模型中（即zi的个数）; ③模型的解释变异。基本上回归系数的估计愈稳定愈好，被纳入模型的资讯量愈高愈好，模型的解释变异愈大愈好，有关于主成分回归分析的应用，请参见Jolliffe（1986），至于实例说明，请详见参考方块2-5。