看R語言建立回歸分析，如何利用VIF查看共線性問題

R語言共線性大數(shù)據(jù)

中國(guó)統(tǒng)計(jì)網(wǎng) | 2017-03-21 13:21

【數(shù)據(jù)猿導(dǎo)讀】使用R對(duì)內(nèi)置longley數(shù)據(jù)集進(jìn)行回歸分析，如果以GNP.deflator作為因變量y，問這個(gè)數(shù)據(jù)集是否存在多重共線性問題？應(yīng)該選擇哪些變量參與回歸

使用R對(duì)內(nèi)置longley數(shù)據(jù)集進(jìn)行回歸分析，如果以GNP.deflator作為因變量y，問這個(gè)數(shù)據(jù)集是否存在多重共線性問題？應(yīng)該選擇哪些變量參與回歸？

答：

##查看longley的數(shù)據(jù)結(jié)構(gòu)str(longley)

##'data.frame':16obs.of7variables:

##$GNP.deflator:num8388.588.289.596.2...

##$GNP:num234259258285329...

##$Unemployed:num236232368335210...

##$Armed.Forces:num159146162165310...

##$Population:num108109110111112...

##$Year:int1947194819491950195119521953195419551956...

##$Employed:num60.361.160.261.263.2...longly數(shù)據(jù)集中有7個(gè)變量16個(gè)觀測(cè)值，7個(gè)變量均屬于數(shù)值型。

首先建立全量回歸模型lm1summary(lm1)

##Call:

##lm(formula=GNP.deflator~.,data=longley)

##Residuals:

##Min1QMedian3QMax

##-2.009-0.5150.1130.4231.550

##Coefficients:

##EstimateStd.ErrortvaluePr(>t)

##(Intercept)2946.85645647.97660.520.614

##GNP0.26350.10822.440.038*

##Unemployed0.03650.03021.210.258

##Armed.Forces0.01120.01550.720.488

##Population-1.73700.6738-2.580.030*

##Year-1.41882.9446-0.480.641

##Employed0.23131.30390.180.863

##---

##Signif.codes:0'***'0.001'**'0.01'*'0.05'.'0.1''1

##Residualstandarderror:1.19on9degreesoffreedom

##MultipleR-squared:0.993,AdjustedR-squared:0.988

##F-statistic:203on6and9DF,p-value:4.43e-09建立的模型結(jié)果是令人沮喪的，6個(gè)變量的顯著性p值只有兩個(gè)有一顆星，說明有些變量不適合用于建模。

看各自變量是否存在共線性問題。此處利用方差膨脹因子進(jìn)行判斷：方差膨脹因子VIF是指回歸系數(shù)的估計(jì)量由于自變量共線性使得方差增加的一個(gè)相對(duì)度量。一般建議，如VIF>10，表明模型中有很強(qiáng)的共線性問題。library(car)vif(lm1,digits=3)

##GNPUnemployedArmed.ForcesPopulationYear

##1214.5783.9612.16230.912065.73

##Employed

##220.42從結(jié)果看，所有自變量的vif值均超過了10，其中GNP、Year更是高達(dá)四位數(shù)，存在嚴(yán)重的多種共線性。接下來，利用cor（）函數(shù)查看各自變量間的相關(guān)系數(shù)。plot(longley[,2:7])

cor(longley[,2:7])

##GNPUnemployedArmed.ForcesPopulationYearEmployed

##GNP1.00000.60430.44640.99110.99530.9836

##Unemployed0.60431.0000-0.17740.68660.66830.5025

##Armed.Forces0.4464-0.17741.00000.36440.41720.4573

##Population0.99110.68660.36441.00000.99400.9604

##Year0.99530.66830.41720.99401.00000.9713

##Employed0.98360.50250.45730.96040.97131.0000從散點(diǎn)分布圖和相關(guān)系數(shù)，均可以得知，自變量間存在嚴(yán)重共線性。

接下來利用step（）函數(shù)進(jìn)行變量的初步篩選。

lm1.step

##Start:AIC=10.48

##GNP.deflator~GNP+Unemployed+Armed.Forces+Population+

##Year+Employed

##DfSumofSqRSSAIC

##-Employed10.0412.98.54

##-Year10.3313.28.89

##-Armed.Forces10.7413.69.39

##12.810.48

##-Unemployed12.0814.910.88

##-GNP18.4721.316.59

##-Population19.4822.317.33

##Step:AIC=8.54

##GNP.deflator~GNP+Unemployed+Armed.Forces+Population+

##Year

##DfSumofSqRSSAIC

##-Year10.4613.37.11

##12.98.54

##-Armed.Forces11.7914.78.62

##-Unemployed15.7418.612.43

##-GNP19.4022.315.30

##-Population19.9022.815.66

##Step:AIC=7.11

##GNP.deflator~GNP+Unemployed+Armed.Forces+Population

##DfSumofSqRSSAIC

##-Armed.Forces11.314.76.62

##13.47.11

##-Population19.723.013.82

##-Unemployed114.527.816.86

##-GNP135.248.625.76

##Step:AIC=6.62

##GNP.deflator~GNP+Unemployed+Population

##DfSumofSqRSSAIC

##14.76.62

##-Unemployed113.328.014.95

##-Population113.328.014.95

##-GNP148.663.227.99根據(jù)AIC赤池信息準(zhǔn)則，模型最后選擇Unemployed、Population、GNP三個(gè)因變量參與建模。查看進(jìn)行逐步回歸后的模型效果summary(lm1.step)

##Call:

##lm(formula=GNP.deflator~GNP+Unemployed+Population,data=longley)

##Residuals:

##Min1QMedian3QMax

##-2.047-0.6820.1960.6961.435

##Coefficients:

##EstimateStd.ErrortvaluePr(>t)

##(Intercept)221.1295948.972514.520.00071***

##GNP0.220100.034936.303.9e-05***

##Unemployed0.022460.006813.300.00634**

##Population-1.805010.54692-3.300.00634**

##---

##Signif.codes:0'***'0.001'**'0.01'*'0.05'.'0.1''1

##Residualstandarderror:1.11on12degreesoffreedom

##MultipleR-squared:0.992,AdjustedR-squared:0.989

##F-statistic:472on3and12DF,p-value:1.03e-12從各判定指標(biāo)可以看出，模型的結(jié)果是可喜的。參與建模的三個(gè)變量和截圖的均是顯著的。MultipleR-squared高達(dá)0.992。

來源：中國(guó)統(tǒng)計(jì)網(wǎng)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。