1. 首頁 > 生活 > >

如何在R語言中使用Logistic回歸模型：R語言對回歸模型建模結果看相關性

生活百科

基于R語言的梯度推進算法介紹
基于R語言的梯度推進算法介紹
通常來說 ， 我們可兩個方面來提高一個預測模型的準確性：完善特征工程（feature engineering）或是直接使用Boosting算法 。通過大量數據科學競賽的試煉 ， 我們可以發現人們更鐘愛于Boosting算法 ， 這是因為和其他方法相比 ， 它在產生類似的結果時往往更加節約時間 。
Boosting算法有很多種 ， 比如梯度推進（Gradient Boosting）、XGBoost、AdaBoost、Gentle Boost等等 。每一種算法都有自己不同的理論基礎 ， 通過對它們進行運用 ， 算法之間細微的差別也能夠被我們所察覺 。如果你是一個新手 ， 那么太好了 ， 從現在開始 ， 你可以用大約一周的時間來了解和學習這些知識 。
在本文中 ， 筆者將會向你介紹梯度推進算法的基本概念及其復雜性 ， 此外 ， 文中還分享了一個關于如何在R語言中對該算法進行實現的例子 。
快問快答每當談及Boosting算法 ， 下列兩個概念便會頻繁的出現：Bagging和Boosting 。那么 ， 這兩個概念是什么 ， 它們之間究竟有什么區別呢？讓我們快速簡要地在這里解釋一下：
Bagging：對數據進行隨機抽樣、建立學習算法并且通過簡單平均來得到最終概率結論的一種方法 。
Boosting：與Bagging類似 ， 但在樣本選擇方面顯得更為聰明一些——在算法進行過程中 ， 對難以進行分類的觀測值賦予了越來越大的權重 。
我們知道你可能會在這方面產生疑問：什么叫做越來越大？我怎么知道我應該給一個被錯分的觀測值額外增加多少的權重呢？請保持冷靜 ， 我們將在接下來的章節里為你解答 。
從一個簡單的例子出發假設你有一個初始的預測模型M需要進行準確度的提高 ， 你知道這個模型目前的準確度為80%（通過任何形式度量） ， 那么接下來你應該怎么做呢？
有一個方法是 ， 我們可以通過一組新的輸入變量來構建一個全新的模型 ， 然后對它們進行集成學習 。但是 ， 筆者在此要提出一個更簡單的建議 ， 如下所示：
Y = M(x)error
如果我們能夠觀測到誤差項并非白噪聲 ， 而是與我們的模型輸出（Y）有著相同的相關性 ， 那么我們為什么不通過這個誤差項來對模型的準確度進行提升呢？比方說：
error = G(x)error2
或許 ， 你會發現模型的準確率提高到了一個更高的數字 ， 比如84% 。那么下一步讓我們對error2進行回歸 。
error2 = H(x)error3
然后我們將上述式子組合起來：
Y = M(x)G(x)H(x)error3
這樣的結果可能會讓模型的準確度更進一步 ， 超過84% 。如果我們能像這樣為三個學習算法找到一個最佳權重分配 ， 
Y = alpha * M(x)beta * G(x)gamma * H(x)error4
那么 ， 我們可能就構建了一個更好的模型 。
上面所述的便是Boosting算法的一個基本原則 ， 當我初次接觸到這一理論時 ， 我的腦海中很快地冒出了這兩個小問題：
1.我們如何判斷回歸／分類方程中的誤差項是不是白噪聲？如果無法判斷 ， 我們怎么能用這種算法呢？
2.如果這種算法真的這么強大 ， 我們是不是可以做到接近100％的模型準確度？
接下來 ， 我們將會對這些問題進行解答 ， 但是需要明確的是 ， Boosting算法的目標對象通常都是一些弱算法 ， 而這些弱算法都不具備只保留白噪聲的能力；其次 ， Boosting有可能導致過度擬合 ， 所以我們必須在合適的點上停止這個算法 。
試著想象一個分類問題請看下圖：
從最左側的圖開始看 ， 那條垂直的線表示我們運用算法所構建的分類器 ， 可以發現在這幅圖中有3/10的觀測值的分類情況是錯誤的 。接著 ， 我們給予那三個被誤分的“＋”型的觀測值更高的權重 ， 使得它們在構建分類器時的地位非常重要 。這樣一來 ， 垂直線就直接移動到了接近圖形右邊界的位置 。反復這樣的過程之后 ， 我們在通過合適的權重組合將所有的模型進行合并 。
算法的理論基礎我們該如何分配觀測值的權重呢？
通常來說 ， 我們從一個均勻分布假設出發 ， 我們把它稱為D1 ， 在這里 ， n個觀測值分別被分配了1/n的權重 。
步驟1：假設一個α（t）；
步驟2：得到弱分類器h（t）；
步驟3：更新總體分布 ， 
其中 ， 
步驟4：再次運用新的總體分布去得到下一個分類器；
覺得步驟3中的數學很可怕嗎？讓我們來一起擊破這種恐懼 。首先 ， 我們簡單看一下指數里的參數 ， α表示一種學習率 ， y是實際的回應值（＋1或－1） ， 而h（x）則是分類器所預測的類別 。簡單來說 ， 如果分類器預測錯了 ， 這個指數的冪就變成了1 *α ，  反之則是－1*α 。也就是說 ， 如果某觀測值在上一次預測中被預測錯誤 ， 那么它對應的權重可能會增加 。那么 ， 接下來該做什么呢？
步驟5：不斷重復步驟1-步驟4 ， 直到無法發現任何可以改進的地方；
步驟6：對所有在上面步驟中出現過的分類器或是學習算法進行加權平均 ， 權重如下所示：
案例練習最近我參加了由Analytics Vidhya組織的在線hackathon活動 。為了使變量變換變得容易 ， 在complete_data中我們合并了測試集與訓練集中的所有數據 。我們將數據導入 ， 并且進行抽樣和分類 。
library(caret)rm(list=ls())setwd("C:Usersts93856DesktopAV")library(Metrics)complete <- read.csv("complete_data.csv", stringsAsFactors = TRUE)train <- complete[complete$Train == 1,]score <- complete[complete$Train != 1,]set.seed(999)ind <- sample(2, nrow(train), replace=T, prob=c(0.60,0.40))trainData<-train[ind==1,]testData <- train[ind==2,]set.seed(999)ind1 <- sample(2, nrow(testData), replace=T, prob=c(0.50,0.50))trainData_ens1<-testData[ind1==1,]testData_ens1 <- testData[ind1==2,]table(testData_ens1$Disbursed)[2]/nrow(testData_ens1)#Response Rate of 9.052%
接下來 ， 就是構建一個梯度推進模型（Gradient Boosting Model）所要做的：
fitControl <- trainControl(method = "repeatedcv", number = 4, repeats = 4)trainData$outcome1 <- ifelse(trainData$Disbursed == 1, "Yes","No")set.seed(33)gbmFit1 <- train(as.factor(outcome1) ~ ., data = http://www.cn-tt.com/kx/trainData[,-26], method ="gbm", trControl = fitControl,verbose = FALSE)gbm_dev <- predict(gbmFit1, trainData,type= "prob")[,2]gbm_ITV1 <- predict(gbmFit1, trainData_ens1,type= "prob")[,2]gbm_ITV2 <- predict(gbmFit1, testData_ens1,type= "prob")[,2]auc(trainData$Disbursed,gbm_dev)auc(trainData_ens1$Disbursed,gbm_ITV1)auc(testData_ens1$Disbursed,gbm_ITV2)
在上述案例中 ， 運行代碼后所看到的所有AUC值將會非常接近0.84 。我們隨時歡迎你對這段代碼進行進一步的完善 。在這個領域 ， 梯度推進模型（GBM）是最為廣泛運用的方法 ， 在未來的文章里 ， 我們可能會對GXBoost等一些更加快捷的Boosting算法進行介紹 。
結束語筆者曾不止一次見識過Boosting算法的迅捷與高效 ， 在Kaggle或是其他平臺的競賽中 ， 它的得分能力從未令人失望 ， 當然了 ， 也許這要取決于你能夠把特征工程（feature engineering）做得多好了 。
【如何在R語言中使用Logistic回歸模型：R語言對回歸模型建模結果看相關性】以上是小編為大家分享的關于基于R語言的梯度推進算法介紹的相關內容 ， 更多信息可以關注環球青藤分享更多干貨

如何用R語言編出一個多元線性回歸模型的方
）attach(byu)lm(salary~age exper)lm(salary~.,byu)#利用全變量做線性回歸lm()只出回歸系數 ， 得為詳盡的回歸信息 ， 應結果作為數據保存或者使用“擬合模型”（fittedmodel）result<-lm(salary~age exper age*exper,data=http://www.cn-tt.com/kx/byu)summary(result)myresid<-result$resid#獲得殘差vcov(result)＃針對于擬合后的模型計算方差－協方差矩陣shapiro.test(b)#做殘差的正太性檢驗norm(bres);line(bres)#做殘差
怎么用R語言表示一個有協變量的線性回歸模型？
既然是隨機么我然就是要用到lua的隨機函數了 ， 但是lua的隨機函點小毛病 ， 如果時間太短 ， 那么取到的隨機數可能是一樣的 ， 如果隨機的數字太小也有點毛病 ， 誰用誰知道埃全是眼淚埃 。所以我們的第一步是構造一個我們自己的隨機函數 。
多元線性回歸模型用r語言怎么來實現
）attach(byu)
lm(salary ~ age exper)
lm(salary~.,byu)#利用全部自變量做線性回歸
lm()只能回歸系數 ， 要想得為詳盡的回歸信息該將結果作為數據或者使用“擬合模型”（fitted model）
result<-lm(salary~ageexperage*exper, data=http://www.cn-tt.com/kx/byu)
summary(result)
myresid<-result$resid #獲得殘差
vcov(result) ＃針對于擬合后的模型計算方差－協方差矩陣
shapiro.test(b) #做殘差的正太性檢驗
norm(bres);line(bres) #做殘差
如何在R語言中使用Logistic回歸模型
logit=glm(y~x1 x2,data=http://www.cn-tt.com/kx/data,family=binomial(link='logit'))
glm表示廣義線性 ， data表示y,x1,x2所在據集 ， family中的link用來回歸 ， logit表示選擇logistic回歸
r語言怎么計算回歸模型的置信區間
用predict就能做到 。
predict的用法：
predict(object, newdata, se.fit = FALSE, scale = NULL, df = Inf,
interval = c("none", "confidence", "prediction"),
level = 0.95, type = c("response", "terms"),
terms = NULL, na.action = na.pass,
pred.var = res.var/weights, weights = 1, ...)
只要注意其中的object ， newdata ， interval ， level ， type就行 。
object是你的回歸模型 。
newdata是使用的數據 。
interval選confidence或者"c" 。
level是置信水平 。
type在計算響應變量時使用response ， 對變量計算使用terms 。如果是terms ， 需要用后面的terms參數指定變量名（character類型向量形式） 。
response的話返回一個數據框 ， 三列 ， 分別是預測值 ， 區間下限和上限 。
terms返回一個list 。