數字化企業

      提升機器學習

      Boosting是一種集成建模技術,它試圖從弱分類器的數量中構建一個強分類器。它是通過使用串聯的弱模型構建模型來完成的。首先,根據訓練數據建立模型。然後構建第二個模型,試圖糾正第一個模型中存在的錯誤。繼續此過程並添加模型,直到正確預測了完整的訓練數據集或添加了最大數量的模型。 


      AdaBoost是第一個爲二元分類而開發的真正成功的 boosting 算法。AdaBoost是Adaptive Boosting 的縮寫,是一種非常流行的提升技術,它將多個“弱分類器”組合成一個“強分類器”。它是由 Yoav Freund 和 Robert Schapire 制定的。他們還因其工作獲得了 2003 年哥德爾獎。 


      算法: 

       


      初始化數據集併爲每個數據點分配相等的權重。

      將此作爲模型的輸入並識別錯誤分類的數據點。

      增加錯誤分類的數據點的權重。

      如果(得到所需的結果) 

        轉到第 5 步 

      else 

        轉到第 2 步 

       

      結尾



      說明: 

      上圖以非常簡單的方式解釋了AdaBoost算法。讓我們試着分步理解它: 


      B1由 10 個數據點組成,包括加(+)和減(-)兩種類型,其中 5 個是加(+),另外 5 個是減(-),並且每個數據點最初都被分配了相等的權重。第一個模型嘗試對數據點進行分類並生成垂直分隔線,但它錯誤地將 3 plus(+) 分類爲減號 (-)。

      B2由來自先前模型的 10 個數據點組成,其中 3 個錯誤分類的 plus(+) 的權重更大,因此當前模型嘗試更多地正確分類這些 plus(+)。該模型生成了一條垂直分隔線,可以正確分類之前錯誤分類的加號(+),但在此嘗試中,它錯誤地分類了兩個減號(-)。

      B3包含來自先前模型的 10 個數據點,其中 3 個錯誤分類的減號 (-) 的權重更大,以便當前模型嘗試更多地正確分類這些減號 (-)。該模型生成一條水平分隔線,可以正確分類之前錯誤分類的減號 (-)。

      B4將 B1、B2 和 B3 結合在一起,以構建一個強大的預測模型,該模型比使用的任何單個模型都要好得多。


        服務熱線

        18215660330

        郵 箱

        179001057@qq.com

      關注
      官方微信