新AlphaGo有多厲害？100:0把李世乭版秒成渣
時間：2025-12-10 16:27:28 來源：桑間濮上網
導讀：新的有多AlphaGo Zero使用了一種全新的強化學習方式，從0基礎的厲害神經網絡開始，與搜索算法結合，把李版秒南通外圍女模特平臺（外圍預約）電話微信365-*2895提供頂級外圍女上門，可滿足你的一切要求不斷進化調整、世乭迭代升級。成渣AlphaGo Zero的有多不同之處在于：除了黑白棋子，沒有其他人類教給AlphaGo Zero怎么下棋。厲害而之前的把李版秒AlphaGo包含少量人工設計的特征。
“它最終超越了我們所有預期”。世乭
DeepMind團隊又放驚天消息。成渣
簡單地說，有多AlphaGo又有了重大進步。厲害DeepMind把這個新版本的把李版秒圍棋AI稱為AlphaGo Zero。之所以這樣命名，世乭是成渣因為這個AI完全從零開始，自我學習下圍棋，完全脫離人類知識。
以前其他版本的AlphaGo，都經過人類知識的訓練，它們被告知人類高手如何下棋。南通外圍女模特平臺（外圍預約）電話微信365-*2895提供頂級外圍女上門，可滿足你的一切要求而最新發布的AlphaGo Zero使用了更多原理和算法，從0開始，使用隨機招式，40天后成為圍棋界的絕世高手。真真正正的自學成才。
新的AlphaGo Zero使用了一種全新的強化學習方式，從0基礎的神經網絡開始，與搜索算法結合，不斷進化調整、迭代升級。AlphaGo Zero的不同之處在于：
除了黑白棋子，沒有其他人類教給AlphaGo Zero怎么下棋。而之前的AlphaGo包含少量人工設計的特征。
AlphaGo Zero只用了一個神經網絡，而不是兩個。以前AlphaGo是由“策略網絡”和“價值網絡”來共同確定如何落子。
AlphaGo Zero依賴神經網絡來評估落子位置，而不使用rollouts——這是其他圍棋程序使用的快速、隨機游戲，用來預測哪一方會獲勝。
創新工場AI工程院副院長王詠剛用“大道至簡”四個字評價新版的AlphaGo Zero。
上述種種，讓AlphaGo Zero異常強大。
“人們一般認為機器學習就是關于大數據和海量計算，但是DeepMind通過AlphaGo Zero的案例發現，算法比計算或者數據可用性更重要”，AlphaGo團隊負責人席爾瓦(Dave Silver)介紹說，AlphaGo Zero的計算，比之前的AlphaGo減少了一個數量級。
如上圖所示，AlphaGo Zero也只用了4個TPU。
AlphaGo Zero到底多厲害，且看官方公布的成績單：
3小時后，AlphaGo Zero成功入門圍棋。
僅僅36小時后，AlphaGo Zero就摸索出所有基本而且重要的圍棋知識，以100:0的戰績，碾壓了當年擊敗李世乭的AlphaGo v18版本。
21天后，AlphaGo Zero達到了Master的水平。這也就是年初在網上60連勝橫掃圍棋界的版本。Master后來擊敗了柯潔。
40天后，AlphaGo Zero對戰Master的勝率達到90%。也就是說，AlphaGo Zero成為寂寞無敵的最強圍棋AI。
DeepMind主要作者之一的黃士杰博士總結：AlphaGo Zero完全從零開始，初始階段甚至會填真眼自殺。AlphaGo Zero自學而成的圍棋知識，例如打劫、征子、棋形、布局先下在角等等，都與人類的圍棋觀念一致。
“間接呼應了人類幾千年依賴圍棋研究的價值”，黃士杰寫道。
技術細節
DeepMind的最新研究成果，已經全文發布在《自然》雜志上。這也是第二篇在《自然》雜志上發表的AlphaGo論文。
論文摘要
人工智能的長期目標是創造一個會學習的算法，能在特定領域中從一塊白板開始，超越人類。最近，AlphaGo成為第一個在圍棋游戲中打敗世界冠軍的程序。AlphaGo中的樹搜索使用深度神經網絡來評估位置、選擇落子。這些神經網絡用人類專家的棋譜來進行監督學習的訓練，并通過自我對弈來進行強化學習。本文介紹了一種僅基于強化學習的方法，除了游戲規則之外，沒有人類的數據、指導或者領域知識。AlphaGo成了它自己的老師：一個被訓練來預測AlphaGo自己落子選擇以及對弈結果的神經網絡。這個神經網絡提高了樹搜索的強度，提高了落子質量、增強了自我對弈迭代的能力。從一塊白板開始，我們的新程序AlphaGo Zero的表現超越了人類，并以100-10擊敗了以前曾打敗世界冠軍的AlphaGo版本。
AlphaGo Zero的強化學習
上面提到AlphaGo使用了一個神經網絡，這是怎么做到的？
DeepMind使用了一個新的神經網絡fθ，θ是參數。這個神經網絡將原始棋盤表征s（落子位置和過程）作為輸入，輸出落子概率(p, v)= fθ(s)。這里的落子概率向量p表示下一步的概率，而v是一個標量估值，衡量當前落子位置s獲勝的概率。
這個神經網絡把之前AlphaGo所使用的策略網絡和價值網絡，整合成一個單獨的架構。其中包含很多基于卷積神經網絡的殘差模塊。
AlphaGo Zero的神經網絡，使用新的強化學習算法，自我對弈進行訓練。在每個落子位置s，神經網絡fθ指導進行MCTS（蒙特卡洛樹）搜索。MCTS搜索給出每一步的落子概率π。通常這種方式會選出更有效的落子方式。
因此，MCTS可以被看作是一個強大的策略提升operator。這個系統通過搜索進行自我對弈，使用增強的MCTS策略決定如何落子，然后把獲勝z作為價值樣本。
這個強化學習算法的主要理念，實在策略迭代過程中，反復使用這些這些搜索operator：神經網絡的參數不斷更新，讓落子概率和價值（P,v）=fθ(s)越來越接近改善后的搜索概率和自我對弈贏家（π, z）。這些新參數也被用于下一次的自我對弈迭代，讓搜索變得更強大。整個過程如下圖所示。
上圖解釋了AlphaGo Zero中的自我對弈強化學習。圖a展示了程序的自我對弈過程。程序在從s1到st的棋局中進行自我對弈，在任意位置st，程序會用最新的神經網絡fθ來執行MCTS αθ，根據MCTS計算出的搜索概率at?πt選擇落子位置，根據游戲規則來決定最終位置sT，并計算出勝者z。
圖b展示了AlphaGo Zero中的神經網絡訓練過程，神經網絡以棋盤位置st為輸入，將它和參數θ通過多層CNN傳遞，輸出向量Pt和張量值vt，Pt表示幾步之后可能的局面，vt表示st位置上當前玩家的勝率。為了將Pt和搜索概率πt的相似度最大化，并最小化vt和游戲實際勝者z之間的誤差，神經網絡的參數θ會不斷更新，更新后的參數會用到如圖a所示的下一次自我對弈迭代中。
AlpaGo Zero中的MCTS結構如上圖所示，從圖a顯示的選擇步驟可以看出，每次模擬都會通過選擇最大行為價值Q的邊緣，加上置信區間上限U來遍歷樹，U取決于存儲先驗概率P和訪問次數N。
圖b顯示，葉節點擴展和相關位置s的評估都是通過神經網絡(P(s, ·)，V(s)) = fθ(s)實現的，P的向量值存儲在s的出口邊緣。
圖c顯示了更新行為價值Q以追蹤該行為下面子樹中所有評估V的平均值。
圖d顯示，搜索完成后，搜索概率π返回，與N1/τ成比例，其中N是從根狀態每次移動的訪問次數，τ是控制溫度的參數。
從零開始的訓練
DeepMind在論文中表示，應用了強化學習的pipeline來訓練AlphaGo Zero，訓練從完全隨機的行為開始，并在沒有認為干預的情況下持續3天。
訓練過程中，生成了490萬盤自我博弈對局，每個MCTS使用1600次模擬，相當于每下一步思考0.4秒。下圖顯示了在自我對弈強化學習期間，AlphaGo Zero的表現。整個訓練過程中，沒有出現震蕩或者災難性遺忘的困擾。
令人驚訝的是，AlphaGo Zero在訓練36小時后，表現就優于擊敗李世乭的版本AlphaGo Lee。當年那個版本經過了數月的訓練。AlphaGo Zero使用了4個TPU，而擊敗李世乭的AlphaGo使用了48個TPU。
下圖就是AlphaGo Zero和AlphaGo Lee的神經網絡架構比較。
“它最終超越了我們所有預期”。世乭
DeepMind團隊又放驚天消息。成渣
簡單地說，有多AlphaGo又有了重大進步。厲害DeepMind把這個新版本的把李版秒圍棋AI稱為AlphaGo Zero。之所以這樣命名，世乭是成渣因為這個AI完全從零開始，自我學習下圍棋，完全脫離人類知識。
以前其他版本的AlphaGo，都經過人類知識的訓練，它們被告知人類高手如何下棋。南通外圍女模特平臺（外圍預約）電話微信365-*2895提供頂級外圍女上門，可滿足你的一切要求而最新發布的AlphaGo Zero使用了更多原理和算法，從0開始，使用隨機招式，40天后成為圍棋界的絕世高手。真真正正的自學成才。
新的AlphaGo Zero使用了一種全新的強化學習方式，從0基礎的神經網絡開始，與搜索算法結合，不斷進化調整、迭代升級。AlphaGo Zero的不同之處在于：
除了黑白棋子，沒有其他人類教給AlphaGo Zero怎么下棋。而之前的AlphaGo包含少量人工設計的特征。
AlphaGo Zero只用了一個神經網絡，而不是兩個。以前AlphaGo是由“策略網絡”和“價值網絡”來共同確定如何落子。
AlphaGo Zero依賴神經網絡來評估落子位置，而不使用rollouts——這是其他圍棋程序使用的快速、隨機游戲，用來預測哪一方會獲勝。
創新工場AI工程院副院長王詠剛用“大道至簡”四個字評價新版的AlphaGo Zero。
上述種種，讓AlphaGo Zero異常強大。
“人們一般認為機器學習就是關于大數據和海量計算，但是DeepMind通過AlphaGo Zero的案例發現，算法比計算或者數據可用性更重要”，AlphaGo團隊負責人席爾瓦(Dave Silver)介紹說，AlphaGo Zero的計算，比之前的AlphaGo減少了一個數量級。
如上圖所示，AlphaGo Zero也只用了4個TPU。
AlphaGo Zero到底多厲害，且看官方公布的成績單：
3小時后，AlphaGo Zero成功入門圍棋。
僅僅36小時后，AlphaGo Zero就摸索出所有基本而且重要的圍棋知識，以100:0的戰績，碾壓了當年擊敗李世乭的AlphaGo v18版本。
21天后，AlphaGo Zero達到了Master的水平。這也就是年初在網上60連勝橫掃圍棋界的版本。Master后來擊敗了柯潔。
40天后，AlphaGo Zero對戰Master的勝率達到90%。也就是說，AlphaGo Zero成為寂寞無敵的最強圍棋AI。
DeepMind主要作者之一的黃士杰博士總結：AlphaGo Zero完全從零開始，初始階段甚至會填真眼自殺。AlphaGo Zero自學而成的圍棋知識，例如打劫、征子、棋形、布局先下在角等等，都與人類的圍棋觀念一致。
“間接呼應了人類幾千年依賴圍棋研究的價值”，黃士杰寫道。
技術細節
DeepMind的最新研究成果，已經全文發布在《自然》雜志上。這也是第二篇在《自然》雜志上發表的AlphaGo論文。
論文摘要
人工智能的長期目標是創造一個會學習的算法，能在特定領域中從一塊白板開始，超越人類。最近，AlphaGo成為第一個在圍棋游戲中打敗世界冠軍的程序。AlphaGo中的樹搜索使用深度神經網絡來評估位置、選擇落子。這些神經網絡用人類專家的棋譜來進行監督學習的訓練，并通過自我對弈來進行強化學習。本文介紹了一種僅基于強化學習的方法，除了游戲規則之外，沒有人類的數據、指導或者領域知識。AlphaGo成了它自己的老師：一個被訓練來預測AlphaGo自己落子選擇以及對弈結果的神經網絡。這個神經網絡提高了樹搜索的強度，提高了落子質量、增強了自我對弈迭代的能力。從一塊白板開始，我們的新程序AlphaGo Zero的表現超越了人類，并以100-10擊敗了以前曾打敗世界冠軍的AlphaGo版本。
AlphaGo Zero的強化學習
上面提到AlphaGo使用了一個神經網絡，這是怎么做到的？
DeepMind使用了一個新的神經網絡fθ，θ是參數。這個神經網絡將原始棋盤表征s（落子位置和過程）作為輸入，輸出落子概率(p, v)= fθ(s)。這里的落子概率向量p表示下一步的概率，而v是一個標量估值，衡量當前落子位置s獲勝的概率。
這個神經網絡把之前AlphaGo所使用的策略網絡和價值網絡，整合成一個單獨的架構。其中包含很多基于卷積神經網絡的殘差模塊。
AlphaGo Zero的神經網絡，使用新的強化學習算法，自我對弈進行訓練。在每個落子位置s，神經網絡fθ指導進行MCTS（蒙特卡洛樹）搜索。MCTS搜索給出每一步的落子概率π。通常這種方式會選出更有效的落子方式。
因此，MCTS可以被看作是一個強大的策略提升operator。這個系統通過搜索進行自我對弈，使用增強的MCTS策略決定如何落子，然后把獲勝z作為價值樣本。
這個強化學習算法的主要理念，實在策略迭代過程中，反復使用這些這些搜索operator：神經網絡的參數不斷更新，讓落子概率和價值（P,v）=fθ(s)越來越接近改善后的搜索概率和自我對弈贏家（π, z）。這些新參數也被用于下一次的自我對弈迭代，讓搜索變得更強大。整個過程如下圖所示。
上圖解釋了AlphaGo Zero中的自我對弈強化學習。圖a展示了程序的自我對弈過程。程序在從s1到st的棋局中進行自我對弈，在任意位置st，程序會用最新的神經網絡fθ來執行MCTS αθ，根據MCTS計算出的搜索概率at?πt選擇落子位置，根據游戲規則來決定最終位置sT，并計算出勝者z。
圖b展示了AlphaGo Zero中的神經網絡訓練過程，神經網絡以棋盤位置st為輸入，將它和參數θ通過多層CNN傳遞，輸出向量Pt和張量值vt，Pt表示幾步之后可能的局面，vt表示st位置上當前玩家的勝率。為了將Pt和搜索概率πt的相似度最大化，并最小化vt和游戲實際勝者z之間的誤差，神經網絡的參數θ會不斷更新，更新后的參數會用到如圖a所示的下一次自我對弈迭代中。
AlpaGo Zero中的MCTS結構如上圖所示，從圖a顯示的選擇步驟可以看出，每次模擬都會通過選擇最大行為價值Q的邊緣，加上置信區間上限U來遍歷樹，U取決于存儲先驗概率P和訪問次數N。
圖b顯示，葉節點擴展和相關位置s的評估都是通過神經網絡(P(s, ·)，V(s)) = fθ(s)實現的，P的向量值存儲在s的出口邊緣。
圖c顯示了更新行為價值Q以追蹤該行為下面子樹中所有評估V的平均值。
圖d顯示，搜索完成后，搜索概率π返回，與N1/τ成比例，其中N是從根狀態每次移動的訪問次數，τ是控制溫度的參數。
從零開始的訓練
DeepMind在論文中表示，應用了強化學習的pipeline來訓練AlphaGo Zero，訓練從完全隨機的行為開始，并在沒有認為干預的情況下持續3天。
訓練過程中，生成了490萬盤自我博弈對局，每個MCTS使用1600次模擬，相當于每下一步思考0.4秒。下圖顯示了在自我對弈強化學習期間，AlphaGo Zero的表現。整個訓練過程中，沒有出現震蕩或者災難性遺忘的困擾。
令人驚訝的是，AlphaGo Zero在訓練36小時后，表現就優于擊敗李世乭的版本AlphaGo Lee。當年那個版本經過了數月的訓練。AlphaGo Zero使用了4個TPU，而擊敗李世乭的AlphaGo使用了48個TPU。
下圖就是AlphaGo Zero和AlphaGo Lee的神經網絡架構比較。
相關內容
- ·《天國：拯救》新預告片 展示游戲任務操作機制
- ·Switch《萊莎的煉金工房3》比擬前做容量竟然減少了
- ·《伊科內島：筑夢之天》新秋任務大年夜年節上架 特價8開只限3天一起過龍年
- ·《風月胡念》唐宮寶庫，禍利弄法搶先看
- ·《旺達與巨像》重制版2月份上市 新增拍照模式
- ·中國國花圃門票 中國國花圃花期疑息
- ·2019晉州周家莊梨花節5月10日停止 附活動疑息
- ·網襪是盡配 勒痕恰到好處的新晉櫻花妹COSER
- ·小老鼠的魔法棒的故事
- ·網襪是盡配 勒痕恰到好處的新晉櫻花妹COSER
- ·傳小米 13 Ultra旗艦足機5月公布 有看里背齊球公布
- ·2019藁鄉梨花節正在那里 附活動疑息
- ·《絕地求生》排行榜2月27日重置 新賽季來臨
- ·介紹2023年日食探測器：2023年10月14日日環食的互動指南
- ·重慶有甚么好玩的公園景面
- ·2020好玩的3d聯機游戲足機版保舉 3D繪風的多人聯機游戲
最新內容
推薦內容
- ·天津外圍介紹的電話聯系方式 vx《365-2895》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·昆明找外圍（抖音網紅）找外圍vx《189-4143》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·杭州中圈外圍聯系方式vx《365-2895》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·佛山三水酒店美女模特上門包夜vx《189-4143》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·大連中山約美女上門提供高端外圍女真實安排vx《189-4143》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·佛山禪城頂級外圍模特預約vx《189-4143》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·V型《189-4143》大連西崗區外圍酒店上門提供外圍女小姐上門服務快速安排人到付款
- ·天津和平品茶喝茶中高端喝茶場子vx《365-2895》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·北京西城外圍女酒店上門電vx《189-4143》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·長春外圍介紹的電話聯系方式 vx《189-4143》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達