陳雷：香港科技大學(xué)計(jì)算機(jī)科學(xué)與工程系教授，大數(shù)據(jù)研究所主任，IEEE Fellow和ACM杰出科學(xué)家。研究方向包括數(shù)據(jù)驅(qū)動(dòng)AI、人力機(jī)器學(xué)習(xí)、知識(shí)圖譜、社交媒體上的數(shù)據(jù)挖掘等。在國(guó)際著名期刊和會(huì)議上發(fā)表300余篇論文，曾獲得2015年SIGMOD時(shí)間測(cè)試獎(jiǎng)。現(xiàn)任VLDB 2019程序委員會(huì)聯(lián)合主席、VLDB期刊主編、IEEE TKDE期刊副總編輯、VLDB Endowment執(zhí)行成員。

　　本書(shū)系統(tǒng)地介紹了深度學(xué)習(xí)理論，并基于MindSpore AI計(jì)算框架進(jìn)行實(shí)踐。全書(shū)共分14章，內(nèi)容涵蓋深度學(xué)習(xí)概況、深度學(xué)習(xí)基礎(chǔ)知識(shí)、深度神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、無(wú)監(jiān)督學(xué)習(xí)、深度強(qiáng)化學(xué)習(xí)、自動(dòng)化機(jī)器學(xué)習(xí)、端云協(xié)同、深度學(xué)習(xí)可視化及深度學(xué)習(xí)的數(shù)據(jù)準(zhǔn)備等。為便于讀者學(xué)習(xí)，書(shū)中還給出了基于MindSpore實(shí)現(xiàn)的關(guān)于深度學(xué)習(xí)的開(kāi)發(fā)實(shí)例及線上資源。本書(shū)可作為普通高等學(xué)校人工智能、智能科學(xué)與技術(shù)、計(jì)算機(jī)科學(xué)與技術(shù)、電子信息工程、自動(dòng)化等專(zhuān)業(yè)的本科生及研究生教材，也可作為從事深度學(xué)習(xí)相關(guān)工作的軟件開(kāi)發(fā)工程師與科研人員的學(xué)習(xí)、參考用書(shū)。

　　第1章引言

　　1.1人工智能的歷史變遷

　　1.2什么是深度學(xué)習(xí)

　　1.3深度學(xué)習(xí)的現(xiàn)實(shí)應(yīng)用

　　1.3.1自動(dòng)語(yǔ)音識(shí)別

　　1.3.2圖像識(shí)別

　　1.3.3自然語(yǔ)言處理

　　1.3.4其他領(lǐng)域

　　1.4本書(shū)的組織架構(gòu)

　　1.5MindSpore簡(jiǎn)介

　　1.5.1編程簡(jiǎn)單

　　1.5.2端云協(xié)同

　　1.5.3調(diào)試輕松

　　1.5.4性能卓越

　　1.5.5開(kāi)源開(kāi)放

　　第2章深度學(xué)習(xí)基礎(chǔ)知識(shí)

　　2.1回歸問(wèn)題算法

　　2.2梯度下降算法

　　2.3分類(lèi)問(wèn)題算法

　　2.4過(guò)擬合與欠擬合

　　第3章深度神經(jīng)網(wǎng)絡(luò)

　　3.1前向網(wǎng)絡(luò)

　　3.2反向傳播

　　3.3泛化能力

　　3.4用MindSpore實(shí)現(xiàn)簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)

　　3.4.1各層參數(shù)說(shuō)明

　　3.4.2詳細(xì)步驟

　　第4章深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

　　4.1深度學(xué)習(xí)系統(tǒng)面臨的主要挑戰(zhàn)

　　4.1.1大數(shù)據(jù)集需求

　　4.1.2硬件需求

　　4.1.3過(guò)擬合

　　4.1.4超參數(shù)優(yōu)化

　　4.1.5不透明性

　　4.1.6缺少靈活性

　　4.2正則化

　　4.2.1L2范數(shù)正則化

　　4.2.2L1范數(shù)正則化

　　4.3Dropout

　　4.4自適應(yīng)學(xué)習(xí)率

　　4.4.1AdaGrad

　　4.4.2RMSProp

　　4.4.3Adam

　　4.5批標(biāo)準(zhǔn)化

　　4.6用MindSpore 實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)

　　4.6.1各層參數(shù)說(shuō)明

　　4.6.2詳細(xì)步驟

　　第5章卷積神經(jīng)網(wǎng)絡(luò)

　　5.1卷積操作

　　5.2池化

　　5.3殘差網(wǎng)絡(luò)

　　5.4應(yīng)用：圖片分類(lèi)

　　5.5用MindSpore實(shí)現(xiàn)基于卷積神經(jīng)網(wǎng)絡(luò)圖片分類(lèi)

　　5.5.1加載MindSpore模塊

　　5.5.2定義ResNet網(wǎng)絡(luò)結(jié)構(gòu)

　　5.5.3設(shè)置超參數(shù)

　　5.5.4導(dǎo)入數(shù)據(jù)集

　　5.5.5訓(xùn)練模型

　　第6章循環(huán)神經(jīng)網(wǎng)絡(luò)

　　6.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述

　　6.2深度循環(huán)神經(jīng)網(wǎng)絡(luò)

　　6.3長(zhǎng)期依賴的挑戰(zhàn)

　　6.4長(zhǎng)短期記憶網(wǎng)絡(luò)和門(mén)控循環(huán)神經(jīng)網(wǎng)絡(luò)

　　6.4.1長(zhǎng)短期記憶網(wǎng)絡(luò)

　　6.4.2門(mén)控循環(huán)神經(jīng)網(wǎng)絡(luò)

　　6.5應(yīng)用：文本預(yù)測(cè)

　　6.6用MindSpore實(shí)現(xiàn)基于長(zhǎng)短期記憶網(wǎng)絡(luò)的文本預(yù)測(cè)

　　6.6.1加載MindSpore模塊

　　6.6.2數(shù)據(jù)準(zhǔn)備

　　6.6.3定義網(wǎng)絡(luò)

　　6.6.4參數(shù)介紹

　　6.6.5訓(xùn)練模型

　　參考文獻(xiàn)

　　第7章無(wú)監(jiān)督學(xué)習(xí)：詞向量

　　7.1Word2Vec

　　7.1.1提出背景

　　7.1.2發(fā)展現(xiàn)狀

　　7.1.3技術(shù)原理

　　7.1.4技術(shù)難點(diǎn)

　　7.1.5應(yīng)用場(chǎng)景

　　7.1.6框架模塊

　　7.2GloVe

　　7.2.1提出背景

　　7.2.2發(fā)展現(xiàn)狀

　　7.2.3技術(shù)原理

　　7.2.4技術(shù)難點(diǎn)

　　7.2.5應(yīng)用場(chǎng)景

　　7.2.6框架模塊

　　7.3Transformer

　　7.3.1提出背景

　　7.3.2發(fā)展現(xiàn)狀

　　7.3.3技術(shù)原理

　　7.3.4技術(shù)難點(diǎn)

　　7.3.5應(yīng)用場(chǎng)景

　　7.3.6框架模塊

　　7.4BERT

　　7.4.1提出背景

　　7.4.2發(fā)展現(xiàn)狀

　　7.4.3技術(shù)原理

　　7.4.4技術(shù)難點(diǎn)

　　7.4.5應(yīng)用場(chǎng)景

　　7.4.6框架模塊

　　7.5詞向量典型生成算法對(duì)比

　　7.6應(yīng)用：自動(dòng)問(wèn)答

　　7.6.1自動(dòng)問(wèn)答的相關(guān)概念

　　7.6.2傳統(tǒng)的自動(dòng)問(wèn)答方法

　　7.6.3基于深度學(xué)習(xí)的自動(dòng)問(wèn)答方法

　　7.7用MindSpore 實(shí)現(xiàn)基于BERT的自動(dòng)問(wèn)答

　　7.7.1數(shù)據(jù)集準(zhǔn)備

　　7.7.2訓(xùn)練BERT網(wǎng)絡(luò)

　　參考文獻(xiàn)

　　第8章無(wú)監(jiān)督學(xué)習(xí)：圖向量

　　8.1圖向量簡(jiǎn)介

　　8.2DeepWalk算法

　　8.2.1DeepWalk算法原理

　　8.2.2DeepWalk算法實(shí)現(xiàn)

　　8.3LINE算法

　　8.3.1LINE算法原理

　　8.3.2LINE算法實(shí)現(xiàn)

　　8.4Node2Vec算法

　　8.4.1Node2Vec算法原理

　　8.4.2Node2Vec算法實(shí)現(xiàn)

　　8.5GCN算法

　　8.5.1GCN算法原理

　　8.5.2GCN算法實(shí)現(xiàn)

　　8.6GAT算法

　　8.6.1GAT算法原理

　　8.6.2GAT算法實(shí)現(xiàn)

　　8.7應(yīng)用：推薦系統(tǒng)

　　8.7.1工業(yè)界中的推薦系統(tǒng)

　　8.7.2推薦系統(tǒng)中的圖神經(jīng)網(wǎng)絡(luò)模型

　　參考文獻(xiàn)

　　第9章無(wú)監(jiān)督學(xué)習(xí)：深度生成模型

　　9.1變分自編碼器

　　9.1.1提出背景

　　9.1.2發(fā)展現(xiàn)狀

　　9.1.3技術(shù)原理

　　9.1.4技術(shù)難點(diǎn)

　　9.1.5應(yīng)用場(chǎng)景

　　9.2生成對(duì)抗網(wǎng)絡(luò)

　　9.2.1提出背景

　　9.2.2發(fā)展現(xiàn)狀

　　9.2.3技術(shù)原理

　　9.2.4技術(shù)難點(diǎn)

　　9.2.5應(yīng)用場(chǎng)景

　　9.2.6框架模塊

　　9.3應(yīng)用：數(shù)據(jù)增強(qiáng)

　　9.3.1數(shù)據(jù)增強(qiáng)的定義

　　9.3.2數(shù)據(jù)增強(qiáng)的目的

　　9.3.3傳統(tǒng)數(shù)據(jù)增強(qiáng)的方法

　　9.3.4基于深度學(xué)習(xí)的數(shù)據(jù)增強(qiáng)方法

　　9.4用MindSpore實(shí)現(xiàn)基于生成對(duì)抗網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)

　　參考文獻(xiàn)

　　第10章深度強(qiáng)化學(xué)習(xí)

　　10.1強(qiáng)化學(xué)習(xí)基本概念

　　10.1.1基礎(chǔ)概念與理論

　　10.1.2馬爾可夫決策過(guò)程

　　10.1.3貝爾曼方程

　　10.2基本求解方法

　　10.2.1動(dòng)態(tài)規(guī)劃法

　　10.2.2蒙特卡羅法

　　10.2.3時(shí)間差分法

　　10.3深度強(qiáng)化學(xué)習(xí)算法

　　10.3.1DQN算法

　　10.3.2DDPG算法

　　10.3.3A3C算法

　　10.4最新應(yīng)用

　　10.4.1推薦系統(tǒng)

　　10.4.2博弈游戲

　　10.5用MindSpore實(shí)現(xiàn)基于DQN的博弈游戲

　　參考文獻(xiàn)

　　第11章自動(dòng)化機(jī)器學(xué)習(xí)

　　11.1AutoML框架

　　11.1.1NAS算法

　　11.1.2超參調(diào)優(yōu)

　　11.2現(xiàn)有AutoML系統(tǒng)介紹

　　11.2.1AutoWeka/Auto�睸klearn/HyperOpt

　　11.2.2Microsoft NNI

　　11.3元學(xué)習(xí)

　　11.3.1學(xué)習(xí)優(yōu)化器

　　11.3.2學(xué)習(xí)參數(shù)初始化

　　11.3.3學(xué)習(xí)損失函數(shù)

　　11.3.4學(xué)習(xí)度量

　　11.4用MindSpore實(shí)現(xiàn)AutoML

　　參考文獻(xiàn)

　　第12章端云協(xié)同

　　12.1端側(cè)推理

　　12.2端云遷移學(xué)習(xí)

　　12.3端云聯(lián)邦學(xué)習(xí)

　　12.3.1聯(lián)邦平均

　　12.3.2梯度壓縮

　　12.4端云協(xié)同框架

　　參考文獻(xiàn)

　　第13章深度學(xué)習(xí)可視化

　　13.1深度學(xué)習(xí)可視化概述

　　13.1.1數(shù)據(jù)分析

　　13.1.2模型建立與理解

　　13.1.3訓(xùn)練

　　13.1.4評(píng)估

　　13.2MindSpore可視化實(shí)踐

　　13.2.1可視化流程

　　13.2.2數(shù)據(jù)集可視化

　　13.2.3模型與訓(xùn)練可視化

　　13.2.4Summary匯總數(shù)據(jù)格式

　　參考文獻(xiàn)

　　第14章深度學(xué)習(xí)的數(shù)據(jù)準(zhǔn)備

　　14.1數(shù)據(jù)格式概述

　　14.2深度學(xué)習(xí)中的數(shù)據(jù)格式

　　14.2.1原始輸入

　　14.2.2標(biāo)注信息

　　14.3常用的深度學(xué)習(xí)數(shù)據(jù)格式

　　14.3.1TFRecord格式

　　14.3.2LMDB存儲(chǔ)

　　14.3.3Rec格式

　　14.3.4MindSpore數(shù)據(jù)格式

　　14.3.5MindSpore數(shù)據(jù)集

　　14.4使用MindSpore數(shù)據(jù)格式進(jìn)行訓(xùn)練數(shù)據(jù)準(zhǔn)備

　　14.4.1MindSpore數(shù)據(jù)格式生成

　　14.4.2MindSpore數(shù)據(jù)格式統(tǒng)計(jì)與檢索

　　14.4.3MindSpore數(shù)據(jù)格式訓(xùn)練數(shù)據(jù)讀取

　　附錄A中、英文對(duì)照詞匯表

　　附錄BMindSpore白皮書(shū)

　　參考文獻(xiàn)

　　MindSpore是華為公司開(kāi)發(fā)的深度學(xué)習(xí)框架，兼容目前主流的深度學(xué)習(xí)框架，支持端/邊/云全場(chǎng)景全棧協(xié)同開(kāi)發(fā)。本書(shū)由陳雷教授傾力編著，陳雷教授是香港科技大學(xué)計(jì)算機(jī)科學(xué)與工程系教授，大數(shù)據(jù)研究所主任，IEEE Fellow和ACM杰出科學(xué)家。《深度學(xué)習(xí)與MindSpore實(shí)踐》系統(tǒng)介紹了深度學(xué)習(xí)的基礎(chǔ)理論、常用的深度神經(jīng)算法設(shè)計(jì)，并以大量基于MindSpore的實(shí)例幫助讀者掌握深度學(xué)習(xí)算法的實(shí)現(xiàn)。此外，本書(shū)還對(duì)深度學(xué)習(xí)中的樣本數(shù)據(jù)處理、可視化及端云協(xié)同進(jìn)行了深入的探討，因此我相信本書(shū)適合廣大讀者作為深度學(xué)習(xí)技術(shù)的入門(mén)讀物。

　　深度學(xué)習(xí)在最近十年得到了巨大發(fā)展，它使人工智能產(chǎn)生了革命性的突破，讓我們切實(shí)地領(lǐng)略到人工智能給生活帶來(lái)改變的潛力。《深度學(xué)習(xí)與MindSpore實(shí)踐》對(duì)深度學(xué)習(xí)的基礎(chǔ)技術(shù)進(jìn)行了深入淺出的闡述，既給出了富于啟發(fā)性和思想性的見(jiàn)解，又強(qiáng)調(diào)通過(guò)深度學(xué)習(xí)框架MindSpore的操作和實(shí)踐，特別適合從事深度學(xué)習(xí)的研發(fā)人員參考閱讀！

　　人工智能已成為我國(guó)發(fā)展的戰(zhàn)略性方向，而人工智能的發(fā)展離不開(kāi)計(jì)算框架的合理應(yīng)用。MindSpore是開(kāi)源的深度學(xué)習(xí)計(jì)算框架，支持端/邊/云全場(chǎng)景全棧協(xié)同開(kāi)發(fā)，適配所有的AI 應(yīng)用場(chǎng)景。很高興看到《深度學(xué)習(xí)與MindSpore實(shí)踐》系統(tǒng)介紹了深度學(xué)習(xí)的基礎(chǔ)知識(shí)和各種網(wǎng)絡(luò)模型，并通過(guò)MindSpore給出不同領(lǐng)域的應(yīng)用，對(duì)深度學(xué)習(xí)的推廣具有重大意義。

　　MindSpore是華為公司開(kāi)發(fā)的深度學(xué)習(xí)框架，兼容目前主流的深度學(xué)習(xí)框架，支持端/邊/云全場(chǎng)景全棧協(xié)同開(kāi)發(fā)。《深度學(xué)習(xí)與MindSpore實(shí)踐》在總結(jié)深度學(xué)習(xí)的理論基礎(chǔ)上，系統(tǒng)地介紹了MindSpore框架，適合作為以MindSpore為工具開(kāi)發(fā)人工智能系統(tǒng)的研發(fā)人員的參考讀物。本書(shū)理論聯(lián)系實(shí)踐，不僅講解深度學(xué)習(xí)的模型、概念和算法，還給出了在MindSpore上實(shí)現(xiàn)的具體程序及步驟，強(qiáng)烈推薦閱讀。

　　我從事人工智能教學(xué)已經(jīng)十三年了，深刻感受到人工智能尤其是深度學(xué)習(xí)的教學(xué)效果很大程度上要依賴于實(shí)踐環(huán)節(jié)。特別是未來(lái)一段時(shí)間，深度學(xué)習(xí)仍然依賴于大數(shù)據(jù)和強(qiáng)大的算力，缺乏解釋性。華為公司硬件與軟件齊頭并進(jìn)，不僅構(gòu)造了令人驕傲的強(qiáng)大算力平臺(tái)，還推出了MindSpore全場(chǎng)景AI計(jì)算框架，為人工智能人才的培養(yǎng)提供了優(yōu)秀的實(shí)踐平臺(tái)。相信《深度學(xué)習(xí)與MindSpore實(shí)踐》會(huì)很快進(jìn)入全國(guó)各大高校的課堂，并建議華為公司能把整個(gè)教學(xué)生態(tài)建好，打造人工智能人才培養(yǎng)的高地。

　　深度學(xué)習(xí)在人工智能領(lǐng)域有著廣泛的應(yīng)用。《深度學(xué)習(xí)與MindSpore實(shí)踐》系統(tǒng)介紹了深度學(xué)習(xí)的基礎(chǔ)理論、常用的深度神經(jīng)算法設(shè)計(jì)，并以大量基于MindSpore的實(shí)例幫助讀者掌握深度學(xué)習(xí)算法的實(shí)現(xiàn)。此外，本書(shū)還對(duì)深度學(xué)習(xí)中的樣本數(shù)據(jù)處理、可視化及端云協(xié)同進(jìn)行了深入的探討，因此我相信本書(shū)適合廣大讀者作為深度學(xué)習(xí)技術(shù)的入門(mén)讀物。

　　本書(shū)提供部分配套教學(xué)資源，可以關(guān)注「人工智能科學(xué)與技術(shù)」公眾號(hào)，在對(duì)話框界面輸入“教學(xué)資源”即可獲得本書(shū)的部分“教材樣章”。

　　一、您若是教師，可按以下方式申請(qǐng)圖書(shū)

　　（1）關(guān)注「人工智能科學(xué)與技術(shù)」公眾號(hào)，將本篇文章分享至朋友圈；

　　（2）打開(kāi)「人工智能科學(xué)與技術(shù)」公眾號(hào)對(duì)話框界面，輸入文字“圖書(shū)申請(qǐng)”，系統(tǒng)會(huì)彈出申請(qǐng)樣書(shū)二維碼；

　　（3）申請(qǐng)人須是普通高校教師并擔(dān)任所申請(qǐng)樣書(shū)對(duì)應(yīng)課程，申請(qǐng)表中需要上傳相近課程的教學(xué)大綱證明身份。

　　注：申請(qǐng)圖書(shū)長(zhǎng)期有效，五個(gè)工作日內(nèi)寄出圖書(shū)。

　　二、您若不是教師，可按以下方式圖書(shū)抽獎(jiǎng)

　　（1）關(guān)注「人工智能科學(xué)與技術(shù)」公眾號(hào)，將本篇文章分享至朋友圈；

　　（2）打開(kāi)「人工智能科學(xué)與技術(shù)」公眾號(hào)對(duì)話框界面，輸入文字“深度學(xué)習(xí)抽獎(jiǎng)”，系統(tǒng)會(huì)彈出抽獎(jiǎng)二維碼；

　　（3）長(zhǎng)按二維碼參與抽獎(jiǎng)即可，2020年06月07日晚9:00開(kāi)獎(jiǎng)，請(qǐng)?jiān)陂_(kāi)獎(jiǎng)后24小時(shí)內(nèi)填寫(xiě)郵寄地址。

　　注：抽獎(jiǎng)有效期截至2020年06月07日9:00，五個(gè)工作日內(nèi)寄出。