馬寧：大家好最后一個(gè)議題，也是最時(shí)髦的議題，關(guān)于銀行業(yè)的數(shù)據(jù)挖掘。這張片子不知道大家是不是第一次見，但我敢保證肯定不是你們最后一次看這張片子及接下來的兩張片子，業(yè)內(nèi)會(huì)把數(shù)據(jù)分析分成八個(gè)等級(jí)，前四個(gè)等級(jí)是驗(yàn)證性的，我們的目的是了解過去，而后四個(gè)等級(jí)和更高等級(jí)是預(yù)測(cè)性的，它用來發(fā)現(xiàn)未來，驗(yàn)證型的包含普通的報(bào)表，查詢預(yù)警風(fēng)險(xiǎn)，發(fā)掘型的是一些更深的比如統(tǒng)計(jì)分析，時(shí)間序列的分析，去建一些預(yù)測(cè)模型，以及最復(fù)雜的形式，我們會(huì)用一些運(yùn)籌學(xué)的知識(shí)做流程優(yōu)化。

　　數(shù)據(jù)挖掘我們?cè)趫?zhí)行時(shí)始終遵循BM的執(zhí)行方法論，它包含六個(gè)主要步驟，從業(yè)務(wù)理解到數(shù)據(jù)理解，數(shù)據(jù)準(zhǔn)備，建立模型評(píng)估模型，最終部屬這個(gè)模型。

　　先來看業(yè)務(wù)理解，我們銀行最常見的信用卡產(chǎn)品，來看整個(gè)客戶的生命周期，產(chǎn)品周期是怎樣的，下面是隨著生命周期的演進(jìn)，客戶價(jià)值的曲線，我們一開始在獲取這個(gè)客戶的時(shí)候，是付出成本的過程，客戶是附加值，隨著客戶逐漸成熟，價(jià)值在提升達(dá)到他的峰值，有可能客戶會(huì)流失或者發(fā)生一些違約欺詐行為，導(dǎo)致客戶最終的價(jià)值又變?yōu)榈母郊又担�在整個(gè)過程中，上面列出來的是業(yè)務(wù)所關(guān)注的各個(gè)視角，而下面是數(shù)據(jù)挖掘在每個(gè)過程中輔助業(yè)務(wù)做出的各種量化判斷與分析。我在這里會(huì)把所有數(shù)據(jù)挖掘的專題分成營銷類風(fēng)險(xiǎn)管理類的，剛才劉密和宋楊兩人提到的兩大類型。營銷類關(guān)注的是我怎么更好的獲取客戶，了解客戶，給他們賣更多的產(chǎn)品，幫助我更好的盈利，風(fēng)險(xiǎn)類的無外乎客戶的申請(qǐng)?jiān)u分，行為評(píng)分，欺詐管理等等防范銀行的風(fēng)險(xiǎn)，我們把營銷展開來看，數(shù)據(jù)挖掘這一層在整個(gè)營銷層中中間地位，它承接了數(shù)據(jù)層的數(shù)據(jù)，為營銷的決策提供營銷客戶名單，以及基于這個(gè)名單的具體實(shí)施流程，主要包含了客戶細(xì)分，營銷預(yù)測(cè)等等。

　　風(fēng)險(xiǎn)管理第一大部分是基于巴塞爾框架，有信用風(fēng)險(xiǎn)，市場(chǎng)風(fēng)險(xiǎn)操作風(fēng)險(xiǎn)以及流動(dòng)性風(fēng)險(xiǎn)，上面每一個(gè)領(lǐng)域我們研究的主題對(duì)象是什么，下面是我們用挖掘模型去量化的一些具體的指標(biāo)和專題是什么，同樣在反欺詐里面也會(huì)做數(shù)據(jù)挖掘的模型，做時(shí)時(shí)的檢測(cè)和行為分析。這里面我列出來了某家銀行他們目前在建的所有的和數(shù)據(jù)挖掘有關(guān)的模型情況，基本上是符合我們剛才介紹的框架，零售做營銷類的，兩個(gè)風(fēng)險(xiǎn)部門做具體的信用風(fēng)險(xiǎn)和流動(dòng)性風(fēng)險(xiǎn)的各種模型，信用卡中心單獨(dú)做風(fēng)險(xiǎn)ABC卡，以及營銷的客戶分群和營銷預(yù)測(cè)。使用到的產(chǎn)品和市場(chǎng)上主流的SPSS這樣的工具。

　　看第二步關(guān)于數(shù)據(jù)的理解，我們要做一個(gè)客戶的營銷，一定要了解你的客戶，客戶具有什么樣的屬性，是做客戶模型的重中之重，我們提倡建立客戶的360度的試圖，其中灰色字的部分是我們行內(nèi)比較具備的數(shù)據(jù)，而黃色字的部分是我們比較欠缺的需要收集的部分，行內(nèi)現(xiàn)有的數(shù)據(jù)真的足以支撐對(duì)客戶360度的分析嗎？首先我們來看行內(nèi)是有自己數(shù)據(jù)壁壘的，出于安全敏感性的考慮，各個(gè)部門的數(shù)據(jù)可能不能充分的共享，各個(gè)系統(tǒng)之間有對(duì)接的成本，以及數(shù)據(jù)質(zhì)量帶來的各種問題，同時(shí)行內(nèi)的數(shù)據(jù)其實(shí)是非常非常局限的客戶視角，我們只看到了客戶的金融屬性，你看到客戶買一雙鞋，你不知道客戶為什么買這雙鞋，同時(shí)第三方支付平臺(tái)的出現(xiàn)，使得連我們最后客戶買這雙鞋這個(gè)事情都不知道，就知道他花了二百塊錢，所以現(xiàn)在一些大銀行在探討如何拓展行內(nèi)的數(shù)據(jù)以及銜接行外的數(shù)據(jù)，去獲取更多客戶信息，互聯(lián)網(wǎng)上提供了大量這方面的信息，餐飲的，購物的房產(chǎn)以及綜合類的信息，很多銀行在嘗試建立自己的電商平臺(tái)，把自己的非結(jié)構(gòu)化數(shù)據(jù)項(xiàng)結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換，以及利用API去互聯(lián)網(wǎng)上爬數(shù)據(jù)，和其它的數(shù)據(jù)提供方進(jìn)行合作。

　　有了這些數(shù)據(jù)之后，我們終于可以開始進(jìn)行數(shù)據(jù)的準(zhǔn)備，打算建立一個(gè)挖掘模型，傳統(tǒng)的數(shù)據(jù)準(zhǔn)備這種架構(gòu)，從我的數(shù)據(jù)存儲(chǔ)平臺(tái)ODS數(shù)倉遷移到數(shù)據(jù)分析平臺(tái)SPSS，在這里面做基礎(chǔ)的數(shù)據(jù)加工，遵循八二原則，會(huì)有80%的數(shù)據(jù)拼接匯總在這里充分利用數(shù)倉的優(yōu)勢(shì)完成。具體的統(tǒng)計(jì)過程相關(guān)的數(shù)據(jù)處理剩下的20%在數(shù)據(jù)挖掘平臺(tái)來執(zhí)行，這樣的問題是有大量的建模數(shù)據(jù)，有一個(gè)遷移的過程，現(xiàn)在一個(gè)大的趨勢(shì)就是存儲(chǔ)節(jié)點(diǎn)與計(jì)算節(jié)點(diǎn)的融合，數(shù)據(jù)在哪里存儲(chǔ)就在哪里結(jié)算，比如一些庫內(nèi)計(jì)算的框架，以及大數(shù)據(jù)hadoop這樣的平臺(tái)上都是這樣的平臺(tái)，直接在（04:08:45英）操作，把中間結(jié)果保存于內(nèi)存中，數(shù)據(jù)處理的效果更高，同時(shí)不僅支持（英）等等更多的數(shù)據(jù)處理方式。

　　接下來模型這里面簡(jiǎn)單挪列了一下數(shù)據(jù)挖掘經(jīng)常會(huì)遇到的模型，時(shí)間的原因我們不仔細(xì)展開講，大致四類，分類模型，回歸模型，聚類模型以及數(shù)據(jù)建緯的一些算法，分別用于解決不同的問題，我們做的最常見的其實(shí)是預(yù)測(cè)模型，預(yù)測(cè)模型就是我拿到很多歷史數(shù)據(jù)，我如何根據(jù)歷史數(shù)據(jù)來預(yù)測(cè)未來，舉一個(gè)簡(jiǎn)單例子，我現(xiàn)在要判斷一個(gè)企業(yè)它的違約概率，剛才說的PD模型，我收集了它歷史上2006年到2012年的數(shù)據(jù)，因?yàn)楝F(xiàn)在2014年了，2013年發(fā)生違約我是知道的，我在這里面希望找到一個(gè)函數(shù)關(guān)系，把收集的數(shù)據(jù)財(cái)務(wù)指標(biāo)，帳戶行為影射到最后的違約概率上來，一個(gè)最簡(jiǎn)單的模型，比如他是房地產(chǎn)業(yè)，房地產(chǎn)業(yè)這幾年被限制，所以它的違約概率會(huì)高一些，如果不是房地產(chǎn)業(yè)，違約概率低一些，非常粗糙的模型，確實(shí)是一個(gè)數(shù)據(jù)挖掘的模型，我如果找到這樣的關(guān)系，我可以做預(yù)測(cè)，如果時(shí)間往后退一年，2007到2013年的數(shù)據(jù)我已經(jīng)收集齊了，到2014年這家行業(yè)就可以利用這個(gè)公式算他的違約概率是多少，這就是最簡(jiǎn)單的預(yù)測(cè)模型的例子。

　　模型做好之后，下一步是模型部屬上線，我們這里不談模型的技術(shù)部屬，模型的評(píng)估兩方面，一方面從統(tǒng)計(jì)指標(biāo)評(píng)估，是不是符合我們的要求，有各種各樣檢驗(yàn)指標(biāo)，準(zhǔn)確性、違約性等等，另一方面看這樣的模型從業(yè)務(wù)上是否有可應(yīng)用的能力，比如它得到的結(jié)果是不是符合業(yè)務(wù)上的主觀認(rèn)知和業(yè)務(wù)經(jīng)驗(yàn)，它使用的變量有沒有政策法律風(fēng)險(xiǎn)，比如說我去做一張信用卡評(píng)分模型，會(huì)發(fā)現(xiàn)在美國黑人他的違約率很高的，但是我們把膚色這個(gè)變量方進(jìn)模型肯定是不行的，會(huì)帶來各種各樣的法律問題。

　　最后模型的部屬，模型做好是要上線應(yīng)用的，我們的應(yīng)用模式有這么幾種，一種打標(biāo)簽給客戶做聚類，通過客戶的各種屬性分成各種各樣的類型，甚至一個(gè)客戶有多種標(biāo)簽，將來搞營銷活動(dòng)的話，我從中優(yōu)選到底推送美食愛好者，還是推送給網(wǎng)購達(dá)人，另一種模式我們給客戶做批量評(píng)分，這里面我算一下我客戶的流失率是多少，算流失率具體的數(shù)值0到1之間，也會(huì)估算一下如果客戶流失，他目前的資產(chǎn)是多少，流失以后行業(yè)有可能造成資產(chǎn)損失是多少，拿到這么一個(gè)龐大流失名單以后，我們?cè)趺赐炝暨@些客戶，我們挽留誰，甚至我們可以算一下，每一個(gè)客戶如果說我要挽留他的話，花費(fèi)一個(gè)單位的成本，如果一個(gè)客戶其實(shí)不會(huì)流失，我就白白挽留他了，一個(gè)成本掏出去之后，是一個(gè)準(zhǔn)成本，但如果一個(gè)客戶真的會(huì)流失，我如果成功留住，雖然我留住這個(gè)客戶的概率是0.3%，但是這個(gè)人如果留住他會(huì)給我?guī)��?0單位的價(jià)值的話，進(jìn)去一個(gè)單位的挽留成本，我會(huì)掙五塊錢，雖然這也是一個(gè)比較粗糙的估算，但是我就可以知道，這個(gè)名單上前百分之多少的客戶我把他挽留住，能給我?guī)�來整個(gè)銀行效益的最大化，這是實(shí)際做的例子，告訴我們某家銀行私人銀行的客戶，我們建議他按照這個(gè)名單從高到低的概率排序的話，建議他挽留前9.7%的客戶。

　　除了挖掘出名單之后，同樣的對(duì)這個(gè)名單業(yè)務(wù)的執(zhí)行是非常重要的，這也是我們實(shí)際案例的數(shù)據(jù)，我們?cè)谀臣毅y行三個(gè)分行里面搞產(chǎn)品營銷，我怎么知道最后營銷效果好壞，是我的模型做的好與不好，還是我這個(gè)名單到客戶經(jīng)理那邊以后，他的執(zhí)行是有利的，還是不利的，我們這樣做，我們把對(duì)照組是隨機(jī)的客戶名單，而不是挖掘的客戶名單，讓他交給客戶執(zhí)行，既是挖掘名單又有客戶經(jīng)理執(zhí)行，就是簡(jiǎn)單的挖掘名單，我們關(guān)注這些人，對(duì)他進(jìn)行營銷，到時(shí)候每組的簽約率可以算出比值，這個(gè)比值就可以知道到底是執(zhí)行的問題，還是算法。

　　在大數(shù)據(jù)時(shí)代能看到這是麥肯錫在2013年對(duì)各個(gè)行業(yè)大數(shù)據(jù)應(yīng)用前景做的調(diào)查，他認(rèn)為銀行業(yè)這個(gè)橫軸指使用大數(shù)據(jù)所帶來的價(jià)值和潛力，縱軸代表這個(gè)行業(yè)收集大數(shù)據(jù)的可行性，顏色代表這個(gè)行業(yè)內(nèi)部的競(jìng)爭(zhēng)壓力，以及圓形的大小代表這個(gè)行業(yè)對(duì)美國GDP的貢獻(xiàn)，可以看到銀行業(yè)是處在正張圖的最右上角，因此銀行業(yè)是我們將來使用大數(shù)據(jù)最重要的領(lǐng)域之一。有了大數(shù)據(jù)之后，我們的客戶試圖更加完善，我們更加了解我們的客戶，再做傳統(tǒng)客戶分析模型時(shí)，我們可以從更多的視角了解我們的客戶，而不是簡(jiǎn)單的以前的傳統(tǒng)很枯燥的做法，我可以知道我的客戶他家周圍有多少家其它銀行的網(wǎng)點(diǎn)，如果新開一些其它銀行網(wǎng)點(diǎn)，會(huì)不會(huì)導(dǎo)致流失，都會(huì)成為我們考慮的因素。

　　一些國際上領(lǐng)先的銀行，已經(jīng)開始嘗試使用大數(shù)據(jù)技術(shù)對(duì)客戶進(jìn)行深入研究，他們會(huì)記錄客戶每次消費(fèi)地點(diǎn)，客戶經(jīng)常去的地方，來看客戶是否經(jīng)常外出吃飯，是否為了一個(gè)打折商品，犧牲距離去很遠(yuǎn)商場(chǎng)買東西等等，他們這樣精細(xì)的記錄客戶的行為，是為了把客戶細(xì)分，再細(xì)分，甚至細(xì)分到一個(gè)人，一個(gè)人做精細(xì)化的營銷，其它的一些項(xiàng)目花旗銀行他使用了文本分析技術(shù)，去了解客戶在社交網(wǎng)絡(luò)上，提供了各種對(duì)銀行產(chǎn)品服務(wù)的個(gè)種信息，這是一個(gè)三方的評(píng)級(jí)公司，他們研究客戶的信用指數(shù)與他的一些習(xí)慣，姓名的大小寫，喜歡車的品牌等等之間的關(guān)系，這都是我們?cè)趥鹘y(tǒng)分析里面從來沒有考慮過嘗試過的視角。

　　剛才說了這么多數(shù)據(jù)挖掘與分析的事情，什么人來做這樣的事情，有很多對(duì)數(shù)據(jù)科學(xué)家的定義在這里不想挨個(gè)念一遍，我們認(rèn)為數(shù)據(jù)科學(xué)家和傳統(tǒng)的數(shù)據(jù)分析者是具有一定的差異，他們首先要對(duì)非結(jié)構(gòu)化的數(shù)據(jù)有轉(zhuǎn)換加工的能力，我拿到了一個(gè)語音，一個(gè)視頻，我想分析它，我不可能直接分析，我要做轉(zhuǎn)換文本的識(shí)別，以及對(duì)混雜的不匹配的數(shù)據(jù)做匹配，以及海量的數(shù)據(jù)，我通過什么樣的平臺(tái)高效的處理這樣的數(shù)據(jù)，這是2011年EMC做的市場(chǎng)調(diào)查，有三分之二的企業(yè)認(rèn)為在未來的五年中，是非常非常需要大數(shù)據(jù)人才，這是美國的一個(gè)求職網(wǎng)站對(duì)于大數(shù)據(jù)和數(shù)據(jù)科學(xué)家相關(guān)人員的需求量，這是從2011年開始的積分。

　　最后一個(gè)問題挖掘技術(shù)得加強(qiáng)，是我們文思海輝商業(yè)智能的數(shù)據(jù)挖掘團(tuán)隊(duì)，我們有來自于芝加哥大學(xué)、清華大學(xué)、北京大學(xué)等多個(gè)著名高校碩士博士組成，我們是一支既懂業(yè)務(wù)，又懂?dāng)?shù)據(jù)還懂統(tǒng)計(jì)分析的團(tuán)隊(duì)，這個(gè)是我們?cè)阢y行業(yè)和證券業(yè)所有的成功案例，謝謝大家。