構(gòu)建人機(jī)對(duì)話系統(tǒng)過(guò)程主要包括分析定義、知識(shí)編纂、系統(tǒng)搭建、構(gòu)造應(yīng)用及積累迭代幾個(gè)階段。
其中，知識(shí)編纂和系統(tǒng)搭建之間是交替進(jìn)行的，基于已編纂的知識(shí)先搭建模型查看其效果，再反過(guò)來(lái)補(bǔ)充知識(shí)。另外，當(dāng)模型搭建好之后，會(huì)進(jìn)入積累迭代的過(guò)程，該過(guò)程可長(zhǎng)時(shí)間持續(xù)收集用戶數(shù)據(jù)，根據(jù)數(shù)據(jù)進(jìn)行某種動(dòng)畫(huà)的或人工輔助的標(biāo)注，從而產(chǎn)生數(shù)據(jù)回流到知識(shí)編纂階段，進(jìn)一步豐富語(yǔ)料、模板、詞典等，這是對(duì)話系統(tǒng)構(gòu)建流程中規(guī)模較大的產(chǎn)品持續(xù)迭代階段，如下圖所示：
圖：人機(jī)對(duì)話系統(tǒng)的構(gòu)建過(guò)程
為有效支持產(chǎn)品的持續(xù)迭代，需要人機(jī)對(duì)話系統(tǒng)滿足兩個(gè)要求：
- 知識(shí)庫(kù)的構(gòu)建維護(hù)，方便管理員內(nèi)部進(jìn)行知識(shí)庫(kù)的創(chuàng)建；
- 流程的可配置，可采?組件化的思路，只需要拖拽出相應(yīng)的功能節(jié)點(diǎn)，完善節(jié)點(diǎn)配置項(xiàng)，即可實(shí)現(xiàn)?個(gè)復(fù)雜的完整對(duì)話流程。
一、對(duì)話數(shù)據(jù)采集
垂直領(lǐng)域或者被稱(chēng)為封閉領(lǐng)域的機(jī)器人，是指對(duì)話系統(tǒng)的輸入和輸出的空間可能是有限的。這些機(jī)器人系統(tǒng)都試圖實(shí)現(xiàn)一個(gè)非常特定的目標(biāo)。機(jī)器人通過(guò)分發(fā)功能模塊（在人機(jī)對(duì)話過(guò)程中初步獲取用戶意圖）對(duì)當(dāng)前會(huì)話做判斷與分發(fā)，分配到相應(yīng)的服務(wù)組件中，機(jī)器人的對(duì)話流如下圖所示：
圖：用戶對(duì)話流
由上圖易見(jiàn)，一通熱線電話是由多個(gè)主節(jié)點(diǎn)及子節(jié)點(diǎn)構(gòu)成。本文中主節(jié)點(diǎn)具有分發(fā)功能，可分為開(kāi)場(chǎng)白分發(fā)主節(jié)點(diǎn)、非開(kāi)場(chǎng)白分發(fā)主節(jié)點(diǎn)以及通話結(jié)束主節(jié)點(diǎn)，能夠?qū)?dāng)前對(duì)話流分配到相應(yīng)的服務(wù)組件中執(zhí)行任務(wù)流程；任務(wù)流程是由多個(gè)子節(jié)點(diǎn)構(gòu)成，通過(guò)多個(gè)輪次的對(duì)話來(lái)獲取必要的信息以最終得到明確的用戶指令方式。以快遞領(lǐng)域機(jī)器人為例，熱線通話標(biāo)志如下圖所示：
圖：熱線通話標(biāo)志
在上述分析中可知，對(duì)話系統(tǒng)主要實(shí)現(xiàn)分發(fā)和執(zhí)行任務(wù)，因此采集對(duì)話數(shù)據(jù)需要在相應(yīng)的節(jié)點(diǎn)上進(jìn)行埋點(diǎn)對(duì)會(huì)話交互數(shù)據(jù)進(jìn)行標(biāo)志，如下圖所示：
圖：對(duì)話歷史采集埋點(diǎn)示意圖
二、對(duì)話數(shù)據(jù)分析
把特定的對(duì)話節(jié)點(diǎn)看作一個(gè)問(wèn)題域，可較好的捕獲用戶說(shuō)話的習(xí)慣和領(lǐng)域用語(yǔ)，某一節(jié)點(diǎn)場(chǎng)景下機(jī)器人與客戶的對(duì)話可限定在某個(gè)問(wèn)題域內(nèi)進(jìn)行。利用日志數(shù)據(jù)，學(xué)習(xí)用戶的語(yǔ)言使用習(xí)慣，從日志中自動(dòng)抽取文本信息并進(jìn)行結(jié)構(gòu)化存儲(chǔ)，如下圖所示。
圖：節(jié)點(diǎn)數(shù)據(jù)分析示意圖
ASR識(shí)別后文本是由一個(gè)個(gè)詞構(gòu)成的詞序列，其中某些詞對(duì)于理解整個(gè)句子有著非常重要的作用，這就是所說(shuō)的關(guān)鍵詞。在這一步要做的就是提取出這些關(guān)鍵詞，形成子串，作為下一步“問(wèn)題理解”的輸入，這種處理同時(shí)也是為了降低“問(wèn)題理解”時(shí)的難度，如下圖所示。
圖：子串的問(wèn)題理解示意圖
對(duì)句子進(jìn)行準(zhǔn)確的理解，并不需要考慮句子中的每個(gè)詞，只需對(duì)幾個(gè)蘊(yùn)含關(guān)鍵概念的子串進(jìn)行理解就能把握句子的意義。詞串識(shí)別技術(shù)從語(yǔ)句中抽取用戶關(guān)心的關(guān)鍵信息，能夠降低對(duì)識(shí)別系統(tǒng)和環(huán)境噪聲的要求。
三、分發(fā)主節(jié)點(diǎn)數(shù)據(jù)分析
分發(fā)主節(jié)點(diǎn)主要實(shí)現(xiàn)分發(fā)功能，將對(duì)話分配到問(wèn)答類(lèi)數(shù)據(jù)服務(wù)、任務(wù)類(lèi)數(shù)據(jù)服務(wù)、拒識(shí)類(lèi)數(shù)據(jù)服務(wù)及其他服務(wù)，如下圖所示：
圖：分發(fā)主節(jié)點(diǎn)數(shù)據(jù)服務(wù)類(lèi)型
以快遞物流領(lǐng)域的對(duì)話語(yǔ)料為基礎(chǔ)。對(duì)話過(guò)程是兩個(gè)人通過(guò)電話以一問(wèn)一答的形式進(jìn)行的，電話一端代表客戶，另一端是智能語(yǔ)音客服機(jī)器人，客戶端說(shuō)話方式完全是自由的和隨意的。
為了表述方便，我們首先給出如下定義：
1、定義1
對(duì)話語(yǔ)句(Utterance)從對(duì)話者一方開(kāi)始講話到講完停下或被對(duì)方強(qiáng)行打斷為止，所說(shuō)的全部?jī)?nèi)容稱(chēng)作一個(gè)對(duì)話語(yǔ)句。
2、定義2
對(duì)話子句(Dialog sentence)一個(gè)對(duì)話語(yǔ)句中所包含的關(guān)鍵子句，稱(chēng)作對(duì)話子句。
3、定義3
N-Gram元組(N-Gramtuple)一個(gè)對(duì)話子句中所包含的N-Gram關(guān)鍵字符串，稱(chēng)作N-Gram元組。
對(duì)Utterance進(jìn)行子句抽取，如下圖所示：
圖：子句抽取流程圖
對(duì)Sentence依據(jù)數(shù)據(jù)服務(wù)類(lèi)型進(jìn)行標(biāo)注，索引化存儲(chǔ)，如下圖所示：
圖：分發(fā)主節(jié)點(diǎn)數(shù)據(jù)結(jié)構(gòu)化示意圖
對(duì)一條Utterance抽取Sentence的情況如下圖所示:
圖：Utterance抽取Sentence的分類(lèi)
對(duì)于Sentence=[]的Utterance在在線處理時(shí)需先通過(guò)前置精確匹配模塊將穩(wěn)定識(shí)別錯(cuò)誤類(lèi)、語(yǔ)氣詞類(lèi)的Utterance精確指向到相對(duì)應(yīng)的服務(wù)去，因此，在線數(shù)據(jù)處理流程如下圖所示：
圖：分發(fā)主節(jié)點(diǎn)數(shù)據(jù)在線處理流程
關(guān)于垂直應(yīng)用場(chǎng)景下歷史對(duì)話數(shù)據(jù)的采集及分析的介紹就到這了，壹鴿科技后續(xù)將會(huì)為大家?guī)?lái)更多相關(guān)的技術(shù)講解，敬請(qǐng)期待吧！
