以往進行深度學習時，很難基于神經網絡構造（注1）進行調整，所以無法在整個網絡進行最優(yōu)化的學習， 因而無法充分發(fā)揮其識別性。此次開發(fā)的技術， 可以基于其結構自動優(yōu)化神經網絡學習的進度，從而輕松實現(xiàn)比以往更加精準的識別。
此技術的出現(xiàn)，使得應用了圖像識別及聲音識別等深度學習技術的各個領域，均有望實現(xiàn)識別精度的進一步提高。例如，人臉識別和行為分析等視頻監(jiān)控識別精度的提高、基礎設施等點檢工作效率的提高，實現(xiàn)自動檢測災害、事故和災難等。
一、背景
近年來，深度學習的研究取得了飛躍性的進展。在圖像識別、聲音識別等廣泛領域內得到了應用。深度學習使用具備深層構造的神經網絡， 學習事先準備好的數據來實現(xiàn)高精度化。但是，如果數據被過度地學習，則會出現(xiàn)“過學習（注2）”的現(xiàn)象，即只能高精度地識別學習過的數據，而未用于學習的數據的識別精度則降低。為了避免這種情況的發(fā)生，就需要使用“正則化（注3）”技術進行調整。
由于神經網絡的學習過程因其結構而復雜多變，所以過去只能對整個網絡使用相同的正則化技術。結果出現(xiàn)了網絡各層有的過度學習，有的學習停滯等問題，因而很難充分發(fā)揮原有的識別性能。另外，由于手動調整各層的學習進度極為困難，所以對于逐層自動調整學習進度的需求呼聲很高。
此次開發(fā)的技術是基于神經網絡的結構，逐層預測學習進度，并自動配置適合各層進展的正則化技術。通過此技術，在整個網絡中學習被優(yōu)化，并且可以將識別錯誤率降低約20％，改善識別精度。
各層神經網絡中正則化技術自動設置示意圖
二、新技術的優(yōu)點
1、根據神經網絡結構的自動學習優(yōu)化
基于神經網絡的結構，我們預測每層的學習進度，并逐層自動設置適合于各層進展的正則化。據此，整個網絡的學習進度就得到了優(yōu)化，解決了過去各層過度學習和學習停滯的問題。在使用該技術的手寫數字數據的識別實驗中，識別錯誤率降低了約20％，識別精準度已經得到明顯改善。
相對于學習數據量的識別錯誤率的變化
2、與以往相同的計算量下，輕松實現(xiàn)高精度
該技術僅在學習神經網絡前實施一次，即可在與以往同等的學習計算量下輕松地實現(xiàn)高精度。
NEC集團致力于在全球范圍內推進社會解決方案，提供安心、安全、高效、公平的社會價值，將先進的ICT技術與知識相融合，為實現(xiàn)更加光明、更加豐富多彩的高效社會盡一份力量。
（注1） 神經網絡：由人造神經細胞（神經元）組成的神經網絡。
（注2） 過學習：對給定數據過度學習，而對未學習的數據的識別精度度下降的現(xiàn)象。
（注3） 正則化：通過對模型的復雜性加以約束，來抑制過學習的方法。
