卷積神經(jīng)網(wǎng)絡(luò)過(guò)程精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的卷積神經(jīng)網(wǎng)絡(luò)過(guò)程主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：卷積神經(jīng)網(wǎng)絡(luò)過(guò)程范文

關(guān)鍵詞：樹(shù)葉識(shí)別；支持向量機(jī)；卷積神經(jīng)網(wǎng)絡(luò)

中圖分類(lèi)號(hào) TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）10-0194-03

Abstract： In this paper， the convolution neural network recognition in the leaves， and the process by convolution of image visualization. Experiments show that the neural network application identification convolution leaves a 92% recognition rate. In addition ， this neural network and support vector machine comparative study can be drawn from the study ， convolutional neural network in either speed or accuracy better than support vector machines， visible， convolution neural network in the leaves aspect has good application prospects.

Key words recognition leaves； SVM； convolutional neural network

1 概述

樹(shù)葉識(shí)別與分類(lèi)在對(duì)于區(qū)分樹(shù)葉的種類(lèi)，探索樹(shù)葉的起源，對(duì)于人類(lèi)自身發(fā)展、科普具有特別重要的意義。目前的樹(shù)葉識(shí)別與分類(lèi)主要由人完成，但，樹(shù)葉種類(lèi)成千上萬(wàn)種，面對(duì)如此龐大的樹(shù)葉世界，任何一個(gè)植物學(xué)家都不可能知道所有，樹(shù)葉的種類(lèi)，這給進(jìn)一步研究樹(shù)葉帶來(lái)了困難。為了解決這一問(wèn)題，一些模式識(shí)別方法諸如支持向量機(jī)（Support Vector Machine，SVM）[1]，K最近鄰（k-NearestNeighbor， KNN）[2]等被引入，然而，隨著大數(shù)據(jù)時(shí)代的到來(lái)，這些傳統(tǒng)分類(lèi)算法暴露出越來(lái)越多的不足，如訓(xùn)練時(shí)間過(guò)長(zhǎng)、特征不易提取等不足。

上世紀(jì)60年代開(kāi)始，學(xué)者們相繼提出了各種人工神經(jīng)網(wǎng)絡(luò)[3]模型，其中卷積神經(jīng)網(wǎng)絡(luò)由于其對(duì)幾何、形變、光照具有一定程度的不變形，因此被廣泛應(yīng)用于圖像領(lǐng)域。其主要特點(diǎn)有：1）輸入圖像不需要預(yù)處理；2）特征提取和識(shí)別可以同時(shí)進(jìn)行；3）權(quán)值共享，大大減少了需要訓(xùn)練的參數(shù)數(shù)目，是訓(xùn)練變得更快，適應(yīng)性更強(qiáng)。

卷積神經(jīng)網(wǎng)絡(luò)在國(guó)內(nèi)研究才剛剛起步。LeNet-5[4]就是一種卷積神經(jīng)網(wǎng)絡(luò)，最初用于手寫(xiě)數(shù)字識(shí)別，本文研究將卷積神經(jīng)網(wǎng)絡(luò)LeNet-5模型改進(jìn)并應(yīng)用于樹(shù)葉識(shí)別中。本文首先介紹一下卷積神經(jīng)網(wǎng)絡(luò)和LeNet-5的結(jié)構(gòu)，進(jìn)而將其應(yīng)用于樹(shù)葉識(shí)別，設(shè)計(jì)了實(shí)驗(yàn)方案，用卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的模式識(shí)別算法支持向量機(jī)（SVM）進(jìn)行比較，得出了相關(guān)結(jié)論，并對(duì)進(jìn)一步研究工作進(jìn)行了展望。

2人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)方面的研究很早就已開(kāi)展，現(xiàn)在的人工神經(jīng)網(wǎng)絡(luò)已經(jīng)發(fā)展成了多領(lǐng)域、多學(xué)科交叉的獨(dú)立的研究領(lǐng)域。神經(jīng)網(wǎng)絡(luò)中最基本的單元是神經(jīng)元模型。類(lèi)比生物神經(jīng)元，當(dāng)它“興奮”時(shí)，就會(huì)向相連的神經(jīng)元發(fā)送化學(xué)物質(zhì)，從而改變這些神經(jīng)元的狀態(tài)。人工神經(jīng)元模型如圖1所示：

上述就是一個(gè)簡(jiǎn)單的神經(jīng)元模型。在這個(gè)模型中，神經(jīng)元接收來(lái)自n個(gè)其他神經(jīng)元傳遞過(guò)來(lái)的輸入信號(hào)，這些信號(hào)通過(guò)帶權(quán)重的w進(jìn)行傳遞，神經(jīng)元接收到的總輸入值將與神經(jīng)元的閾值進(jìn)行比較，然后通過(guò)“激活函數(shù)”來(lái)產(chǎn)生輸出。

一般采用的激活函數(shù)是Sigmoid函數(shù)，如式1所示：

[σz=11+e-z] （1）

該函數(shù)圖像圖2所示：

2.1多層神經(jīng)網(wǎng)絡(luò)

將上述的神經(jīng)元按一定的層次結(jié)構(gòu)連接起來(lái)，就得到了如圖3所示的多層神經(jīng)網(wǎng)絡(luò)：

多層神經(jīng)網(wǎng)絡(luò)具有輸入層，隱藏層和輸出層。由于每一層之間都是全連接，因此每一層的權(quán)重對(duì)整個(gè)網(wǎng)絡(luò)的影響都是特別重要的。在這個(gè)網(wǎng)絡(luò)中，采用的訓(xùn)練算法是隨機(jī)梯度下降算法[5]，由于每一層之間都是全連接，當(dāng)訓(xùn)練樣本特別大的時(shí)候，訓(xùn)練需要的時(shí)間就會(huì)大大增加，由此提出了另一種神經(jīng)網(wǎng)絡(luò)―卷積神經(jīng)網(wǎng)絡(luò)。

2.2卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）由于在圖像分類(lèi)任務(wù)上取得了非常好的表現(xiàn)而備受人們關(guān)注。發(fā)展到今天，CNN在深度學(xué)習(xí)領(lǐng)域已經(jīng)成為了一種非常重要的人工神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的核心在于通過(guò)建立很多的特征提取層一層一層地從圖片像素中找出關(guān)系并抽象出來(lái)，從而達(dá)到分類(lèi)的目的，CNN方面比較成熟的是LeNet-5模型，如圖4所示：

在該LeNet-5模型中，一共有6層。如上圖所示，網(wǎng)絡(luò)輸入是一個(gè)28x28的圖像，輸出的是其識(shí)別的結(jié)果。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)多個(gè)“卷積層”和“采樣層”對(duì)輸入信號(hào)進(jìn)行處理，然后在連接層中實(shí)現(xiàn)與輸出目標(biāo)之間的映射，通過(guò)每一層卷積濾波器提取輸入的特征。例如，LeNet-5中第一個(gè)卷積層由4個(gè)特征映射構(gòu)成，每個(gè)特征映射是一個(gè)24x24的神經(jīng)元陣列。采樣層是基于對(duì)卷積后的“平面”進(jìn)行采樣，如圖所示，在第一個(gè)采樣層中又4的12x12的特征映射，其中每個(gè)神經(jīng)元與上一層中對(duì)應(yīng)的特征映射的2x2鄰域相連接，并計(jì)算輸出?？梢?jiàn)，這種局部相關(guān)性的特征提取，由于都是連接著相同的連接權(quán)，從而大幅度減少了需要訓(xùn)練的參數(shù)數(shù)目[6]。

3實(shí)驗(yàn)研究

為了將LeNet-5卷積網(wǎng)絡(luò)用于樹(shù)葉識(shí)別并檢驗(yàn)其性能，本文收集了8類(lèi)樹(shù)葉的圖片，每一類(lèi)有40張照片，如圖5所示的一張樹(shù)葉樣本：

本文在此基礎(chǔ)上改進(jìn)了模型，使用了如圖6卷積神經(jīng)網(wǎng)絡(luò)模型：

在此模型中，第一個(gè)卷積層是由6個(gè)特征映射構(gòu)成，每個(gè)特征映射是一個(gè)28*28的神經(jīng)元陣列，其中每個(gè)神經(jīng)元負(fù)責(zé)從5*5的區(qū)域通過(guò)卷積濾波器提取局部特征，在這里我們進(jìn)行了可視化分析，如圖7所示：

從圖中可以明顯地看出，卷積網(wǎng)絡(luò)可以很好地提取樹(shù)葉的特征。為了驗(yàn)證卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)分類(lèi)算法之間的性能，本文基于Python語(yǔ)言，CUDA并行計(jì)算平臺(tái)，訓(xùn)練同樣大小8類(lèi)，一共320張的一批訓(xùn)練樣本，采用交叉驗(yàn)證的方法，得到了如表1所示的結(jié)論。

可見(jiàn)，無(wú)論是識(shí)別率上，還是訓(xùn)練時(shí)間上，卷積網(wǎng)絡(luò)較傳統(tǒng)的支持向量機(jī)算法體現(xiàn)出更好地分類(lèi)性能。

4 總結(jié)

本文從人工神經(jīng)網(wǎng)絡(luò)出發(fā)，重點(diǎn)介紹了卷積神經(jīng)網(wǎng)絡(luò)模型LeNet-5在樹(shù)葉識(shí)別上的各種研究并提取了特征且進(jìn)行了可視化，并與傳統(tǒng)分類(lèi)算法SVM進(jìn)行比較。研究表明，該模型應(yīng)用在樹(shù)葉識(shí)別上較傳統(tǒng)分類(lèi)算法取得了較好的結(jié)果，對(duì)收集的樹(shù)葉達(dá)到了92%的準(zhǔn)確率，并大大減少了訓(xùn)練所需要的時(shí)間。由于卷積神經(jīng)網(wǎng)絡(luò)有如此的優(yōu)點(diǎn)，因此在人臉識(shí)別、語(yǔ)音識(shí)別、醫(yī)療識(shí)別、犯罪識(shí)別方面具有很廣泛的應(yīng)用前景。

本文的研究可以歸納為探討了卷積神經(jīng)網(wǎng)絡(luò)在樹(shù)葉識(shí)別上的效果，并對(duì)比了傳統(tǒng)經(jīng)典圖像分類(lèi)算法，取得了較好的分類(lèi)精度。

然而，本文進(jìn)行實(shí)驗(yàn)的樣本過(guò)少，當(dāng)數(shù)據(jù)集過(guò)多的時(shí)候，這個(gè)卷積神經(jīng)網(wǎng)絡(luò)算法的可行性有待我們進(jìn)一步的研究；另外，最近這幾年，又有很多不同的卷積神經(jīng)網(wǎng)絡(luò)模型出現(xiàn)，我們會(huì)繼續(xù)試驗(yàn)其他的神經(jīng)網(wǎng)絡(luò)模型，力求找到更好的分類(lèi)算法來(lái)解決樹(shù)葉識(shí)別的問(wèn)題。

參考文獻(xiàn)：

[1]Bell A， Sejnowski T. An Information-Maximization Approach to Blind Separation and Blind Deconvolution[J]. Neural Computation， 1995， 7（6）：1129-59.

[2]Altman N S. An Introduction to Kernel and Nearest-Neighbor Nonparametric Regression[J]. American Statistician， 1992， 46（3）：175-185.

[3]Ripley B D， Hjort N L. Pattern Recognition and Neural Networks[M]. Pattern recognition and neural networks. Cambridge University Press，， 1996：233-234.

[4]Lécun Y， Bottou L， Bengio Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）：2278-2324.

第2篇：卷積神經(jīng)網(wǎng)絡(luò)過(guò)程范文

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；點(diǎn)擊率預(yù)測(cè)；搜索廣告

中圖分類(lèi)號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)號(hào)：A 文章編號(hào)：2095-2163（2015）04-

Click-Through Rate Prediction for Search Advertising based on Convolution Neural Network

LI Siqin， LIN Lei， SUN Chengjie

（School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China）

Abstract： Click-Through Rate （CTR） prediction is the foundation of search advertising. Nowadays， lots of researches have been explored to predict CTR， and most of those researches either rely on liner model or employ method of recommendation system. However， the relations between different features in CTR predication have not been fully explored in previous works， and the relations between different features also cannot be fully embodied. In this paper， CTR prediction for search advertising based on convolution neural network is proposed， and process of convolution neural network simulating the process of human thought on feature learning is explained. Furthermore， the performance of different features have been analyzed in the task of predicting CTR. Experiments are conducted on the dataset of KDD Cup 2012 Track2 and the proposed method achieves 0.7925 in AUC， demonstrating the effectiveness of the proposed approach.

Keywords： Convolution Neural Network； Click-Through Rate Prediction； Search Advertising

0 引 言

隨著Web搜索技術(shù)的成熟，搜索廣告已經(jīng)成為互聯(lián)網(wǎng)行業(yè)的主要收入來(lái)源之一，其根據(jù)用戶輸入的查詢(xún)?cè)~，在搜索的結(jié)果頁(yè)面呈現(xiàn)出相應(yīng)的廣告信息。廣告媒介的收益通過(guò)每次點(diǎn)擊費(fèi)用（CostPerClick，CPC）與廣告點(diǎn)擊率（Click-Through Rate，CTR）預(yù)測(cè)共同影響而得到，即CPC*CTR。由于用戶點(diǎn)擊廣告的概率隨著廣告位的排放順序呈遞減趨勢(shì)，因此對(duì)CTR進(jìn)行準(zhǔn)確高效的預(yù)測(cè)，并將CTR高的廣告投放在搜索結(jié)果頁(yè)面靠前的位置，不僅能增加廣告媒介的收益，還能提高用戶對(duì)搜索結(jié)果的滿意程度。

廣告點(diǎn)擊率預(yù)測(cè)是廣告算法中最核心的技術(shù)，近年來(lái)被學(xué)術(shù)界廣泛關(guān)注。部分學(xué)者使用基于推薦方法的模型來(lái)解決CTR預(yù)測(cè)問(wèn)題?；魰则E等人[1]采用協(xié)同過(guò)濾算法，為頁(yè)面找到與其相似的其他鄰居頁(yè)面，實(shí)現(xiàn)CTR的預(yù)測(cè)，以此作為基礎(chǔ)進(jìn)行廣告推薦，但當(dāng)相似頁(yè)面的數(shù)量增加時(shí)，該方法的結(jié)果質(zhì)量會(huì)嚴(yán)重下滑。Kanagal等人[2]提出了一種聚焦矩陣分解模型，針對(duì)用戶對(duì)具體的產(chǎn)品的喜好以及相關(guān)產(chǎn)品的信息進(jìn)行學(xué)習(xí)，解決因用戶-產(chǎn)品交互活動(dòng)少而造成的數(shù)據(jù)稀疏問(wèn)題。在文獻(xiàn)[2]的基礎(chǔ)上，Shan等人[3]提出了一種立方矩陣分解模型，通過(guò)對(duì)用戶、廣告和網(wǎng)頁(yè)三者之間關(guān)系的立方矩陣進(jìn)行分解，利用擬合矩陣的值來(lái)預(yù)測(cè)CTR，雖然立方矩陣分解模型增加了一維交互關(guān)系，但所刻畫(huà)的交互關(guān)系仍然十分局限，不能在CTR預(yù)測(cè)中充分挖掘廣告所有特征之間的聯(lián)系。

作為典型的預(yù)測(cè)問(wèn)題，很多研究中通過(guò)將CTR預(yù)測(cè)問(wèn)題看作分類(lèi)或者回歸問(wèn)題來(lái)解決，其中最常見(jiàn)的是應(yīng)用線性模型來(lái)預(yù)測(cè)CTR。Chapelle等人[4]使用動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)，通過(guò)對(duì)用戶產(chǎn)生的點(diǎn)擊過(guò)程建立模型，考慮級(jí)聯(lián)位置的信息模擬出特定位置與相近位置的相關(guān)性，以判斷該位置上的廣告是否滿足用戶搜索要求。Chakrabarti等人[5]利用點(diǎn)擊反饋的相關(guān)性，通過(guò)在網(wǎng)頁(yè)和廣告詞等特征上使用邏輯回歸模型提高廣告檢索和預(yù)測(cè)的效果。Wu等人[6]基于融合的思想，將不同線性模型的實(shí)驗(yàn)效果相結(jié)合，來(lái)提高搜索廣告CTR預(yù)測(cè)的結(jié)果。真實(shí)的場(chǎng)景中CTR的預(yù)測(cè)并非簡(jiǎn)單的線性問(wèn)題，因此，一些學(xué)者開(kāi)始使用非線性模型來(lái)解決CTR的預(yù)測(cè)。Dave等人[7]在搜索廣告點(diǎn)擊信息以及廣告商賬戶信息上提取語(yǔ)義特征，使用基于投票思想的梯度提升決策樹(shù)模型，提高了CTR預(yù)測(cè)的效果。Zhang等人[8]利用神經(jīng)網(wǎng)絡(luò)模型對(duì)影響搜索廣告點(diǎn)擊率的因素進(jìn)行的探索，從特征因素方面提高CTR預(yù)測(cè)的結(jié)果，但是資源單一，數(shù)據(jù)交互的關(guān)系沒(méi)有獲得良好的利用。

本文對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）的CTR預(yù)測(cè)進(jìn)行研究，通過(guò)卷積與亞采樣操作的結(jié)合，能更好地學(xué)習(xí)出數(shù)據(jù)特征之間的關(guān)系，不僅解決了線性模型無(wú)法模擬真實(shí)廣告數(shù)據(jù)場(chǎng)景的問(wèn)題，也解決了淺層學(xué)習(xí)模型無(wú)法深入挖掘特征間相互關(guān)系的問(wèn)題，并且較之于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，CNN能更好地理解特征之間的關(guān)系。在真實(shí)的數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了本文的方法能夠提高搜索廣告中CTR預(yù)測(cè)的AUC值。

1卷積神經(jīng)網(wǎng)絡(luò)模型

1.1 卷積神經(jīng)網(wǎng)絡(luò)基本模型

卷積神經(jīng)網(wǎng)絡(luò)作為人工神經(jīng)網(wǎng)絡(luò)之一，目前已成為深度學(xué)習(xí)領(lǐng)域中研究的熱點(diǎn)，權(quán)值共享以及局部窗口滑動(dòng)的特點(diǎn)使之能更好地模擬出生物神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上有兩個(gè)重要的組成部分：卷積層和亞采樣層。如圖1所示。

圖1 卷積層與亞采樣層結(jié)構(gòu)

Fig.1 Convolution layer and sub-sampling layer structure

在卷積層中，原始特征通過(guò)卷積核進(jìn)行卷積得到輸出的特征，使用不同的卷積核就可以得到一系列不同的輸出特征。對(duì)卷積層的計(jì)算，有如下公式：

（1）

這里， 是sigmoid 函數(shù)， ， ； 代表輸入特征上選定的窗口，即在卷積過(guò)程中當(dāng)前卷積核在計(jì)算時(shí)所對(duì)應(yīng)在輸入特征上的位置； 和 分別是第 層輸入特征和第 層輸出特征上相應(yīng)的值； 是卷積核的權(quán)重值； 是特征的偏置，每一層對(duì)應(yīng)一個(gè)。

卷積過(guò)程，一個(gè)卷積核通過(guò)滑動(dòng)會(huì)重復(fù)作用在整個(gè)輸入特征上，構(gòu)建出新的特征。同一個(gè)卷積核進(jìn)行卷積時(shí)，共享相同的參數(shù)，包括同樣的權(quán)重和偏置，這也使要學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)參數(shù)數(shù)量大大降低了。而當(dāng)我們使用不同的卷積核進(jìn)行卷積時(shí)，可以得到相應(yīng)的不同的輸出特征，這些輸出特征組合到一起，構(gòu)成卷積層的輸出。

在亞采樣層，前一個(gè)卷積層的輸出將作為該層的輸入特征，首先設(shè)定大小的窗口，然后通過(guò)滑動(dòng)，用窗口區(qū)域中最大（或平均）的特征值來(lái)表示該窗口中的特征值，最后組合這些特征值得到降維后的特征。亞采樣過(guò)程可表示如下：

（2）

這里，類(lèi)似于卷積層， 和 分別是第 層輸入特征和第 層輸出特征上相應(yīng)的值， 是特征的偏置； 表示取最大值 或者平均值 的函數(shù)。

典型的卷積神經(jīng)網(wǎng)絡(luò)通常由n（n>=1）個(gè)卷積層和亞采樣層以及最末尾的m（m>=1）全連接層組合而成。一個(gè)亞采樣層跟隨在一個(gè)卷積層后出現(xiàn)，通過(guò)這若干卷積層和亞采樣層后得到的特征，將經(jīng)過(guò)全連接層與輸出層相連。全連接層公式如下：

（3）

這里， 是sigmoid函數(shù)， 是計(jì)算第 層到第 層時(shí)的權(quán)重值。

1.2基于卷積神經(jīng)網(wǎng)絡(luò)的CTR預(yù)測(cè)模型

研究中使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)搜索廣告的CTR進(jìn)行預(yù)測(cè)，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 卷積神經(jīng)網(wǎng)絡(luò)在搜索廣告點(diǎn)擊率預(yù)估中的應(yīng)用

Fig.2 Convolution neural network in search ad click rate through prediction

實(shí)驗(yàn)中一共設(shè)置了兩個(gè)卷積層、兩個(gè)亞采樣層以及一個(gè)全連接層。首先從歷史日志中提取相應(yīng)的特征構(gòu)建出輸入（Feature_Input），設(shè)置好卷積的窗口大小后根據(jù)公式（1）對(duì)輸入特征進(jìn)行卷積，每一次卷積是對(duì)窗口內(nèi)所有值的組合，因此卷積過(guò)程相當(dāng)于特征融合過(guò)程。對(duì)卷積后得到的特征，設(shè)置亞采樣的窗口并根據(jù)公式（2）進(jìn)行最大值-采樣，選取出窗口中的最有表達(dá)能力的特征值（最大特征值）表示整個(gè)窗口的特征，因此亞采樣過(guò)程相當(dāng)于特征的萃取過(guò)程。整個(gè)卷積和亞采樣過(guò)程的結(jié)合，模擬出了人對(duì)事物的理解和總結(jié)的過(guò)程。最后將特征經(jīng)過(guò)一層全連接后連接到輸出，得到最終的預(yù)測(cè)結(jié)果。

在一次特定的卷積（或亞采樣）全過(guò)程中即訓(xùn)練的一次迭代過(guò)程中，權(quán)值并不會(huì)隨著窗口的滑動(dòng)而改變，即在計(jì)算中，所有窗口滑過(guò)的特征享受同樣的權(quán)值。這也是CNN區(qū)別于其他神經(jīng)網(wǎng)絡(luò)的特點(diǎn)――權(quán)值共享。如此即使得CNN更方便訓(xùn)練，更能多角度地對(duì)特征進(jìn)行學(xué)習(xí)。

2特征構(gòu)建

本文所采用的實(shí)驗(yàn)數(shù)據(jù)集為KDD Cup 2012中Track 2提供的數(shù)據(jù)集。該數(shù)據(jù)由騰訊公司下的搜索品牌搜搜（SOSO）搜索引擎提供，因?yàn)樯婕肮旧虡I(yè)信息，數(shù)據(jù)經(jīng)過(guò)哈希處理。實(shí)驗(yàn)數(shù)據(jù)集中，每條記錄包含12個(gè)屬性，各屬性詳解如表1所示。

研究按照實(shí)際含義將這12個(gè)屬性構(gòu)造了四大類(lèi)特征：歷史點(diǎn)擊率特征、相似度特征、位置特征和高影響力特征。

2.1基于卷積神經(jīng)網(wǎng)絡(luò)的CTR預(yù)測(cè)模型

歷史點(diǎn)擊率特征是不同類(lèi)別ID在歷史數(shù)據(jù)中的點(diǎn)擊率，雖然比較簡(jiǎn)單但十分有效，因?yàn)闅v史點(diǎn)擊率在一定程度上代表了類(lèi)別ID對(duì)某個(gè)廣告感興趣程度的高低，當(dāng)一個(gè)ID對(duì)某個(gè)廣告的歷史點(diǎn)擊率高時(shí)，意味著其對(duì)這個(gè)廣告更感興趣，后續(xù)點(diǎn)擊的概率也更大。

歷史點(diǎn)擊率（ ）是點(diǎn)擊數(shù)（ ）與展示數(shù)（ ）之比，在統(tǒng)計(jì)計(jì)算過(guò)程發(fā)現(xiàn)有很多情況下有些類(lèi)別信息沒(méi)有點(diǎn)擊實(shí)例，因此研究采用了平滑方法解決零值問(wèn)題，根據(jù)公式（4）來(lái)計(jì)算平均點(diǎn)擊率。計(jì)算公式如下：

（4）

公式中的 和 是調(diào)節(jié)參數(shù)，根據(jù)公式（4）計(jì)算出AdID，AdvertiserID，QueryID，KeywordID，TitleID，DescriptiomID，UserID的歷史點(diǎn)擊率。

2.2相似度特征

相似度特征用來(lái)刻畫(huà)屬性?xún)蓛芍g的相似程度，用戶搜索的內(nèi)容與被投放的廣告屬性相似度高時(shí)，廣告被點(diǎn)擊的概率更大。例如當(dāng)搜索內(nèi)容Query與廣告關(guān)鍵字屬性Keyword相似度高時(shí)，意味著網(wǎng)頁(yè)投放的廣告與用戶期望搜索的廣告結(jié)果相似度高，更符合用戶點(diǎn)擊廣告的動(dòng)作。

通過(guò)對(duì)Query、Keyword、Title、Description的屬性描述文件構(gòu)造出相關(guān)的TF-IDF向量，Query為用戶搜索內(nèi)容，Keyword，Title，Description是廣告的相關(guān)屬性，數(shù)據(jù)集提供的屬性信息都是經(jīng)過(guò)哈希后的數(shù)字形式，但是屬性之間的相對(duì)含義不變，然后計(jì)算相互之間的余弦相似度作為特征。

2.3位置特征

該特征描述的是指定廣告在搜索結(jié)果頁(yè)面中的位置信息。用戶搜索時(shí)需求的多樣化要求在對(duì)廣告進(jìn)行排序和投放時(shí)，在結(jié)果頁(yè)面靠前的位置中盡可能地投放滿足用戶需求的廣告，從而最大化用戶的滿意度、提高用戶點(diǎn)擊的興趣[9]。因此，研究即用當(dāng)前預(yù)測(cè)廣告的相對(duì)位置Pos來(lái)刻畫(huà)該廣告在結(jié)果頁(yè)面中排序靠前的程度，其定義如下：

（5）

這里， 指頁(yè)面投放的廣告總數(shù)， 指當(dāng)前所預(yù)測(cè)廣告的位置。

2.4位置特征

在預(yù)測(cè)模型中，ID屬性信息通常采用one-hot形式的特征編碼方式，在將不同的屬性經(jīng)過(guò)one-hot編碼后的特征向量組合在一起，這樣方式簡(jiǎn)單直觀，卻使得特征的維度巨大并且非常稀疏。然而在這龐大且稀疏的特征中，絕大部分維度上的特征值對(duì)整個(gè)模型的預(yù)測(cè)結(jié)果貢獻(xiàn)非常小甚至為零，只有少數(shù)維度上的特征值對(duì)預(yù)測(cè)結(jié)果有較高的影響力。因此研究采用L1范數(shù)正則化的方式，在邏輯回歸模型的代價(jià)函數(shù)中加入L1范數(shù)[10]，使得模型學(xué)習(xí)得到的結(jié)果滿足稀疏化，在學(xué)習(xí)參數(shù)中按大小順序取出前N維權(quán)重較大的，將這N維權(quán)重對(duì)應(yīng)位置上的特征值構(gòu)建新的特征，稱(chēng)為高影響力特征，考慮到實(shí)驗(yàn)硬件，取N=180。

3 實(shí)驗(yàn)結(jié)果與結(jié)論分析

3.1數(shù)據(jù)準(zhǔn)備

實(shí)驗(yàn)?zāi)繕?biāo)是通過(guò)給定的信息預(yù)測(cè)搜索網(wǎng)頁(yè)的廣告點(diǎn)擊率，由于數(shù)據(jù)量過(guò)大并且正負(fù)樣本不平衡，實(shí)驗(yàn)中從訓(xùn)練集隨機(jī)采樣10%作為本文實(shí)驗(yàn)中模型訓(xùn)練的訓(xùn)練集，既縮小了樣本空間，同時(shí)隨機(jī)采樣也保持了原始數(shù)據(jù)的分布信息。實(shí)驗(yàn)中隨機(jī)抽取部分樣本作為驗(yàn)證集用于參數(shù)的調(diào)節(jié)。本文所用測(cè)試集為 KDD Cup 2012中track 2的全部測(cè)試數(shù)據(jù)，因此本文的結(jié)果與KDD Cup 2012中track 2比賽的結(jié)果具有可比性。數(shù)據(jù)的統(tǒng)計(jì)信息如表2所示。

這里， 、 分別表示結(jié)果中預(yù)測(cè)對(duì)的正樣本數(shù)和負(fù)樣本數(shù)， 、 分別表示結(jié)果中預(yù)測(cè)錯(cuò)的正樣本數(shù)和負(fù)樣本數(shù)。對(duì)于廣告點(diǎn)擊率預(yù)測(cè)問(wèn)題，較大的AUC值代表了較好的性能。

3.2實(shí)驗(yàn)設(shè)置和結(jié)果分析

實(shí)驗(yàn)的操作系統(tǒng)為Ubuntu 12.04 LTS OS，卷積神經(jīng)網(wǎng)絡(luò)在4G RAM 的NVIDIA GeForce GT 610 GPU條件下運(yùn)行。過(guò)程中選用了Dense Gaussian對(duì)卷積層、亞采樣層的邊和節(jié)點(diǎn)進(jìn)行初始化，用常數(shù)初始化輸出層，學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)各邊權(quán)值時(shí)的優(yōu)化函數(shù)使用梯度下降算法，其中學(xué)習(xí)率為0.01、動(dòng)量項(xiàng)為0.9，訓(xùn)練步數(shù)為100，設(shè)置公式（4）中參數(shù)α=0.05，β=75。實(shí)驗(yàn)時(shí)使用邏輯回歸模型（LR）、支持向量回歸模型（SVR）和深度神經(jīng)網(wǎng)絡(luò)（DNN）作為對(duì)比方法，所有方法都使用相同的特征，其中DNN的層數(shù)以及每層的節(jié)點(diǎn)數(shù)與卷積神經(jīng)網(wǎng)絡(luò)相同。

具體地，首先探究了卷積神經(jīng)網(wǎng)絡(luò)中節(jié)點(diǎn)的設(shè)置，因?yàn)樵贑NN中后續(xù)層的節(jié)點(diǎn)數(shù)根據(jù)第一個(gè)卷積層和每層卷積（或亞采樣）滑動(dòng)窗口的大小計(jì)算得到，并以第一個(gè)卷積層節(jié)點(diǎn)的設(shè)置為實(shí)驗(yàn)變量，同時(shí)控制DNN中每層的節(jié)點(diǎn)數(shù)均與CNN相同，在驗(yàn)證集上的實(shí)驗(yàn)結(jié)果如圖3所示。

從圖3可以看出，隨著節(jié)點(diǎn)的增加，AUC的值也在不斷增長(zhǎng)，在一定范圍內(nèi)，節(jié)點(diǎn)數(shù)越多，實(shí)驗(yàn)的結(jié)果越好。但隨著節(jié)點(diǎn)數(shù)的增大，模型的訓(xùn)練時(shí)間也在延長(zhǎng)，對(duì)設(shè)備的開(kāi)銷(xiāo)需求也在升高，綜合上述因素，最終將第一層的節(jié)點(diǎn)數(shù)設(shè)為9 216。

CNN與各對(duì)比實(shí)驗(yàn)的實(shí)驗(yàn)結(jié)果如表3所示，可以看出CNN的效果最佳，此外在表中還列出了KDD Cup 2012 track 2比賽中第一名的結(jié)果。DNN的AUC值優(yōu)于LR和SVR，驗(yàn)證了深度學(xué)習(xí)模型比淺層學(xué)習(xí)模型更適合解決CTR預(yù)估問(wèn)題，同時(shí)CNN的結(jié)果高于DNN，說(shuō)明CNN中卷積層的特征融合和亞采樣層的特征萃取過(guò)程是有效的。本文中CNN目前的實(shí)驗(yàn)結(jié)果略低于KDD Cup 2012 track 2中第一名的結(jié)果，原因是比賽隊(duì)伍使用了多模型融合并提取了龐大的（千萬(wàn)維）輸入特征。

進(jìn)一步地，實(shí)驗(yàn)探索了每一類(lèi)特征對(duì)搜索廣告點(diǎn)擊率預(yù)測(cè)的貢獻(xiàn)。在所有特征的情況下，去掉某一類(lèi)特征來(lái)進(jìn)行預(yù)測(cè)，實(shí)驗(yàn)結(jié)果如表4所示。實(shí)驗(yàn)結(jié)果表明，去掉任意一類(lèi)特征都將使得實(shí)驗(yàn)效果有所下降。其中去掉歷史點(diǎn)擊率特征效果下降得最明顯，說(shuō)明用戶是否點(diǎn)擊廣告，與其之前的點(diǎn)擊行為非常相關(guān)。而去掉位置特征時(shí)，效果下降得最為不明顯，因?yàn)樵趯?shí)驗(yàn)使用的數(shù)據(jù)集中，每個(gè)頁(yè)面最多僅呈現(xiàn)三個(gè)廣告，頁(yè)面中的廣告數(shù)少時(shí)，位置對(duì)用戶點(diǎn)擊的影響小。

4 結(jié)束語(yǔ)

對(duì)搜索廣告點(diǎn)擊率的有效預(yù)測(cè)不但能夠更好的提高在線廣告投放的性能，增加廣告商的收益，還能增強(qiáng)用戶的體驗(yàn)。研究使用卷積神經(jīng)網(wǎng)絡(luò)CNN對(duì)搜索廣告點(diǎn)擊率進(jìn)行預(yù)測(cè)，對(duì)特征因素的分析之后，在真實(shí)數(shù)據(jù)的環(huán)境下對(duì)搜索廣告點(diǎn)擊率進(jìn)行預(yù)測(cè)的實(shí)驗(yàn)本文的方法的效果相對(duì)于其他方法有明顯的提高。本文的主要貢獻(xiàn)有：（1）本文提出了基于卷積神經(jīng)網(wǎng)絡(luò)的搜索廣告點(diǎn)擊率預(yù)測(cè)的方法。（2）針對(duì)高維特征，提出了一種特征選擇策略，可以在計(jì)算能力受限的情況下使用CNN模型來(lái)解決廣告點(diǎn)擊預(yù)測(cè)問(wèn)題，并取得較好效果。在未來(lái)的工作中，一方面要繼續(xù)研究更有效的特征來(lái)提高對(duì)點(diǎn)擊率的預(yù)測(cè)效果，另一方面也將嘗試對(duì)CNN模型的內(nèi)部細(xì)節(jié)進(jìn)行改進(jìn)，使之更適合我們的預(yù)測(cè)場(chǎng)景。

參考文獻(xiàn)：

[1] 霍曉駿，賀牛楊燕. 一種無(wú)位置偏見(jiàn)的廣告協(xié)同推薦算法[J]. 計(jì)算機(jī)工程， 2014， 40（12）： 39-44.

[2] BHARGAV K， AHMED A， PANDEY S， et al. Focused matrix factorization for audience selection in display advertising[C]// Data Engineering （ICDE）， 2013 IEEE 29th International Conference on， Brisbane ， Australia： IEEE， 2013：386-397.

[3] SHAN Lili， LEI Lin， DI Shao， et al. CTR Prediction for DSP with Improved Cube Factorization Model from Historical Bidding Log[M]// C K Loo， et al（Eds.）： Neural Information Processing. Switzerland：Springer，2014，8836：17-24.

[4] OLIVIER C， ZHANG Ya. A dynamic bayesian network click model for web search ranking[C]//Proceedings of the 18th international conference on World wide web. Madrid： ACM，2009：1-10.

[5] DEEPAYAN C， AGARWAL D， JOSIFOVSKI V. Contextual advertising by combining relevance with click feedback[C]//Proceedings of the 17th international conference on World Wide Web. Beijing： ACM，2008：417-426.

[6] WU Kuanwei， FERNG C S， HO C H， et al.， A two-stage ensemble of diverse models for advertisement ranking in KDD Cup 2012[J]. KDDCup， 2012.

[7] DAVE K S， VARMA V. Learning the click-through rate for rare/new ads from similar ads[C]// Proceedings of the 33rd international ACM SIGIR conference on Research and development in information retrieval， Geneva， Switzerland：ACM，2010.

[8] ZHANG Ying， JANSEN B J ， SPINK A. Identification of factors predicting clickthrough in Web searching using neural network analysis[J]. Journal of the American Society for Information Science and Technology， 2009， 60（3）： 557-570.

[9] 林古立.互聯(lián)網(wǎng)信息檢索中的多樣化排序研究及應(yīng)用[D].華南理工大學(xué)，2011.

第3篇：卷積神經(jīng)網(wǎng)絡(luò)過(guò)程范文

關(guān)鍵詞：深度學(xué)習(xí)；行為識(shí)別；神經(jīng)網(wǎng)絡(luò)

1 概述

動(dòng)作行為識(shí)別是計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)研究熱點(diǎn)，已經(jīng)廣泛應(yīng)用于智能監(jiān)控、人機(jī)交互、視頻檢索等領(lǐng)域中[1]。動(dòng)作行為識(shí)別技術(shù)是通過(guò)對(duì)視頻或者圖像中人體動(dòng)作行為做出有意義的判斷。有效表達(dá)圖像（視頻）中的實(shí)際目標(biāo)和場(chǎng)景內(nèi)容是最基本，最核心的問(wèn)題。因此，對(duì)于特征的構(gòu)建和選擇得到廣泛關(guān)注，例如STIP、SIFT、MSER等。但是，能通過(guò)無(wú)監(jiān)督方式讓機(jī)器自動(dòng)從樣本中學(xué)習(xí)到表征樣本的特征，會(huì)讓人們更好地利用計(jì)算機(jī)來(lái)實(shí)現(xiàn)人的視覺(jué)功能。而深度學(xué)習(xí)作為神經(jīng)網(wǎng)絡(luò)的延伸和發(fā)展，是通過(guò)逐層構(gòu)建一個(gè)多層網(wǎng)絡(luò)來(lái)使得機(jī)器自動(dòng)學(xué)習(xí)到隱含在數(shù)據(jù)內(nèi)部的關(guān)系，從而讓學(xué)習(xí)到的特征更加準(zhǔn)確性。

文章旨在探討深度學(xué)習(xí)與機(jī)器學(xué)習(xí)（神經(jīng)網(wǎng)絡(luò)）之間的關(guān)系，并且介紹深度學(xué)習(xí)的由來(lái)、概念和原理；同時(shí)介紹目前深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)中的應(yīng)用。最后提出深度學(xué)習(xí)目前發(fā)展所面臨的問(wèn)題，以及對(duì)未來(lái)的展望。

2 深度學(xué)習(xí)

2.1 深度學(xué)習(xí)概述

深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)的研究，是機(jī)器學(xué)習(xí)的拓展。深度學(xué)習(xí)是經(jīng)過(guò)組合低層特征來(lái)形成更加抽象的屬性類(lèi)別和特征，從中發(fā)現(xiàn)原始數(shù)據(jù)的特征表征[2]。現(xiàn)在用于動(dòng)作行為識(shí)別的技術(shù)是通過(guò)“動(dòng)作表征”+“動(dòng)作分類(lèi)器”的框架來(lái)進(jìn)行行為識(shí)別的。其中“動(dòng)作表征”是人們手動(dòng)設(shè)計(jì)特征獲取到的，也就是在目前識(shí)別框架內(nèi)存在一個(gè)對(duì)動(dòng)作圖像（視頻）的預(yù)處理過(guò)程。

深度學(xué)習(xí)和淺層學(xué)習(xí)相對(duì)。目前許多學(xué)習(xí)算法是淺層網(wǎng)絡(luò)學(xué)習(xí)方法，具有一定的局限性，例如在樣本有限的狀況下，表示復(fù)雜函數(shù)的能力有限制，且對(duì)復(fù)雜分類(lèi)問(wèn)題的泛化能力也會(huì)受到一定約束[3]。而深度學(xué)習(xí)通過(guò)學(xué)習(xí)深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，達(dá)到復(fù)雜函數(shù)逼近，又能在樣本少的情況下學(xué)習(xí)原始數(shù)據(jù)的特征。BP算法作為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的典型算法，雖然訓(xùn)練多層網(wǎng)絡(luò)，但僅含幾層網(wǎng)絡(luò)，訓(xùn)練方法很不理想[3]。因?yàn)槠漭斎牒洼敵鲩g非線性映射讓網(wǎng)絡(luò)誤差函數(shù)形成含多個(gè)極小點(diǎn)的非線性空間，因而經(jīng)常收斂到局部最小，且隨著網(wǎng)絡(luò)層數(shù)的增加，容易過(guò)擬合。而深度學(xué)習(xí)可以獲得分布式表示，通過(guò)逐層學(xué)習(xí)算法來(lái)得到原始輸入數(shù)據(jù)的主要變量。通過(guò)深度學(xué)習(xí)的非監(jiān)督訓(xùn)練完成，同時(shí)利用生成性訓(xùn)練避免因函數(shù)表達(dá)能力過(guò)強(qiáng)而出現(xiàn)過(guò)擬合情況。

2.2 深度學(xué)習(xí)原理

傳統(tǒng)機(jī)器學(xué)習(xí)僅含單層非線性變換的淺層網(wǎng)絡(luò)結(jié)構(gòu)，而且淺層模型單一。這對(duì)于深度網(wǎng)絡(luò)來(lái)說(shuō)易造成陷入最優(yōu)或產(chǎn)生梯度分散等問(wèn)題。因此，Hinton等人在基于深度置信網(wǎng)（DBNs）的情況下提出非監(jiān)督貪婪逐層訓(xùn)練算法，隨后提出了多層次自動(dòng)編碼器深層結(jié)構(gòu)，這給解決深層網(wǎng)絡(luò)結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來(lái)了希望。此外Lecun等人提出的卷積神經(jīng)網(wǎng)絡(luò)是第一個(gè)多層次結(jié)構(gòu)的學(xué)習(xí)算法。同時(shí)深度學(xué)習(xí)還出現(xiàn)了許多結(jié)構(gòu)：多層感知機(jī)、去噪自動(dòng)編碼器、稀疏編碼等。

卷積神經(jīng)網(wǎng)絡(luò)是第一個(gè)真正采用多層次網(wǎng)絡(luò)結(jié)構(gòu)，具有魯棒性的深度學(xué)習(xí)算法，通過(guò)探究數(shù)據(jù)在空間上的相關(guān)性，減少訓(xùn)練參數(shù)的數(shù)量。而且卷積神經(jīng)網(wǎng)絡(luò)（CNN）適應(yīng)性強(qiáng)，善于發(fā)現(xiàn)數(shù)據(jù)的局部特征。它的權(quán)重共享結(jié)構(gòu)降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量，使得卷積神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中取得了很好的結(jié)果。

自動(dòng)編碼器的核心關(guān)鍵是將原始圖像（視頻）輸入信號(hào)進(jìn)行編碼，使用編碼后的信號(hào)來(lái)重建原始信號(hào)，使得兩者之間的重建誤差最小。通過(guò)將原始信號(hào)編碼成另一形式，能夠有效地提取信號(hào)中的主要信息，能夠簡(jiǎn)潔地表達(dá)原始圖像（視頻）的特征。

3 深度學(xué)習(xí)的應(yīng)用

3.1 語(yǔ)音識(shí)別

從2009年開(kāi)始，微軟研究院語(yǔ)音識(shí)別專(zhuān)家通過(guò)與Hinton合作，首先將RBM和DBN引入到語(yǔ)音識(shí)別聲學(xué)模型訓(xùn)練中，使得語(yǔ)音識(shí)別的錯(cuò)誤率相對(duì)減低30%，這徹底改變了語(yǔ)音識(shí)別原有的技術(shù)框架。在國(guó)際上，IBM、google等公司都快速進(jìn)行了DNN語(yǔ)音識(shí)別的研究，并且速度飛快。國(guó)內(nèi)方面，阿里巴巴，科大訊飛、百度、中科院自動(dòng)化所等公司或研究單位，也在進(jìn)行深度學(xué)習(xí)在語(yǔ)音識(shí)別上的研究。

3.2 視頻中的動(dòng)作行為識(shí)別

準(zhǔn)確迅速識(shí)別視頻中人的動(dòng)作行為對(duì)于視頻搜索和視頻監(jiān)控具有劃時(shí)代的意義。最近幾年，深度學(xué)習(xí)技術(shù)被應(yīng)用于視頻動(dòng)作行為識(shí)別中。如Ji等人[4]提出多層網(wǎng)絡(luò)的3D卷積神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)視頻中的時(shí)空特征，并通過(guò)卷積來(lái)實(shí)現(xiàn)對(duì)整個(gè)視頻特征的學(xué)習(xí)，從而代替之前的時(shí)空興趣點(diǎn)檢測(cè)和特征描述提取。在TRECVID數(shù)據(jù)庫(kù)上進(jìn)行的實(shí)驗(yàn)取得了不錯(cuò)效果。

4 結(jié)束語(yǔ)

文章對(duì)深度學(xué)習(xí)的主要概念進(jìn)行了全面闡述，包括其由來(lái)、原理、研究進(jìn)展和相應(yīng)的應(yīng)用等。在很多領(lǐng)域中，深度學(xué)習(xí)都表現(xiàn)了潛在的巨大價(jià)值，但深度學(xué)習(xí)作為淺層學(xué)習(xí)的延伸，仍處于發(fā)展階段，還有很多問(wèn)題值得我們深入探討：

（1）我們需要了解深度學(xué)習(xí)的樣本復(fù)雜度，需要多少訓(xùn)練樣本才能學(xué)習(xí)到足夠的深度模型。

（2）在推進(jìn)深度學(xué)習(xí)的學(xué)習(xí)理論和計(jì)算理論的同時(shí)，我們是否可以建立一個(gè)通用的深度學(xué)習(xí)網(wǎng)絡(luò)模型，作為統(tǒng)一的框架來(lái)處理語(yǔ)音、圖像和語(yǔ)言。

（3）神經(jīng)網(wǎng)絡(luò)具有前饋性連接和反饋性連接，可是我們研究的深度網(wǎng)絡(luò)中還沒(méi)有加入反饋連接，這些都給深度學(xué)習(xí)的研究帶來(lái)了嚴(yán)峻的挑戰(zhàn)。

參考文獻(xiàn)

[1]王亮，胡衛(wèi)明，譚鐵牛.人運(yùn)動(dòng)的視覺(jué)分析綜述[J].計(jì)算機(jī)學(xué)報(bào)，2002，25（3）：225-237.

[2]余凱，賈磊，陳雨強(qiáng).深度學(xué)習(xí)的昨天、今天和明天[J].計(jì)算機(jī)研究與發(fā)展，2013，50（9）：1799-1804.

第4篇：卷積神經(jīng)網(wǎng)絡(luò)過(guò)程范文

關(guān)鍵詞：人工智能 機(jī)器學(xué)習(xí) 機(jī)器人情感獲得 發(fā)展綜述

中圖分類(lèi)號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-9082 （2017） 04-0234-01

引言

人類(lèi)自從工業(yè)革命結(jié)束之后，就已然開(kāi)始了對(duì)人工智能的探索，究其本質(zhì)，實(shí)際上就是對(duì)人的思維進(jìn)行模仿，以此代替人類(lèi)工作。人工智能的探索最早可以追溯到圖靈時(shí)期，那時(shí)圖靈就希望未來(lái)的智能系統(tǒng)能夠像人一樣思考。在20世紀(jì)五十年代，人工智能被首次確定為一個(gè)新興的學(xué)科，并吸引了大批的學(xué)者投入到該領(lǐng)域的研究當(dāng)中。經(jīng)過(guò)長(zhǎng)時(shí)間的探索和嘗試，人工智能的許多重要基本理論已經(jīng)形成，如模式識(shí)別、特征表示與推理、機(jī)器學(xué)習(xí)的相關(guān)理論和算法等等。進(jìn)入二十一世紀(jì)以來(lái)，隨著深度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，人工智能再一次成為研究熱點(diǎn)。人工智能技術(shù)與基因過(guò)程、納米科學(xué)并列為二十一世紀(jì)的三大尖端技術(shù)， 并且人工智能涉及的學(xué)科多，社會(huì)應(yīng)用廣泛，對(duì)其原理和本質(zhì)的理解也更為復(fù)雜。 一、人工智能的發(fā)展歷程

回顧人工智能的產(chǎn)生與發(fā)展過(guò)程 ，可以將其分為：初期形成階段，綜合發(fā)展階段和應(yīng)用階段。

1.初期形成階段

人工智能這一思想最早的提出是基于對(duì)人腦神經(jīng)元模型的抽象。其早期工作被認(rèn)為是由美國(guó)的神經(jīng)學(xué)家和控制論學(xué)者 Warren McCulloch與Walter Pitts共同完成的。在1951年，兩名普林斯頓大學(xué)的研究生制造出了第一臺(tái)人工神經(jīng)元計(jì)算機(jī)。而其真正作為一個(gè)新的概念被提出是在1956年舉行的達(dá)茅斯會(huì)議上。由麥卡錫提議并正式采用了“人工智能”（Artificial Intelligence）礱枋穌庖謊芯咳綰斡沒(méi)器來(lái)模擬人類(lèi)智能的新興學(xué)科。1969年的國(guó)際人工智能聯(lián)合會(huì)議標(biāo)志著人工智能得到了國(guó)際的認(rèn)可。至此，人工智能這一概念初步形成，也逐漸吸引了從事數(shù)學(xué)、生物、計(jì)算機(jī)、神經(jīng)科學(xué)等相關(guān)學(xué)科的學(xué)者參與該領(lǐng)域的研究。

2.綜合發(fā)展階段

1.7 7年， 費(fèi)根鮑姆在第五屆國(guó)際人工智能聯(lián)合會(huì)議上正式提出了“知識(shí)工程”這一概念。而后其對(duì)應(yīng)的專(zhuān)家系統(tǒng)得到發(fā)展，許多智能系統(tǒng)紛紛被推出，并應(yīng)用到了人類(lèi)生活的方方面面。20世紀(jì)80年代以來(lái)，專(zhuān)家系統(tǒng)逐步向多技術(shù)、多方法的綜合集成與多學(xué)科、多領(lǐng)域的綜合應(yīng)用型發(fā)展。大型專(zhuān)家系統(tǒng)開(kāi)發(fā)采用了多種人工智能語(yǔ)言、多種知識(shí)表示方法、多種推理機(jī)制和多種控制策略相結(jié)合的方式， 并開(kāi)始運(yùn)用各種專(zhuān)家系統(tǒng)外殼、專(zhuān)家系統(tǒng)開(kāi)發(fā)工具和專(zhuān)家系統(tǒng)開(kāi)發(fā)環(huán)境等等。在專(zhuān)家系統(tǒng)的發(fā)展過(guò)程中，人工智能得到了較為系統(tǒng)和全面的綜合發(fā)展，并能夠在一些具體的任務(wù)中接近甚至超過(guò)人類(lèi)專(zhuān)家的水平。

3.應(yīng)用階段

進(jìn)入二十一世紀(jì)以后，由于深度人工神經(jīng)網(wǎng)絡(luò)的提出，并在圖像分類(lèi)與識(shí)別的任務(wù)上遠(yuǎn)遠(yuǎn)超過(guò)了傳統(tǒng)的方法，人工智能掀起了前所未有的。2006年，由加拿大多倫多大學(xué)的Geoffery Hinton及其學(xué)生在《Science》雜志上發(fā)表文章，其中首次提到了深度學(xué)習(xí)這一思想，實(shí)現(xiàn)對(duì)數(shù)據(jù)的分級(jí)表達(dá)，降低了經(jīng)典神經(jīng)網(wǎng)絡(luò)的訓(xùn)練難度。并隨后提出了如深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN），以及區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Region-based Convolutional Neural Network， R-CNN），等等新的網(wǎng)絡(luò)訓(xùn)練結(jié)構(gòu)，使得訓(xùn)練和測(cè)試的效率得到大幅提升，識(shí)別準(zhǔn)確率也顯著提高。

二、人工智能核心技術(shù)

人工智能由于其涉及的領(lǐng)域較多，內(nèi)容復(fù)雜，因此在不同的應(yīng)用場(chǎng)景涉及到許多核心技術(shù)，這其中如專(zhuān)家系統(tǒng)、機(jī)器學(xué)習(xí)、模式識(shí)別、人工神經(jīng)網(wǎng)絡(luò)等是最重要也是發(fā)展較為完善的幾個(gè)核心技術(shù)。

1.專(zhuān)家系統(tǒng)

專(zhuān)家系統(tǒng)是一類(lèi)具有專(zhuān)門(mén)知識(shí)和經(jīng)驗(yàn)的計(jì)算機(jī)智能程序系統(tǒng)，通過(guò)對(duì)人類(lèi)專(zhuān)家的問(wèn)題求解能力建模，采用人工智能中的知識(shí)表示和知識(shí)推理技術(shù)來(lái)模擬通常由專(zhuān)家才能解決的復(fù)雜問(wèn)題，達(dá)到具有與專(zhuān)家同等解決問(wèn)題能力的水平。對(duì)專(zhuān)家系統(tǒng)的研究，是人工智能中開(kāi)展得較為全面、系統(tǒng)且已經(jīng)取得廣泛應(yīng)用的技術(shù)。許多成熟而先進(jìn)的專(zhuān)家系統(tǒng)已經(jīng)被應(yīng)用在如醫(yī)療診斷、地質(zhì)勘測(cè)、文化教育等方面。

2.機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)是一個(gè)讓計(jì)算機(jī)在非精確編程下進(jìn)行活動(dòng)的科學(xué)，也就是機(jī)器自己獲取知識(shí)。起初，機(jī)器學(xué)習(xí)被大量應(yīng)用在圖像識(shí)別等學(xué)習(xí)任務(wù)中，后來(lái)，機(jī)器學(xué)習(xí)不再限于識(shí)別字符、圖像中的某個(gè)目標(biāo)，而是將其應(yīng)用到機(jī)器人、基因數(shù)據(jù)的分析甚至是金融市場(chǎng)的預(yù)測(cè)中。在機(jī)器學(xué)習(xí)的發(fā)展過(guò)程中，先后誕生了如凸優(yōu)化、核方法、支持向量機(jī)、Boosting算法等等一系列經(jīng)典的機(jī)器學(xué)習(xí)方法和理論。機(jī)器學(xué)習(xí)也是人工智能研究中最為重要的核心方向。

3.模式識(shí)別

模式識(shí)別是研究如何使機(jī)器具有感知能力 ，主要研究圖像和語(yǔ)音等的識(shí)別。其經(jīng)典算法包括如k-means，主成分分析（PCA），貝葉斯分類(lèi)器等等。在日常生活各方面以及軍事上都有廣大的用途。近年來(lái)迅速發(fā)展起來(lái)應(yīng)用模糊數(shù)學(xué)模式、人工神經(jīng)網(wǎng)絡(luò)模式的方法逐漸取代傳統(tǒng)的基于統(tǒng)計(jì)學(xué)習(xí)的識(shí)別方法。圖形識(shí)別方面例如識(shí)別各種印刷體和某些手寫(xiě)體文字，識(shí)別指紋、癌細(xì)胞等技術(shù)已經(jīng)進(jìn)入實(shí)際應(yīng)用。語(yǔ)音識(shí)別主要研究各種語(yǔ)音信號(hào)的分類(lèi)，和自然語(yǔ)言理解等等。模式識(shí)別技術(shù)是人工智能的一大應(yīng)用領(lǐng)域，其非常熱門(mén)的如人臉識(shí)別、手勢(shì)識(shí)別等等對(duì)人們的生活有著十分直接的影響。

4.人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是在研究人腦的結(jié)構(gòu)中得到啟發(fā)， 試圖用大量的處理單元模仿人腦神經(jīng)系統(tǒng)工程結(jié)構(gòu)和工作機(jī)理。而近年來(lái)發(fā)展的深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural networks， CNNs）具有更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，與經(jīng)典的機(jī)器學(xué)習(xí)算法相比在大數(shù)據(jù)的訓(xùn)練下有著更強(qiáng)的特征學(xué)習(xí)和表達(dá)能力。含有多個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)能夠?qū)斎朐紨?shù)據(jù)有更抽象喝更本質(zhì)的表述，從而有利于解決特征可視化以及分類(lèi)問(wèn)題。另外，通過(guò)實(shí)現(xiàn)“逐層初始化”這一方法，實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的分級(jí)表達(dá)，可以有效降低神經(jīng)網(wǎng)絡(luò)的訓(xùn)練難度。目前的神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別任務(wù)中取得了十分明顯的進(jìn)展，基于CNN的圖像識(shí)別技術(shù)也一直是學(xué)術(shù)界與工業(yè)界一致追捧的熱點(diǎn)。

三、機(jī)器人情感獲得

1.智能C器人現(xiàn)狀

目前智能機(jī)器人的研究還主要基于智能控制技術(shù)，通過(guò)預(yù)先定義好的機(jī)器人行動(dòng)規(guī)則，編程實(shí)現(xiàn)復(fù)雜的自動(dòng)控制，完成機(jī)器人的移動(dòng)過(guò)程。而人類(lèi)進(jìn)行動(dòng)作、行為的學(xué)習(xí)主要是通過(guò)模仿及與環(huán)境的交互。從這個(gè)意義上說(shuō)，目前智能機(jī)器人還不具有類(lèi)腦的多模態(tài)感知及基于感知信息的類(lèi)腦自主決策能力。在運(yùn)動(dòng)機(jī)制方面，目前幾乎所有的智能機(jī)器人都不具備類(lèi)人的外周神經(jīng)系統(tǒng)，其靈活性和自適應(yīng)性與人類(lèi)運(yùn)動(dòng)系統(tǒng)還具有較大差距。

2.機(jī)器人情感獲得的可能性

人腦是在與外界永不停息的交互中，在高度發(fā)達(dá)的神經(jīng)系統(tǒng)的處理下獲得情感。智能機(jī)器人在不斷的機(jī)器學(xué)習(xí)和大數(shù)據(jù)處理中，中樞處理系統(tǒng)不斷地自我更新、升級(jí)，便具備了獲得情感的可能性及幾率。不斷地更新、升級(jí)的過(guò)程類(lèi)似于生物的進(jìn)化歷程，也就是說(shuō)，智能機(jī)器人有充分的可能性獲得與人類(lèi)同等豐富的情感世界。

3.機(jī)器人獲得情感的利弊

機(jī)器人獲得情感在理論可行的情況下，伴之而來(lái)的利弊則眾說(shuō)紛紜。一方面，擁有豐富情感世界的機(jī)器人可以帶來(lái)更多人性化的服務(wù)，人機(jī)合作也可進(jìn)行地更加深入，可以為人類(lèi)帶來(lái)更為逼真的體驗(yàn)和享受。人類(lèi)或可與智能機(jī)器人攜手共創(chuàng)一個(gè)和諧世界。但是另一方面，在機(jī)器人獲得情感時(shí)，機(jī)器人是否能徹底貫徹人類(lèi)命令及協(xié)議的擔(dān)憂也迎面而來(lái)。

4.規(guī)避機(jī)器人情感獲得的風(fēng)險(xiǎn)

規(guī)避智能機(jī)器人獲得情感的風(fēng)險(xiǎn)應(yīng)預(yù)備強(qiáng)制措施。首先要設(shè)計(jì)完備的智能機(jī)器人情感協(xié)議，將威脅泯滅于未然。其次，應(yīng)控制智能機(jī)器人的能源獲得，以限制其自主活動(dòng)的能力，杜絕其建立獨(dú)立體系的可能。最后，要掌控核心武器，必要時(shí)強(qiáng)行停止運(yùn)行、回收、甚至銷(xiāo)毀智能機(jī)器人。

三、總結(jié)

本文梳理了人工智能的發(fā)展歷程與核心技術(shù)，可以毋庸置疑地說(shuō)，人工智能具有極其廣闊的應(yīng)用前景，但也伴隨著極大的風(fēng)險(xiǎn)?；仡櫰浒l(fā)展歷程，我們有理由充分相信，在未來(lái)人工智能的技術(shù)會(huì)不斷完善，難題會(huì)被攻克。作為世界上最熱門(mén)的領(lǐng)域之一，在合理有效規(guī)避其風(fēng)險(xiǎn)的同時(shí)，獲得情感的智能機(jī)器人會(huì)造福人類(lèi)，并極大地幫助人們的社會(huì)生活。

參考文獻(xiàn)

[1]韓曄彤.人工智能技術(shù)發(fā)展及應(yīng)用研究綜述[J].電子制作，2016，（12）：95.

[2]曾毅，劉成林，譚鐵牛.類(lèi)腦智能研究的回顧與展望[J].計(jì)算機(jī)學(xué)報(bào)，2016，（01）：212-222.

[3]張?jiān)?人工智能綜述：讓機(jī)器像人類(lèi)一樣思考

第5篇：卷積神經(jīng)網(wǎng)絡(luò)過(guò)程范文

【關(guān)鍵詞】人工智能 醫(yī)學(xué)領(lǐng)域

1 引言

人工智能（AI）是上世紀(jì)50年展起來(lái)的新興學(xué)科，主要內(nèi)容包括：知識(shí)表示、自然語(yǔ)言理解、機(jī)器學(xué)習(xí)和知識(shí)獲取、知識(shí)處理系統(tǒng)、計(jì)算機(jī)視覺(jué)、自動(dòng)推理和搜索方法、智能機(jī)器人、自動(dòng)程序設(shè)計(jì)等方面。在過(guò)去的幾十年里人工智能涌現(xiàn)出了大量的方法，大致可分為兩大類(lèi)：第一類(lèi)是基于Newell和Simon的物理符號(hào)系統(tǒng)假說(shuō)的符號(hào)處理方法。這種方法大多采用從知識(shí)階段向下到符號(hào)和實(shí)施階段的自上而下的設(shè)計(jì)方法，第二類(lèi)是采用自下而上設(shè)計(jì)的“字符號(hào)”方法。

2 人工智能的發(fā)展

全球?qū)θ斯ぶ悄艿难邪l(fā)經(jīng)歷了已經(jīng)有70年的發(fā)展，從上個(gè)世紀(jì)的50年代開(kāi)始一直到今天，歷經(jīng)了兩次大起大落，但伴隨著深度學(xué)習(xí)的重燃、龐大的大數(shù)據(jù)支撐以及計(jì)算能力的不斷提升和成本的不斷下降這些因素的出現(xiàn)，尤其是在摩爾定律、大數(shù)據(jù)、互聯(lián)網(wǎng)和云計(jì)算、新方法這些人工智能進(jìn)步的催化劑作用下，將迎來(lái)人工智能新的春天。

3 人工智能在醫(yī)學(xué)領(lǐng)域上的應(yīng)用

3.1 在神經(jīng)網(wǎng)絡(luò)中人工智能的應(yīng)用

在醫(yī)學(xué)診斷中人工智能的應(yīng)用會(huì)出現(xiàn)一些難題，例如知識(shí)獲取比較難、推理速度慢、自主學(xué)習(xí)以及自適應(yīng)變化能力弱。研究人腦連接發(fā)現(xiàn)了以人工神經(jīng)為特點(diǎn)可以解決在獲取知識(shí)中所出現(xiàn)的瓶頸和知識(shí)種類(lèi)繁瑣問(wèn)題，能夠提高對(duì)知識(shí)的推理能力，包括自主學(xué)習(xí)，自組織等方面的能力，促進(jìn)了神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)專(zhuān)家系統(tǒng)中的快速發(fā)展。

人工智能領(lǐng)域ANN，有不同于其他人工智能的方法，在傳統(tǒng)的結(jié)構(gòu)上，它只是AI分支中的一個(gè)，只能通過(guò)邏輯符號(hào)來(lái)模擬人腦的思維方式，進(jìn)一步來(lái)實(shí)現(xiàn)人工智能，與之相比，不同的ANN是學(xué)習(xí)和訓(xùn)練為一體來(lái)達(dá)到智能的。ANN具有學(xué)習(xí)的能力及特殊方法，用戶不用編寫(xiě)復(fù)雜的程序來(lái)解決所遇到的問(wèn)題，只用提供有效的數(shù)據(jù)就可以完成。迄今為止，醫(yī)學(xué)領(lǐng)域中對(duì)大部分的病理原因無(wú)法解釋?zhuān)瑹o(wú)法確定病理原因，加上各種疾病的表現(xiàn)種類(lèi)復(fù)雜多變。在醫(yī)學(xué)的日常實(shí)踐中，疾病相應(yīng)的治療只能以經(jīng)驗(yàn)為基礎(chǔ)來(lái)判斷。所以，ANN有著記憶，學(xué)習(xí)和歸納總結(jié)為一體的人工智能服務(wù)，在醫(yī)學(xué)領(lǐng)域有很好的應(yīng)用發(fā)展趨勢(shì)。

3.2 在中醫(yī)學(xué)中人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用

在中醫(yī)學(xué)中，所提出的“辨證論治”中的“證”具有模棚性、不確定性的特點(diǎn)，主觀性比較強(qiáng)，因此中醫(yī)的診斷方法和治療手段與醫(yī)師的經(jīng)驗(yàn)水平有很大聯(lián)系。數(shù)年來(lái)在實(shí)驗(yàn)研究，臨床觀察，文章整理，經(jīng)驗(yàn)總結(jié)上，都有著對(duì)“證”的研究思想的深入調(diào)查。一部分“辨證”的過(guò)程可以用人工神經(jīng)網(wǎng)絡(luò)來(lái)替換使用。恰當(dāng)?shù)闹嗅t(yī)癥狀可以作為基本輸入和適當(dāng)人工神經(jīng)網(wǎng)絡(luò)模型，人工神經(jīng)網(wǎng)絡(luò)能夠根據(jù)以往的學(xué)習(xí)“經(jīng)驗(yàn)”來(lái)進(jìn)行綜合分析，從而提出中醫(yī)診斷方法。

由神經(jīng)元結(jié)構(gòu)模型、網(wǎng)絡(luò)連接模型、網(wǎng)絡(luò)學(xué)習(xí)算法等幾個(gè)要素組成了人工神經(jīng)網(wǎng)絡(luò)。具有某些智能系統(tǒng)的功能。 按照網(wǎng)絡(luò)結(jié)構(gòu)來(lái)劃分，人工神經(jīng)網(wǎng)絡(luò)有很多不同的種類(lèi)，例如感知器、BP網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)等，目前應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)就是其中的BP網(wǎng)絡(luò)。這種前沿網(wǎng)絡(luò)非 BP網(wǎng)絡(luò)所屬，網(wǎng)絡(luò)的結(jié)構(gòu)與權(quán)值能夠表達(dá)復(fù)雜的非線性 I/0映射關(guān)系。憑借 BP網(wǎng)絡(luò)優(yōu)良的自主學(xué)習(xí)功能，既可以通過(guò)誤差的反向傳播方法，對(duì)照已知樣本反復(fù)進(jìn)行訓(xùn)練，也可以調(diào)整網(wǎng)絡(luò)的權(quán)值，直到網(wǎng)絡(luò)的 I/0關(guān)系在某一塊訓(xùn)練指標(biāo)下最接近樣本為止。

3.3 人工智能在臨床醫(yī)療診斷中的應(yīng)用

計(jì)算機(jī)編寫(xiě)的程序主要根據(jù)專(zhuān)家系統(tǒng)的設(shè)計(jì)原理和方法來(lái)模擬醫(yī)生的醫(yī)學(xué)診斷，以及通常治療手段的思維過(guò)程來(lái)進(jìn)行。醫(yī)療專(zhuān)家系統(tǒng)是臨床醫(yī)療診斷中人工智能的很好體現(xiàn)，不僅能夠處理較為復(fù)雜的醫(yī)學(xué)治療問(wèn)題，還能當(dāng)做醫(yī)生診斷疾病的重要工具，更重要的是傳承了專(zhuān)家們的寶貴醫(yī)學(xué)治療經(jīng)驗(yàn)。

3.4 人工智能技術(shù)在醫(yī)學(xué)影像診斷中的應(yīng)用

目前，在醫(yī)學(xué)影像中存在著的問(wèn)題，比如：誤診率高、缺口大。這些問(wèn)題需要通過(guò)人工智能的方法來(lái)解決。在醫(yī)學(xué)影像技術(shù)領(lǐng)域人工智能的應(yīng)用包括主要的兩個(gè)方面，分別是：第一個(gè)方面為圖像識(shí)別，第二個(gè)方面為深度學(xué)習(xí)，其中人工智能應(yīng)用最核心的部分實(shí)深度學(xué)習(xí)。這兩個(gè)部分都是基于醫(yī)學(xué)影像大數(shù)據(jù)所進(jìn)行的數(shù)據(jù)上的挖掘和應(yīng)用。這兩個(gè)方面所進(jìn)行的數(shù)據(jù)挖掘及其應(yīng)用都是依據(jù)醫(yī)學(xué)影像大數(shù)據(jù)來(lái)完成的。

Geoffrey Hinton教授是神經(jīng)網(wǎng)絡(luò)領(lǐng)域的大師，2006年，他與其博士生在《Science》和相關(guān)的期刊上發(fā)表了論文，第一次提出了“深度信念網(wǎng)絡(luò)”的概念。2012年，由斯坦福大學(xué)Fei-Fei Li教授舉辦的ImageNet ILSVRC大規(guī)模圖像識(shí)別評(píng)測(cè)任務(wù)是由Hinton教授的研究團(tuán)隊(duì)參加的。這個(gè)任務(wù)包括了120萬(wàn)張高分辨率圖片，1000個(gè)類(lèi)比。Hinton教授團(tuán)隊(duì)使用了全新的黑科技多層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，將圖像識(shí)別錯(cuò)誤率突破性地從26.2%降低到了15.3%。 這個(gè)革命性的技術(shù)，讓神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)以迅速的速度進(jìn)入了醫(yī)療和工業(yè)的領(lǐng)域范圍，隨后這一技術(shù)被陸續(xù)出現(xiàn)的醫(yī)療影像公司使用。例如：國(guó)際知名的醫(yī)學(xué)影像公司Enlitic和國(guó)內(nèi)剛剛獲得有峰瑞資本600萬(wàn)天使輪融資的DeepCare。都是不斷積累大量影像數(shù)據(jù)和診斷數(shù)據(jù)，繼續(xù)對(duì)神經(jīng)元網(wǎng)絡(luò)進(jìn)行深度的學(xué)習(xí)訓(xùn)練，從而有效的提高了醫(yī)生診斷的準(zhǔn)確率。

人工智能不僅能使患者的健康檢查快速進(jìn)行，包括X光、B超、核磁共振等。另外還能大量減少醫(yī)生的讀片時(shí)間，提升了醫(yī)生的工作效率，降低誤診率。

4 總結(jié)

人工智能軟件工作效率遠(yuǎn)遠(yuǎn)超過(guò)了人類(lèi)大腦，不僅能夠更快速的找到數(shù)據(jù)的模式和相似性，還能有效幫助醫(yī)生和科學(xué)家提取重要的信息。隨著人工智能的發(fā)展及其在醫(yī)學(xué)領(lǐng)域的逐漸普及和應(yīng)用，兩者的互相融合在未來(lái)必定成為醫(yī)學(xué)發(fā)展的重要方向。

參考文獻(xiàn)

[1]馮伍，張俊蘭.人工智能在醫(yī)學(xué)上的應(yīng)用[J].電子設(shè)計(jì)工程，2010（01）.

[2]楊琴，陳家榮.人工智能在醫(yī)學(xué)領(lǐng)域中的應(yīng)用[J].科技風(fēng)，2012（12），100-101.

[3]王宇飛，孫欣.人工智能的研究與應(yīng)用[J].信息與電腦，2016（05）.

[4]鉛筆道.人工智能與影像診斷相結(jié)合的醫(yī)生界阿爾法狗，2016（03）.

第6篇：卷積神經(jīng)網(wǎng)絡(luò)過(guò)程范文

人工智能的概念已提出60年，從原來(lái)的理論框架體系的搭建，到實(shí)驗(yàn)室關(guān)鍵技術(shù)的準(zhǔn)備，如今已開(kāi)始進(jìn)入全新的發(fā)展階段――產(chǎn)業(yè)化。

目前，從基本的算法到腦科學(xué)研究，人工智能都還沒(méi)有突破性進(jìn)展的可能性。但是，以深度神經(jīng)網(wǎng)絡(luò)為代表的人工智能，結(jié)合日新月異的大數(shù)據(jù)、云計(jì)算和移動(dòng)互聯(lián)網(wǎng)，就可以在未來(lái)5到10年改變我們的世界。

人工智能+時(shí)代的兩大機(jī)遇

人工智能不僅將替代簡(jiǎn)單重復(fù)的勞動(dòng)，還將替代越來(lái)越多的復(fù)雜的高級(jí)腦力活動(dòng)，創(chuàng)造一個(gè)個(gè)新的機(jī)會(huì)?？梢哉f(shuō)，任何一個(gè)行業(yè)、企業(yè)或今天的創(chuàng)業(yè)者，如果不用人工智能改變今天的生產(chǎn)和生活方式，5年后一定會(huì)出局。

第一個(gè)趨勢(shì)是以語(yǔ)音為主導(dǎo)、以鍵盤(pán)和觸摸為輔助的人機(jī)交互時(shí)代正在到來(lái)。如今越來(lái)越多的設(shè)備不再需要屏幕，越來(lái)越多的場(chǎng)景我們不用直接碰觸。比如，想把燈光調(diào)亮，想打開(kāi)五米之外的設(shè)備，我們的手沒(méi)法直接觸碰。再如，開(kāi)車(chē)時(shí)不方便用手、用眼做其他事情。這時(shí)，語(yǔ)音就成為最主要的一個(gè)交互方式。

第二個(gè)趨勢(shì)是人工智能正在全球范圍內(nèi)掀起一股浪潮，“人工智能+”的時(shí)代到來(lái)，而且會(huì)比我們想象的還要快。為什么呢？麥肯錫分析認(rèn)為，當(dāng)前45%的工作可以被技術(shù)自動(dòng)化，不只是簡(jiǎn)單重復(fù)性的工作，CEO20%的工作也可以被機(jī)器取代。《科學(xué)》雜志預(yù)測(cè)，2045年人工智能會(huì)顛覆全球50%、中國(guó)77%的就業(yè)。也就是說(shuō)，今天的我們3/4的工作30年后會(huì)被人工智能取代。埃森哲認(rèn)為，到2035年人工智能會(huì)讓12個(gè)發(fā)達(dá)國(guó)家經(jīng)濟(jì)增長(zhǎng)率翻一倍。我國(guó)的增長(zhǎng)率只有比這還高，才對(duì)得起今天的時(shí)代機(jī)遇。

從科大訊飛的情況可以看出，人工智能將迎來(lái)兩大產(chǎn)業(yè)機(jī)遇。

第一，未來(lái)3到5年，萬(wàn)物互聯(lián)的時(shí)代到來(lái)，以語(yǔ)音為主、鍵盤(pán)觸摸為輔的人機(jī)交互將廣泛應(yīng)用。第二，未來(lái)5到10年，人工智能會(huì)像水和電一樣進(jìn)入各行各業(yè)，深刻改變我們的生活。

認(rèn)知智能是最大技術(shù)瓶頸

人工智能技術(shù)有兩種分類(lèi)方法。一種分為強(qiáng)人工智能和弱人工智能；另一種是訊飛研究院提出的、跟技術(shù)演進(jìn)路徑相關(guān)的分類(lèi)，分成計(jì)算智能、感知智能和認(rèn)知智能。

計(jì)算智能就是機(jī)器能存會(huì)算。就像當(dāng)年IBM的深藍(lán)電腦下象棋超過(guò)卡斯帕羅夫，典型的就是因?yàn)檫\(yùn)算能力強(qiáng)，提前算到了所有的結(jié)果。

感知智能，比如語(yǔ)音合成技術(shù)，能夠讓機(jī)器開(kāi)口說(shuō)話。再如語(yǔ)音識(shí)別技術(shù)，就像今天的演講，后臺(tái)系統(tǒng)把它變成文字，準(zhǔn)確率可達(dá)95%。

認(rèn)知智能是讓機(jī)器具備能理解、會(huì)思考的能力。這是最大的挑戰(zhàn)，也是大家最熱切期待的技術(shù)突破。工業(yè)革命讓我們從繁重的體力勞動(dòng)中解放出來(lái)，未來(lái)的認(rèn)知智能會(huì)讓人從今天很多復(fù)雜的腦力勞動(dòng)中解放出來(lái)。

科大訊飛選擇以語(yǔ)音為入口解決認(rèn)知難題，進(jìn)行認(rèn)知革命。以人機(jī)交互為入口的目的，就是為了解決自然語(yǔ)言理解的技術(shù)難題。這個(gè)入口可以把人類(lèi)的智慧最便捷地匯聚到后臺(tái)，供機(jī)器學(xué)習(xí)和訓(xùn)練，也可以使后臺(tái)人工智能的成果最簡(jiǎn)單直接地輸出，從社會(huì)不斷取得它學(xué)習(xí)需要的反饋信息，在此基礎(chǔ)上實(shí)現(xiàn)知識(shí)管理和推理學(xué)習(xí)。

科大訊飛承擔(dān)的科技部第一個(gè)人工智能重大專(zhuān)項(xiàng)――高考機(jī)器人。目標(biāo)是為了“考大學(xué)”，但其核心技術(shù)正是語(yǔ)言理解、知識(shí)表達(dá)、聯(lián)想推理和自主學(xué)習(xí)。

人工智能技術(shù)正走向產(chǎn)業(yè)化

目前，科大訊飛的人工智能研究已經(jīng)取得了階段性成果。

在教育行業(yè)，科大訊飛的機(jī)器人通過(guò)構(gòu)建學(xué)生全過(guò)程的學(xué)習(xí)數(shù)據(jù)和老師上課的數(shù)據(jù)，提升了課堂效率，原來(lái)45分鐘的課堂，現(xiàn)在15分鐘就搞定。因?yàn)榇罅康膬?nèi)容學(xué)生都是知道的，老師只需向個(gè)別沒(méi)掌握的學(xué)生單獨(dú)講授。這樣，老師就有時(shí)間把課堂的重點(diǎn)放在大家都不了解的知識(shí)上，學(xué)生可以用大量時(shí)間進(jìn)行啟發(fā)式學(xué)習(xí)。借助這些手段，學(xué)生的重復(fù)性訓(xùn)練可以降低50%以上。

在醫(yī)療行業(yè)，科大訊飛利用語(yǔ)音解決門(mén)診電子病歷，利用人工智能輔助診療。學(xué)習(xí)最頂尖醫(yī)療專(zhuān)家知識(shí)后的人工智能產(chǎn)品，可以超過(guò)一線全科醫(yī)生的水平。當(dāng)前，醫(yī)療行業(yè)一線最缺的是全科醫(yī)生和兒科醫(yī)生，引入人工智能技術(shù)就可以緩解醫(yī)療資源短缺壓力。

科大訊飛的人工智能技術(shù)還應(yīng)用在汽車(chē)領(lǐng)域。在寶馬汽車(chē)去年的國(guó)際測(cè)試中，科大訊飛以86%的準(zhǔn)確率名列第一。

在客服領(lǐng)域，機(jī)器已經(jīng)替代掉了30%的人工服務(wù)。目前，安徽移動(dòng)呼叫中心有75%的服務(wù)內(nèi)容已被機(jī)器替代。

機(jī)器人還將從服務(wù)后臺(tái)走向前端。今年第四季度末或明年，服務(wù)機(jī)器人將開(kāi)始在銀行和電信營(yíng)業(yè)廳上崗工作，它們不僅好玩、有趣，吸引人氣，還能幫客戶解決實(shí)際問(wèn)題。

第7篇：卷積神經(jīng)網(wǎng)絡(luò)過(guò)程范文

【關(guān)鍵詞】人臉識(shí)別;人臉檢測(cè);方法

Abstract：Face recognition system is one of the most popular current scientific research，In this paper，the process and prospects of face recognition system to do a simple review.The application of the system to do a simple analysis and the main method of face recognition for the corresponding category.For the future development of face recognition systems were mainly discussed.

Key words：Face Recognition;Face Detection;Methods

一、引言

隨著科學(xué)技術(shù)的突飛猛進(jìn)，計(jì)算機(jī)及網(wǎng)絡(luò)的高速發(fā)展，信息的安全性、隱蔽性越來(lái)越重要，如何有效、方便的進(jìn)行身份驗(yàn)證和識(shí)別，已經(jīng)成為人們?nèi)找骊P(guān)心的問(wèn)題。生物認(rèn)證的方法，即利用人類(lèi)自身的特征來(lái)進(jìn)行身份認(rèn)證，具有傳統(tǒng)方法沒(méi)有的有點(diǎn)，也解決了身份認(rèn)證技術(shù)所面臨的一大難題。其具有方便、強(qiáng)化安全、不會(huì)丟失、遺忘或轉(zhuǎn)讓等優(yōu)點(diǎn)。現(xiàn)在人體生物識(shí)別技術(shù)的研究主要針對(duì)人臉、指紋、虹膜、手型、聲音等物理或行為特征來(lái)進(jìn)行。本文主要對(duì)人臉識(shí)別技術(shù)的介紹。

人臉識(shí)別是指給定一個(gè)靜止或動(dòng)態(tài)圖像，利用已有的人臉數(shù)據(jù)庫(kù)來(lái)確認(rèn)圖像中的一個(gè)或多個(gè)人。如同人的指紋一樣，人臉也具有唯一性，也可用來(lái)鑒別一個(gè)人的身份。現(xiàn)在己有實(shí)用的計(jì)算機(jī)自動(dòng)指紋識(shí)別系統(tǒng)面世，并在安檢等部門(mén)得到應(yīng)用，但還沒(méi)有通用成熟的人臉自動(dòng)識(shí)別系統(tǒng)出現(xiàn)。人臉圖像的自動(dòng)識(shí)別系統(tǒng)較之指紋識(shí)別系統(tǒng)、DNA鑒定等更具方便性，因?yàn)樗臃奖?，可以不接觸目標(biāo)就進(jìn)行識(shí)別，從而開(kāi)發(fā)研究的實(shí)際意義更大。另一方面，人臉表情的多樣性;以及外在的成像過(guò)程中的光照，圖像尺寸，旋轉(zhuǎn)，姿勢(shì)變化等給識(shí)別帶來(lái)很大難度。因此在各種干擾條件下實(shí)現(xiàn)人臉圖像的識(shí)別，也就更具有挑戰(zhàn)性。

二、人臉識(shí)別系統(tǒng)流程

（1）人臉圖像的獲?。簣D像的獲取都是通過(guò)攝像頭攝取，但攝取的圖像可以是真人，也可以是人臉的圖片或者為了相對(duì)簡(jiǎn)單，可以不考慮通過(guò)攝像頭來(lái)攝取頭像，而是直接給定要識(shí)別的圖像。

（2）人臉的檢測(cè)：人臉檢測(cè)的任務(wù)是判斷靜態(tài)圖像中是否存在人臉。若存在人臉，給出其在圖像中的坐標(biāo)位置、人臉區(qū)域大小等信息。而人臉跟蹤則需要進(jìn)一步輸出所檢測(cè)到的人臉位置、大小等狀態(tài)隨時(shí)間的連續(xù)變化情況。

圖1 人臉識(shí)別框架

（3）特征提?。和ㄟ^(guò)人臉特征點(diǎn)的檢測(cè)與標(biāo)定可以確定人臉圖像中顯著特征點(diǎn)的位置（如眼睛、眉毛、鼻子、嘴巴等器官），同時(shí)還可以得到這些器官及其面部輪廓的形狀信息的描述。根據(jù)人臉特征點(diǎn)檢測(cè)與標(biāo)定的結(jié)果，通過(guò)某些運(yùn)算得到人臉特征的描述（這些特征包括：全局特征和局部特征，顯式特征和統(tǒng)計(jì)特征等）。

（4）基于人臉圖像比對(duì)的身份識(shí)別：即人臉識(shí)別問(wèn)題。通過(guò)將輸入人臉圖像與人臉數(shù)據(jù)庫(kù)中的所有已知原型人臉圖像計(jì)算相似度并對(duì)其排序來(lái)給出輸入人臉的身份信息。

（5）基于人臉圖像比對(duì)的身份驗(yàn)證：即人臉確認(rèn)問(wèn)題。系統(tǒng)在輸入人臉圖像的同時(shí)輸入一個(gè)用戶宣稱(chēng)的該人臉的身份信息，系統(tǒng)要對(duì)該輸入人臉圖像的身份與宣稱(chēng)的身份是否相符作出判斷。

三、人臉識(shí)別技術(shù)現(xiàn)狀及發(fā)展前景

自1995年以來(lái)，國(guó)外一些公司看準(zhǔn)了人臉識(shí)別系統(tǒng)廣闊的應(yīng)用前景，動(dòng)用了大量人力和物力，自己獨(dú)立研發(fā)或與高校合作，開(kāi)發(fā)了多個(gè)實(shí)用的人臉識(shí)別系統(tǒng)，例如：加拿大Imagis公司的ID-2000面部識(shí)別軟件，美國(guó)Identix公司1的FaceIt人臉識(shí)別系統(tǒng)，德國(guó)Human Scan公司的BioID身份識(shí)別系統(tǒng)，德國(guó)Cognitec Systems公司的Face VACS人臉識(shí)別系統(tǒng)等;美國(guó)A4vision公司的3D人臉識(shí)別產(chǎn)品;等等。

國(guó)內(nèi)相關(guān)領(lǐng)域較為出名的公司有上海銀晨智能識(shí)別科技有限公司（IS'vision），他們與中科院計(jì)算所聯(lián)合開(kāi)發(fā)了會(huì)議代表身份認(rèn)證/識(shí)別系統(tǒng)、嫌疑人面像比對(duì)系統(tǒng)、面像識(shí)別考勤/門(mén)禁系統(tǒng)、出人口黑名單監(jiān)控系統(tǒng)等多種自動(dòng)人臉識(shí)別應(yīng)用系統(tǒng)。2008年，北京奧運(yùn)會(huì)開(kāi)幕式正式使用了中國(guó)自主知識(shí)產(chǎn)權(quán)的人臉識(shí)別比對(duì)系統(tǒng);2010年4月1日起，國(guó)際民航組織（ICAO）已確定其118個(gè)成員國(guó)家和地區(qū)必須使用機(jī)讀護(hù)照，人臉識(shí)別技術(shù)是首推識(shí)別模式，該規(guī)定已經(jīng)成為國(guó)際標(biāo)準(zhǔn);2011年，F(xiàn)ace book初次引入人臉識(shí)別技術(shù)，登陸人員可以免信息驗(yàn)證而激活頁(yè)面;2012年3月6日，江蘇省公安廳與南京理工大學(xué)日前簽約共建“社會(huì)公共安全重點(diǎn)實(shí)驗(yàn)室”，開(kāi)展“人臉識(shí)別”技術(shù)相關(guān)領(lǐng)域項(xiàng)目攻關(guān)。

到目前為止，雖然有關(guān)自動(dòng)人臉識(shí)別的研究已經(jīng)取得了一些可喜的成果，但在實(shí)際應(yīng)用環(huán)境下仍面臨著許多難以解決的問(wèn)題：人臉的非剛體，表情、姿態(tài)、發(fā)型和化妝的多樣性以及環(huán)境光照的復(fù)雜性都給正確的人臉識(shí)別帶來(lái)了很大的困難。即使在大量來(lái)自模式識(shí)別、計(jì)算機(jī)視覺(jué)、生理學(xué)、心理學(xué)、神經(jīng)認(rèn)知科學(xué)等領(lǐng)域的研究人員對(duì)自動(dòng)人臉識(shí)別艱苦工作40余年之后，其中不少問(wèn)題至今仍然困繞著研究人員，始終找不到完善的解決辦法。

在人臉識(shí)別市場(chǎng)，特別是在中國(guó)的市場(chǎng)，正經(jīng)歷著迅速的發(fā)展，而且發(fā)展的腳步也將越來(lái)越快。主要有三大原因：

1.是科技界和社會(huì)各個(gè)領(lǐng)域都認(rèn)識(shí)到人臉識(shí)別技術(shù)的重要性，國(guó)家政策對(duì)人臉識(shí)別技術(shù)研究給予了很大支持，使得我國(guó)人臉識(shí)別技術(shù)取得了很大進(jìn)展。國(guó)際上，美國(guó)國(guó)家標(biāo)準(zhǔn)技術(shù)局（NIST）舉辦的Face Recognition Vendor Test 2006（FRVT2006）通過(guò)大規(guī)模的人臉數(shù)據(jù)測(cè)試表明，當(dāng)今世界上人臉識(shí)別方法的識(shí)別精度比2002年的FRVT2002至少提高了一個(gè)數(shù)量級(jí)（10倍）。其中一些方法的識(shí)別精度已經(jīng)超過(guò)人類(lèi)的平均水平。而對(duì)于高清晰、高質(zhì)量人臉圖像識(shí)別，機(jī)器的識(shí)別精度幾乎達(dá)到100%。

2.各種應(yīng)用需求不斷出現(xiàn)。人臉識(shí)別市場(chǎng)的快速發(fā)展一方面歸功于生物識(shí)別需求的多元化，另一方面則是由于人臉識(shí)別技術(shù)的進(jìn)步。從需求上來(lái)說(shuō)，除了傳統(tǒng)的公司考勤、門(mén)禁等應(yīng)用外，視頻監(jiān)控環(huán)境下的身份識(shí)別正成為一種迫切的需求，即在一個(gè)較復(fù)雜的場(chǎng)景中，在較遠(yuǎn)的距離上識(shí)別出特定人的身份，這顯然是指紋識(shí)別的方法不能滿足的，而人臉識(shí)別卻是一個(gè)極佳的選擇。

3.人口基數(shù)因素。人臉識(shí)別系統(tǒng)的市場(chǎng)大小，很大程度上是和人口的數(shù)量大小相關(guān)的。而我國(guó)有13億人口，這從本質(zhì)上說(shuō)明了我國(guó)是世界上規(guī)模最大的生物識(shí)別市場(chǎng)。

四、常用的人臉識(shí)別方法

人臉識(shí)別技術(shù)和方法可分為兩大類(lèi)：基于幾何特征的方法和基于模板匹配的方法?；趲缀翁卣鞣椒ǖ乃枷胧鞘紫葯z測(cè)出嘴巴，鼻子，眼睛，眉毛等臉部主要部分的位置和大小，然后利用這些部件的總體幾何分布關(guān)系以及相互之間的參數(shù)比例來(lái)識(shí)別人臉?；谀０宓姆椒ㄊ抢媚０搴驼麄€(gè)人臉圖像的像素值之間的自相關(guān)性進(jìn)行識(shí)別，這種方法也叫做基于表象的方法。

本文主要分析了常用的人臉識(shí)別方法為：幾何特征的方法、模型的方法、神經(jīng)網(wǎng)絡(luò)的方法和多分類(lèi)器集成方法。

1.幾何特征的方法

最早的人臉識(shí)別方法就是Bledsoe提出的基于幾何特征的方法，這種方法以面部特征點(diǎn)之間的距離和比率作為特征通過(guò)最近鄰方法來(lái)識(shí)別人臉。該方法建立的人臉識(shí)別系統(tǒng)是一個(gè)半自動(dòng)系統(tǒng)，其面部特征點(diǎn)必須由人手工定位，也正是由于人工的參與，該系統(tǒng)對(duì)光照變化和姿態(tài)變化不敏感。

Kanade首先計(jì)算眼角、鼻孔、嘴巴、下巴等面部特征之間的距離和它們之間的角度以及其它幾何關(guān)系然后通過(guò)這些幾何關(guān)系進(jìn)行人臉的識(shí)別工作在一個(gè)20人的數(shù)據(jù)庫(kù)上識(shí)別率為45%一75%。

Brunelli和Poggio通過(guò)計(jì)算鼻子的寬度和長(zhǎng)度、嘴巴位置和下巴形狀等進(jìn)行識(shí)別，在一個(gè)47人的人臉庫(kù)上的識(shí)別率為90%.然而，簡(jiǎn)單模板匹配方法在同一人臉庫(kù)上的識(shí)別率為100%。

基于幾何特征的方法比較直觀，識(shí)別速度快，內(nèi)存要求較少，提取的特征在一定程度上對(duì)光照變化不太敏感。但是，當(dāng)人臉具有一定的表情或者姿態(tài)變化時(shí)，特征提取不精確，而且由于忽略了整個(gè)圖像的很多細(xì)節(jié)信息且識(shí)別率較低，所以近年來(lái)已經(jīng)很少有新的發(fā)展。

2.模型的方法

隱馬爾可夫模型，是一種常用的模型，原HMM的方法首先被用于聲音識(shí)別等身份識(shí)別上，之后被Nefian和Hayrs引人到人臉識(shí)別領(lǐng)域。它是用于描述信號(hào)統(tǒng)計(jì)特性的一組統(tǒng)計(jì)模型。

在人臉識(shí)別過(guò)程中，首先抽取人臉特征，得到后觀察向量，構(gòu)建HMM人臉模型，然后用EM算法訓(xùn)練利用該模型就可以算出每個(gè)待識(shí)別人臉觀察向量的概率，從而完成識(shí)別，HMM方法的魯棒性較好，對(duì)表情、姿態(tài)變化不太敏感，識(shí)別率高。

3.神經(jīng)網(wǎng)絡(luò)的方法

神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別領(lǐng)域有很長(zhǎng)的應(yīng)用歷史，1994年就出現(xiàn)了神經(jīng)網(wǎng)絡(luò)用于人臉處理的綜述性文章。

動(dòng)態(tài)鏈接結(jié)構(gòu)（DLA）是用于人臉識(shí)別系統(tǒng)中最有影響的神經(jīng)網(wǎng)絡(luò)方法。DLA試圖解決傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中一些概念性問(wèn)題，其中最突出的是網(wǎng)絡(luò)中語(yǔ)法關(guān)系的表達(dá)。DLA利用突觸的可塑性將神經(jīng)元集合劃分成若干個(gè)結(jié)構(gòu)，同時(shí)保留了神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)。

自組織映射神經(jīng)網(wǎng)絡(luò)（SOM）與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的混合神經(jīng)網(wǎng)絡(luò)方法進(jìn)行人臉識(shí)別。SOM實(shí)現(xiàn)對(duì)圖像的采樣向量降維，且對(duì)圖像樣本的小幅度變形不敏感。卷積網(wǎng)絡(luò)用來(lái)實(shí)現(xiàn)相鄰像素間的相關(guān)性知識(shí)，在一定程度對(duì)圖象的平移、旋轉(zhuǎn)、尺度和局部變形也都不敏感。

神經(jīng)網(wǎng)絡(luò)方法較其他人臉識(shí)別方法有著特有的優(yōu)勢(shì)，通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練可以獲得其他方法難以實(shí)現(xiàn)的關(guān)于人臉圖像的規(guī)則和特征的隱性表示，避免了復(fù)雜的特征抽取工作，并有利于硬件的實(shí)現(xiàn)。缺點(diǎn)主要在于其方法的可解釋性較弱，且要求多張人臉圖像作為訓(xùn)練集，所以只適合于小型人臉庫(kù)。

4.多分類(lèi)器集成方法

人臉的表象會(huì)因?yàn)楣庹辗较颉⒆藨B(tài)、表情變化而產(chǎn)生較大的變化，每種特定的識(shí)別器只對(duì)其中一部分變化比較敏感，因此，將可以整合互補(bǔ)信息的多個(gè)分類(lèi)器集成能夠提高整個(gè)系統(tǒng)的分類(lèi)準(zhǔn)確率。

Gutta等人提出將集成的RBF與決策樹(shù)結(jié)合起來(lái)進(jìn)行人臉識(shí)別。結(jié)合了全局的模板匹配和離散特征的優(yōu)點(diǎn)，在一個(gè)350人的人臉庫(kù)上測(cè)試，取得了較好的實(shí)驗(yàn)結(jié)果。

五、總結(jié)及展望

隨著圖像處理、模式識(shí)別、人工智能以及生物心理學(xué)的研究進(jìn)展，人臉識(shí)別技術(shù)也將會(huì)獲得更大的發(fā)展。面對(duì)這種高新技術(shù)，人臉識(shí)別技術(shù)有著不可代替的優(yōu)點(diǎn)。近幾年對(duì)三維模型的人臉識(shí)別研究以成為一個(gè)熱點(diǎn)。從二維模型到三維模型是一個(gè)階躍性的發(fā)展，中間必須克服三維模型的開(kāi)銷(xiāo)大，所占空間大等因素。因此如何增強(qiáng)這類(lèi)系統(tǒng)的保密性將是人臉識(shí)別系統(tǒng)要考慮的問(wèn)題，它將是這種識(shí)別系統(tǒng)投入使用后人們最關(guān)心的問(wèn)題，同時(shí)也是人臉識(shí)別領(lǐng)域需要研究的新課題。我們期待在不久的將來(lái)，人們將告別鑰匙，迎來(lái)人臉開(kāi)門(mén)的新時(shí)代。

參考文獻(xiàn)

[1]李武軍，王崇駿，張煒，等.人臉識(shí)別研究綜述[J].模擬識(shí)別與人工智能，2006，19（1）：58-65.

[2]李子青.人臉識(shí)別技術(shù)應(yīng)用及市場(chǎng)分析[J].中國(guó)安防，2007，8：42-46.

[3]柴秀娟，山世光，卿來(lái)云，等.基于3D人臉重建的光照、姿態(tài)不變?nèi)四樧R(shí)別[J] .軟件學(xué)報(bào)，2006，17（3）：525-534.

第8篇：卷積神經(jīng)網(wǎng)絡(luò)過(guò)程范文

關(guān)鍵詞 車(chē)輛自動(dòng)駕駛；人工智能；應(yīng)用實(shí)踐；智能汽車(chē)

中圖分類(lèi)號(hào) TP3 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708（2017）182-0080-02

車(chē)輛自動(dòng)駕駛系統(tǒng)是改變傳統(tǒng)駕駛方式的重要技術(shù)類(lèi)型，但仍舊處于研發(fā)測(cè)試階段，并未展開(kāi)全面應(yīng)用。車(chē)輛自動(dòng)駕駛系統(tǒng)主要是由感知部分和控制部分構(gòu)成，控制部分主要完成對(duì)車(chē)輛的控制，促使車(chē)輛按照設(shè)計(jì)的線路展開(kāi)行駛，而感知部分則是對(duì)路線中障礙進(jìn)行識(shí)別，促使車(chē)輛進(jìn)行規(guī)避，保障車(chē)輛安全。然而現(xiàn)階段，車(chē)輛自動(dòng)駕駛的感知部分卻存在一定的瓶頸，制約車(chē)輛自動(dòng)駕駛系統(tǒng)的功能?；诖耍疚膶?duì)車(chē)輛自動(dòng)駕駛中人工智能的應(yīng)用展開(kāi)分析，具體內(nèi)容如下。

1 車(chē)輛自動(dòng)駕駛現(xiàn)狀分析

車(chē)輛自動(dòng)駕駛是借助網(wǎng)絡(luò)技術(shù)相關(guān)算法、高敏感度的傳感器和相關(guān)信息采集設(shè)備，綜合的對(duì)車(chē)輛行駛過(guò)程中路況信息進(jìn)行采集，由信息處理部分完成對(duì)車(chē)輛行駛過(guò)程中采集數(shù)據(jù)的分析，再由控制系統(tǒng)完成對(duì)車(chē)輛前進(jìn)、后退和停止等動(dòng)作進(jìn)行實(shí)施，可有效改變傳統(tǒng)車(chē)輛的駕駛方式，在提高車(chē)輛駕駛有效性的基礎(chǔ)上，可以解放駕駛?cè)藛T的雙手，并達(dá)到降低交通事故發(fā)生幾率，達(dá)到智能化汽車(chē)的構(gòu)建。

近年來(lái)，以百度、谷歌為首的行業(yè)，致力于人工智能技術(shù)應(yīng)用車(chē)輛自動(dòng)駕駛系統(tǒng)中，于2016年谷歌將無(wú)人駕駛的汽車(chē)測(cè)試到城市，并于2016年12月無(wú)人駕駛汽車(chē)項(xiàng)目剝離為獨(dú)立的公司waymo，完成對(duì)車(chē)輛自動(dòng)駕駛的研究，該公司的基于自動(dòng)駕駛的車(chē)輛的自動(dòng)行駛的距離>1.61×106km，并獲得大量的數(shù)據(jù)。

較比國(guó)外的車(chē)輛自動(dòng)駕駛的自主研究形式，國(guó)內(nèi)主要選擇汽車(chē)廠商與科研所高校等聯(lián)合研究的方式，主要有一汽、上汽、奇瑞等，均投入一定資金和研究力度，致力于研發(fā)可無(wú)人駕駛的智能汽車(chē)。同時(shí)，網(wǎng)絡(luò)技術(shù)和算法技術(shù)、硬件技術(shù)的不斷成熟，為車(chē)輛自動(dòng)駕駛提供了基礎(chǔ)，對(duì)智能汽車(chē)的構(gòu)建具有十分積極的意義。

隨著世界各類(lèi)尖端行業(yè)重視到汽車(chē)自動(dòng)駕駛大有可為，逐漸加大對(duì)車(chē)輛自動(dòng)駕駛的研究，并將具備車(chē)輛自動(dòng)駕駛能力的汽車(chē)作為未來(lái)汽車(chē)市場(chǎng)的主要方向，促使汽車(chē)可以在自動(dòng)駕駛的狀態(tài)下，完成對(duì)復(fù)雜環(huán)境的駕駛，達(dá)到高度自動(dòng)化駕駛的效果。

2 人工智能在車(chē)輛自動(dòng)駕駛中的應(yīng)用

人工智能是計(jì)算機(jī)科學(xué)的分支之一，所包含的領(lǐng)域較多，涵蓋機(jī)器人、語(yǔ)言識(shí)別、圖像識(shí)別等，隨著人工智能研究的不斷深入，人工智能逐漸應(yīng)用到各個(gè)領(lǐng)域中。將人工智能應(yīng)用到車(chē)輛自動(dòng)駕駛中，可以對(duì)車(chē)輛自動(dòng)駕駛的瓶頸進(jìn)行突破，推動(dòng)車(chē)輛自動(dòng)駕駛的早日實(shí)現(xiàn)。

2.1 基于深度思考的人工智能

車(chē)輛自動(dòng)駕駛系統(tǒng)對(duì)基于深度思考的人工智能進(jìn)行應(yīng)用，深度思考是一種機(jī)器學(xué)習(xí)的算法，可完成多元非線性數(shù)據(jù)轉(zhuǎn)換、高級(jí)數(shù)據(jù)概念模型的構(gòu)建，促使車(chē)輛自動(dòng)駕駛系統(tǒng)的感知部分發(fā)生轉(zhuǎn)變。具體的基于深度思考的人工智能學(xué)習(xí)結(jié)構(gòu)，有深度神經(jīng)網(wǎng)絡(luò)（DNNs）、卷積神經(jīng)網(wǎng)絡(luò)（CNNs）、深度信念網(wǎng)絡(luò)等，在具體的車(chē)輛自動(dòng)駕駛系統(tǒng)中，完成對(duì)車(chē)輛的視覺(jué)、語(yǔ)言等信息的識(shí)別。蘋(píng)果手機(jī)編制程序?qū)＜褿eorge？Hotz創(chuàng)建的企業(yè)，構(gòu)建的基于卷積神經(jīng)網(wǎng)絡(luò)的自動(dòng)駕駛車(chē)輛，并借助人工智能實(shí)現(xiàn)車(chē)輛訓(xùn)練。在具體的車(chē)輛訓(xùn)練過(guò)程中，選擇激光雷達(dá)作為主要視覺(jué)裝置，完成周邊環(huán)境的精準(zhǔn)三維掃描，進(jìn)而實(shí)現(xiàn)對(duì)周邊環(huán)境的識(shí)別，且可以完成對(duì)車(chē)位置信息的報(bào)告。

2.2 基于人工智能解讀的儀表板攝像頭

選擇以帕洛阿爾托為基地的NAUTO使用的prosumer相機(jī)中發(fā)現(xiàn)的各類(lèi)圖像傳感器，并運(yùn)用運(yùn)動(dòng)感應(yīng)器、GPS等，轉(zhuǎn)變激光雷達(dá)傳感器昂貴的情況，達(dá)到降低車(chē)輛自動(dòng)駕駛的感知成本，并有效完成對(duì)周邊地形的識(shí)別。借助NAUTO系統(tǒng)，不但能夠完成對(duì)道路前方情況的識(shí)別，還能對(duì)車(chē)輛內(nèi)部的情況信息進(jìn)行采集，車(chē)輛乘坐人員可以根據(jù)面部表情、手勢(shì)和語(yǔ)言完成對(duì)車(chē)輛的控制，達(dá)到改善人機(jī)交互界面。

2.3 基于人工智能的尾剎

現(xiàn)階段，汽車(chē)輔助系統(tǒng)不斷發(fā)展和完善，切實(shí)應(yīng)用到車(chē)輛中，基于人工智能的ADAS技術(shù)，配合ACC（自適應(yīng)循環(huán)）、LDWS（車(chē)道偏移報(bào)警系統(tǒng)）、自動(dòng)泊車(chē)等系統(tǒng)的應(yīng)用，使得目前車(chē)輛具備良好的自動(dòng)能力。而ADAS技術(shù)的應(yīng)用，可以使得汽車(chē)在具體運(yùn)行中如果前方存在車(chē)輛或是前方存在障礙物不能繞過(guò)的情況，借助ADAS技術(shù)的應(yīng)用，可以實(shí)現(xiàn)自動(dòng)剎車(chē)，進(jìn)而保障車(chē)輛的行駛安全。

2.4 感知、計(jì)劃、動(dòng)作的agent結(jié)構(gòu)應(yīng)用

車(chē)輛自動(dòng)駕駛系統(tǒng)中對(duì)人工智能進(jìn)行應(yīng)用，對(duì)改善自動(dòng)車(chē)輛駕駛的效果顯著，改善車(chē)輛自動(dòng)駕駛的效果。

借助知識(shí)庫(kù)的十二構(gòu)建，可以給予自動(dòng)駕駛行駛過(guò)程中的地理信息、電子地圖、交通信息和相關(guān)法律法規(guī)這些內(nèi)容。且這些知識(shí)主要是以知識(shí)的形式展示，并借助知R推理中的A算法，可以有效完成對(duì)下一個(gè)被檢查的結(jié)點(diǎn)時(shí)引入已知的全局信息進(jìn)行解讀，達(dá)到對(duì)最優(yōu)路線的選擇，獲得可能性最大的結(jié)點(diǎn)，繼而保障知識(shí)所搜的效率。借助感知―計(jì)劃―動(dòng)作agent結(jié)構(gòu)的人工職能，可以將車(chē)輛自動(dòng)行駛的速度分為3個(gè)檔次：High、Middle、Fast，轉(zhuǎn)向角度為7等，分別為0°，±10°，±20°，±30°。且可以完成對(duì)各類(lèi)障礙的規(guī)避。

3 車(chē)輛自動(dòng)駕駛中人工智能應(yīng)用的相關(guān)問(wèn)題

1）車(chē)輛自動(dòng)駕駛具有良好的發(fā)展前景，而人工智能的應(yīng)用，進(jìn)一步優(yōu)化了車(chē)輛自動(dòng)駕駛系統(tǒng)的功能，達(dá)到減少錯(cuò)誤的情況，借助人工智能盡可能降低各類(lèi)錯(cuò)誤的存在，規(guī)避自動(dòng)駕駛風(fēng)險(xiǎn)的存在。需不斷加強(qiáng)對(duì)人工智能的研究和分析，促使人工智能和車(chē)輛自動(dòng)駕駛有機(jī)的結(jié)合，為智能汽車(chē)的構(gòu)建奠定基礎(chǔ)。

2）人工智能應(yīng)用時(shí)，需要對(duì)車(chē)輛電腦程序和信息網(wǎng)絡(luò)的安全系數(shù)進(jìn)行控制，避免非法入侵對(duì)車(chē)輛造成不利影響，進(jìn)而導(dǎo)致安全隱患的發(fā)生。

3）人工智能在具體的應(yīng)用中，需要對(duì)預(yù)測(cè)和回應(yīng)人類(lèi)行為的問(wèn)題進(jìn)行處理，進(jìn)而增加自動(dòng)駕駛車(chē)輛與人的互動(dòng)。

4）基于人工智能的智能汽車(chē)定責(zé)的法律問(wèn)題，國(guó)家需要建立相關(guān)的法律法規(guī)，不斷完善車(chē)輛自動(dòng)駕駛的相關(guān)立法，完成對(duì)各類(lèi)問(wèn)題的處理，提升法律的適應(yīng)性。

4 結(jié)論

分析車(chē)輛自動(dòng)駕駛的現(xiàn)狀，再詳細(xì)的對(duì)人工智能在車(chē)輛自動(dòng)駕駛的應(yīng)用，再解讀基于感知―計(jì)劃―動(dòng)作agent結(jié)構(gòu)的人工智能的具體應(yīng)用，并分析人工智能在車(chē)輛自動(dòng)駕駛中應(yīng)用的相關(guān)問(wèn)題，為推動(dòng)車(chē)輛自動(dòng)駕駛的水平和智能化水平提供基礎(chǔ)，達(dá)到改善人們生活的效果。

參考文獻(xiàn)

[1]黃健.車(chē)輛自動(dòng)駕駛中的仿人控制策略研究[D].合肥：合肥工業(yè)大學(xué)，2013.

[2]謝基雄.探析人工智能技術(shù)對(duì)電氣自動(dòng)化的實(shí)踐運(yùn)用[J].電源技術(shù)應(yīng)用，2013（9）.

[3]禹昕.人工智能在電氣工程自動(dòng)化中的運(yùn)用實(shí)踐研究[J].工程技術(shù)：全文版，2016（12）：00247.

[4]余阿東，陳睿煒.汽車(chē)自動(dòng)駕駛技術(shù)研究[J].汽車(chē)實(shí)用技術(shù)，2017（2）：124-125.

第9篇：卷積神經(jīng)網(wǎng)絡(luò)過(guò)程范文

    雖然目前公眾媒體將無(wú)線通信炒的很熱,但這個(gè)領(lǐng)域從1897年馬可尼成功演示無(wú)線電波開(kāi)始,已經(jīng)有超過(guò)一百年的。到1901年就實(shí)現(xiàn)了跨大西洋的無(wú)線接收,表明無(wú)線通信技術(shù)曾經(jīng)有過(guò)一段快速發(fā)展時(shí)期。在之后的幾十年中,眾多的無(wú)線通信系統(tǒng)生生滅滅。

    20世紀(jì)80年代以來(lái),全球范圍內(nèi)移動(dòng)無(wú)線通信得到了前所未有的發(fā)展,與第三代移動(dòng)通信系統(tǒng)(3g)相比,未來(lái)移動(dòng)通信系統(tǒng)的目標(biāo)是,能在任何時(shí)間、任何地點(diǎn)、向任何人提供快速可靠的通信服務(wù)。因此,未來(lái)無(wú)線移動(dòng)通信系統(tǒng)應(yīng)具有高的數(shù)據(jù)傳輸速度、高的頻譜利用率、低功耗、靈活的業(yè)務(wù)支撐能力等。但無(wú)線通信是基于電磁波在自由空間的傳播來(lái)實(shí)現(xiàn)傳輸?shù)?。信?hào)在無(wú)線信道中傳輸時(shí),無(wú)線頻率資源受限、傳輸衰減、多徑傳播引起的頻域選擇性衰落、多普勒頻移引起的時(shí)間選擇性衰落以及角度擴(kuò)展引起的空間選擇性衰落等都使得無(wú)線鏈路的傳輸性能差。和有線通信相比,無(wú)線通信主要由兩個(gè)新的問(wèn)題。一是通信行道經(jīng)常是隨時(shí)間變化的,二是多個(gè)用戶之間常常存在干擾。無(wú)線通信技術(shù)還需要克服時(shí)變性和干擾。由于這個(gè)原因,無(wú)線通信中的信道建模以及調(diào)制編碼方式都有所不同。

    1.無(wú)線數(shù)字通信中盲源分離技術(shù)分析

    盲源分離(bss:blind source separation),是信號(hào)處理中一個(gè)傳統(tǒng)而又極具挑戰(zhàn)性的問(wèn)題,bss指僅從若干觀測(cè)到的混合信號(hào)中恢復(fù)出無(wú)法直接觀測(cè)的各個(gè)原始信號(hào)的過(guò)程,這里的“盲”,指源信號(hào)不可測(cè),混合系統(tǒng)特性事先未知這兩個(gè)方面。在研究和工程應(yīng)用中,很多觀測(cè)信號(hào)都可以看成是多個(gè)源信號(hào)的混合,所謂“雞尾酒會(huì)”問(wèn)題就是個(gè)典型的例子。其中獨(dú)立分量分析ica(independent component analysis)是一種盲源信號(hào)分離方法,它已成為陣列信號(hào)處理和數(shù)據(jù)分析的有力工具,而bss比ica適用范圍更寬。目前國(guó)內(nèi)對(duì)盲信號(hào)分離問(wèn)題的研究,在理論和應(yīng)用方面取得了很大的進(jìn)步,但是還有很多的問(wèn)題有待進(jìn)一步研究和解決。盲源分離是指在信號(hào)的理論模型和源信號(hào)無(wú)法精確獲知的情況下,如何從混迭信號(hào)(觀測(cè)信號(hào))中分離出各源信號(hào)的過(guò)程。盲源分離和盲辨識(shí)是盲信號(hào)處理的兩大類(lèi)型。盲源分離的目的是求得源信號(hào)的最佳估計(jì),盲辨識(shí)的目的是求得傳輸通道混合矩陣。盲源信號(hào)分離是一種功能強(qiáng)大的信號(hào)處理方法,在醫(yī)學(xué)信號(hào)處理,陣列信號(hào)處理,語(yǔ)音信號(hào)識(shí)別,圖像處理及移動(dòng)通信等領(lǐng)域得到了廣泛的應(yīng)用。

    根據(jù)源信號(hào)在傳輸信道中的混合方式不同,盲源分離算法分為以下三種模型:線性瞬時(shí)混合模型、線性卷積混合模型以及非線性混合模型。

    1.1 線性瞬時(shí)混合盲源分離

    線性瞬時(shí)混合盲源分離技術(shù)是一項(xiàng)產(chǎn)生、研究最早,最為簡(jiǎn)單,理論較為完善,算法種類(lèi)多的一種盲源分離技術(shù),該技術(shù)的分離效果、分離性能會(huì)受到信噪比的影響。盲源分離理論是由雞尾酒會(huì)效應(yīng)而被人們提出的,雞尾酒會(huì)效應(yīng)指的是雞尾酒會(huì)上,有聲、談話聲、腳步 聲、酒杯餐具的碰撞聲等,當(dāng)某人的注意集中于欣賞音樂(lè)或別人的談話,對(duì)周?chē)泥须s聲音充耳不聞時(shí),若在另一處有人提到他的名字,他會(huì)立即有所反應(yīng),或者朝 說(shuō)話人望去,或者注意說(shuō)話人下面說(shuō)的話等。該效應(yīng)實(shí)際上是聽(tīng)覺(jué)系統(tǒng)的一種適應(yīng)能力。當(dāng)盲源分離理論提出后很快就形成了線性瞬時(shí)混合模型。線性瞬時(shí)混合盲源分離技術(shù)是對(duì)線性無(wú)記憶系統(tǒng)的反應(yīng),它是將n個(gè)源信號(hào)在線性瞬時(shí)取值混合后,由多個(gè)傳感器進(jìn)行接收的分離模型。

    20世紀(jì)八、九十年代是盲源技術(shù)迅猛發(fā)展的時(shí)期,在1986年由法國(guó)和美國(guó)學(xué)者共同完了將兩個(gè)相互獨(dú)立的源信號(hào)進(jìn)行混合后實(shí)現(xiàn)盲源分離的工作,這一工作的成功開(kāi)啟了盲源分離技術(shù)的發(fā)展和完善。在隨后的數(shù)十年里對(duì)盲源技術(shù)的研究和創(chuàng)新不斷加深,在基礎(chǔ)理論的下不斷有新的算法被提出和運(yùn)用,但先前的算法不能夠完成對(duì)兩個(gè)以上源信號(hào)的分離;之后在1991年,法國(guó)學(xué)者首次將神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用到盲源分離問(wèn)題當(dāng)中,為盲源分離提出了一個(gè)比較完整的框架。到了1995年在神經(jīng)網(wǎng)絡(luò)技術(shù)基礎(chǔ)上盲源分離技術(shù)有了突破性的進(jìn)展,一種最大化的隨機(jī)梯度學(xué)習(xí)算法可以做到同時(shí)分辨出10人的語(yǔ)音,大大推動(dòng)了盲源分離技術(shù)的發(fā)展進(jìn)程。

    1.2 線性卷積混合盲源分離

    相比瞬時(shí)混合盲源分離模型來(lái)說(shuō),卷積混合盲源分離模型更加復(fù)雜。在線性瞬時(shí)混合盲源分離技術(shù)不斷發(fā)展應(yīng)用的同時(shí),應(yīng)用中也有無(wú)法準(zhǔn)確估計(jì)源信號(hào)的問(wèn)題出現(xiàn)。常見(jiàn)的是在通信系統(tǒng)中的問(wèn)題,通信系統(tǒng)中由于移動(dòng)客戶在使用過(guò)程中具有移動(dòng)性,移動(dòng)用戶周?chē)⑸潴w會(huì)發(fā)生相對(duì)運(yùn)動(dòng),或是交通工具發(fā)生的運(yùn)動(dòng)都會(huì)使得源信號(hào)在通信環(huán)境中出現(xiàn)時(shí)間延遲的現(xiàn)象,同時(shí)還造成信號(hào)疊加,產(chǎn)生多徑傳輸。正是因?yàn)檫@樣問(wèn)題的出現(xiàn),使得觀測(cè)信號(hào)成為源信號(hào)與系統(tǒng)沖激響應(yīng)的卷積,所以研究學(xué)者將信道環(huán)境抽象成為線性卷積混合盲源分離模型。線性卷積混合盲源分離模型按照其信號(hào)處理空間域的不同可分為時(shí)域、頻域和子空間方法。

    1.3 非線性混合盲源分離

    非線性混合盲源分離技術(shù)是盲源分離技術(shù)中發(fā)展、研究最晚的一項(xiàng),許多理論和算法都還不算成熟和完善。在衛(wèi)星移動(dòng)通信系統(tǒng)中或是麥克風(fēng)錄音時(shí),都會(huì)由于乘性噪聲、放大器飽和等因素的影響造成非線性失真。為此,就要考慮非線性混合盲源分離模型。非線性混合模型按照混合形式的不同可分為交叉非線性混合、卷積后非線性混合和線性后非線性混合模型三種類(lèi)型。在最近幾年里非線性混合盲源分離技術(shù)受到社會(huì)各界的廣泛關(guān)注,特別是后非線性混合模型。目前后非線性混合盲源分離算法中主要有參數(shù)化方法、非參數(shù)化方法、高斯化方法來(lái)抵消和補(bǔ)償非線性特征。

    2.無(wú)線通信技術(shù)中的盲源分離技術(shù)

    在無(wú)線通信系統(tǒng)中通信信號(hào)的信號(hào)特性參數(shù)復(fù)雜多變,實(shí)現(xiàn)盲源分離算法主要要依據(jù)高階累積量和峭度兩類(lèi)參數(shù)。如圖一所示,這是幾個(gè)常見(jiàn)的通信信號(hào)高階累積量。

    在所有的通信系統(tǒng)中,接收設(shè)備處總是會(huì)出現(xiàn)白色或是有色的高斯噪聲,以高階累積量為準(zhǔn)則的盲源分離技術(shù)在處理這一問(wèn)題時(shí)穩(wěn)定性較強(qiáng),更重要的是對(duì)不可忽略的加性高斯白噪聲分離算法同時(shí)適用。因此,由高階累積量為準(zhǔn)則的盲源分離算法在通信系統(tǒng)中優(yōu)勢(shì)明顯。

    分離的另一個(gè)判據(jù)就是峭度,它是反映某個(gè)信號(hào)概率密度函數(shù)分布情況與高斯分布的偏離程度的函數(shù)。峭度是由信號(hào)的高階累積量定義而來(lái)的,是度量信號(hào)概率密度分布非高斯性大小的量值。