本發(fā)明屬于人工智能和神經生物學領域，具體涉及到一種深度神經網絡拓撲結構約束學習方法。

背景技術：

1、深度神經網絡研究中的一些關鍵概念可以追溯到大腦的研究，其研究經常從神經科學領域獲得靈感。目前，這些靈感主要集中在網絡的功能結構，視覺表征的相似性，或者網絡訓練過程的生物合理性等方面。也有一些研究以生物網絡拓撲為啟發(fā)，但主要集中在神經網絡拓撲與生物腦網絡拓撲的抽象相似性上。例如，使用與生物腦網絡具有抽象相似性的拓撲結構構建神經網絡，而不是手工設計構建人工神經網絡，如watts-strogatz模型或barabási-albert模型。

2、雖然這些方法利用了生物大腦的網絡拓撲，但它們只是在抽象的層面上，并沒有納入生物大腦網絡拓撲的真實神經數據。大腦具有典型的全局網絡，包括模塊化和短路徑長度，這反映了大腦不同區(qū)域的神經元群體如何相互連接。計算神經科學也證實了大腦網絡是認知的基礎，生物大腦高度結構化的網絡拓撲結構是重要的先驗知識，這些先驗知識也許能夠用于提升神經網絡的工程性能。然而，目前缺乏將神經生理學記錄直接轉化為人工神經網絡改進的技術。因此，如何將真正的生物大腦拓撲數據整合到人工神經網絡中，并提升人工神經網絡的性能，仍然是一個亟待解決的問題。

技術實現(xiàn)思路

1、針對上述存在的問題或不足，本發(fā)明提供了一種深度神經網絡拓撲結構約束學習方法，旨在解決目前缺乏將神經生理學記錄直接整合到人工神經網絡中的技術，以提升人工神經網絡的性能。

2、一種深度神經網絡拓撲結構約束學習方法，具體步驟如下：

3、步驟1、獲取生物腦拓撲矩陣數據并搭建深度神經網絡模型。

4、對獲取的靜息態(tài)功能磁共振數據進行預處理。

5、基于腦分區(qū)模板將預處理后的數據劃分為m個腦區(qū)，m的取值范圍為[2,116]，通過計算不同腦區(qū)之間的皮爾遜相關系數得到生物腦拓撲矩陣bm×m。其中矩陣bm×m中第i行第j列元素(即第i個腦區(qū)與第j個腦區(qū)的皮爾遜相關系數)的計算式為：

6、

7、式中ti和tj分別為第i腦區(qū)與第j腦區(qū)的時間序列，與分別為第i腦區(qū)與第j腦區(qū)時間序列的平均值。

8、采用rnns循環(huán)神經網絡作為深度神經網絡的模型，由輸入層、隱藏層和輸出層組成。其隱藏層的狀態(tài)方程為：

9、ct＝wihxt+bih+whhrt-1+bhh，rt＝fh(ct)

10、輸出層的輸出方程為：

11、yt＝fy(wyrt+by)

12、其中ct為神經元在時間t的狀態(tài)變量，wih、whh和wy分別是輸入層、隱藏層以及輸出層的神經元連接權值矩，xt是rnns在時間t的輸入，rt是隱藏層在時間t的神經活動，bih、bhh和by分別是輸入層、隱藏層以及輸出層的的偏置項，yt是rnns在時間t的輸出，fh(·)和fy(·)分別是隱藏層和輸出層的激活函數。

13、進一步的，所述rnns循環(huán)神經網絡：輸入層神經元數量為2，第一個神經元n1用于接收任務的一維向量，第二個神經元n2用于接收狀態(tài)指令；當n2接收0時表示模型處于認知任務的刺激展示階段，接收1時表示模型處于認知任務的反應階段。隱藏層神經元數量與腦區(qū)數量相同，為m個。輸出層神經元數量為3，輸出3種標簽，定義為1、0、-1；1表示在認知任務反應階段輸出為匹配，-1表示在認知任務反應階段輸出為不匹配，0表示認知任務刺激展示階段(非反應階段)的輸出標簽。

14、步驟2、使用生物腦拓撲結構約束神經網絡的學習過程進而訓練模型。

15、將生物實驗中采用的認知任務實驗范式用于訓練步驟1搭建的深度神經網絡，以執(zhí)行生命科學領域的工作記憶任務。訓練時，深度神經網絡的輸入依次為：

16、隨機生成數a輸入到輸入神經元n1，同時將0輸入到神經元n2，此階段為刺激展示階段；

17、接著，隨機生成數b輸入到輸入神經元n1，同時將0輸入到神經元n2，此階段為刺激展示階段；

18、接著，隨機生成數c輸入到輸入神經元n1，同時將1輸入到神經元n2，此階段為反應階段；

19、上述輸入流程中，相對應的模型正確輸出為：若隨機生成數c和隨機生成數a相同，則模型反應階段應該輸出標簽1，表示匹配；若隨機生成數c和隨機生成數a不相同，則模型反應階段應該輸出標簽-1，表示不匹配；在刺激展示階段，模型應該輸出標簽0。

20、隨機生成d次上述隨機生成數a、b、c，組成d個上述認知任務作為訓練集用于訓練神經網絡。

21、同時，隨機生成e次上述隨機生成數a、b、c，組成e個上述認知任務作為測試集用于測試訓練完成的神經網絡的性能。

22、在使用d個上述認知任務作為訓練集來訓練神經網絡時，使用反向傳播算法更新神經網絡參數，反向傳播算法的損失函數同時包含負對數似然損失costtask與拓撲矩陣相似度損失costsimilarity，具體定義為：

23、cost＝costtask+αcostsimilarity

24、costtask＝logp(yi|xi)

25、

26、其中，α為可調參數；p(yi|xi)表示神經網絡輸入為xi時，輸出為正確輸出yi的概率；為bm×m矩陣的均值，為whh矩陣的均值。

27、訓練時，批大小為batch≥32，迭代次數為epoch≥100。迭代次數達到epoch后，則訓練完成，分別將e個上述作為測試集的認知任務的輸入數據輸入到神經網絡的輸入層中，統(tǒng)計對應的神經網絡實際輸出等于正確輸出的次數為corrt，則正確率為corrt/e；同時計算訓練完成后的costsimilarity，作為神經網絡與生物腦在拓撲結構上的相似性。上述兩指標作為神經網絡最終的性能參數。

28、進一步的，所述步驟1的預處理方法以及目的依次是：去時間點(避免初始化時間階段的影響)、時間層矯正(提高信號的時間一致性)、頭動矯正(減少由于頭動引起的偽影)、空間標準化(轉換到標準空間便于不同個體數據的比較)、平滑(減少信號噪聲提高信噪比)、去線性漂移(減少偽信號的影響)和濾波(去除噪聲和不相關的頻率成分)。

29、進一步的，所述步驟2中反向傳播算法采用梯度下降算法對循環(huán)層(神經網絡參數)進行迭代更新，梯度下降算法的公式為：

30、

31、其中θk表示第k次迭代時神經網絡的參數集合，cost(θk)表示損失函數cost針對θk的具體表示，ir表示網絡學習率。

32、進一步的，網絡學習率控制著每次迭代更新參數的幅度，過高或過低的學習率都會降低模型的訓練效果。本發(fā)明在迭代訓練過程中，對學習率進行衰減，以此提高網絡訓練效率，所述網絡學習率ir衰減公式為：

33、

34、綜上所述，本發(fā)明通過神經網絡訓練的目標是最小化損失函數，在損失函數中加入了衡量神經網絡拓撲矩陣與生物拓撲矩陣(神經生理學記錄)相似度的指標，以最小化負對數似然損失和最小化拓撲矩陣相似度損失，因此模型訓練后會使神經網絡的拓撲矩陣偏向于生物拓撲矩陣，從而實現(xiàn)將神經生理學記錄直接整合到人工神經網絡的技術，填補了將神經生理學記錄直接轉化為人工神經網絡改進的技術空白，從而提升神經網絡的工程性能。