本發(fā)明屬于圖像處理及人工智能，具體涉及到用于破損古畫(huà)的破損位置檢測(cè)方法。

背景技術(shù)：

1、古代字畫(huà)的破損檢測(cè)是對(duì)古畫(huà)圖像中的破損區(qū)域進(jìn)行自動(dòng)檢測(cè)標(biāo)注，在原始圖像中用線條組成的矩形框標(biāo)注出不同破損在古畫(huà)中的位置，其中每個(gè)矩形框包含位置、大小等信息。傳統(tǒng)的古畫(huà)破損檢測(cè)方法，需要借助人為識(shí)別，在針對(duì)古畫(huà)進(jìn)行識(shí)別時(shí)，由于其檢測(cè)目標(biāo)的特殊性，難以準(zhǔn)確識(shí)別和理解古畫(huà)中的背景與破損的區(qū)別。這主要是由于古畫(huà)具有豐富的細(xì)節(jié)、線條和色彩，以及獨(dú)特的繪畫(huà)風(fēng)格，需要計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)技術(shù)來(lái)進(jìn)行有效的檢測(cè)。

2、現(xiàn)有的深度學(xué)習(xí)方法，如faster?r-cnn、single?shot?multibox?detector(ssd)等模型，具有較高的準(zhǔn)確性，但在檢測(cè)古畫(huà)破損區(qū)域上，卻因?yàn)闊o(wú)法充分理解古畫(huà)的色彩和線條信息而存在一定的局限性。具體來(lái)說(shuō)，這類目標(biāo)檢測(cè)方法通常分為兩個(gè)階段：候選區(qū)域生成和目標(biāo)分類。而單階段目標(biāo)檢測(cè)器，如single?shot?multibox?detector模型，直接在輸入圖像上進(jìn)行密集預(yù)測(cè)，避免了復(fù)雜的候選區(qū)域生成過(guò)程。然而，古畫(huà)中的破損、霉變、缺失等原因，超出了single?shot?multibox?detector模型的設(shè)計(jì)范圍，導(dǎo)致其無(wú)法有效進(jìn)行檢測(cè)。對(duì)于古畫(huà)破損的檢測(cè)，由于破損古畫(huà)的藝術(shù)性和復(fù)雜性，導(dǎo)致對(duì)于古畫(huà)這種有豐富藝術(shù)風(fēng)格和多種復(fù)雜情況的圖像變得十分困難。

3、在古畫(huà)破損檢測(cè)領(lǐng)域，當(dāng)前迫切需要解決的一個(gè)技術(shù)問(wèn)題是將能夠讓計(jì)算機(jī)自動(dòng)地實(shí)現(xiàn)古畫(huà)破損復(fù)雜信息的自動(dòng)檢測(cè)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問(wèn)題在于克服上述現(xiàn)有技術(shù)的缺點(diǎn)，提供一種檢測(cè)速度快、精度高的古畫(huà)破損的檢測(cè)方法。

2、解決上述技術(shù)問(wèn)題所采用的技術(shù)方案步驟如下：

3、(1)收集古畫(huà)破損圖像

4、從在線的數(shù)字博物館中獲取中國(guó)古代包含破損的原始電子圖像，調(diào)整為高h(yuǎn)、寬w為512×512像素的古畫(huà)破損圖像。

5、(2)構(gòu)建古畫(huà)破損檢測(cè)數(shù)據(jù)集

6、將選取的古畫(huà)破損圖像采用智能交互式檢測(cè)標(biāo)注軟件labelimg，按軟件的使用方法對(duì)古畫(huà)破損圖像進(jìn)行標(biāo)注，得到包含每張古畫(huà)破損圖片中破損區(qū)域位置信息的txt文件以及class信息。

7、(3)劃分?jǐn)?shù)據(jù)集

8、將標(biāo)注的古畫(huà)破損圖像按照8：1：1劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。

9、(4)構(gòu)建古畫(huà)破損檢測(cè)網(wǎng)絡(luò)

10、古畫(huà)破損檢測(cè)網(wǎng)絡(luò)由特征提取網(wǎng)絡(luò)與特征融合模塊1、信息分發(fā)聚集模塊依次串聯(lián)構(gòu)成。

11、所述的特征融合模塊1由主干單元與head單元、注意力融合模塊依次串聯(lián)構(gòu)成。

12、所述的信息分發(fā)聚集模塊由特征對(duì)齊模塊與特征融合模塊2、注入模塊依次串聯(lián)構(gòu)成。

13、(5)提取古畫(huà)破損圖像特征

14、按下式提取古畫(huà)破損圖像特征φ(i)：

15、φ(i)＝fb(i,θb)

16、其中，fb是特征提取網(wǎng)絡(luò)，i是訓(xùn)練集中的破損圖片，θb是特征提取網(wǎng)絡(luò)的參數(shù)，包括權(quán)重和偏置。

17、(6)訓(xùn)練古畫(huà)破損檢測(cè)網(wǎng)絡(luò)

18、1)構(gòu)建損失函數(shù)

19、按下式構(gòu)建損失函數(shù)

20、

21、

22、其中，iou為預(yù)測(cè)框與真實(shí)框的重合面積比，并以此得到置信閾值，w、h為輸入圖像的高和寬，a為真實(shí)框，b為預(yù)測(cè)框，分別為預(yù)測(cè)框的左上角和右下角的坐標(biāo)，分別為真實(shí)框左上角和右下角的坐標(biāo)。

23、2)訓(xùn)練古畫(huà)破損檢測(cè)網(wǎng)絡(luò)

24、將訓(xùn)練集輸入到古畫(huà)破損檢測(cè)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，訓(xùn)練的服務(wù)器顯卡為rtx?3090，初始學(xué)習(xí)率為0.01，訓(xùn)練輪數(shù)為200，訓(xùn)練的批尺寸大小為32，通過(guò)驗(yàn)證集優(yōu)化損失函數(shù)，訓(xùn)練至損失函數(shù)收斂。

25、(7)測(cè)試古畫(huà)破損檢測(cè)網(wǎng)絡(luò)

26、將測(cè)試集輸入到訓(xùn)練后的古畫(huà)破損檢測(cè)網(wǎng)絡(luò)中進(jìn)行測(cè)試，對(duì)圖像中破損的位置進(jìn)行檢測(cè)，輸出帶有標(biāo)簽的矩形框，標(biāo)注出圖像中破損的位置。

27、在本發(fā)明的步驟(4)構(gòu)建古畫(huà)破損檢測(cè)網(wǎng)絡(luò)中，所述的主干單元由1～4個(gè)動(dòng)態(tài)卷積模塊與1～4個(gè)跨層鏈接模塊串聯(lián)構(gòu)成。

28、本發(fā)明的動(dòng)態(tài)卷積模塊由動(dòng)態(tài)卷積層1與拓?fù)浼s束層、relu激活函數(shù)層依次串聯(lián)構(gòu)成。

29、本發(fā)明的跨層鏈接模塊由卷積層1與block層、拼接層1依次串聯(lián)構(gòu)成。

30、在本發(fā)明的步驟(4)構(gòu)建古畫(huà)破損檢測(cè)網(wǎng)絡(luò)中，所述的特征對(duì)齊模塊由動(dòng)態(tài)卷積層2與平均池化層、transformer模塊依次串聯(lián)構(gòu)成。

31、在本發(fā)明的步驟(4)構(gòu)建古畫(huà)破損檢測(cè)網(wǎng)絡(luò)中，所述的注入模塊由動(dòng)態(tài)卷積層3與雙線性插值層、repblock層依次串聯(lián)構(gòu)成。

32、由于本發(fā)明古畫(huà)破損檢測(cè)網(wǎng)絡(luò)采用了動(dòng)態(tài)自適應(yīng)卷積和全局信息融合模塊，實(shí)現(xiàn)了對(duì)破損古畫(huà)圖像中的破損區(qū)域進(jìn)行檢測(cè)，解決了現(xiàn)有技術(shù)對(duì)古畫(huà)破損檢測(cè)不準(zhǔn)確、不貼合的技術(shù)問(wèn)題，能有效地識(shí)別和定位古畫(huà)破損區(qū)域的位置信息，可以自適應(yīng)調(diào)整預(yù)測(cè)框，識(shí)別不同類型的古畫(huà)破損位置，提高了網(wǎng)絡(luò)的檢測(cè)精度以及感知識(shí)別能力。本發(fā)明具有檢測(cè)速度快、精度高等優(yōu)點(diǎn)，可用于計(jì)算機(jī)檢測(cè)古畫(huà)破損。

技術(shù)特征：

1.一種古畫(huà)破損的檢測(cè)方法，其特征在于由下述步驟組成：

2.根據(jù)權(quán)利要求1所述的古畫(huà)破損的檢測(cè)方法，其特征在于：在步驟(4)構(gòu)建古畫(huà)破損檢測(cè)網(wǎng)絡(luò)中，所述的主干單元由1～4個(gè)動(dòng)態(tài)卷積模塊與1～4個(gè)跨層鏈接模塊串聯(lián)構(gòu)成。

3.根據(jù)權(quán)利要求2所述的古畫(huà)破損的檢測(cè)方法，其特征在于：所述的動(dòng)態(tài)卷積模塊由動(dòng)態(tài)卷積層1與拓?fù)浼s束層、relu激活函數(shù)層依次串聯(lián)構(gòu)成。

4.根據(jù)權(quán)利要求2所述的古畫(huà)破損的檢測(cè)方法，其特征在于：所述的跨層鏈接模塊由卷積層1與block層、拼接層1依次串聯(lián)構(gòu)成。

5.根據(jù)權(quán)利要求1所述的古畫(huà)破損的檢測(cè)方法，其特征在于：在步驟(4)構(gòu)建古畫(huà)破損檢測(cè)網(wǎng)絡(luò)中，所述的特征對(duì)齊模塊由動(dòng)態(tài)卷積層2與平均池化層、transformer模塊依次串聯(lián)構(gòu)成。

6.根據(jù)權(quán)利要求1所述的古畫(huà)破損的檢測(cè)方法，其特征在于：在步驟(4)構(gòu)建古畫(huà)破損檢測(cè)網(wǎng)絡(luò)中，所述的注入模塊由動(dòng)態(tài)卷積層3與雙線性插值層、repblock層依次串聯(lián)構(gòu)成。

技術(shù)總結(jié)
一種古畫(huà)破損的檢測(cè)方法，由收集古畫(huà)破損圖像、構(gòu)建古畫(huà)破損檢測(cè)數(shù)據(jù)集、劃分?jǐn)?shù)據(jù)集、構(gòu)建古畫(huà)破損檢測(cè)網(wǎng)絡(luò)、提取古畫(huà)破損圖像特征、訓(xùn)練古畫(huà)破損檢測(cè)網(wǎng)絡(luò)、測(cè)試古畫(huà)破損檢測(cè)網(wǎng)絡(luò)步驟組成。由于本發(fā)明采用動(dòng)態(tài)自適應(yīng)卷積和全局信息融合模塊，實(shí)現(xiàn)了對(duì)破損古畫(huà)圖像中的破損區(qū)域進(jìn)行檢測(cè)，解決了現(xiàn)有技術(shù)對(duì)古畫(huà)破損檢測(cè)不準(zhǔn)確、不貼合的技術(shù)問(wèn)題，能有效地識(shí)別和定位古畫(huà)破損區(qū)域的位置信息，可以自適應(yīng)調(diào)整預(yù)測(cè)框，識(shí)別不同類型的古畫(huà)破損位置，提高了網(wǎng)絡(luò)的檢測(cè)精度以及感知識(shí)別能力。本發(fā)明具有檢測(cè)速度快、精度高等優(yōu)點(diǎn)，可用于計(jì)算機(jī)檢測(cè)古畫(huà)破損。

技術(shù)研發(fā)人員：孫增國(guó),毛魏彬,吳曉軍
受保護(hù)的技術(shù)使用者：陜西師范大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6