两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

一種共享存儲系統(tǒng)及其使用方法

文檔序號:6621240閱讀:230來源:國知局
一種共享存儲系統(tǒng)及其使用方法
【專利摘要】本發(fā)明提供了一種共享存儲系統(tǒng)及其使用方法,包括:第一SATA協(xié)議解析模塊接收CPU發(fā)送的SATA指令進(jìn)行解析;鏈路仲裁模塊將SATA指令逐一發(fā)送至地址映射模塊;地址映射模塊,確定該SATA指令中指示存儲的地址空間為NandFlash,將SATA指令發(fā)送至PCIe硬核;確定該SATA指令中指示存儲的地址空間為硬盤后,將SATA指令發(fā)送至第二SATA協(xié)議解析模塊。PCIe硬核對地址映射模塊發(fā)來的SATA指令進(jìn)行封裝,并發(fā)送至NandFlash控制器;第二SATA協(xié)議解析模塊對地址映射模塊發(fā)來的SATA指令進(jìn)行封裝,并發(fā)送至硬盤。本發(fā)明實現(xiàn)了存儲體的合理異構(gòu),存儲資源的合理分配。
【專利說明】
一種共享存儲系統(tǒng)及其使用方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機【技術(shù)領(lǐng)域】,特別涉及一種共享存儲系統(tǒng)及其使用方法。

【背景技術(shù)】
[0002]現(xiàn)有技術(shù)中不存在多CPU共享存儲的技術(shù)。大部分高性能計算領(lǐng)域仍然采用一個CPU對一塊硬盤的設(shè)計方式,或者采用內(nèi)存條代替硬盤與CPU相連的設(shè)計方式。
[0003]現(xiàn)有技術(shù)的不足在于:
[0004]服務(wù)器存在較多CPU時,采用一個CPU對一塊硬盤的設(shè)計方式,一個CPU帶一塊硬盤,則需要較多的硬盤,而一臺高性能服務(wù)器帶幾百個硬盤,會使服務(wù)器體積龐大,存儲資源過剩,是不合理的。而采用內(nèi)存條代替硬盤與CPU相連的設(shè)計方式,不僅耗資巨大,而且資源不能靈活合理分配。
[0005]并且采用普通機械硬盤搭建多CPU共享存儲系統(tǒng),由于機械硬盤尋道時間長,速率低,無法滿足眾多CPU對數(shù)據(jù)讀取速率的要求。


【發(fā)明內(nèi)容】

[0006]本發(fā)明提出了一種共享存儲系統(tǒng)及其使用方法,用以共享存儲,實現(xiàn)存儲資源的動態(tài)合理分配,提高了存儲資源利用率。
[0007]本發(fā)明實施例中提供了一種共享存儲系統(tǒng),包括:至少一個第一 SATA指令解析模塊、鏈路仲裁模塊、地址映射模塊、第二 SATA協(xié)議解析模塊、以及PCIe硬核;其中:
[0008]第一 SATA協(xié)議解析模塊,用于分別與相對應(yīng)的CPU相連,接收CPU發(fā)送的SATA指令,對SATA指令進(jìn)行解析,并將該指令發(fā)送至鏈路仲裁模塊;
[0009]鏈路仲裁模塊,用于將第一 SATA協(xié)議解析模塊發(fā)來的SATA指令逐一發(fā)送至地址映射模塊;
[0010]地址映射模塊,用于接收鏈路仲裁模塊發(fā)來的SATA指令,在確定該SATA指令中指示存儲的地址空間為NandFlash后,將SATA指令發(fā)送至PCIe硬核;在確定該SATA指令中指示存儲的地址空間為硬盤后,將SATA指令發(fā)送至第二 SATA協(xié)議解析模塊;其中,所指示存儲的地址空間是分配給發(fā)出SATA指令的CPU的地址空間;
[0011]PCIe硬核,用于與NandFlash相連,對地址映射模塊發(fā)來的SATA指令進(jìn)行封裝,并發(fā)送至 NandFlash ;
[0012]第二 SATA協(xié)議解析模塊,用于與硬盤相連,對地址映射模塊發(fā)來的SATA指令進(jìn)行封裝,并發(fā)送至硬盤。
[0013]本發(fā)明實施例中提供了一種共享存儲系統(tǒng)的使用方法,包括以下步驟:
[0014]第一 SATA協(xié)議解析模塊分別與相對應(yīng)的CPU相連,接收CPU發(fā)送的SATA指令,對SATA指令進(jìn)行解析,并將該指令發(fā)送至鏈路仲裁模塊;
[0015]鏈路仲裁模塊將第一 SATA協(xié)議解析模塊發(fā)來的SATA指令逐一發(fā)送至地址映射模塊;
[0016]地址映射模塊接收鏈路仲裁模塊發(fā)來的SATA指令,在確定該SATA指令中指示存儲的地址空間為NandFlash后,將SATA指令發(fā)送至PCIe硬核;在確定該SATA指令中指示存儲的地址空間為硬盤后,將SATA指令發(fā)送至第二 SATA協(xié)議解析模塊;其中,所指示存儲的地址空間是分配給發(fā)出SATA指令的CPU的地址空間;
[0017]PCIe硬核與NandFlash相連,對地址映射模塊發(fā)來的SATA指令進(jìn)行封裝,并發(fā)送至 NandFlash ;
[0018]第二 SATA協(xié)議解析模塊與硬盤相連,對地址映射模塊發(fā)來的SATA指令進(jìn)行封裝,并發(fā)送至硬盤或內(nèi)存條。
[0019]本發(fā)明的有益效果為:
[0020]現(xiàn)有共享存儲指采用一個CPU帶一塊硬盤的設(shè)計方式,導(dǎo)致服務(wù)器帶較多個硬盤,會使服務(wù)器體積龐大,存儲資源過剩。即使采用內(nèi)存條代替硬盤與CPU相連的設(shè)計方式,也存在耗資巨大,且資源不能靈活合理分配的問題。并且,采用普通機械硬盤搭建多CPU共享存儲系統(tǒng),由于機械硬盤尋道時間長,速率低,無法滿足眾多CPU對數(shù)據(jù)讀取速率的要求。
[0021]本發(fā)明提供的技術(shù)方案中,第一 SATA協(xié)議解析模塊接收CPU發(fā)送的SATA指令,對SATA指令進(jìn)行解析,并將該指令發(fā)送至鏈路仲裁模塊;鏈路仲裁模塊將SATA指令逐一發(fā)送至地址映射模塊;地址映射模塊,在確定該SATA指令中指示存儲的地址空間為NandFlash后,將SATA指令發(fā)送至PCIe硬核;在確定該SATA指令中指示存儲的地址空間為硬盤后,將SATA指令發(fā)送至第二 SATA協(xié)議解析模塊;該指示存儲的地址空間是分配給發(fā)出SATA指令的CPU的地址空間。PCIe硬核對地址映射模塊發(fā)來的SATA指令進(jìn)行封裝,并發(fā)送至NandFlash控制器;第二 SATA協(xié)議解析模塊對地址映射模塊發(fā)來的SATA指令進(jìn)行封裝,并發(fā)送至硬盤。
[0022]采用本發(fā)明實施例中提供的技術(shù)方案,在存儲時,將NandFlash與硬盤結(jié)合使用,可根據(jù)不同CPU需求存儲在不同的存儲介質(zhì)中,實現(xiàn)存儲體的合理異構(gòu),實現(xiàn)了存儲資源的合理分配,提高了存儲資源利用率。

【專利附圖】

【附圖說明】
[0023]下面將參照附圖描述本發(fā)明的具體實施例,其中:
[0024]圖1為本發(fā)明實施例中提供的共享存儲系統(tǒng)的結(jié)構(gòu)示意圖。
[0025]圖2為本發(fā)明實施例中提供的共享存儲系統(tǒng)的第一實施例的結(jié)構(gòu)示意圖。
[0026]圖3為本發(fā)明實施例中提供的共享存儲系統(tǒng)使用方法的流程示意圖。

【具體實施方式】
[0027]為了使本發(fā)明的技術(shù)方案及優(yōu)點更加清楚明白,以下結(jié)合附圖對本發(fā)明的示例性實施例進(jìn)行進(jìn)一步詳細(xì)的說明,顯然,所描述的實施例僅是本發(fā)明的一部分實施例,而不是所有實施例的窮舉。
[0028]發(fā)明人在發(fā)明過程中注意到:
[0029]現(xiàn)在市場不存在多CPU共享存儲的技術(shù),大部分高性能計算領(lǐng)域仍然采用一個CPU對一塊硬盤的設(shè)計方式,以此來平衡CPU的高帶寬和硬盤的低存取速率之間的差距。相應(yīng)的技術(shù)如:RAID控制器,PCIe switch擴展硬盤接口。如果一個服務(wù)器有幾百個CPU,按照現(xiàn)有技術(shù),一個CPU帶一塊硬盤,則需要幾百個硬盤,一臺高性能服務(wù)器帶幾百個硬盤,會使服務(wù)器體積龐大,存儲資源過剩,是不合理的。而為了使整機運算速度快,體積小,采用內(nèi)存條代替硬盤與CPU相連的設(shè)計方式,不僅耗資巨大,而且資源不能靈活合理分配。
[0030]并且采用普通機械硬盤搭建多CPU共享存儲系統(tǒng),由于機械硬盤尋道時間長,速率低,無法滿足眾多CPU對數(shù)據(jù)讀取速率的要求。
[0031]針對上述不足,本發(fā)明實施例中提供了一種共享存儲系統(tǒng)及其使用方法,下面進(jìn)行說明。
[0032]圖1為本發(fā)明實施例中提供的共享存儲系統(tǒng)的結(jié)構(gòu)示意圖。如圖1所示,可以包括至少一個第一 SATA指令解析模塊(如圖1所示,標(biāo)記為1011、1012至101N)、鏈路仲裁模塊(如圖1所示,標(biāo)記為102)、地址映射模塊(如圖1所示,標(biāo)記為103)、第二 SATA協(xié)議解析模塊(如圖1所示,標(biāo)記為104)、以及PCIe硬核(如圖1所示,標(biāo)記為105);其中:
[0033]第一 SATA協(xié)議解析模塊,用于分別與相對應(yīng)的CPU相連,接收CPU發(fā)送的SATA指令,對SATA指令進(jìn)行解析,并將該指令發(fā)送至鏈路仲裁模塊;
[0034]鏈路仲裁模塊,用于將第一 SATA協(xié)議解析模塊發(fā)來的SATA指令逐一發(fā)送至地址映射模塊;
[0035]地址映射模塊,用于接收鏈路仲裁模塊發(fā)來的SATA指令,在確定該SATA指令中指示存儲的地址空間為NandFlash后,將SATA指令發(fā)送至PCIe硬核;在確定該SATA指令中指示存儲的地址空間為硬盤后,將SATA指令發(fā)送至第二 SATA協(xié)議解析模塊;其中,所指示存儲的地址空間是分配給發(fā)出SATA指令的CPU的地址空間;
[0036]PCIe硬核,用于與NandFlash相連,對地址映射模塊發(fā)來的SATA指令進(jìn)行封裝,并發(fā)送至 NandFlash ;
[0037]第二 SATA協(xié)議解析模塊,用于與硬盤相連,對地址映射模塊發(fā)來的SATA指令進(jìn)行封裝,并發(fā)送至硬盤。
[0038]具體實施中,可以采用更高速的存儲介質(zhì)替代機械硬盤。NandFlash可以滿足高速和容量可線性擴展的要求。
[0039]NandFlash作為存儲地址空間,讀取速度比普通機械硬盤有很大提高,可以很好的解塊共享存儲系統(tǒng)硬盤1瓶頸問題??梢詾楸景l(fā)明實施例提供首選存儲地址空間。目前市場上已經(jīng)有為NandFlash設(shè)計的文件系統(tǒng)YAFFS。也有廠家專門生產(chǎn)NandFlash控制器。利用現(xiàn)有的NandFlash控制器可以簡單快捷的實現(xiàn)對高性能云服務(wù)器共享存儲系統(tǒng)性能的優(yōu)化和提升。
[0040]由于NandFlash 的特殊性,不需要支持 SATA 的 NCQ (Native Command Queuing,原生命令隊列)操作,所以需要操作系統(tǒng)禁止NCQ模式。在SATA協(xié)議解析模塊中也不需要實現(xiàn)與NCQ有關(guān)的功能,大大降低了 SATA協(xié)議以及模塊的設(shè)計難度。除此之外,操作系統(tǒng)需要依據(jù)NandFlash容量和各個CPU的需求,為每個CPU動態(tài)的分配存儲空間。
[0041 ] 具體實施中,本發(fā)明實施例中地址映射模塊,可以管理一張地址映射表,該地址映射表不但可以實現(xiàn)多CPU共享一塊NandFlash,還支持多CPU共享多塊NandFlash控制器。同時,該地址映射模塊還可以根據(jù)不同CPU的需求選擇不同的存儲介質(zhì)。對于經(jīng)常執(zhí)行讀操作的CPU,選用Flash類型的存儲體,對于經(jīng)常執(zhí)行寫操作的CPU,選用硬盤或內(nèi)存條存儲,實現(xiàn)存儲體的合理異構(gòu)。
[0042]具體實施中,鏈路仲裁模塊可以選擇嚴(yán)格優(yōu)先序的、輪轉(zhuǎn)的或加權(quán)輪轉(zhuǎn)的仲裁方案對SATA指令進(jìn)行選取,實現(xiàn)對不同優(yōu)先級CPU的仲裁。鏈路仲裁模塊還可以對SATA指令序別排隊緩存,根據(jù)SATA指令到達(dá)時間先后和各個CPU優(yōu)先級的不同,依次輪詢或加權(quán)輪詢每一個存儲有SATA指令的隊列,取出指令并發(fā)送給地址映射模塊做處理。即可在高性能計算多CPU共享存儲的背景下,通過鏈路仲裁模塊,實現(xiàn)對不同優(yōu)先級CPU的存取操作的控制。使優(yōu)先級較高的CPU可以更快速的進(jìn)行數(shù)據(jù)的存取操作。
[0043]實施中,第一 SATA協(xié)議解析模塊還可以用于接收到CPU發(fā)送的SATA指令時,對SATA指令進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及解擾操作后,將其發(fā)送至鏈路仲裁模塊。
[0044]具體實施中,CPU和存儲介質(zhì)之間是串行進(jìn)行數(shù)據(jù)交互的。串行的數(shù)據(jù)一來頻率太高無法處理,再有就是都經(jīng)過了編碼和加擾操作,所以從CPU接收到的SATA指令可能無法直接進(jìn)行處理,因此,需對接收到的SATA指令進(jìn)行串并轉(zhuǎn)換,將串行數(shù)據(jù)變?yōu)椴⑿袛?shù)據(jù),并進(jìn)行8b/10b編碼轉(zhuǎn)換以及解擾操作,這樣才能得到可處理的SATA指令,然后將其發(fā)送至鏈路仲裁模塊。
[0045]實施中,第一 SATA協(xié)議解析模塊還可以用于對CPU發(fā)送的SATA指令進(jìn)行標(biāo)識;地址映射模塊還可以用于根據(jù)所述標(biāo)識確定發(fā)出SATA指令的CPU的地址空間。
[0046]具體實施中,第一 SATA協(xié)議解析模塊可以對接收到的SATA指令通過打包的方式來進(jìn)行標(biāo)識,也可以用標(biāo)記CPU的ID號的方式來進(jìn)行標(biāo)識,其目的是為了標(biāo)記是由哪個CPU發(fā)送的指令。標(biāo)識過的SATA指令傳送到地址映射模塊后,地址映射模塊就可以知道是哪個CPU的SATA指令,及對應(yīng)哪個地址空間。
[0047]第一 SATA協(xié)議解析模塊可以通過SATA接口與CPU互聯(lián),SATA接口符合SATA3.0規(guī)范,可以實現(xiàn)與各種支持SATA3.0規(guī)范的處理器互聯(lián),本發(fā)明實施例可以使用Intel XeonE3處理器。
[0048]實施中,地址映射模塊還可以用于通過修改SATA指令的地址域,將其映射到分配給該CPU的地址空間的方式來在SATA指令中指示存儲的地址空間。
[0049]實施中,第二 SATA協(xié)議解析模塊還可以用于在接收到地址映射模塊發(fā)來的SATA指令時,將SATA指令進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及加擾操作后,發(fā)送至硬盤。
[0050]具體實施中,按照協(xié)議規(guī)范,CPU和存儲介質(zhì)之間是串行進(jìn)行數(shù)據(jù)交互的。因此,需將SATA指令進(jìn)行串并轉(zhuǎn)換,將并行數(shù)據(jù)變?yōu)榇袛?shù)據(jù),并進(jìn)行8b/10b編碼轉(zhuǎn)換以及加擾操作,返回給硬盤。
[0051]實施中,PCIe硬核還可以用于在接收到地址映射模塊發(fā)來的SATA指令時,將SATA指令通過PCIe硬核封裝后,發(fā)送至NandFlash。
[0052]具體實施中,在發(fā)送至NandFlash之前,可以先發(fā)送至NandFlash控制器。NandFlash控制器可以選用憶恒創(chuàng)源PBlaze3PCIe加速卡,與本發(fā)明實施例中的共享存儲系統(tǒng)通過PCIe接口連接,另一端依據(jù)NandFlash標(biāo)準(zhǔn)接口連接Nandflash,其中包含高效的ECC算法。NandFlash控制器依據(jù)PICe硬核輸入的控制信息要求,基于NandFlash數(shù)據(jù)存取規(guī)范,實現(xiàn)Flash的擦除和讀寫操作。將相應(yīng)數(shù)據(jù)和狀態(tài)信息通過寄存器返回給PCIe硬核。其中,響應(yīng)結(jié)果可以包括:數(shù)據(jù)和狀態(tài)信息。
[0053]具體實施中,NandFlash控制器連接NandFlash存儲陣列,可通過位擴展的方式增加存儲容量,這種做法需要修改NandFlash控制器的地址位寬。也可將一個NandFlash控制器與NandFlash存儲陣列看成一組NandFlash對,復(fù)制多個NandFlash對,通過地址映射模塊將多個CPU與多個NandFlash對進(jìn)行映射。還可以利用PBlaze3加速卡,通過匹配不同類型琴鍵組成38種容量。這三種手段都可以靈活的增加系統(tǒng)的存儲容量,實現(xiàn)存儲資源的優(yōu)化配置。
[0054]實施中,PCIe硬核還可以用于在接收到NandFlash發(fā)來的響應(yīng)結(jié)果后,將響應(yīng)結(jié)果進(jìn)行解析,發(fā)送至地址映射模塊。
[0055]實施中,第二 SATA協(xié)議解析模塊還可以用于接收到硬盤發(fā)來的響應(yīng)結(jié)果后,將響應(yīng)結(jié)果進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及解擾操作后,發(fā)送至地址映射模塊。
[0056]具體實施中,如上所述,按照協(xié)議規(guī)范,CPU和存儲介質(zhì)之間是串行進(jìn)行數(shù)據(jù)交互的。因此,需將響應(yīng)結(jié)果進(jìn)行串并轉(zhuǎn)換,將并行數(shù)據(jù)變?yōu)榇袛?shù)據(jù),并進(jìn)行8b/10b編碼轉(zhuǎn)換以及加擾操作,返回給地址映射模塊。
[0057]實施中,地址映射模塊還可以用于通過修改響應(yīng)結(jié)果的地址域,將其反映射到分配給該CPU的地址空間的方式來在響應(yīng)結(jié)果中指示響應(yīng)的地址空間。
[0058]具體實施中,地址映射模塊可通過地址反映射,找出其對應(yīng)的CUP,并可通過打包的方式來進(jìn)行標(biāo)識,也可以用標(biāo)記CPU的ID號的方式來進(jìn)行標(biāo)識后,發(fā)送給鏈路仲裁模塊。
[0059]實施中,第二 SATA協(xié)議解析模塊還可以用于對硬盤發(fā)送的響應(yīng)結(jié)果進(jìn)行標(biāo)識;地址映射模塊還可以用于根據(jù)所述標(biāo)識確定接收響應(yīng)結(jié)果的CPU。
[0060]實施中,PCIe硬核還可以用于對NandFlash發(fā)送的響應(yīng)結(jié)果進(jìn)行標(biāo)識;地址映射模塊還可以用于根據(jù)所述標(biāo)識確定接收響應(yīng)結(jié)果的CPU。
[0061]具體實施中,地址映射模塊將接收到的SATA指令中的地址域進(jìn)行地址映射后發(fā)送給PCIe硬核或第二 SATA協(xié)議解析模塊,PCIe硬核或第二 SATA協(xié)議解析模塊本身會將響應(yīng)結(jié)果傳回給地址映射模塊,然后地址映射模塊在對這個響應(yīng)結(jié)果中的地址域修改后進(jìn)行地址反映射,再傳給鏈路仲裁模塊。其中,地址映射與地址反映射是一個互為相反的過程,可以都在地址映射模塊上完成。
[0062]實施中,第一 SATA協(xié)議解析模塊還可以用于在接收到鏈路仲裁模塊的發(fā)來的響應(yīng)結(jié)果后,將該響應(yīng)結(jié)果進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及加擾操作,將其發(fā)送至CPU。
[0063]實施中,第一 SATA協(xié)議解析模塊、仲裁模塊、地址映射模塊、第二 SATA協(xié)議解析模塊以及PCIe硬核在FPGA(Field-Programmable Gate Array,現(xiàn)場可編程門陣列)上實現(xiàn)。
[0064]為了描述的方便,以上所述數(shù)據(jù)存儲系統(tǒng)的各部分以功能分為各種部件或單元分別描述。當(dāng)然,在實施本發(fā)明時可以把各部件或單元的功能在同一個或多個軟件或硬件中實現(xiàn)。
[0065]下面結(jié)合一個具體的實施示例來進(jìn)行說明。
[0066]如圖2所示,當(dāng)?shù)谝?SATA協(xié)議解析模塊接收到其互聯(lián)的CPU發(fā)來的SATA指令時,首先將SATA指令進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及解擾操作,得到可處理的SATA指令;然后通過打包的方式對SATA指令進(jìn)行標(biāo)識,來標(biāo)記是由哪個CPU發(fā)送的SATA指令;其次當(dāng)?shù)刂酚成淠K不空閑時,暫存SATA指令;當(dāng)?shù)刂酚成淠K空閑時,將該SATA指令發(fā)送至鏈路仲裁模塊;接著,仲裁模塊根據(jù)優(yōu)先序的、輪轉(zhuǎn)的或加權(quán)輪轉(zhuǎn)的仲裁方案對SATA指令解析模塊發(fā)來的SATA指令進(jìn)行仲裁,按照該仲裁結(jié)果逐一發(fā)送至地址映射模塊;然后地址映射模塊根據(jù)標(biāo)識確定發(fā)出SATA指令的CPU的地址空間,通過修改SATA指令的地址域,將其映射到分配給該CPU的地址空間的方式來在SATA指令中指示存儲的地址空間;該指示存儲的地址可以為NandFlash、硬盤;如該指示存儲的地址可以為NandFlash,將SATA指令發(fā)送至PCIe硬核;如該指示存儲的地址可以為硬盤或內(nèi)存條,將SATA指令發(fā)送至第二 SATA協(xié)議解析模塊。
[0067]PCIe硬核將SATA指令進(jìn)行PCIe硬核封裝后可以發(fā)送至NandFlash控制器。NandFlash控制器接收到SATA指令后,解析出CPU對應(yīng)的地址空間,發(fā)送至NandFlash進(jìn)行存儲,并返回一個響應(yīng)結(jié)果至地址映射模塊。
[0068]第二 SATA協(xié)議解析模塊將SATA指令進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及加擾操作后發(fā)送至硬盤。硬盤接收到SATA指令后,返回一個響應(yīng)結(jié)果至地址映射模塊。
[0069]地址映射模塊接收PCIe硬核或第二 SATA協(xié)議解析模塊發(fā)送的響應(yīng)結(jié)果,通過對這個響應(yīng)結(jié)果中的地址域修改后進(jìn)行地址反映射,其中,地址映射與地址反映射是一個互為相反的過程;確定響應(yīng)結(jié)果中指示的CPU,并對該CPU的ID進(jìn)行標(biāo)識,發(fā)送至鏈路仲裁模塊。
[0070]仲裁模塊根據(jù)響應(yīng)結(jié)果中指示的CPU的ID,將響應(yīng)結(jié)果發(fā)送至與相應(yīng)CPU互聯(lián)的第一 SATA協(xié)議解析模塊;
[0071]第一 SATA協(xié)議解析模塊將響應(yīng)結(jié)果進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及加擾操作后,將其發(fā)送至對應(yīng)的CPU。至此完成一次完整的交互。
[0072]基于同一發(fā)明構(gòu)思,本發(fā)明實施例中還提供了一種共享存儲系統(tǒng)的使用方法,由于該使用方法的原理與一種共享存儲系統(tǒng)相似,因此該方法的實施可以參見數(shù)據(jù)存儲系統(tǒng)的實施,重復(fù)之處不再贅述。
[0073]圖3為本發(fā)明實施例中共享存儲系統(tǒng)的使用流程示意圖,如圖所示,可以包括如下步驟:
[0074]步驟301、第一 SATA協(xié)議解析模塊分別與相對應(yīng)的CPU相連,接收CPU發(fā)送的SATA指令,對SATA指令進(jìn)行解析,并將該指令發(fā)送至鏈路仲裁模塊;
[0075]步驟302、鏈路仲裁模塊將第一 SATA協(xié)議解析模塊發(fā)來的SATA指令逐一發(fā)送至地址映射模塊;
[0076]步驟303、判斷地址映射模塊接收的SATA指令指示存儲的地址空間;
[0077]步驟304、若指示存儲的地址空間為NandFlash,則將SATA指令發(fā)送至PCIe硬核;
[0078]步驟305、PCIe硬核與NandFlash相連,對地址映射模塊發(fā)來的SATA指令進(jìn)行封裝,并發(fā)送至NandFlash ;
[0079]步驟306、若指示存儲的地址空間為硬盤,則將SATA指令發(fā)送至第二 SATA協(xié)議解析模塊;
[0080]步驟307、第二 SATA協(xié)議解析模塊與硬盤相連,對地址映射模塊發(fā)來的SATA指令進(jìn)行封裝,并發(fā)送至硬盤。
[0081 ] 實施中,第一 SATA協(xié)議解析模塊接收到CPU發(fā)送的SATA指令時,還可以包括:對SATA指令進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及解擾操作后,將其發(fā)送至鏈路仲裁模塊。
[0082]實施中,第一 SATA協(xié)議解析模塊對CPU發(fā)送的SATA指令進(jìn)行標(biāo)識;地址映射模塊根據(jù)所述標(biāo)識確定發(fā)出SATA指令的CPU的地址空間。
[0083]實施中,地址映射模塊通過修改SATA指令的地址域,將其映射到分配給該CPU的地址空間的方式來在SATA指令中指示存儲的地址空間。
[0084]實施中,第二 SATA協(xié)議解析模塊在接收到地址映射模塊發(fā)來的SATA指令時,還可以包括:將SATA指令進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及加擾操作后,發(fā)送至硬盤。
[0085]實施中,PCIe硬核在接收到地址映射模塊發(fā)來的SATA指令時,還可以包括:將SATA指令通過PCIe硬核封裝后,發(fā)送至NandFlash。
[0086]實施中,PCIe硬核在接收到NandFlash發(fā)來的響應(yīng)結(jié)果后,還可以包括:將響應(yīng)結(jié)果進(jìn)行解析,發(fā)送至地址映射模塊。
[0087]實施中,第二 SATA協(xié)議解析模塊接收到硬盤發(fā)來的響應(yīng)結(jié)果后,還可以包括:將響應(yīng)結(jié)果進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及解擾操作后,發(fā)送至地址映射模塊。
[0088]實施中,地址映射模塊通過修改響應(yīng)結(jié)果的地址域,將其反映射到分配給該CPU的地址空間的方式來在響應(yīng)結(jié)果中指示響應(yīng)的地址空間。
[0089]實施中,第二 SATA協(xié)議解析模塊對硬盤發(fā)送的響應(yīng)結(jié)果進(jìn)行標(biāo)識;地址映射模塊根據(jù)所述標(biāo)識確定接收響應(yīng)結(jié)果的CPU。
[0090]實施中,PCIe硬核對NandFlash發(fā)送的響應(yīng)結(jié)果進(jìn)行標(biāo)識;地址映射模塊根據(jù)所述標(biāo)識確定接收響應(yīng)結(jié)果的CPU。
[0091]實施中,第一 SATA協(xié)議解析模塊在接收到鏈路仲裁模塊的發(fā)來的響應(yīng)結(jié)果后,還可以包括:將該響應(yīng)結(jié)果進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及加擾操作,將其發(fā)送至CPU。
[0092]實施中,第一 SATA協(xié)議解析模塊、仲裁模塊、地址映射模塊、第二 SATA協(xié)議解析模塊以及PCIe硬核在FPGA上實現(xiàn)。
[0093]具體實施中,SATA指令和響應(yīng)結(jié)果都可以是以幀的形式存在。
[0094]實施中,在物理層對SATA指令或響應(yīng)結(jié)果進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換。
[0095]實施中,在鏈路層對SATA指令或響應(yīng)結(jié)果進(jìn)行加解擾操作。
[0096]實施中,在鏈路層對SATA指令進(jìn)行CRC校驗。
[0097]實施中,在鏈路層對SATA指令的發(fā)送及接收進(jìn)行流控。
[0098]實施中,在傳輸層上,接收到從鏈路層發(fā)來的幀;檢查幀頭以及長度,若丟棄錯誤的中貞時,告知鏈路層。
[0099]實施中,在傳輸層上,接收到從網(wǎng)絡(luò)層發(fā)來的幀;檢查幀頭以及長度,若丟棄錯誤的幀時,告知網(wǎng)絡(luò)層。
[0100]實施中,在傳輸層上,接收到從網(wǎng)絡(luò)層發(fā)來的SATA指令;將SATA指令按照指令中指示存儲的地址空間,映射到分配給該CPU的地址空間。
[0101]實施中,在傳輸層上,接收到從鏈路層發(fā)來的響應(yīng)結(jié)果;將響應(yīng)結(jié)果按照地址空間的標(biāo)識,映射到發(fā)出響應(yīng)結(jié)果的NandFlash或硬盤對應(yīng)的CPU的地址空間。
[0102]實施中,在網(wǎng)絡(luò)層上,對傳輸層接收到的SATA指令進(jìn)行標(biāo)識;發(fā)送至鏈路仲裁模塊。
[0103]實施中,在網(wǎng)絡(luò)層上,接收到從鏈路仲裁模塊發(fā)來的響應(yīng)結(jié)果;發(fā)送至傳輸層。
[0104]本發(fā)明實施例中提供的系統(tǒng)和方法,采用NANDFlash代替機械硬盤,可以大大縮短數(shù)據(jù)讀取速率,提高存儲系統(tǒng)性能。利用FPGA實現(xiàn)多CPU共享NandFlash,填補了高性能計算領(lǐng)域多CPU共享硬盤的空白。兩者的結(jié)合使用,平衡了 CPU和硬盤的帶寬差距,彌補了硬盤的1存取瓶頸。實現(xiàn)了存儲資源的動態(tài)合理分配,提高了存儲資源利用率。
[0105] 以上實施例僅用以說明本發(fā)明的技術(shù)方案,而非對其進(jìn)行限制。因此,在不背離本發(fā)明的精神及其實質(zhì)的情況下,本領(lǐng)域技術(shù)人員可作出各種改變、替換和變型。很顯然,但這些改變、替換和變型都應(yīng)涵蓋于本發(fā)明權(quán)利要求的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種共享存儲系統(tǒng),其特征在于,包括:至少一個第一 SATA指令解析模塊、鏈路仲裁模塊、地址映射模塊、第二 SATA協(xié)議解析模塊、以及PCIe硬核;其中: 第一 SATA協(xié)議解析模塊,用于分別與相對應(yīng)的CPU相連,接收CPU發(fā)送的SATA指令,對SATA指令進(jìn)行解析,并將該指令發(fā)送至鏈路仲裁模塊; 鏈路仲裁模塊,用于將第一 SATA協(xié)議解析模塊發(fā)來的SATA指令逐一發(fā)送至地址映射模塊; 地址映射模塊,用于接收鏈路仲裁模塊發(fā)來的SATA指令,在確定該SATA指令中指示存儲的地址空間為NandFlash后,將SATA指令發(fā)送至PCIe硬核;在確定該SATA指令中指示存儲的地址空間為硬盤后,將SATA指令發(fā)送至第二 SATA協(xié)議解析模塊;其中,所指示存儲的地址空間是分配給發(fā)出SATA指令的CPU的地址空間; PCIe硬核,用于與NandFlash相連,對地址映射模塊發(fā)來的SATA指令進(jìn)行封裝,并發(fā)送至 NandFlash ; 第二 SATA協(xié)議解析模塊,用于與硬盤相連,對地址映射模塊發(fā)來的SATA指令進(jìn)行封裝,并發(fā)送至硬盤。
2.如權(quán)利要求1所述的系統(tǒng),其特征在于,所述第一SATA協(xié)議解析模塊進(jìn)一步用于接收到CPU發(fā)送的SATA指令時,對SATA指令進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及解擾操作后,將其發(fā)送至鏈路仲裁模塊。
3.如權(quán)利要求1所述的系統(tǒng),其特征在于,所述第一SATA協(xié)議解析模塊進(jìn)一步用于對CPU發(fā)送的SATA指令進(jìn)行標(biāo)識; 所述地址映射模塊進(jìn)一步用于根據(jù)所述標(biāo)識確定發(fā)出SATA指令的CPU的地址空間。
4.如權(quán)利要求1所述的系統(tǒng),其特征在于,所述地址映射模塊進(jìn)一步用于通過修改SATA指令的地址域,將其映射到分配給該CPU的地址空間的方式來在SATA指令中指示存儲的地址空間。
5.如權(quán)利要求1所述的系統(tǒng),其特征在于,所述第二SATA協(xié)議解析模塊進(jìn)一步用于在接收到地址映射模塊發(fā)來的SATA指令時,將SATA指令進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及加擾操作后,發(fā)送至硬盤。
6.如權(quán)利要求1所述的系統(tǒng),其特征在于,所述PCIe硬核進(jìn)一步用于在接收到地址映射模塊發(fā)來的SATA指令時,將SATA指令通過PCIe硬核封裝后,發(fā)送至NandFlash。
7.如權(quán)利要求1所述的系統(tǒng),其特征在于,所述PCIe硬核進(jìn)一步用于在接收到NandFlash發(fā)來的響應(yīng)結(jié)果后,將響應(yīng)結(jié)果進(jìn)行解析,發(fā)送至地址映射模塊。
8.如權(quán)利要求1所述的系統(tǒng),其特征在于,所述第二SATA協(xié)議解析模塊進(jìn)一步用于接收到硬盤發(fā)來的響應(yīng)結(jié)果后,將響應(yīng)結(jié)果進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及解擾操作后,發(fā)送至地址映射模塊。
9.如權(quán)利要求7至8任一所述的系統(tǒng),其特征在于,所述地址映射模塊進(jìn)一步用于通過修改響應(yīng)結(jié)果的地址域,將其反映射到分配給該CPU的地址空間的方式來在響應(yīng)結(jié)果中指示響應(yīng)的地址空間。
10.如權(quán)利要求7所述的系統(tǒng),其特征在于,所述第二SATA協(xié)議解析模塊進(jìn)一步用于對硬盤發(fā)送的響應(yīng)結(jié)果進(jìn)行標(biāo)識; 所述地址映射模塊進(jìn)一步用于根據(jù)所述標(biāo)識確定接收響應(yīng)結(jié)果的CPU。
11.如權(quán)利要求8所述的系統(tǒng),其特征在于,所述PCIe硬核進(jìn)一步用于對NandFlash發(fā)送的響應(yīng)結(jié)果進(jìn)行標(biāo)識; 所述地址映射模塊進(jìn)一步用于根據(jù)所述標(biāo)識確定接收響應(yīng)結(jié)果的CPU。
12.如權(quán)利要求1所述的系統(tǒng),其特征在于,所述第一SATA協(xié)議解析模塊進(jìn)一步用于在接收到鏈路仲裁模塊的發(fā)來的響應(yīng)結(jié)果后,將該響應(yīng)結(jié)果進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及加擾操作,將其發(fā)送至CPU。
13.如權(quán)利要求1至12任一所述的系統(tǒng),其特征在于,第一SATA協(xié)議解析模塊、仲裁模塊、地址映射模塊、第二 SATA協(xié)議解析模塊以及PCIe硬核在FPGA上實現(xiàn)。
14.一種如權(quán)利要求1至11任一所述的共享存儲系統(tǒng)的使用方法,其特征在于,包括以下步驟: 第一 SATA協(xié)議解析模塊分別與相對應(yīng)的CPU相連,接收CPU發(fā)送的SATA指令,對SATA指令進(jìn)行解析,并將該指令發(fā)送至鏈路仲裁模塊; 鏈路仲裁模塊將第一 SATA協(xié)議解析模塊發(fā)來的SATA指令逐一發(fā)送至地址映射模塊; 地址映射模塊接收鏈路仲裁模塊發(fā)來的SATA指令,在確定該SATA指令中指示存儲的地址空間為NandFlash后,將SATA指令發(fā)送至PCIe硬核;在確定該SATA指令中指示存儲的地址空間為硬盤后,將SATA指令發(fā)送至第二 SATA協(xié)議解析模塊;其中,所指示存儲的地址空間是分配給發(fā)出SATA指令的CPU的地址空間; PCIe硬核與NandFlash相連,對地址映射模塊發(fā)來的SATA指令進(jìn)行封裝,并發(fā)送至NandFlash ; 第二 SATA協(xié)議解析模塊與硬盤相連,對地址映射模塊發(fā)來的SATA指令進(jìn)行封裝,并發(fā)送至硬盤。
15.如權(quán)利要求14所述的使用方法,其特征在于,所述第一SATA協(xié)議解析模塊接收到CPU發(fā)送的SATA指令時,進(jìn)一步包括:對SATA指令進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及解擾操作后,將其發(fā)送至鏈路仲裁模塊。
16.如權(quán)利要求14所述的使用方法,其特征在于,進(jìn)一步包括:所述第一SATA協(xié)議解析模塊對CPU發(fā)送的SATA指令進(jìn)行標(biāo)識; 所述地址映射模塊根據(jù)所述標(biāo)識確定發(fā)出SATA指令的CPU的地址空間。
17.如權(quán)利要求14所述的使用方法,其特征在于,進(jìn)一步包括:所述地址映射模塊通過修改SATA指令的地址域,將其映射到分配給該CPU的地址空間的方式來在SATA指令中指示存儲的地址空間。
18.如權(quán)利要求14所述的使用方法,其特征在于,所述第二SATA協(xié)議解析模塊在接收到地址映射模塊發(fā)來的SATA指令時,進(jìn)一步包括:將SATA指令進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及加擾操作后,發(fā)送至硬盤。
19.如權(quán)利要求14所述的使用方法,其特征在于,所述PCIe硬核在接收到地址映射模塊發(fā)來的SATA指令時,進(jìn)一步包括:將SATA指令通過PCIe硬核封裝后,發(fā)送至NandFlash。
20.如權(quán)利要求14所述的使用方法,其特征在于,所述PCIe硬核在接收到NandFlash發(fā)來的響應(yīng)結(jié)果后,進(jìn)一步包括:將響應(yīng)結(jié)果進(jìn)行解析,發(fā)送至地址映射模塊。
21.如權(quán)利要求14所述的使用方法,其特征在于,所述第二SATA協(xié)議解析模塊接收到硬盤發(fā)來的響應(yīng)結(jié)果后,進(jìn)一步包括:將響應(yīng)結(jié)果進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及解擾操作后,發(fā)送至地址映射模塊。
22.如權(quán)利要求20至21任一所述的使用方法,其特征在于,進(jìn)一步包括:所述地址映射模塊通過修改響應(yīng)結(jié)果的地址域,將其反映射到分配給該CPU的地址空間的方式來在響應(yīng)結(jié)果中指示響應(yīng)的地址空間。
23.如權(quán)利要求20所述的使用方法,其特征在于,進(jìn)一步包括:所述第二SATA協(xié)議解析模塊對硬盤發(fā)送的響應(yīng)結(jié)果進(jìn)行標(biāo)識; 所述地址映射模塊根據(jù)所述標(biāo)識確定接收響應(yīng)結(jié)果的CPU。
24.如權(quán)利要求21所述的使用方法,其特征在于,進(jìn)一步包括:所述PCIe硬核對NandFlash發(fā)送的響應(yīng)結(jié)果進(jìn)行標(biāo)識; 所述地址映射模塊根據(jù)所述標(biāo)識確定接收響應(yīng)結(jié)果的CPU。
25.如權(quán)利要求14所述的使用方法,其特征在于,所述第一SATA協(xié)議解析模塊在接收到鏈路仲裁模塊的發(fā)來的響應(yīng)結(jié)果后,進(jìn)一步包括:將該響應(yīng)結(jié)果進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換以及加擾操作,將其發(fā)送至CPU。
26.如權(quán)利要求14至25任一所述的使用方法,其特征在于,第一SATA協(xié)議解析模塊、仲裁模塊、地址映射模塊、第二 SATA協(xié)議解析模塊以及PCIe硬核在FPGA上實現(xiàn)。
27.如權(quán)利要求14所述的使用方法,其特征在于,在物理層對SATA指令或響應(yīng)結(jié)果進(jìn)行串并轉(zhuǎn)換,8b/10b編碼轉(zhuǎn)換。
28.如權(quán)利要求14所述的使用方法,其特征在于,在鏈路層對SATA指令或響應(yīng)結(jié)果進(jìn)行加解擾操作。
29.如權(quán)利要求28所述的使用方法,其特征在于,在鏈路層對SATA指令進(jìn)行CRC校驗。
30.如權(quán)利要求29所述的使用方法,其特征在于,在鏈路層對SATA指令的發(fā)送及接收進(jìn)行流控。
31.如權(quán)利要求14所述的使用方法,其特征在于, 在傳輸層上,接收到從鏈路層發(fā)來的幀; 檢查幀頭以及長度,若丟棄錯誤的幀時,告知鏈路層。
32.如權(quán)利要求31所述的使用方法,其特征在于, 在傳輸層上,接收到從網(wǎng)絡(luò)層發(fā)來的幀; 檢查幀頭以及長度,若丟棄錯誤的幀時,告知網(wǎng)絡(luò)層。
33.如權(quán)利要求31所述的使用方法,其特征在于, 在傳輸層上,接收到從網(wǎng)絡(luò)層發(fā)來的SATA指令; 將SATA指令按照指令中指示存儲的地址空間,映射到分配給該CPU的地址空間。
34.如權(quán)利要求33所述的使用方法,其特征在于, 在傳輸層上,接收到從鏈路層發(fā)來的響應(yīng)結(jié)果; 將響應(yīng)結(jié)果按照地址空間的標(biāo)識,映射到發(fā)出響應(yīng)結(jié)果的NandFlash、硬盤或內(nèi)存條對應(yīng)的CPU的地址空間。
35.如權(quán)利要求14所述的使用方法,其特征在于, 在網(wǎng)絡(luò)層上,對傳輸層接收到的SATA指令進(jìn)行標(biāo)識; 發(fā)送至鏈路仲裁模塊。
36.如權(quán)利要求35所述的使用方法,其特征在于,在網(wǎng)絡(luò)層上,接收到從鏈路仲裁模塊發(fā)來的響應(yīng)結(jié)果;發(fā)送至傳輸層。
【文檔編號】G06F12/02GK104133777SQ201410356575
【公開日】2014年11月5日 申請日期:2014年7月24日 優(yōu)先權(quán)日:2014年7月24日
【發(fā)明者】周雪, 楊曉君, 倪亞路 申請人:曙光信息產(chǎn)業(yè)(北京)有限公司
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
亚洲美女视频黄频| 国内久久婷婷六月综合欲色啪| 欧美日韩亚洲综合一区二区三区_| 一边摸一边做爽爽视频免费| 久久久久免费精品人妻一区二区| www.精华液| 亚洲aⅴ乱码一区二区在线播放 | 老熟妇乱子伦视频在线观看| 久久精品国产99精品国产亚洲性色| 国产黄片美女视频| 搡老熟女国产l中国老女人| 欧美久久黑人一区二区| 校园春色视频在线观看| 久久精品91无色码中文字幕| 欧美日韩亚洲综合一区二区三区_| av天堂在线播放| 12—13女人毛片做爰片一| 看黄色毛片网站| 一级毛片女人18水好多| 国内精品久久久久精免费| 人妻久久中文字幕网| 国产成人aa在线观看| 久久九九热精品免费| 亚洲精品色激情综合| 天天一区二区日本电影三级| 亚洲欧洲精品一区二区精品久久久| 日韩有码中文字幕| 久久精品国产亚洲av香蕉五月| 国产黄片美女视频| 99热这里只有是精品50| 国产精华一区二区三区| 淫秽高清视频在线观看| 久久精品aⅴ一区二区三区四区| 亚洲 欧美 日韩 在线 免费| 国产熟女xx| 国产aⅴ精品一区二区三区波| 99久久综合精品五月天人人| 毛片女人毛片| 国产亚洲欧美98| 国产在线精品亚洲第一网站| 欧美乱码精品一区二区三区| 免费一级毛片在线播放高清视频| 日韩精品中文字幕看吧| 搞女人的毛片| 不卡一级毛片| 99久久精品热视频| 女生性感内裤真人,穿戴方法视频| 免费人成视频x8x8入口观看| 国产单亲对白刺激| 中文字幕久久专区| 夜夜看夜夜爽夜夜摸| 成人三级黄色视频| 久久中文字幕人妻熟女| 色综合站精品国产| 人成视频在线观看免费观看| 久久久久久国产a免费观看| 一个人免费在线观看电影 | 久久精品综合一区二区三区| 1024视频免费在线观看| 99热这里只有精品一区 | 伊人久久大香线蕉亚洲五| 国产私拍福利视频在线观看| 精品免费久久久久久久清纯| 成年免费大片在线观看| 亚洲 欧美一区二区三区| 国产精品乱码一区二三区的特点| 少妇粗大呻吟视频| 亚洲精品美女久久久久99蜜臀| 久久人妻福利社区极品人妻图片| 国产精品美女特级片免费视频播放器 | 色老头精品视频在线观看| 亚洲全国av大片| 免费在线观看完整版高清| 在线观看免费日韩欧美大片| 国产人伦9x9x在线观看| 国产1区2区3区精品| 亚洲成人免费电影在线观看| 久久精品国产清高在天天线| 十八禁人妻一区二区| 欧美一级毛片孕妇| 不卡av一区二区三区| 中文字幕高清在线视频| 欧美日韩黄片免| 国产主播在线观看一区二区| 免费看美女性在线毛片视频| 在线观看午夜福利视频| 我要搜黄色片| 黄色女人牲交| 国产又色又爽无遮挡免费看| 在线a可以看的网站| 欧美激情久久久久久爽电影| 精品欧美一区二区三区在线| 国产成人精品久久二区二区91| 国产一区在线观看成人免费| 美女大奶头视频| 搡老岳熟女国产| 99re在线观看精品视频| 国产精品av久久久久免费| 91大片在线观看| 成人国语在线视频| 精品无人区乱码1区二区| 好男人在线观看高清免费视频| 精品久久久久久久毛片微露脸| 亚洲精品色激情综合| 国产三级黄色录像| 色综合亚洲欧美另类图片| 在线永久观看黄色视频| 色精品久久人妻99蜜桃| 制服诱惑二区| 亚洲国产精品久久男人天堂| 亚洲va日本ⅴa欧美va伊人久久| 亚洲午夜精品一区,二区,三区| 国内少妇人妻偷人精品xxx网站 | 午夜成年电影在线免费观看| 白带黄色成豆腐渣| 国产三级在线视频| 19禁男女啪啪无遮挡网站| 给我免费播放毛片高清在线观看| 成熟少妇高潮喷水视频| 亚洲午夜精品一区,二区,三区| 国产野战对白在线观看| 久久人妻福利社区极品人妻图片| 一进一出抽搐动态| 真人做人爱边吃奶动态| 午夜福利高清视频| 久久久久久久午夜电影| 在线看三级毛片| 欧美丝袜亚洲另类 | 在线播放国产精品三级| 亚洲午夜理论影院| 亚洲真实伦在线观看| 男人的好看免费观看在线视频 | 国产乱人伦免费视频| 亚洲一区二区三区色噜噜| 午夜福利欧美成人| 成人三级黄色视频| 亚洲av熟女| 亚洲av第一区精品v没综合| bbb黄色大片| 人妻丰满熟妇av一区二区三区| 国内精品一区二区在线观看| 亚洲成人精品中文字幕电影| 女生性感内裤真人,穿戴方法视频| av有码第一页| 精品乱码久久久久久99久播| 黄色视频,在线免费观看| 亚洲国产精品成人综合色| 一边摸一边抽搐一进一小说| 午夜精品久久久久久毛片777| 久久中文字幕人妻熟女| 国产精品av久久久久免费| 性色av乱码一区二区三区2| 亚洲真实伦在线观看| 精品国产美女av久久久久小说| 色综合亚洲欧美另类图片| 久久中文看片网| 神马国产精品三级电影在线观看 | 天天躁狠狠躁夜夜躁狠狠躁| 国产主播在线观看一区二区| 最好的美女福利视频网| 色在线成人网| 亚洲成人中文字幕在线播放| 亚洲av片天天在线观看| 亚洲精品av麻豆狂野| 九色国产91popny在线| 免费在线观看日本一区| 久久国产精品人妻蜜桃| 欧美日韩亚洲国产一区二区在线观看| 欧美性猛交黑人性爽| 中文字幕人妻丝袜一区二区| 最近最新中文字幕大全免费视频| 国产一区二区在线av高清观看| 午夜福利在线观看吧| 中出人妻视频一区二区| 成人永久免费在线观看视频| 在线十欧美十亚洲十日本专区| 国产亚洲精品第一综合不卡| 床上黄色一级片| 国产一区二区三区在线臀色熟女| 少妇的丰满在线观看| 国产精品美女特级片免费视频播放器 | 老汉色av国产亚洲站长工具| 欧美黄色淫秽网站| 一级作爱视频免费观看| 免费在线观看成人毛片| 精品久久久久久久久久久久久| 丁香六月欧美| 麻豆一二三区av精品| 欧美乱色亚洲激情| 国产亚洲精品一区二区www| 国产成+人综合+亚洲专区| 制服人妻中文乱码| 免费在线观看日本一区| 色老头精品视频在线观看| 国产精品影院久久| 国产黄a三级三级三级人| 熟妇人妻久久中文字幕3abv| 欧美黄色淫秽网站| 日本一区二区免费在线视频| 免费在线观看亚洲国产| 很黄的视频免费| 麻豆国产av国片精品| 国产成人aa在线观看| 久久精品国产综合久久久| 少妇熟女aⅴ在线视频| 精品不卡国产一区二区三区| 国产精品综合久久久久久久免费| 少妇人妻一区二区三区视频| 亚洲,欧美精品.| 亚洲中文av在线| 啪啪无遮挡十八禁网站| 制服诱惑二区| 中国美女看黄片| 国产日本99.免费观看| 精品午夜福利视频在线观看一区| 久久久水蜜桃国产精品网| 九九热线精品视视频播放| 免费搜索国产男女视频| 99久久国产精品久久久| 日本三级黄在线观看| 一级毛片女人18水好多| 亚洲全国av大片| 男女之事视频高清在线观看| 男女那种视频在线观看| 99re在线观看精品视频| 亚洲国产欧美一区二区综合| 夜夜躁狠狠躁天天躁| 欧美一区二区精品小视频在线| 国产午夜精品久久久久久| 中文字幕精品亚洲无线码一区| 黑人操中国人逼视频| 午夜福利18| 51午夜福利影视在线观看| 国产99久久九九免费精品| 好男人电影高清在线观看| 国产精品自产拍在线观看55亚洲| 亚洲在线自拍视频| 国产三级在线视频| 桃红色精品国产亚洲av| 国产精品免费视频内射| 国产三级黄色录像| 老司机福利观看| 日本成人三级电影网站| 长腿黑丝高跟| 人妻久久中文字幕网| 大型黄色视频在线免费观看| 欧美zozozo另类| 久久久国产成人精品二区| 精品少妇一区二区三区视频日本电影| 欧美一区二区国产精品久久精品 | 看免费av毛片| 亚洲美女黄片视频| 青草久久国产| 天天一区二区日本电影三级| 黄片小视频在线播放| 别揉我奶头~嗯~啊~动态视频| 人人妻人人看人人澡| 亚洲国产精品999在线| 久久午夜亚洲精品久久| 国产精品一区二区三区四区免费观看 | 88av欧美| 日本撒尿小便嘘嘘汇集6| 欧美精品啪啪一区二区三区| 免费在线观看完整版高清| 女警被强在线播放| 久热爱精品视频在线9| 久久天堂一区二区三区四区| 国产97色在线日韩免费| 中文亚洲av片在线观看爽| 亚洲中文av在线| 别揉我奶头~嗯~啊~动态视频| 国产成人精品久久二区二区91| 国产黄a三级三级三级人| 久久天躁狠狠躁夜夜2o2o| 久9热在线精品视频| 99热这里只有精品一区 | 淫秽高清视频在线观看| 制服诱惑二区| 可以免费在线观看a视频的电影网站| 亚洲欧美激情综合另类| 伦理电影免费视频| 欧美最黄视频在线播放免费| 亚洲一区中文字幕在线| 久久精品91蜜桃| 人人妻人人澡欧美一区二区| 91麻豆精品激情在线观看国产| 亚洲性夜色夜夜综合| 国产亚洲av嫩草精品影院| 久久久久久亚洲精品国产蜜桃av| 可以在线观看毛片的网站| 欧美三级亚洲精品| 婷婷六月久久综合丁香| 最近视频中文字幕2019在线8| 在线观看免费午夜福利视频| 麻豆成人午夜福利视频| 色综合欧美亚洲国产小说| 久久久久精品国产欧美久久久| 看片在线看免费视频| 欧美精品亚洲一区二区| 亚洲专区国产一区二区| 欧美又色又爽又黄视频| 免费av毛片视频| 18禁美女被吸乳视频| 1024手机看黄色片| 午夜福利成人在线免费观看| 国产激情偷乱视频一区二区| 国语自产精品视频在线第100页| 国产精品久久久av美女十八| 日韩欧美免费精品| 免费看日本二区| 日本熟妇午夜| 亚洲av电影在线进入| 国内久久婷婷六月综合欲色啪| 久久精品人妻少妇| 欧美zozozo另类| 日日夜夜操网爽| 天天躁狠狠躁夜夜躁狠狠躁| 青草久久国产| 一边摸一边做爽爽视频免费| 亚洲精品中文字幕一二三四区| 亚洲午夜理论影院| 哪里可以看免费的av片| av福利片在线| 三级男女做爰猛烈吃奶摸视频| 视频区欧美日本亚洲| 午夜精品一区二区三区免费看| 国产不卡一卡二| 99riav亚洲国产免费| 国语自产精品视频在线第100页| 亚洲国产欧美人成| 久久伊人香网站| 少妇粗大呻吟视频| 久久久久久大精品| bbb黄色大片| 国产午夜精品论理片| 久久婷婷成人综合色麻豆| 日韩欧美精品v在线| 波多野结衣高清作品| av在线天堂中文字幕| 国产视频内射| 成人18禁高潮啪啪吃奶动态图| 女警被强在线播放| 看免费av毛片| 身体一侧抽搐| 亚洲美女黄片视频| 免费搜索国产男女视频| 国产高清videossex| 女同久久另类99精品国产91| 中亚洲国语对白在线视频| 99久久99久久久精品蜜桃| www日本黄色视频网| 51午夜福利影视在线观看| 狂野欧美白嫩少妇大欣赏| 怎么达到女性高潮| 日韩中文字幕欧美一区二区| 欧美午夜高清在线| 极品教师在线免费播放| 真人一进一出gif抽搐免费| 国产成人欧美在线观看| 久久午夜综合久久蜜桃| 欧美精品啪啪一区二区三区| 一边摸一边做爽爽视频免费| 国产不卡一卡二| 精品免费久久久久久久清纯| 非洲黑人性xxxx精品又粗又长| 精品国产乱子伦一区二区三区| 国产免费男女视频| 黄色 视频免费看| 久久天堂一区二区三区四区| 久久亚洲真实| 国产精品野战在线观看| 99热只有精品国产| 啦啦啦韩国在线观看视频| 美女黄网站色视频| 91麻豆av在线| 久久久久久免费高清国产稀缺| 精品免费久久久久久久清纯| 亚洲成av人片在线播放无| 国产高清激情床上av| 97超级碰碰碰精品色视频在线观看| 久久久久久免费高清国产稀缺| 母亲3免费完整高清在线观看| 脱女人内裤的视频| 日韩三级视频一区二区三区| 正在播放国产对白刺激| 伊人久久大香线蕉亚洲五| 亚洲av电影在线进入| 免费在线观看成人毛片| 日日爽夜夜爽网站| 黑人巨大精品欧美一区二区mp4| 国产欧美日韩一区二区三| 亚洲av第一区精品v没综合| 亚洲男人的天堂狠狠| 岛国在线观看网站| 久久精品夜夜夜夜夜久久蜜豆 | 国产亚洲精品第一综合不卡| 色播亚洲综合网| 丁香六月欧美| 精品久久久久久,| 亚洲一码二码三码区别大吗| 欧美中文日本在线观看视频| 亚洲一区中文字幕在线| 国产精品久久久久久精品电影| 久久久久九九精品影院| 九色国产91popny在线| 免费在线观看影片大全网站| 一二三四社区在线视频社区8| 亚洲成av人片免费观看| 午夜久久久久精精品| av免费在线观看网站| 国产91精品成人一区二区三区| 国产真实乱freesex| 免费观看精品视频网站| 久久久久久九九精品二区国产 | 亚洲天堂国产精品一区在线| 悠悠久久av| 在线观看美女被高潮喷水网站 | 亚洲精品av麻豆狂野| 日本五十路高清| 日日干狠狠操夜夜爽| 国产久久久一区二区三区| 男人舔奶头视频| 欧美成人性av电影在线观看| 午夜久久久久精精品| 午夜视频精品福利| 叶爱在线成人免费视频播放| √禁漫天堂资源中文www| 三级国产精品欧美在线观看 | 精品久久久久久久人妻蜜臀av| 亚洲成人免费电影在线观看| 国产精品日韩av在线免费观看| 久久久国产成人精品二区| 久久久久久人人人人人| 国产精品爽爽va在线观看网站| 久久精品亚洲精品国产色婷小说| 国产精品 欧美亚洲| 欧美精品啪啪一区二区三区| 久久人妻福利社区极品人妻图片| 真人做人爱边吃奶动态| 精品国产乱码久久久久久男人| 看黄色毛片网站| 亚洲精品美女久久av网站| 国产片内射在线| 男女下面进入的视频免费午夜| 老司机午夜福利在线观看视频| 国产三级中文精品| 久久精品国产亚洲av高清一级| 亚洲人成网站高清观看| 日本五十路高清| 久久亚洲真实| 日日摸夜夜添夜夜添小说| 欧美黑人精品巨大| 99国产精品一区二区蜜桃av| 最近最新中文字幕大全电影3| 国产精品久久久久久亚洲av鲁大| 久久精品国产亚洲av高清一级| 日韩欧美国产在线观看| 午夜福利在线在线| 一级作爱视频免费观看| 亚洲国产高清在线一区二区三| 免费看十八禁软件| 老司机深夜福利视频在线观看| 中文字幕熟女人妻在线| 中文字幕av在线有码专区| 国产午夜精品久久久久久| 亚洲av成人不卡在线观看播放网| 青草久久国产| 亚洲精品一卡2卡三卡4卡5卡| 成人午夜高清在线视频| 韩国av一区二区三区四区| 91麻豆精品激情在线观看国产| 亚洲一区高清亚洲精品| 日韩精品中文字幕看吧| 亚洲熟妇熟女久久| 日韩欧美在线二视频| 午夜福利在线在线| 十八禁人妻一区二区| 韩国av一区二区三区四区| 国产精品免费一区二区三区在线| 国产单亲对白刺激| 韩国av一区二区三区四区| 男女下面进入的视频免费午夜| 国产精品爽爽va在线观看网站| 毛片女人毛片| 国产亚洲欧美98| 熟女电影av网| 午夜免费观看网址| 91国产中文字幕| 麻豆一二三区av精品| 欧美+亚洲+日韩+国产| 麻豆国产97在线/欧美 | 久久这里只有精品中国| av有码第一页| 禁无遮挡网站| 久久久久精品国产欧美久久久| 一二三四在线观看免费中文在| 天堂√8在线中文| 女警被强在线播放| 成人永久免费在线观看视频| 巨乳人妻的诱惑在线观看| 色精品久久人妻99蜜桃| 天堂影院成人在线观看| 久久精品91蜜桃| 国产精品一区二区三区四区久久| 国产欧美日韩一区二区精品| 熟女少妇亚洲综合色aaa.| 成人欧美大片| 一区二区三区高清视频在线| 国产欧美日韩精品亚洲av| 免费在线观看黄色视频的| 国产亚洲精品av在线| 一a级毛片在线观看| 香蕉国产在线看| 中文字幕高清在线视频| 亚洲精品一区av在线观看| 此物有八面人人有两片| 美女黄网站色视频| 狂野欧美白嫩少妇大欣赏| 亚洲午夜理论影院| 日韩免费av在线播放| 久久中文字幕人妻熟女| 国产av一区在线观看免费| 老熟妇仑乱视频hdxx| 久久久久久久精品吃奶| 国产精品 欧美亚洲| 少妇人妻一区二区三区视频| 特大巨黑吊av在线直播| 成人三级黄色视频| 亚洲天堂国产精品一区在线| 亚洲美女视频黄频| 又大又爽又粗| 日韩欧美 国产精品| 亚洲成av人片免费观看| 一边摸一边做爽爽视频免费| 在线观看午夜福利视频| 日本成人三级电影网站| 一边摸一边抽搐一进一小说| 黄色成人免费大全| 国产精品久久视频播放| 窝窝影院91人妻| 久久中文字幕人妻熟女| 一本综合久久免费| 久久香蕉国产精品| 亚洲欧美精品综合久久99| 亚洲电影在线观看av| 叶爱在线成人免费视频播放| 黄色片一级片一级黄色片| 高潮久久久久久久久久久不卡| 亚洲专区字幕在线| 日韩欧美一区二区三区在线观看| 午夜福利在线观看吧| 脱女人内裤的视频| 男人舔女人下体高潮全视频| 国产成人欧美在线观看| 色哟哟哟哟哟哟| 亚洲精品中文字幕一二三四区| 亚洲人成网站高清观看| 黄片小视频在线播放| 老司机福利观看| 日韩精品中文字幕看吧| 国产精品,欧美在线| 午夜精品在线福利| 男男h啪啪无遮挡| 在线视频色国产色| а√天堂www在线а√下载| 级片在线观看| 欧美中文综合在线视频| 欧美国产日韩亚洲一区| 一区二区三区激情视频| 婷婷精品国产亚洲av| 久久精品91蜜桃| 18禁美女被吸乳视频| 免费看日本二区| 小说图片视频综合网站| 国产精品自产拍在线观看55亚洲| 成人18禁在线播放| 国产亚洲精品第一综合不卡| 制服诱惑二区| 国产探花在线观看一区二区| 少妇人妻一区二区三区视频| 制服诱惑二区| 国产精品一区二区精品视频观看| 露出奶头的视频| 精品第一国产精品| 在线永久观看黄色视频| 国产麻豆成人av免费视频| 午夜两性在线视频| 69av精品久久久久久| 脱女人内裤的视频| 啦啦啦免费观看视频1| 波多野结衣高清作品| 99热这里只有精品一区 | 十八禁网站免费在线| 国产日本99.免费观看| 亚洲专区中文字幕在线| 1024手机看黄色片| 欧美成人午夜精品| 国产一区二区三区在线臀色熟女| 国内精品久久久久精免费| 岛国视频午夜一区免费看| 欧美日韩亚洲国产一区二区在线观看| 国产高清激情床上av| 在线观看免费午夜福利视频| 欧美av亚洲av综合av国产av| 国产精品久久久久久亚洲av鲁大| 两个人看的免费小视频| 亚洲七黄色美女视频| 成人国产一区最新在线观看| 九色国产91popny在线| 69av精品久久久久久| 人人妻,人人澡人人爽秒播| 熟女少妇亚洲综合色aaa.| 国产精品精品国产色婷婷| 国产精品一区二区精品视频观看| 黄片大片在线免费观看|