技術(shù)編號：40615128
提示：您尚未登錄，請點(diǎn) 登 陸 后下載，如果您還沒有賬戶請點(diǎn) 注 冊 ，登陸完成后，請刷新本頁查看技術(shù)詳細(xì)信息。本發(fā)明涉及機(jī)器學(xué)習(xí)訓(xùn)練并行，具體地，涉及一種機(jī)器學(xué)習(xí)模型混合并行策略自動搜索的方法及系統(tǒng)。背景技術(shù)、機(jī)器學(xué)習(xí)通常在多個領(lǐng)域都有著重要應(yīng)用，在使用機(jī)器學(xué)習(xí)過程中，通常需要對機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練，而當(dāng)前的機(jī)器學(xué)習(xí)模型的規(guī)模越來越大，例如meta提出的llama模型便含有b到b左右的參數(shù)量，這通常需要上百g的gpu內(nèi)存。為實現(xiàn)快速的機(jī)器學(xué)習(xí)訓(xùn)練過程，需將機(jī)器學(xué)習(xí)的模型訓(xùn)練過程并行化，對于不同的模型，通常有不同的適合其并行訓(xùn)練的方法，為找到不同模型的最優(yōu)并行策略，就需要去自動搜索機(jī)器學(xué)習(xí)訓(xùn)練并...
注意：該技術(shù)已申請專利，請尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識儲備，不適合論文引用。
請注意，此類技術(shù)沒有源代碼，用于學(xué)習(xí)研究技術(shù)思路。