Python知識分享網(wǎng) - 專業(yè)的Python學習網(wǎng)站 學Python,上Python222
LLMs 損失函數(shù)篇 PDF 下載
匿名網(wǎng)友發(fā)布于:2025-03-29 10:06:25
(侵權舉報)
(假如點擊沒反應,多刷新兩次就OK!)

LLMs 損失函數(shù)篇 PDF 下載 圖1

 

 

資料內容:

 

三、KL 散度與交叉熵的區(qū)別?
KL散度指的是相對熵,KL散度是兩個概率分布PQ差別的非對稱性的度量。KL散度越小表示兩個分布越接近。
也就是說KL散度是不對稱的,且KL散度的值是非負數(shù)。(也就是熵和交叉熵的差)
交叉熵損失函數(shù)是二分類問題中最常用的損失函數(shù),由于其定義出于信息學的角度,可以泛化到多分類問題
中。
• KL散度是一種用于衡量兩個分布之間差異的指標,交叉熵損失函數(shù)是KL散度的一種特殊形式。在二分類問題
中,交叉熵函數(shù)只有一項,而在多分類問題中有多項。
 
四、多任務學習各loss差異過大怎樣處理?
多任務學習中,如果各任務的損失差異過大,可以通過動態(tài)調整損失權重、使用任務特定的損失函數(shù)、改變模型
架構或引入正則化等方法來處理。目標是平衡各任務的貢獻,以便更好地訓練模型