他把加載改成流式,每次隻讀當前批次需要的部分,內存占用降了七成。
然後是計算圖。
原來的實現裏,特征融合那一段反複調用了三次相同的矩陣運算,結果每次都重新算一遍。
他把中間結果緩存起來,隻算一次,後麵直接查表,推理時間從零點八秒降到零點三秒。
最後是訓練循環。
原來的代碼每迭代一步就更新一次權重,梯度波動大,收斂慢。
他把梯度累積加進去,每四步更新一次權重,等效批量增大四倍,收斂速度
未解鎖章節
想要觀看更多精彩內容
下載 APP 解鎖更多精彩章節
掃碼或復製鏈接到手機瀏覽器進行下載