Pipeline 眉角

Training Tricks

任務

效能強化

CUDA

Computational graph

• 模型框架
  • C++ vs Python
  • NVDA CUDA vs AMD ROCm
  • I CPU + N GPU ? A CPU + N GPU > A CPU + A GPU > I CPU + A GPU
    • CPU預處理都可以用NVDA的庫加速，但是顯卡支援還是N卡好

1. 資料前處理
   • 資料收集
     • 收集多少數據算夠？
     • 多少標註資料算夠？
   • 資料檢查：正確性、缺值、類型
   • 資料處理
2. 模型選擇
   • model/loss function/optimizer
   • 遷移學習：特別for資料少的情況
     • 缺少label怎麼辦？self-supervised
       • 透過自我學習的方式以大量未標註數據訓練龐大網路，其後使用新工作的些許標記資料，以微調訓練(fine-tuning)的方式將辨識能力轉移到新的工作上。
       • eg. BERT
         • 比如在文字中，任意遮住某段文字，讓網路學習理解文本之後，完成克漏字為訓練工作
   • 尋找論文現有模型
   • 類似論文現有模型
   • NAS
   • 權重無關深度網路搜索https://www.sohu.com/a/320263969_473283
3. 模型準確度fine tune
   • hyper parameters for model/optimizer
   • loss function/ optimizer
   • new model selection
4. 模型部署
   • web
   • app
   • edge
5. 效能強化
   • 推論/預測速度
   • 數據吐納量
   • 分散式系統