知識蒸餾

知識蒸餾（knowledge distillation）是人工智能領域的一項模型訓練技術。該技術透過類似於教師—學生的方式，令規模較小、結構較為簡單的人工智能模型從已經經過充足訓練的大型、複雜模型身上學習其掌握的知識。該技術可以讓小型簡單模型快速有效學習到大型複雜模型透過漫長訓練才能得到的結果，從而改善模型的效率、減少運算開銷，因此亦被稱為模型蒸餾（model distillation）。

歷史

知識蒸餾技術最早提出於2014年提出。當年「深度學習教父」Geoffrey Hinton等人在當年年底召開的NIPS 2014會議中的一個Workshop中提出此方法。