什么是蒸餾，蒸餾操作有什么作用

知識蒸餾，其目的是為了讓小模型學到大模型的知識，通俗說，讓student模型的輸出接近(擬合)teacher模型的輸出。所以知識蒸餾的重點在于擬合二字，即我們要定義一個方法去衡量student模型和teacher模型接近程度，說白了就是損失函數。
分子蒸餾是一種特殊的液體分離技術，它與傳統蒸餾依靠沸點差分離原理不同，而是靠不同物質分子運動平均自由程的差別實現分離。分子蒸餾是一種在高真空下操作的蒸餾方法，蒸氣分子的平均自由程大于蒸發表面與冷凝表面之間的距離，從而可利用料液中各組分蒸發速率的差異，對液體混合物進行分離。
　　在一定溫度下，壓力越低，氣體分子的平均自由程越大。當蒸發空間的壓力很低（10-2 ～10-4 mmHg），且使冷凝表面靠近蒸發表面，其間的垂直距離小于氣體分子的平均自由程時，從蒸發表面汽化的蒸氣分子，可以不與其他分子碰撞，直接到達冷凝表面而冷凝。當液體混合物沿加熱板流動并被加熱，輕、重分子會逸出液面而進入氣相，由于輕、重分子的自由程不同，因此，不同物質的分子從液面逸出后移動距離不同，若能恰當地設置一塊冷凝板，則輕分子達到冷凝板被冷凝排出，而重分子達不到冷凝板沿混合液排出。這樣，達到物質分離的目的。