BOND: Aligning LLMs with Best-of-N distillation 对Best-of-N的生成结果显式表示成一种策略，并蒸馏给模型，将N次推理成功压缩到一次 2025-08-18 学习笔记 #LLM #KD #RLHF
Evaluating Position Bias in Large Language Model Recommendations 推荐任务中，item的输入顺序可能会影响模型推荐结果 2025-08-11 学习笔记 #LLM
DATASET DISTILLATION VIA KNOWLEDGE DISTILLATION: TOWARDS EFFICIENT SELF-SUPERVISED PRETRAINING OF DEEP NETWORKS 利用KD在监督学习与自监督学习之间搭了一座桥，非常巧妙！ 2025-08-11 学习笔记 #LLM #KD #Pruning
DA-KD: Difficulty-Aware Knowledge Distillation for Efficient Large Language Models 训练时，根据模型学习效果动态筛选数据集，dataset efficient 2025-08-04 学习笔记 #LLM #KD
Boosting Parameter Efficiency in LLM-Based Recommendation through Sophisticated Pruning 针对Rec任务的LLM Pruning策略 2025-08-04 学习笔记 #LLM #Pruning
