Sophilex's Blog
  • Home
  • Archive
  • Category
  • Tags
  • About me
  • Friends
各类基于决策单调性的dp优化

各类基于决策单调性的dp优化

从入门到入土的知识点都在这里了:)
2023-12-19
动态规划
#学习笔记 #动态规划 #算法
Training-Inference Mismatch In LLM KD

Training-Inference Mismatch In LLM KD

一个有趣的现象
2025-06-24
slides
#LLM #KD
群作用

群作用

学校的抽代课不讲群作用是我没想到的,恕我直言这个东西真的有点神奇
2023-12-19
抽象代数
#学习笔记 #抽象代数
Burnside 引理

Burnside 引理

对Burnside引理的引入以及其在组合计数方面的应用,在竞赛界会用的比较多
2023-12-18
抽象代数
#学习笔记 #抽象代数
Distilling the Essence: Efficient Reasoning Distillation via Sequence Truncation

Distilling the Essence: Efficient Reasoning Distillation via Sequence Truncation

对推理蒸馏在数据层面进行深入分析
2025-12-29
学习笔记
#LLM
Instruction tuning with loss over instructions

Instruction tuning with loss over instructions

有些数据集上对prompt也进行对齐,可以有效防止过拟合
2025-12-29
学习笔记
#LLM
Selective Reflection-Tuning: Student-Selected Data Recycling for LLM Instruction-Tuning

Selective Reflection-Tuning: Student-Selected Data Recycling for LLM Instruction-Tuning

LLM微调的时候引入学生信息辅助数据增强
2025-12-15
学习笔记
#LLM
RETAINING BY DOING: THE ROLE OF ON-POLICY DATA IN MITIGATING FORGETTING

RETAINING BY DOING: THE ROLE OF ON-POLICY DATA IN MITIGATING FORGETTING

LLM场景下,mode-seeking相比mean-seeking也许可以更好保留原本的知识,并且这一行为可能来自on-policy strategy
2025-12-14
学习笔记
#LLM #Compression
Proximal Gradient and Subgradients

Proximal Gradient and Subgradients

优化时函数不可导的一些处理手段
2025-12-08
学习笔记
#数学
Different Designs For LLM KD Loss(II)

Different Designs For LLM KD Loss(II)

关于LLM KD的一些讨论:Divergence的选择与代理分布的设计
2025-11-17
slides
#LLM #KD
123…6

搜索

Hexo Fluid
京ICP证123456号 | police-icon 京公网安备12345678号
载入天数... 载入时分秒...