DeepSeek是由深度求索开辟的低本钱、高机能开源年夜言语模子，该模子经由过程强化进修与混杂专家构造（MOE）的技巧翻新，以工程优化冲破硬件限度，实现了“算力需要降落但机能晋升”的反共鸣门路。开源战略重塑了AI生态，为寰球开辟者供给普惠东西，标记着从“算力堆砌”向“算法效力”的工业转型。中国电信政企信息效劳奇迹群DeepSeek攻坚团队紧跟技巧潮水，基于行业数据复现R1模子，提出行业年夜模子优化的新思绪。政企信息效劳奇迹群DeepSeek攻坚团队拔取医疗行业数据作为试验工具，基于Qwen2.5-14B跟DeepSeek-R1-Dstill-Qwen-14B两个开源模子，对DeepSeek-R1相干技巧的复事实验，经由过程复现其强化进修（RL）练习跟基于R1的蒸馏模子监视微调（SFT）练习进程，进步了政企医疗行业年夜模子的利用才能，使行业年夜模子的落地有了新思绪。本次试验经由过程两种建立门路晋升行业年夜模子的利用才能：在数据方面经由过程R1蒸馏形式晋升行业数据品质。在分解高品质的行业数据的同时晋升现有行业数据的品质。在练习方面鉴戒DeepSeek的GRPO强化进修形式，晋升行业年夜模子练习效力跟逻辑推理才能。让模子更懂行业常识，更好地答复行业成绩。试验筹备在数据筹备阶段，研讨团队经由过程DeepSeek-R1 API停止常识蒸馏，对底本仅包括成绩跟谜底的医疗数据集停止了优化进级，天生了包括完全推理进程跟终极谜底的高品质医疗推理数据集。一系列优化明显晋升了数据的逻辑性跟品质，为后续行业年夜模子的练习与优化供给了牢靠保证。究竟，高品质的数据是晋升年夜模子才能的要害地点。随后，研讨团队分辨对基于Qwen2.5-14B跟DeepSeek-R1-Dstill-Qwen-14B两个开源模子停止了SFT练习，旨在验证经由R1蒸馏优化的基模子相较于原始基模在才能上能否存在明显晋升。试验剖析在RL复现阶段，研讨团队采取GRPO算法对两个开源模子停止了练习，并应用高品质医疗推理数据集对其机能停止了片面评价。试验进程如下图，可看到RL后的模子能疾速控制基础格局与逐渐控制严厉格局标准。格局准确性嘉奖该嘉奖值从一开端就在满分邻近稳定，标明模子可能疾速进修到基础格局请求。严厉格局嘉奖该嘉奖值在练习初期明显回升，并终极趋于稳固，阐明模子逐渐控制了更严厉的格局标准。试验对照成果表现，经由微调的模子在答复通用成绩跟专业成绩时均表示出明显晋升。详细而言，模子不只可能供给愈加正确跟专业的谜底，还引入了清楚的思考进程，使答复的逻辑性跟可说明性失掉了加强。这种改良不只晋升了模子的可托度，也使其在医疗范畴的现实利用中更具适用代价。试验成果标明，GRPO算法联合高品质数据集的练习战略，可能无效晋升模子在庞杂场景下的表示。微调前模子复兴：微调后模子复兴：紧接着，研讨团队对行业蒸馏数据的微调进程停止了复事实验，重点验证了高品质推理行业数据对模子机能的晋升后果。试验发明，经由高品质推理行业数据微调的模子在答复专业范畴成绩时表示明显优于未微调的模子，其谜底的正确性跟专业性均有显明晋升。试验进程能够看到，参加instruction的模子（试验2）对照不参加instruction的模子（试验1）收敛速率略快、稳定略小。别的，微调后的模子可能更稳固地输出带有完全思考进程的谜底，包含清楚的推理步调跟逻辑链条，这不只加强了谜底的可托度，也进步了模子在现实利用中的适用性。对照成果如下：微调前模子复兴：微调后模子复兴：模子评估政企医疗行业年夜模子是基于Qwen-2.5 14B基模停止微调练习而发生的行业年夜模子，是专业的医疗垂直范畴的年夜模子。此中V1是应用DeepSeek蒸馏前，V2是基于DeepSeek结构数据停止微协调强化进修的版本，各个年夜模子在最专业的医疗年夜模子评测榜单之一——MedBench上的评分如下图。DeepSeek、行业年夜模子、Qwen才能对照能够看出，经由DeepSeek蒸馏的医疗行业年夜模子（V2）的综合评分最高。试验总结本次试验验证了DeepSeek相干技巧外行业年夜模子优化中的普适性跟无效性，为行业年夜模子的机能晋升供给了新的技巧范式。经由过程将R1模子的蒸馏技巧跟强化进修机制深度融会到行业年夜模子的练习框架中，可能明显晋升模子在垂直范畴的常识懂得、推理才能跟场景顺应性。这一技巧计划不只处理了行业年夜模子练习中面对的数据专业性、范畴常识融会跟利用牢靠性等中心成绩，还为行业年夜模子的优化供给了可复制的技巧门路。试验成果标明，采取该计划的行业年夜模子在范畴常识问答、专业文本懂得跟庞杂决议支撑等义务上均实现了机能的明显晋升，为构建行业年夜模子跟各行业年夜模子的迭代进级供给了主要的技巧支撑跟实际教训参考。这一结果标记着行业年夜模子的优化迈入了新的阶段，为垂直范畴智能化转型供给了强无力的技巧支持。
