当大模型学会了“进化论”:智能优化算法的设计革命

中国仿真学会 资源规划仿真与决策专业委员会(筹)
2026-03-23 10:15:37
浏览 1182 次

大语言模型写代码不稀奇,但让它和进化算法联手,自己设计出超越人类专家水准的启发式算法,这可能吗?

香港城市大学等机构发表的突破性研究《Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Model[1]给出了肯定答案。这项被称为EoH的工作,让大语言模型(LLM)作为“创新引擎”,引导进化算法探索庞大的算法设计空间,自动生成解决复杂优化问题的高性能启发式规则。这一突破性进展实现了“专家驱动”到“模型驱动”的算法设计范式转移,通过自动化构建和迭代启发式规则,极大地规避了传统研发中耗时且昂贵的人工试错环节。

图片1.png

更重要的是,这项研究的时间线早于谷歌的FunSearchDeepMindAlphaEvolve,是全球最早LLM与进化计算深度融合以实现自动算法设计的开创性框架之一。

01 双重进化:思想与代码的协同突破

EoH的核心创新在于同时进化思想的自然语言描述和它的代码实现[1]。传统方法要么依赖耗时的手工设计,要么仅进化代码(如FunSearch)。EoH另辟蹊径,让LLM像生物进化一样,同时迭代优化算法的高“思想”(核心逻辑的自然语言描述)和底层“代码”实现,形成高效的协同设计闭环

02 五大策略:智能探索算法空间

EoH通过五类策略性提示工程,指导LLM在广阔算法空间中进行智能搜索[1]

· 探索策略:引导模型抽象现有启发式的核心“设计模式”,创造结构新颖的变体。

· 差异化探索策略:要求模型生成与成功启发式差异最大的新启发式,扩大搜索覆盖。

· 改造策略-结构优化:引导模型对启发式逻辑结构进行诊断和重组。

· 改造策略-参数调优:指导模型系统调整启发式内部的权重、阈值等参数。

· 改造策略-简化:要求模型识别并移除冗余组件,生成更简洁高效的版本。

03 三大战场:实验验证卓越性能

在三个经典组合优化问题上,EoH展现出卓越性能[1]

· 在线装箱问题EoH设计的启发式仅用2000LLM查询,性能优于需要百万次查询的FunSearch

· 旅行商问题EoH生成的引导局部搜索策略,在TSPLib测试集上平均求解质量显著优于OR-Tools等先进方法。

· 流水车间调度问题:在Taillard实例集上,EoH将平均与最优解的差距缩小到0.23%,远优于经典人工启发式。

04 关键洞察:思想与代码必须同行

消融实验表明同时进化思想和代码的完整EoH框架表现最佳[1]。思想和代码如同“战略”与“战术”——只优化代码容易迷失方向,只讨论思想无法落地验证。两者协同进化实现了高效搜索和可靠实现,解释了为何EoH能用更少计算成本达到更好效果。

05 从实验室到世界冠军

EoH开创的范式激发了广泛探索,目前已有一些探索性工作:

在应用问题层面,该范式解决了众多高价值工程挑战。针对地球观测卫星调度,发表在《Engineering》的AgentAD研究构建了多智能体协作系统[3],通过分布协同实现了对算法分步骤的演化设计。后续研究则应用于复杂敏捷对地观测卫星调度,使用双层优化模型对自适应大领域搜索算法(Adaptive Large Neighborhood Search, ALNS)进行了面向特定场景实现动态演化,并发表在《Engineering Management [4]。发表在《European Journal of Operational Research》的文章使用双种群协同进化框架显著提升在轨卫星运行收益[7]

图片2_副本.jpg

在方案创新层面,方法论不断丰富完善。在NeurIPS 2024上,LLaMEA框架LLM深度嵌入为元启发式核心组件[8],在ICLR 2025上,ReEvo框架引入自我反思机制提升进化效率[9]。在AAAI 2026上,EoH-S框架自动化生成启发式策略集合[5]

真正彰显工业级实力的里程碑,是团队在运筹优化“世界杯”CVRPLIB BKS车辆路径问题全球挑战赛中斩获冠军。华为与高校联合团队将“大模型+进化计算”架构应用于求解器设计,击败全球顶尖学术与商业求解器。在EoH的基础上,香港城市大学提出了OptVerse-CityU,在公开基准和现实物流场景中均展现卓越性能与稳定性。

图片3.png

这一系列技术汇聚于开源平台LLM4AD[2],其应用扩展至图像对抗攻击、流体力学建模[6]、飞行器设计乃至因果推断等上百个跨学科任务,展现出大模型进化论作为通用工具的无限潜能。




当算法开始自我进化,创新的边界便不再由人类预设的规则所限定。EoH及其引发的研究,正如一道穿透复杂性问题迷雾的轨迹。

此刻,你最想用这种“大模型进化论”,去自动设计一个什么领域的算法呢?




参考文献
[1] Liu, F., Tong, X., Yuan, M., Lin, X., Luo, F., Wang, Z., & Wang, Z. (2024). Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Model. Nature Machine Intelligence.
[2] Romera, A. K., et al. (2024). LLM4AD: A Platform for Algorithm Design with Large Language Model. arXiv preprint arXiv:2412.17287.
[3] AgentAD Research Group. (2025). A Large Language Model-based Multi-Agent Framework to Autonomously Design Algorithms for Earth Observation Satellite Scheduling Problem. Engineering.
[4] Wang, Z., et al. (2026). LLM-assisted Adaptive Large Neighborhood Search for Agile Earth Observation Satellite Scheduling. Engineering Management.
[5] Liu, F., Liu, Y., Zhang, Q., Tong, X., & Yuan, M. (2026). EoH-S: Evolution of Heuristic Set Using LLMs for Automated Heuristic Design. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2026).
[6] Zhang, Y., Zheng, K., Liu, F., Zhang, Q., & Wang, Z. (2025). AutoTurb: Using Large Language Models for Automatic Algebraic Model Discovery of Turbulence Closure. Physics of Fluids.
[7] Zhou, Y., et al. (2025). A Dual-Population Cooperative Evolution Framework for Agile Earth Observation Satellite Scheduling. European Journal of Operational Research.
[8] Chen, L., et al. (2024). LLaMEA: Large Language Model as Evolutionary Algorithm. Advances in Neural Information Processing Systems (NeurIPS).
[9] Xu, H., et al. (2025). ReEvo: Reflective Evolutionary Algorithm with Large Language Models. International Conference on Learning Representations (ICLR).