当大模型学会了“进化论”:智能优化算法的设计革命
大语言模型写代码不稀奇,但让它和进化算法联手,自己设计出超越人类专家水准的启发式算法,这可能吗?
香港城市大学等机构发表的突破性研究《Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Model》[1]给出了肯定答案。这项被称为EoH的工作,让大语言模型(LLM)作为“创新引擎”,引导进化算法探索庞大的算法设计空间,自动生成解决复杂优化问题的高性能启发式规则。这一突破性进展实现了从“专家驱动”到“模型驱动”的算法设计范式转移,通过自动化构建和迭代启发式规则,极大地规避了传统研发中耗时且昂贵的人工试错环节。

更重要的是,这项研究的时间线早于谷歌的FunSearch和DeepMind的AlphaEvolve,是全球最早将LLM与进化计算深度融合以实现自动算法设计的开创性框架之一。
01 双重进化:思想与代码的协同突破
EoH的核心创新在于同时进化思想的自然语言描述和它的代码实现[1]。传统方法要么依赖耗时的手工设计,要么仅进化代码(如FunSearch)。EoH另辟蹊径,让LLM像生物进化一样,同时迭代优化算法的高层“思想”(核心逻辑的自然语言描述)和底层“代码”实现,形成高效的协同设计闭环。
02 五大策略:智能探索算法空间
EoH通过五类策略性提示工程,指导LLM在广阔算法空间中进行智能搜索[1]:
· 探索策略:引导模型抽象现有启发式的核心“设计模式”,创造结构新颖的变体。
· 差异化探索策略:要求模型生成与成功启发式差异最大的新启发式,扩大搜索覆盖。
· 改造策略-结构优化:引导模型对启发式逻辑结构进行诊断和重组。
· 改造策略-参数调优:指导模型系统调整启发式内部的权重、阈值等参数。
· 改造策略-简化:要求模型识别并移除冗余组件,生成更简洁高效的版本。
03 三大战场:实验验证卓越性能
在三个经典组合优化问题上,EoH展现出卓越性能[1]:
· 在线装箱问题:EoH设计的启发式仅用2000次LLM查询,性能优于需要百万次查询的FunSearch。
· 旅行商问题:EoH生成的引导局部搜索策略,在TSPLib测试集上平均求解质量显著优于OR-Tools等先进方法。
· 流水车间调度问题:在Taillard实例集上,EoH将平均与最优解的差距缩小到0.23%,远优于经典人工启发式。
04 关键洞察:思想与代码必须同行
消融实验表明,同时进化思想和代码的完整EoH框架表现最佳[1]。思想和代码如同“战略”与“战术”——只优化代码容易迷失方向,只讨论思想无法落地验证。两者协同进化实现了高效搜索和可靠实现,解释了为何EoH能用更少计算成本达到更好效果。
05 从实验室到世界冠军
EoH开创的范式激发了广泛探索,目前已有一些探索性工作:
在应用问题层面,该范式解决了众多高价值工程挑战。针对地球观测卫星调度,发表在《Engineering》的AgentAD研究构建了多智能体协作系统[3],通过分布协同实现了对算法分步骤的演化设计。后续研究则应用于复杂敏捷对地观测卫星调度,使用双层优化模型对自适应大领域搜索算法(Adaptive Large Neighborhood Search, ALNS)进行了面向特定场景实现动态演化,并发表在《Engineering Management [4]。发表在《European Journal of Operational Research》的文章使用双种群协同进化框架显著提升在轨卫星运行收益[7]。

在方案创新层面,方法论不断丰富完善。在NeurIPS 2024上,LLaMEA框架将LLM深度嵌入为元启发式核心组件[8],在ICLR 2025上,ReEvo框架引入自我反思机制提升进化效率[9]。在AAAI 2026上,EoH-S框架自动化生成启发式策略集合[5]。
真正彰显工业级实力的里程碑,是团队在运筹优化“世界杯”CVRPLIB BKS车辆路径问题全球挑战赛中斩获冠军。华为与高校联合团队将“大模型+进化计算”架构应用于求解器设计,击败全球顶尖学术与商业求解器。在EoH的基础上,香港城市大学提出了OptVerse-CityU,在公开基准和现实物流场景中均展现卓越性能与稳定性。

这一系列技术汇聚于开源平台LLM4AD[2],其应用扩展至图像对抗攻击、流体力学建模[6]、飞行器设计乃至因果推断等上百个跨学科任务,展现出“大模型进化论”作为通用工具的无限潜能。
当算法开始自我进化,创新的边界便不再由人类预设的规则所限定。EoH及其引发的研究,正如一道穿透复杂性问题迷雾的轨迹。
此刻,你最想用这种“大模型进化论”,去自动设计一个什么领域的算法呢?
参考文献
[1] Liu, F., Tong, X., Yuan, M., Lin, X., Luo, F., Wang, Z., & Wang, Z. (2024). Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Model. Nature Machine Intelligence.
[2] Romera, A. K., et al. (2024). LLM4AD: A Platform for Algorithm Design with Large Language Model. arXiv preprint arXiv:2412.17287.
[3] AgentAD Research Group. (2025). A Large Language Model-based Multi-Agent Framework to Autonomously Design Algorithms for Earth Observation Satellite Scheduling Problem. Engineering.
[4] Wang, Z., et al. (2026). LLM-assisted Adaptive Large Neighborhood Search for Agile Earth Observation Satellite Scheduling. Engineering Management.
[5] Liu, F., Liu, Y., Zhang, Q., Tong, X., & Yuan, M. (2026). EoH-S: Evolution of Heuristic Set Using LLMs for Automated Heuristic Design. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2026).
[6] Zhang, Y., Zheng, K., Liu, F., Zhang, Q., & Wang, Z. (2025). AutoTurb: Using Large Language Models for Automatic Algebraic Model Discovery of Turbulence Closure. Physics of Fluids.
[7] Zhou, Y., et al. (2025). A Dual-Population Cooperative Evolution Framework for Agile Earth Observation Satellite Scheduling. European Journal of Operational Research.
[8] Chen, L., et al. (2024). LLaMEA: Large Language Model as Evolutionary Algorithm. Advances in Neural Information Processing Systems (NeurIPS).
[9] Xu, H., et al. (2025). ReEvo: Reflective Evolutionary Algorithm with Large Language Models. International Conference on Learning Representations (ICLR).