《自然通讯》| 少年班校友基于强化学习求解自旋玻璃基态

2023年2月9日,标题为Searching for spin glass ground states through deep reinforcement learning的文章发表在Nature Communications上。这篇文章的共同第一作者之一为沈牧天(中国科大14级少年班校友)

自旋玻璃(spin glass)是一种有代表性的无序系统(disorder system)。它是一种很基本的物理模型,与许多重要的基础科学问题有着紧密联系,例如蛋白质折叠和神经网络。由于其中存在着大量的阻挫(frustration),其系统基态的求解依然极具挑战性。传统的算法大致有基于暴力搜索的分支限界算法和基于退火的启发式算法。在系统的维度和尺寸升高时,这些算法找到系统基态的时间会快速上升,直到计算成本上无法接受的程度。

作者基于强化学习设计了一个适用于求解该问题的一个计算框架,DIRAC。通过节点/边嵌入(node/edge embedding)和信息传播(message passing)的迭代,该框架可以编码系统中存在的长程关联。通过价值学习,DIRAC可以预测策略的长期回报,从而避免系统陷入局部最优。在此基础上,作者借鉴了格点规范理论中的规范变换(gauge transformation),可以构造任意多规范等价的系统初态,从而发挥DIRAC框架相对于传统基于能量的计算框架而言无规范对称性的优势。

作者将DIRAC与传统的算法进行了系统性的比较。在所有测试样例中,DIRAC均能以更少的探索步数到达更低的系统能量。作者还考虑一个特殊的例子:反铁磁系统。该系统的基态呈规则的棋盘型,但对于传统的退火算法来说依然是不小的挑战。例如,在一个20*20的二维系统上,被认为是最高效算法之一的并行退火(Parallel Tempering)需要10808步才能到达系统基态,而DIRAC只需要200步。这意味着,该计算框架能在每一步都做出完全正确的决策。此外,其计算过程所展现出的模式很接近于人类思维;这是传统的启发式算法完全无法比拟的。

此外,由于诸多NP问题的哈密顿量都可以写成伊辛格式(Ising Formalism),该计算框架可以同时用来求解其他问题,例如最大切问题(Max-Cut)。未来,在引入超边嵌入(hyperedge embedding)的技术后,结合规范变换,该框架有望于高效求解更多的NP问题。

原文链接:点击查看详情

沈牧天,中国科大14少

沈牧天,博士生,是论文的共同第一作者。1997年生,毕业于江苏省苏州中学,中国科大少年班学院2014级。第一届交叉学科英才班毕业生,有物理学和计算机科学的双学士学位。本科期间曾经实习于中国科学院理论物理研究所(导师:周海军)以及美国哈佛大学医学院(导师:刘洋彧)。从2019年至今于圣路易斯华盛顿大学跟随Zohar Nussinov教授从事关于自旋玻璃以及无序系统混沌的研究。他还参与了一些医疗科技的研究项目。他特别感谢中国科大交叉学科英才班给他打下的坚实基础。他还特别感谢中学时期孟敏娟老师和孔竹清老师的启蒙。联系方式:smutian@wustl.edu

新闻说明:新闻由中国科大新创校友基金会(微信公号ID:USTCIF)与网站发布。欢迎转载,但须保留文章完整性,说明新闻来源。

2023-02-15 上一篇: 意义非凡!何川教授荣获2023沃尔夫化学奖 下一篇: 一肩挑!窦贤康出任国家自然科学基金委主任