无监督学习测验整数规划求解器的新范式来了九游会体育。
中国科学工夫大学王杰锤真金不怕火团队(MIRA Lab)提议了一种全新的整数规划求解措施—— DiffILO(Differentiable Integer Linear Programming Optimization),关系论文已被东谈主工智能顶级海外会议 ICLR 2025 收受为 Spotlight。
成果露出:与现存主流的监督学习措施对比,DiffILO 不仅显耀加速测验速率,还能生成更高质地的可行解。
小引:用机器学习解 ILP,为若何此费事?
整数线性规划(ILP) 是组合优化中最基础亦然最关键的一类问题,鄙俚控制于工业调节、物流运载、采集规划、芯片布图等现实场景。但是 ILP 的求解特别费事 —— 变量闹翻、可行域复杂、搜索空间指数爆炸,践诺上属于 NP 难问题。
比年来,机器学习迟缓被引入这一过程,尝试通过数据运转的样式加速求解器。但现时主流作念法大多依赖监督学习:先用传统求解器(如 Gurobi)生成一批解行动标签,然后测验模子去"效法"这些解。这种作念法存在两大瓶颈:
腾贵的测验老本:每个样本王人需调用求解器生成标签;
测验野心与测试野心不一致:只优化展望纰谬,无法保险最终解的可行性与质地。
有莫得可能充足开脱标签依赖,径直让模子"我方"学会求解 ILP 问题?
谜底是:不错!该论文提议了DiffILO措施,不错用梯度着落来"解整数规划"!
中枢措施:DiffILO 是若何作念到的?
DiffILO,全称 Differentiable Integer Linear Programming Optimization,是一种无监督、端到端、可微分的 ILP 求解新范式。它的中枢改进是将闹翻、带阻挡的整数规划问题,滚动为连气儿、可微、无阻挡的问题,并借助深度学习模子来径直展望高质地解。
措施经由如下图所示:
措施简略不错分为三个样子:
Step 1:从闹翻到连气儿——概率建模与阻挡盼愿化
ILP 问题的样子常常如下:
DiffILO 的第一步是将每个 0-1 变量视为伯努利散布下的立地变量,即。
其中是需要优化的概率值。
传统 ILP 的"硬阻挡" 被滚动为"盼愿阻挡顽抗为零":
这种盼愿建状貌式有两个平允:
仍能保留原问题的最优解结构;
易于被解决函数进一步滚动为无阻挡样子。
Step 2:从阻挡到野心——解决函数与可微重参数化
该措施使用解决函数法将上述盼愿阻挡合入野心函数:
但由于该函数的采样项并弗成微,DiffILO 收受了Gumbel-Softmax + 重参数妙技,将闹翻采样类似为一个连气儿可导的函数:
使用 ,竣事对伯努利的可微类似;
使用保留组合结构;
梯度通过回传,值通过保留,兼顾
"可微"和"闹翻"的双重需求。
最终得到一个险些处处可导的野心函数,不错径直用梯度着落
进行优化。
Step 3:从图中学—— GNN 建模与端到端测验
每个 ILP 实例践诺上不错被默示为一个二分图:左边是变量,右边是阻挡,边代表变量出咫尺对应阻挡中。
使用一个图神经采集(GNN)来编码这个结构,输入为图 G,输出为概率向量,再接入一个 MLP 进行最终展望。
测验过程充足无监督,野心是最小化上述可微野心函数。还引入了三种测验妙技来增强踏实性:
样本归一化:对野心函数作念归一处理,合适不同实例范围;
余弦退火:自合适学习率调节;
解决扫数调控:动态调节 μ,均衡解质地与可行性。
实验成果
作家在多个圭臬 ILP 数据集(如 Set Covering、Independent Set、Combinatorial Auction)上进行了系统评估。成果露出:与现存主流的监督学习措施对比,DiffILO 不仅显耀加速测验速率,还能生成更高质地的可行解,况兼在与 Gurobi、SCIP 连合使用时,显耀提高求解器的举座性能。
作家先容
本论文作家耿子介是中国科学工夫大学 MIRA 实验室 2022 级博士生,师从王杰锤真金不怕火。此前,他于 2022 年毕业于少年班学院,取得数学与控制数学专科学士学位。他的主要盘问标的包括机器学习在运筹优化与芯片假想等界限的控制、大讲话模子等。他在 NeurIPS、ICML、ICLR 等东谈主工智能顶级会议上发表论文十余篇,其中五篇论文入选 Oral/Spotlight。他曾获 2024 年度国度奖学金;曾两次赢得丘成桐大学生数学竞赛优厚奖;曾在微软亚洲盘问院实习,赢得"明日之星"称呼;曾屡次担任顶会审稿东谈主,获评 NeurIPS 2023 Top 审稿东谈主;参与创办南京真则采集科技有限公司。
论文地址:
openreview.net/pdf?id=FPfCUJTsCn
一键三连「点赞」「转发」「堤防心」
接待在批驳区留住你的思法!
— 完 —
学术投稿请于责任日发邮件到:
ai@qbitai.com
标题注明【投稿】,告诉咱们:
你是谁,从哪来,投稿内容
附上论文 / 款式主页连气儿,以及规划样式哦
咱们会(尽量)实时修起你
� � 点亮星标 � �
科技前沿推崇逐日见九游会体育