|
|
Journal of Zhejiang University SCIENCE C
ISSN 1869-1951(Print), 1869-196x(Online), Monthly
2025 Vol.26 No.3 P.309-478
<<< CONTENTS
Review Articles
Review Article: Training large-scale language models with limited GPU memory: a survey
Yu TANG, Linbo QIAO, Lujia YIN, Peng LIANG, Ao SHEN, Zhilin YANG, Lizhi ZHANG, Dongsheng LI
DOI: 10.1631/FITEE.2300710 Downloaded: 804 Clicked: 1372 Cited: 0 Commented: 0(p.309-331) <Full Text><PPT> 47
国防科技大学计算机学院并行与分布计算全国重点实验室，中国长沙市，410073
摘要：大模型凭借其在多领域应用中的卓越性能，已在计算机视觉、自然语言处理等领域获得广泛关注。然而，此类模型的训练面临图形处理器（GPU）显存容量的显著制约。本文系统梳理了有限GPU显存条件下大模型训练的优化技术体系。首先深入解析训练过程中GPU显存占用的三大核心要素--模型参数、模型状态和模型激活；继而从这三个维度对现有研究成果进行多角度评述；最后展望了该领域未来的发展方向，强调持续创新显存优化技术对推动大语言模型发展的重要性。本综述为研究人员理解大语言模型训练中的显存优化挑战与技术演进提供了系统参考。
关键词组：训练技术；显存优化；模型参数；模型状态；模型激活
Review Article: A review of flexible job shop scheduling problems considering transportation vehicles
Bin XIN, Sai LU, Qing WANG, Fang DENG
DOI: 10.1631/FITEE.2300795 Downloaded: 2686 Clicked: 1376 Cited: 0 Commented: 0(p.332-353) <Full Text><PPT> 57
1北京理工大学自动化学院，中国北京市，100081
2北京理工大学重庆创新中心，中国重庆市，401120
摘要：柔性制造系统中加工机器与转运车辆的联合调度问题已引起学术界和工业界的广泛关注。与传统柔性车间调度问题相比，将转运车辆调度纳入柔性制造系统的调度，使得联合调度问题的求解更加具有挑战性和实践意义。本文对联合调度问题的常见假设、约束、目标函数和基准算例作了归纳总结。然后，从出版期刊、历年发表文章数量以及求解方法等角度，对截至2023年的相关文献进行了统计和讨论。随后，根据解决方法的类型，将其分为精确算法、启发式算法、元启发式算法和群体智能算法，并梳理已有文献。最后，总结了联合调度问题的研究趋势和未来挑战。
关键词组：柔性制造系统；转运车辆；加工机器；集成调度
Research Articles
DRMSpell: dynamically reweighting multimodality for Chinese spelling correction
Yinghao LI, Heyan HUANG, Baojun WANG, Yang GAO
DOI: 10.1631/FITEE.2300816 Downloaded: 921 Clicked: 1131 Cited: 0 Commented: 0(p.354-366) <Full Text><PPT> 62
1北京理工大学计算机学院，中国北京市，100081
2北京理工大学东南信息技术研究院，中国莆田市，351100
3华为诺亚方舟实验室，中国深圳市，518129
摘要：中文拼写纠正任务旨在检测和纠正中文文本中可能出现的拼写错误。但中文表现出高度的复杂性，其特点是存在多种声调变化的拼音表示，这些声调变化可以对应不同的字符。鉴于中文语言的这种复杂性，中文拼写纠正任务对于确保书面交流的准确性和清晰度至关重要，最近的研究已经将外部知识通过语音和视觉模态引入模型中。然而，这些方法未能有效地利用模态信息来针对性地解决不同类型的拼写错误。在本文中我们提出一个名为DRMSpell的多模态预训练语言模型以用于中文拼写纠正，该模型考虑了模态之间的交互作用。我们引入一个动态多模态重新加权模块，用于重新加权各种模态以获取更多的多模态信息。为充分利用所获得的多模态信息并进一步加强模型，我们提出一个独立模态掩码策略，在预训练阶段独立掩蔽一个词元的三种模态。我们的方法在大多数广泛使用的基准测试指标上实现了最先进的性能，实验结果表明，我们的方法能够建模模态之间的交互信息，即使对错误模态信息也具有鲁棒性。
关键词组：中文拼写纠正；多模态；掩码策略
An intelligent mesh-smoothing method with graph neural networks
Zhichao WANG, Xinhai CHEN, Junjun YAN, Jie LIU
DOI: 10.1631/FITEE.2300878 Downloaded: 698 Clicked: 1113 Cited: 0 Commented: 0(p.367-384) <Full Text><PPT> 61
1国防科技大学并行与分布计算全国重点实验室，中国长沙市，410073
2国防科技大学高端装备数字化软件重点实验室，中国长沙市，410073
摘要：在计算流体力学中，网格平滑方法通常被应用于优化网格质量，以实现高精度的数值模拟。其中，基于优化的平滑方法广泛用于高质量网格平滑，但其计算成本相对较高。一些先驱性研究工作尝试采用监督学习的方法，从高质量网格样本中学习平滑方法，以提高其平滑效率。然而，该方法存在一些限制，例如难以处理不同度节点的问题，并且需要数据增强来解决网格节点输入顺序的问题。此外，对于高质量网格数据的依赖也限制了该方法的适用性。为解决这些问题，本文提出一种轻量级神经网络模型GMSNet，以实现智能化的网格平滑。GMSNet采用图神经网络来提取节点邻居的特征，并输出最优的节点位置。在平滑过程中，本文还引入了一种容错机制，以防止GMSNet生成负体积元素。通过轻量级的模型架构，GMSNet能够有效地平滑不同度的网格节点，并且不受输入数据顺序的影响。此外，本文还提出一种新颖的损失函数MetricLoss，用于消除对高质量网格数据的依赖，并促进训练的稳定、快速收敛。本文在二维非结构网格上将GMSNet与常用的网格平滑方法进行对比。实验结果表明，相较于之前的模型，GMSNet在具有出色的网格平滑性能的同时，仅需要其5%的参数，并且平滑速度是基于优化的方法的13.56倍。
关键词组：非结构网格；网格平滑；图神经网络；优化式平滑方法
Significance extraction based on data augmentation for reinforcement learning
Yuxi HAN, Dequan LI, Yang YANG
DOI: 10.1631/FITEE.2400406 Downloaded: 311 Clicked: 322 Cited: 0 Commented: 0(p.385-399) <Full Text><PPT> 32
安徽理工大学人工智能学院，中国淮南市，232000
摘要：深度强化学习在视觉任务中展现了显著的能力，但在输入图像受到干扰信号的情况下，其泛化能力较弱，因此难以将训练有素的智能体应用于新环境中。为了让智能体能区分图像中的噪声信号和重要像素，数据增强技术和辅助网络的建立是有效的解决方案。提出一种新的算法，即增强提取显著性Q值（SEQA），该算法鼓励智能体全面探索未知状态，并将注意力集中在重要信息上。具体来说，SEQA屏蔽干扰特征，提取显著特征，使用评论家损失更新掩码解码网络，从而促使智能体关注重要特征并做出正确决策。在DeepMind控制泛化基准上评估该算法，实验结果表明，该算法极大提高了训练效率和稳定性。同时，在大多数DeepMind控制泛化基准任务中，我们的算法在样本效率和泛化能力方面优于最先进的强化学习方法。
关键词组：深度强化学习；视觉任务；泛化；数据增强；显著性；DeepMind控制泛化基准
Changwen DING, Chuntao SHAO, Siteng ZHOU, Di ZHOU, Runle DU, Jiaqi LIU
DOI: 10.1631/FITEE.2400582 Downloaded: 298 Clicked: 380 Cited: 0 Commented: 0(p.400-414) <Full Text><PPT> 30
1哈尔滨工业大学航天学院，中国哈尔滨市，150001
2试验物理与计算数学国家重点实验室，中国北京市，100076
摘要：本文提出一种基于高效标签匹配的分布式标签多伯努利多目标跟踪方法。传统的分布式标签多伯努利融合都是假设本地标签多目标密度之间的标签匹配已经完成。然而，考虑到实际场景中本地标签多目标密度之间的标签空间相互独立，因此上述假设在很多应用场景中无法保证。为解决上述问题，本文从算术均值散度的概念出发，提出一种高效的标签匹配方法，并根据匹配结果，进行标签多伯努利后验概率密度融合。本文所提方法与已有方法相比，在低检测概率场景中体现出良好性能。此外，为保证融合结果的一致性与完整性，整个融合过程被设计为以下4个阶段：预融合、标签确认、后验概率密度补充和唯一性检查。在具有挑战性的非线性纯方位多目标跟踪（MTT）场景中，验证了所提标签匹配分布式标签多伯努利滤波器融合的性能。
关键词组：分布式多传感器多目标跟踪；标签多伯努利滤波器；算术均值融合；标签匹配
Mengyu ZHANG, Zhenxue HE, Yijin WANG, Xiaojun ZHAO, Xiaodan ZHANG, Limin XIAO, Xiang WANG
DOI: 10.1631/FITEE.2400513 Downloaded: 337 Clicked: 296 Cited: 0 Commented: 0(p.415-426) <Full Text><PPT> 36
1河北农业大学智能农业装备研究院，中国保定市，071001
2河北农业大学河北省农业大数据重点实验室，中国保定市，071001
3北京航空航天大学计算机学院，中国北京市，100191
4北京航空航天大学电子信息工程学院，中国北京市，100191
摘要：混合极性Reed-Muller（MPRM）逻辑电路功耗优化是一种典型的组合优化问题。现有功耗优化方法存在收敛速度慢、易陷入局部最优等问题，在实现最佳功耗方面的有效性十分有限。首先，本文提出一种多策略融合模因算法（MFMA），利用黑猩猩优化算法进行全局勘探，利用基于最优位置学习和自适应权重因子的浣熊优化算法（COA-OLA）进行局部探索，最后采用截断选择算法进行新种群选择。其次，基于MFMA提出一种MPRM逻辑电路功耗优化方法，通过寻找最佳极性配置，使得电路功耗最小化。基于MCNC基准电路的实验结果表明，与现有的功耗优化方法相比，本功耗优化方法有显著的改进。MFMA实现最高功耗优化率为72.30%，平均优化率为43.37%。同时，MFMA搜索解的速度更快且质量更好，验证了其在功耗优化方面的有效性和优越性。
关键词组：功耗优化；多策略融合模因算法（MFMA）；混合极性Reed-Muller（MPRM）；组合优化问题
A geographic information encryption system based on Chaos-LSTM and chaos sequence proliferation
Jia DUAN, Luanyun HU, Qiumei XIAO, Meiting LIU, Wenxin YU
DOI: 10.1631/FITEE.2300755 Downloaded: 734 Clicked: 1391 Cited: 0 Commented: 0(p.427-440) <Full Text>
1湖南省第三测绘院，中国长沙市，410000
2湖南省地理信息安全与应用工程研究中心，中国长沙市，410000
3湖南科技大学信息与电气工程学院，中国湘潭市，411201
摘要：针对传统混沌加密算法中混沌系统状态与初始状态及参数关联性强，可能导致混沌序列存在周期性的问题，结合混沌系统和LSTM神经网络构建了Chaos-LSTM模型。针对计算机的有限计算精度效应会使长混沌序列出现周期性，使其不适宜对数据量大的对象进行加密的问题，构建了混沌序列增殖(CSP)算法。结合二者，提出了基于Chaos-LSTM与混沌序列增殖的地理信息数据加密通信系统。首先，通过Chaos-LSTM模型输出具有较高谱熵(SE)复杂度的混沌序列；然后，选取较短的混沌序列，通过CSP算法增殖出匹配加密对象的混沌加密序列，并对增殖序列进行随机性分析与测试；最后，以地理图片信息为加密对象，将混沌增殖序列与扩散算法以及置乱算法结合构成加密算法，并将加密系统在ZYNQ平台中实现。软件测试与硬件实验表明该系统具有良好的保密性能与可拓展性，能用于多种加密对象的保密通信，具备良好的应用价值。
关键词组：混沌；长短期记忆神经网络（LSTM）；混沌序列增殖（CSP）；ZYNQ平台；图像加密
Mai TANG, Wenqiang XIA, Jiuqiang DENG, Yao MAO
DOI: 10.1631/FITEE.2300796 Downloaded: 743 Clicked: 1051 Cited: 0 Commented: 0(p.441-455) <Full Text><PPT> 34
1中国科学院光场调控科学技术全国重点实验室，中国成都市，610209
2中国科学院光学工程重点实验室，中国成都市，610209
3中国科学院光电技术研究所，中国成都市，610209
4中国科学院大学，中国北京市，101408
摘要：光电跟踪系统因其出色的工作性能，已被广泛应用于自由空间环境探测及通信等前沿领域。外界扰动往往会很大程度影响光电跟踪系统的工作精度，随着其应用领域不断拓宽，更复杂的工作条件也带来更复杂的工作环境和扰动情况。本文针对周期性谐波扰动和窄带尖峰周期性扰动两类复杂的扰动情况，提出一种基于重复控制策略改进的误差扰动观测器复合控制结构。这种结构在保证系统稳定性的同时，实现了多重频率处的周期性扰动抑制，弥补了现有扰动抑制方法难以对复杂周期性扰动进行抑制的问题。此外，给出相关证明，并搭建光电系统实验平台，验证了上述控制方法在不同情况下的有效性和可靠性。
关键词组：扰动抑制；误差观测器；重复控制；光电跟踪系统；特殊频率点
Yang YANG, Fanming HUANG, Dong YUE
DOI: 10.1631/FITEE.2300532 Downloaded: 795 Clicked: 1589 Cited: 0 Commented: 0(p.456-471) <Full Text><PPT> 40
1南京邮电大学自动化学院、人工智能学院，中国南京市，210023
2南京邮电大学碳中和先进技术研究院，中国南京市，210023
摘要：本文研究了一类非严格反馈离散时间多智能体系统的隐私保护一致性跟踪问题。为减轻明文加密和解密之间的误差影响，开发一种改进的Liu加密系统，以确保明文信息恢复良好。采用强化学习技术补偿未知动态和真实信号与解密信号之间的误差。采用反步法和图论知识，设计基于强化学习的隐私保护一致性跟踪控制策略。借助李雅普诺夫稳定性理论，证明多智能体系统的一致跟踪误差和所有信号最终有界。最后，通过仿真实例验证设计控制策略的有效性。
关键词组：多智能体系统；一致跟踪；隐私保护；强化学习
Correspondence
Correspondence: An optimal algorithm for preemptive scheduling on non-simultaneously available uniform machines
Hao ZHOU, Liping CAO, Qi WEI, Zhenyu SHU, Yiwei JIANG
DOI: 10.1631/FITEE.2300767 Downloaded: 636 Clicked: 959 Cited: 0 Commented: 0(p.472-478) <Full Text><PPT> 30
1浙江树人学院基础学院，中国杭州市，310015
2浙江工商大学管理工程与电子商务学院，中国杭州市，310018
3宁波财经学院国际经济贸易学院，中国宁波市，315175
4浙大宁波理工学院计算机与数据工程学院，中国宁波市，315100
摘要：研究了m台可用时间不同的同类机可中断调度问题，目标是极小化最大完工时间。每台机器都有一个不同的加工速度和可用时间。通过将真实机器转化成虚拟机器的方法给出最优调度目标值的下界。在这些虚拟机器中，可用时间越早的机器在任何时候都有更快的速度。对该问题，给出一个时间复杂度为O(nm+m2)的最优调度算法，并且该算法的中断次数不超过（n代表工件数量）。
关键词组：最优算法；可中断调度；同类机；非同时可用时间