|
|
Journal of Zhejiang University SCIENCE C
ISSN 1869-1951(Print), 1869-196x(Online), Monthly
2025 Vol.26 No.3 P.309-478
Review Articles
Review Article: Training large-scale language models with limited GPU memory: a survey
Yu TANG, Linbo QIAO, Lujia YIN, Peng LIANG, Ao SHEN, Zhilin YANG, Lizhi ZHANG, Dongsheng LI
DOI: 10.1631/FITEE.2300710 Downloaded: 3534 Clicked: 2875 Cited: 0 Commented: 0(p.309-331) <Full Text><PPT> 620
国防科技大学计算机学院并行与分布计算全国重点实验室，中国长沙市，410073
摘要：大模型凭借其在多领域应用中的卓越性能，已在计算机视觉、自然语言处理等领域获得广泛关注。然而，此类模型的训练面临图形处理器（GPU）显存容量的显著制约。本文系统梳理了有限GPU显存条件下大模型训练的优化技术体系。首先深入解析训练过程中GPU显存占用的三大核心要素--模型参数、模型状态和模型激活；继而从这三个维度对现有研究成果进行多角度评述；最后展望了该领域未来的发展方向，强调持续创新显存优化技术对推动大语言模型发展的重要性。本综述为研究人员理解大语言模型训练中的显存优化挑战与技术演进提供了系统参考。
关键词组：训练技术；显存优化；模型参数；模型状态；模型激活
Review Article: A review of flexible job shop scheduling problems considering transportation vehicles
Bin XIN, Sai LU, Qing WANG, Fang DENG
DOI: 10.1631/FITEE.2300795 Downloaded: 6255 Clicked: 2546 Cited: 0 Commented: 0(p.332-353) <Full Text><PPT> 526
1北京理工大学自动化学院，中国北京市，100081
2北京理工大学重庆创新中心，中国重庆市，401120
摘要：柔性制造系统中加工机器与转运车辆的联合调度问题已引起学术界和工业界的广泛关注。与传统柔性车间调度问题相比，将转运车辆调度纳入柔性制造系统的调度，使得联合调度问题的求解更加具有挑战性和实践意义。本文对联合调度问题的常见假设、约束、目标函数和基准算例作了归纳总结。然后，从出版期刊、历年发表文章数量以及求解方法等角度，对截至2023年的相关文献进行了统计和讨论。随后，根据解决方法的类型，将其分为精确算法、启发式算法、元启发式算法和群体智能算法，并梳理已有文献。最后，总结了联合调度问题的研究趋势和未来挑战。
关键词组：柔性制造系统；转运车辆；加工机器；集成调度
Research Articles
DRMSpell: dynamically reweighting multimodality for Chinese spelling correction
Yinghao LI, Heyan HUANG, Baojun WANG, Yang GAO
DOI: 10.1631/FITEE.2300816 Downloaded: 3977 Clicked: 2413 Cited: 0 Commented: 0(p.354-366) <Full Text><PPT> 579
1北京理工大学计算机学院，中国北京市，100081
2北京理工大学东南信息技术研究院，中国莆田市，351100
3华为诺亚方舟实验室，中国深圳市，518129
摘要：中文拼写纠正任务旨在检测和纠正中文文本中可能出现的拼写错误。但中文表现出高度的复杂性，其特点是存在多种声调变化的拼音表示，这些声调变化可以对应不同的字符。鉴于中文语言的这种复杂性，中文拼写纠正任务对于确保书面交流的准确性和清晰度至关重要，最近的研究已经将外部知识通过语音和视觉模态引入模型中。然而，这些方法未能有效地利用模态信息来针对性地解决不同类型的拼写错误。在本文中我们提出一个名为DRMSpell的多模态预训练语言模型以用于中文拼写纠正，该模型考虑了模态之间的交互作用。我们引入一个动态多模态重新加权模块，用于重新加权各种模态以获取更多的多模态信息。为充分利用所获得的多模态信息并进一步加强模型，我们提出一个独立模态掩码策略，在预训练阶段独立掩蔽一个词元的三种模态。我们的方法在大多数广泛使用的基准测试指标上实现了最先进的性能，实验结果表明，我们的方法能够建模模态之间的交互信息，即使对错误模态信息也具有鲁棒性。
关键词组：中文拼写纠正；多模态；掩码策略
An intelligent mesh-smoothing method with graph neural networks
Zhichao WANG, Xinhai CHEN, Junjun YAN, Jie LIU
DOI: 10.1631/FITEE.2300878 Downloaded: 3216 Clicked: 2352 Cited: 0 Commented: 0(p.367-384) <Full Text><PPT> 680
1国防科技大学并行与分布计算全国重点实验室，中国长沙市，410073
2国防科技大学高端装备数字化软件重点实验室，中国长沙市，410073
摘要：在计算流体力学中，网格平滑方法通常被应用于优化网格质量，以实现高精度的数值模拟。其中，基于优化的平滑方法广泛用于高质量网格平滑，但其计算成本相对较高。一些先驱性研究工作尝试采用监督学习的方法，从高质量网格样本中学习平滑方法，以提高其平滑效率。然而，该方法存在一些限制，例如难以处理不同度节点的问题，并且需要数据增强来解决网格节点输入顺序的问题。此外，对于高质量网格数据的依赖也限制了该方法的适用性。为解决这些问题，本文提出一种轻量级神经网络模型GMSNet，以实现智能化的网格平滑。GMSNet采用图神经网络来提取节点邻居的特征，并输出最优的节点位置。在平滑过程中，本文还引入了一种容错机制，以防止GMSNet生成负体积元素。通过轻量级的模型架构，GMSNet能够有效地平滑不同度的网格节点，并且不受输入数据顺序的影响。此外，本文还提出一种新颖的损失函数MetricLoss，用于消除对高质量网格数据的依赖，并促进训练的稳定、快速收敛。本文在二维非结构网格上将GMSNet与常用的网格平滑方法进行对比。实验结果表明，相较于之前的模型，GMSNet在具有出色的网格平滑性能的同时，仅需要其5%的参数，并且平滑速度是基于优化的方法的13.56倍。
关键词组：非结构网格；网格平滑；图神经网络；优化式平滑方法
Significance extraction based on data augmentation for reinforcement learning
Yuxi HAN, Dequan LI, Yang YANG
DOI: 10.1631/FITEE.2400406 Downloaded: 2757 Clicked: 1626 Cited: 0 Commented: 0(p.385-399) <Full Text><PPT> 722
1浙江大学医学院附属口腔医院， 浙江大学口腔医学院， 浙江省口腔疾病临床医研究中心， 浙江省口腔生物医学研究重点实验室， 浙江大学癌症研究院， 中国杭州市， 310006
2广西口腔颌面修复与重建研究重点实验室， 中国南宁市， 530021
摘要：包括骨质疏松症、骨关节炎、类风湿性关节炎、骨折和牙周炎在内的骨相关疾病，显著影响了人类健康。琥珀酸作为三羧酸循环中的一种代谢中间产物，已被发现不仅在代谢中起作用，还能作为细胞功能的调节因子发挥作用。应激状态下，琥珀酸在线粒体中积累，作为信号分子调节细胞功能。值得注意的是，琥珀酸可通过稳定缺氧诱导因子1α（HIF-1α）促进血管生成和炎症发展。此外，琥珀酸还可通过与琥珀酸受体1（SUCNR1）作用介导多种病理生理过程，如免疫反应、炎症、癌症转移和骨稳态等。琥珀酸作为信号分子的多重作用取决于其在细胞中的位置和浓度。近期的代谢组学分析发现，骨相关疾病中琥珀酸水平升高，提示其可能与这些疾病相关。本综述旨在阐明琥珀酸对不同骨相关疾病的影响，并基于其作用机制探讨潜在的治疗靶点和相关药物分子。
关键词组：琥珀酸；骨关节炎；类风湿性关节炎；骨质疏松；骨折；牙周炎
Changwen DING, Chuntao SHAO, Siteng ZHOU, Di ZHOU, Runle DU, Jiaqi LIU
DOI: 10.1631/FITEE.2400582 Downloaded: 2808 Clicked: 1628 Cited: 0 Commented: 0(p.400-414) <Full Text><PPT> 606
1哈尔滨工业大学航天学院，中国哈尔滨市，150001
2试验物理与计算数学国家重点实验室，中国北京市，100076
摘要：本文提出一种基于高效标签匹配的分布式标签多伯努利多目标跟踪方法。传统的分布式标签多伯努利融合都是假设本地标签多目标密度之间的标签匹配已经完成。然而，考虑到实际场景中本地标签多目标密度之间的标签空间相互独立，因此上述假设在很多应用场景中无法保证。为解决上述问题，本文从算术均值散度的概念出发，提出一种高效的标签匹配方法，并根据匹配结果，进行标签多伯努利后验概率密度融合。本文所提方法与已有方法相比，在低检测概率场景中体现出良好性能。此外，为保证融合结果的一致性与完整性，整个融合过程被设计为以下4个阶段：预融合、标签确认、后验概率密度补充和唯一性检查。在具有挑战性的非线性纯方位多目标跟踪（MTT）场景中，验证了所提标签匹配分布式标签多伯努利滤波器融合的性能。
关键词组：分布式多传感器多目标跟踪；标签多伯努利滤波器；算术均值融合；标签匹配
Mengyu ZHANG, Zhenxue HE, Yijin WANG, Xiaojun ZHAO, Xiaodan ZHANG, Limin XIAO, Xiang WANG
DOI: 10.1631/FITEE.2400513 Downloaded: 2952 Clicked: 1403 Cited: 0 Commented: 0(p.415-426) <Full Text><PPT> 719
机构：1浙江大学，流体动力与机电系统国家重点实验室，中国杭州，310058；2浙江大学，浙江省3D打印工艺与装备重点实验室，中国杭州，310058
目的：关节软骨是关节功能的关键组成部分，但由于外伤和退行性疾病的影响，软骨极易受到损伤。传统的软骨治疗方法通常依赖复杂的手术程序，且疗效有限。作为一种潜在的替代方案，植入式载药支架逐渐成为一种有前景的软骨疾病治疗选择。然而，支架与天然软骨在结构与功能上的兼容性问题以及载药缓释功能的优化，仍然是当前面临的重大挑战。为了解决这些问题，本文提出了一种采用四区域中空多孔纤维网络结构的新型软骨支架设计。
创新点：1.提出了一种具有良好自支撑性能的双相有机硅油墨配方；2.提出了一种软骨支架的仿生设计，使支架具有与天然软骨相似的力学性能；3.软骨支架集成了由中空多孔纤维组成的药物输送系统，保证了稳定的药物释放性能。
方法：1.通过建模仿真，建立软骨支架压缩力学性能的数值模型（图4）；2.通过正交实验，确定软骨支架的纤维直径、纤维间距、纤维排列角等结构设计参数（表4）；3.使用液相硅胶和固体颗粒组成双相硅胶墨水，并利用挤出式3D打印平台制备支架。
结论：1.设计的仿生四区域中空多孔药物载体支架在结构与功能上高度接近天然软骨，具备良好的应用前景；2.设计的支架具备初始快速释放及后期持续释放的药物释放特性；3.生物相容性实验表明，设计的支架具有良好的生物相容性。
关键词组：仿生设计；3D打印；软骨支架；梯度多孔结构；力学性能调控；药物释放系统
A geographic information encryption system based on Chaos-LSTM and chaos sequence proliferation
Jia DUAN, Luanyun HU, Qiumei XIAO, Meiting LIU, Wenxin YU
DOI: 10.1631/FITEE.2300755 Downloaded: 3199 Clicked: 3314 Cited: 0 Commented: 0(p.427-440) <Full Text>
1湖南省第三测绘院，中国长沙市，410000
2湖南省地理信息安全与应用工程研究中心，中国长沙市，410000
3湖南科技大学信息与电气工程学院，中国湘潭市，411201
摘要：针对传统混沌加密算法中混沌系统状态与初始状态及参数关联性强，可能导致混沌序列存在周期性的问题，结合混沌系统和LSTM神经网络构建了Chaos-LSTM模型。针对计算机的有限计算精度效应会使长混沌序列出现周期性，使其不适宜对数据量大的对象进行加密的问题，构建了混沌序列增殖(CSP)算法。结合二者，提出了基于Chaos-LSTM与混沌序列增殖的地理信息数据加密通信系统。首先，通过Chaos-LSTM模型输出具有较高谱熵(SE)复杂度的混沌序列；然后，选取较短的混沌序列，通过CSP算法增殖出匹配加密对象的混沌加密序列，并对增殖序列进行随机性分析与测试；最后，以地理图片信息为加密对象，将混沌增殖序列与扩散算法以及置乱算法结合构成加密算法，并将加密系统在ZYNQ平台中实现。软件测试与硬件实验表明该系统具有良好的保密性能与可拓展性，能用于多种加密对象的保密通信，具备良好的应用价值。
关键词组：混沌；长短期记忆神经网络（LSTM）；混沌序列增殖（CSP）；ZYNQ平台；图像加密
Mai TANG, Wenqiang XIA, Jiuqiang DENG, Yao MAO
DOI: 10.1631/FITEE.2300796 Downloaded: 3367 Clicked: 2864 Cited: 0 Commented: 0(p.441-455) <Full Text><PPT> 585
1中国科学院光场调控科学技术全国重点实验室，中国成都市，610209
2中国科学院光学工程重点实验室，中国成都市，610209
3中国科学院光电技术研究所，中国成都市，610209
4中国科学院大学，中国北京市，101408
摘要：光电跟踪系统因其出色的工作性能，已被广泛应用于自由空间环境探测及通信等前沿领域。外界扰动往往会很大程度影响光电跟踪系统的工作精度，随着其应用领域不断拓宽，更复杂的工作条件也带来更复杂的工作环境和扰动情况。本文针对周期性谐波扰动和窄带尖峰周期性扰动两类复杂的扰动情况，提出一种基于重复控制策略改进的误差扰动观测器复合控制结构。这种结构在保证系统稳定性的同时，实现了多重频率处的周期性扰动抑制，弥补了现有扰动抑制方法难以对复杂周期性扰动进行抑制的问题。此外，给出相关证明，并搭建光电系统实验平台，验证了上述控制方法在不同情况下的有效性和可靠性。
关键词组：扰动抑制；误差观测器；重复控制；光电跟踪系统；特殊频率点
Yang YANG, Fanming HUANG, Dong YUE
DOI: 10.1631/FITEE.2300532 Downloaded: 3203 Clicked: 2785 Cited: 0 Commented: 0(p.456-471) <Full Text><PPT> 580
1南京邮电大学自动化学院、人工智能学院，中国南京市，210023
2南京邮电大学碳中和先进技术研究院，中国南京市，210023
摘要：本文研究了一类非严格反馈离散时间多智能体系统的隐私保护一致性跟踪问题。为减轻明文加密和解密之间的误差影响，开发一种改进的Liu加密系统，以确保明文信息恢复良好。采用强化学习技术补偿未知动态和真实信号与解密信号之间的误差。采用反步法和图论知识，设计基于强化学习的隐私保护一致性跟踪控制策略。借助李雅普诺夫稳定性理论，证明多智能体系统的一致跟踪误差和所有信号最终有界。最后，通过仿真实例验证设计控制策略的有效性。
关键词组：多智能体系统；一致跟踪；隐私保护；强化学习
Correspondence
Correspondence: An optimal algorithm for preemptive scheduling on non-simultaneously available uniform machines
Hao ZHOU, Liping CAO, Qi WEI, Zhenyu SHU, Yiwei JIANG
DOI: 10.1631/FITEE.2300767 Downloaded: 2986 Clicked: 1894 Cited: 0 Commented: 0(p.472-478) <Full Text><PPT> 538
1浙江树人学院基础学院，中国杭州市，310015
2浙江工商大学管理工程与电子商务学院，中国杭州市，310018
3宁波财经学院国际经济贸易学院，中国宁波市，315175
4浙大宁波理工学院计算机与数据工程学院，中国宁波市，315100
摘要：研究了m台可用时间不同的同类机可中断调度问题，目标是极小化最大完工时间。每台机器都有一个不同的加工速度和可用时间。通过将真实机器转化成虚拟机器的方法给出最优调度目标值的下界。在这些虚拟机器中，可用时间越早的机器在任何时候都有更快的速度。对该问题，给出一个时间复杂度为O(nm+m2)的最优调度算法，并且该算法的中断次数不超过（n代表工件数量）。
关键词组：最优算法；可中断调度；同类机；非同时可用时间