Journal of Zhejiang University

Current Issue: <FITEE>

Frontiers of Information Technology & Electronic Engineering (former title: Journal of Zhejiang University SCIENCE C (Computers & Electronics), 2010-2014)

ISSN 2095-9184 (print); ISSN 2095-9230 (online); CN 33-1389/TP; Monthly.

FITEE is an international peer-reviewed journal indexed by SCI-E, Ei Compendex, DBLP, IC, Scopus, JST, CSA, etc. It covers research in Electrical and Electronic Engineering, including Computer Science, Information Sciences, Control, Automation, Telecommunications, and related disciplines.

Impact factor: 0.308 (2011), 0.297 (2012), 0.380 (2013), 0.415 (2014), 0.392 (2015), 0.622 (2016), 0.910 (2017), 1.033 (2018), 1.604 (2019), 2.161 (2020), 2.545 (2021), 3.0 (2022).

Frontiers of Information Technology & Electronic Engineering

ISSN 2095-9184 (print), ISSN 2095-9230 (online)

2025 Vol.26 No.3 P.309-478

Cover:

<27>

Contents:

<25>

CONTENTS

Review Articles

Review Article: Training large-scale language models with limited GPU memory: a survey

Yu TANG, Linbo QIAO, Lujia YIN, Peng LIANG, Ao SHEN, Zhilin YANG, Lizhi ZHANG, Dongsheng LI

DOI: 10.1631/FITEE.2300710 Downloaded: 768 Clicked: 1318 Cited: 0 Commented: 0(p.309-331) <Full Text> <PPT > 39

Chinese summary <2> 有限GPU显存下的大语言模型训练技术综述

唐宇，乔林波，尹路珈，梁鹏，沈奥，杨智琳，张立志，李东升
国防科技大学计算机学院并行与分布计算全国重点实验室，中国长沙市，410073
摘要：大模型凭借其在多领域应用中的卓越性能，已在计算机视觉、自然语言处理等领域获得广泛关注。然而，此类模型的训练面临图形处理器（GPU）显存容量的显著制约。本文系统梳理了有限GPU显存条件下大模型训练的优化技术体系。首先深入解析训练过程中GPU显存占用的三大核心要素--模型参数、模型状态和模型激活；继而从这三个维度对现有研究成果进行多角度评述；最后展望了该领域未来的发展方向，强调持续创新显存优化技术对推动大语言模型发展的重要性。本综述为研究人员理解大语言模型训练中的显存优化挑战与技术演进提供了系统参考。

关键词组：训练技术；显存优化；模型参数；模型状态；模型激活

Review Article: A review of flexible job shop scheduling problems considering transportation vehicles

Bin XIN, Sai LU, Qing WANG, Fang DENG

DOI: 10.1631/FITEE.2300795 Downloaded: 2621 Clicked: 1355 Cited: 0 Commented: 0(p.332-353) <Full Text> <PPT > 46

Chinese summary <1> 考虑转运车辆的柔性车间调度问题综述

辛斌¹，鲁赛¹，王晴¹，邓方^1,2
¹北京理工大学自动化学院，中国北京市，100081
²北京理工大学重庆创新中心，中国重庆市，401120
摘要：柔性制造系统中加工机器与转运车辆的联合调度问题已引起学术界和工业界的广泛关注。与传统柔性车间调度问题相比，将转运车辆调度纳入柔性制造系统的调度，使得联合调度问题的求解更加具有挑战性和实践意义。本文对联合调度问题的常见假设、约束、目标函数和基准算例作了归纳总结。然后，从出版期刊、历年发表文章数量以及求解方法等角度，对截至2023年的相关文献进行了统计和讨论。随后，根据解决方法的类型，将其分为精确算法、启发式算法、元启发式算法和群体智能算法，并梳理已有文献。最后，总结了联合调度问题的研究趋势和未来挑战。

关键词组：柔性制造系统；转运车辆；加工机器；集成调度

Research Articles

DRMSpell: dynamically reweighting multimodality for Chinese spelling correction

Yinghao LI, Heyan HUANG, Baojun WANG, Yang GAO

DOI: 10.1631/FITEE.2300816 Downloaded: 877 Clicked: 1107 Cited: 0 Commented: 0(p.354-366) <Full Text> <PPT > 48

Chinese summary <1> DRMSpell：中文拼写纠正中的动态多模态重新加权技术

李英豪¹，黄河燕^1,2，王宝军³，高扬^1,2
¹北京理工大学计算机学院，中国北京市，100081
²北京理工大学东南信息技术研究院，中国莆田市，351100
³华为诺亚方舟实验室，中国深圳市，518129
摘要：中文拼写纠正任务旨在检测和纠正中文文本中可能出现的拼写错误。但中文表现出高度的复杂性，其特点是存在多种声调变化的拼音表示，这些声调变化可以对应不同的字符。鉴于中文语言的这种复杂性，中文拼写纠正任务对于确保书面交流的准确性和清晰度至关重要，最近的研究已经将外部知识通过语音和视觉模态引入模型中。然而，这些方法未能有效地利用模态信息来针对性地解决不同类型的拼写错误。在本文中我们提出一个名为DRMSpell的多模态预训练语言模型以用于中文拼写纠正，该模型考虑了模态之间的交互作用。我们引入一个动态多模态重新加权模块，用于重新加权各种模态以获取更多的多模态信息。为充分利用所获得的多模态信息并进一步加强模型，我们提出一个独立模态掩码策略，在预训练阶段独立掩蔽一个词元的三种模态。我们的方法在大多数广泛使用的基准测试指标上实现了最先进的性能，实验结果表明，我们的方法能够建模模态之间的交互信息，即使对错误模态信息也具有鲁棒性。

关键词组：中文拼写纠正；多模态；掩码策略

An intelligent mesh-smoothing method with graph neural networks

Zhichao WANG, Xinhai CHEN, Junjun YAN, Jie LIU

DOI: 10.1631/FITEE.2300878 Downloaded: 687 Clicked: 1093 Cited: 0 Commented: 0(p.367-384) <Full Text> <PPT > 50

Chinese summary <1> 基于图神经网络的网格平滑方法研究

王志超^1,2，陈新海^1,2，颜君峻^1,2，刘杰^1,2
¹国防科技大学并行与分布计算全国重点实验室，中国长沙市，410073
²国防科技大学高端装备数字化软件重点实验室，中国长沙市，410073
摘要：在计算流体力学中，网格平滑方法通常被应用于优化网格质量，以实现高精度的数值模拟。其中，基于优化的平滑方法广泛用于高质量网格平滑，但其计算成本相对较高。一些先驱性研究工作尝试采用监督学习的方法，从高质量网格样本中学习平滑方法，以提高其平滑效率。然而，该方法存在一些限制，例如难以处理不同度节点的问题，并且需要数据增强来解决网格节点输入顺序的问题。此外，对于高质量网格数据的依赖也限制了该方法的适用性。为解决这些问题，本文提出一种轻量级神经网络模型GMSNet，以实现智能化的网格平滑。GMSNet采用图神经网络来提取节点邻居的特征，并输出最优的节点位置。在平滑过程中，本文还引入了一种容错机制，以防止GMSNet生成负体积元素。通过轻量级的模型架构，GMSNet能够有效地平滑不同度的网格节点，并且不受输入数据顺序的影响。此外，本文还提出一种新颖的损失函数MetricLoss，用于消除对高质量网格数据的依赖，并促进训练的稳定、快速收敛。本文在二维非结构网格上将GMSNet与常用的网格平滑方法进行对比。实验结果表明，相较于之前的模型，GMSNet在具有出色的网格平滑性能的同时，仅需要其5%的参数，并且平滑速度是基于优化的方法的13.56倍。

关键词组：非结构网格；网格平滑；图神经网络；优化式平滑方法

Significance extraction based on data augmentation for reinforcement learning

Yuxi HAN, Dequan LI, Yang YANG

DOI: 10.1631/FITEE.2400406 Downloaded: 291 Clicked: 299 Cited: 0 Commented: 0(p.385-399) <Full Text> <PPT > 19

Chinese summary <1> 基于数据增强的显著性提取强化学习

韩玉玺，李德权，杨洋
安徽理工大学人工智能学院，中国淮南市，232000
摘要：深度强化学习在视觉任务中展现了显著的能力，但在输入图像受到干扰信号的情况下，其泛化能力较弱，因此难以将训练有素的智能体应用于新环境中。为了让智能体能区分图像中的噪声信号和重要像素，数据增强技术和辅助网络的建立是有效的解决方案。提出一种新的算法，即增强提取显著性Q值（SEQA），该算法鼓励智能体全面探索未知状态，并将注意力集中在重要信息上。具体来说，SEQA屏蔽干扰特征，提取显著特征，使用评论家损失更新掩码解码网络，从而促使智能体关注重要特征并做出正确决策。在DeepMind控制泛化基准上评估该算法，实验结果表明，该算法极大提高了训练效率和稳定性。同时，在大多数DeepMind控制泛化基准任务中，我们的算法在样本效率和泛化能力方面优于最先进的强化学习方法。

关键词组：深度强化学习；视觉任务；泛化；数据增强；显著性；DeepMind控制泛化基准

Distributed multi-target tracking with labeled multi-Bernoulli filter considering efficient label matching

Changwen DING, Chuntao SHAO, Siteng ZHOU, Di ZHOU, Runle DU, Jiaqi LIU

DOI: 10.1631/FITEE.2400582 Downloaded: 281 Clicked: 363 Cited: 0 Commented: 0(p.400-414) <Full Text> <PPT > 21

Chinese summary <1> 基于高效标签匹配的分布式标签多伯努利多目标跟踪方法

丁昌文¹，邵春涛¹，周斯腾¹，周荻¹，杜润乐²，刘佳琪²
¹哈尔滨工业大学航天学院，中国哈尔滨市，150001
²试验物理与计算数学国家重点实验室，中国北京市，100076
摘要：本文提出一种基于高效标签匹配的分布式标签多伯努利多目标跟踪方法。传统的分布式标签多伯努利融合都是假设本地标签多目标密度之间的标签匹配已经完成。然而，考虑到实际场景中本地标签多目标密度之间的标签空间相互独立，因此上述假设在很多应用场景中无法保证。为解决上述问题，本文从算术均值散度的概念出发，提出一种高效的标签匹配方法，并根据匹配结果，进行标签多伯努利后验概率密度融合。本文所提方法与已有方法相比，在低检测概率场景中体现出良好性能。此外，为保证融合结果的一致性与完整性，整个融合过程被设计为以下4个阶段：预融合、标签确认、后验概率密度补充和唯一性检查。在具有挑战性的非线性纯方位多目标跟踪（MTT）场景中，验证了所提标签匹配分布式标签多伯努利滤波器融合的性能。

关键词组：分布式多传感器多目标跟踪；标签多伯努利滤波器；算术均值融合；标签匹配

A power optimization approach for mixed polarity Reed–Muller logic circuits based on multi-strategy fusion memetic algorithm

Mengyu ZHANG, Zhenxue HE, Yijin WANG, Xiaojun ZHAO, Xiaodan ZHANG, Limin XIAO, Xiang WANG

DOI: 10.1631/FITEE.2400513 Downloaded: 307 Clicked: 283 Cited: 0 Commented: 0(p.415-426) <Full Text> <PPT > 26

Chinese summary <1> 一种基于MFMA的MPRM逻辑电路功耗优化方法

张梦雨^1,2，何振学^1,2，王伊瑾^1,2，赵晓君^1,2，张晓丹^1,2，肖利民³，王翔⁴
¹河北农业大学智能农业装备研究院，中国保定市，071001
²河北农业大学河北省农业大数据重点实验室，中国保定市，071001
³北京航空航天大学计算机学院，中国北京市，100191
⁴北京航空航天大学电子信息工程学院，中国北京市，100191
摘要：混合极性Reed-Muller（MPRM）逻辑电路功耗优化是一种典型的组合优化问题。现有功耗优化方法存在收敛速度慢、易陷入局部最优等问题，在实现最佳功耗方面的有效性十分有限。首先，本文提出一种多策略融合模因算法（MFMA），利用黑猩猩优化算法进行全局勘探，利用基于最优位置学习和自适应权重因子的浣熊优化算法（COA-OLA）进行局部探索，最后采用截断选择算法进行新种群选择。其次，基于MFMA提出一种MPRM逻辑电路功耗优化方法，通过寻找最佳极性配置，使得电路功耗最小化。基于MCNC基准电路的实验结果表明，与现有的功耗优化方法相比，本功耗优化方法有显著的改进。MFMA实现最高功耗优化率为72.30%，平均优化率为43.37%。同时，MFMA搜索解的速度更快且质量更好，验证了其在功耗优化方面的有效性和优越性。

关键词组：功耗优化；多策略融合模因算法（MFMA）；混合极性Reed-Muller（MPRM）；组合优化问题

A geographic information encryption system based on Chaos-LSTM and chaos sequence proliferation

Jia DUAN, Luanyun HU, Qiumei XIAO, Meiting LIU, Wenxin YU

DOI: 10.1631/FITEE.2300755 Downloaded: 709 Clicked: 1367 Cited: 0 Commented: 0(p.427-440) <Full Text>

Chinese summary <1> 基于Chaos-LSTM与混沌序列增殖的地理信息数据加密系统

段佳^1,2，胡娈运^1,2，肖求美³，刘美婷³，于文新³
¹湖南省第三测绘院，中国长沙市，410000
²湖南省地理信息安全与应用工程研究中心，中国长沙市，410000
³湖南科技大学信息与电气工程学院，中国湘潭市，411201
摘要：针对传统混沌加密算法中混沌系统状态与初始状态及参数关联性强，可能导致混沌序列存在周期性的问题，结合混沌系统和LSTM神经网络构建了Chaos-LSTM模型。针对计算机的有限计算精度效应会使长混沌序列出现周期性，使其不适宜对数据量大的对象进行加密的问题，构建了混沌序列增殖(CSP)算法。结合二者，提出了基于Chaos-LSTM与混沌序列增殖的地理信息数据加密通信系统。首先，通过Chaos-LSTM模型输出具有较高谱熵(SE)复杂度的混沌序列；然后，选取较短的混沌序列，通过CSP算法增殖出匹配加密对象的混沌加密序列，并对增殖序列进行随机性分析与测试；最后，以地理图片信息为加密对象，将混沌增殖序列与扩散算法以及置乱算法结合构成加密算法，并将加密系统在ZYNQ平台中实现。软件测试与硬件实验表明该系统具有良好的保密性能与可拓展性，能用于多种加密对象的保密通信，具备良好的应用价值。

关键词组：混沌；长短期记忆神经网络（LSTM）；混沌序列增殖（CSP）；ZYNQ平台；图像加密

An error-based observer improved by the repetitive control strategy for electro-optical tracking systems

Mai TANG, Wenqiang XIA, Jiuqiang DENG, Yao MAO

DOI: 10.1631/FITEE.2300796 Downloaded: 716 Clicked: 1032 Cited: 0 Commented: 0(p.441-455) <Full Text> <PPT > 23

Chinese summary <1> 光电跟踪系统中基于重复控制策略改进的误差观测器

唐迈^1,2,3,4，夏文强^1,2,3,4，邓久强^1,2,3,4，毛耀^1,2,3,4
¹中国科学院光场调控科学技术全国重点实验室，中国成都市，610209
²中国科学院光学工程重点实验室，中国成都市，610209
³中国科学院光电技术研究所，中国成都市，610209
⁴中国科学院大学，中国北京市，101408
摘要：光电跟踪系统因其出色的工作性能，已被广泛应用于自由空间环境探测及通信等前沿领域。外界扰动往往会很大程度影响光电跟踪系统的工作精度，随着其应用领域不断拓宽，更复杂的工作条件也带来更复杂的工作环境和扰动情况。本文针对周期性谐波扰动和窄带尖峰周期性扰动两类复杂的扰动情况，提出一种基于重复控制策略改进的误差扰动观测器复合控制结构。这种结构在保证系统稳定性的同时，实现了多重频率处的周期性扰动抑制，弥补了现有扰动抑制方法难以对复杂周期性扰动进行抑制的问题。此外，给出相关证明，并搭建光电系统实验平台，验证了上述控制方法在不同情况下的有效性和可靠性。

关键词组：扰动抑制；误差观测器；重复控制；光电跟踪系统；特殊频率点

Reinforcement learning based privacy-preserving consensus tracking control of nonstrict-feedback discrete-time multi-agent systems

Yang YANG, Fanming HUANG, Dong YUE

DOI: 10.1631/FITEE.2300532 Downloaded: 770 Clicked: 1570 Cited: 0 Commented: 0(p.456-471) <Full Text> <PPT > 28

Chinese summary <1> 基于强化学习的非严格反馈离散时间多智能体系统隐私保护一致性跟踪控制

杨杨¹，黄范铭¹，岳东^1,2
¹南京邮电大学自动化学院、人工智能学院，中国南京市，210023
²南京邮电大学碳中和先进技术研究院，中国南京市，210023
摘要：本文研究了一类非严格反馈离散时间多智能体系统的隐私保护一致性跟踪问题。为减轻明文加密和解密之间的误差影响，开发一种改进的Liu加密系统，以确保明文信息恢复良好。采用强化学习技术补偿未知动态和真实信号与解密信号之间的误差。采用反步法和图论知识，设计基于强化学习的隐私保护一致性跟踪控制策略。借助李雅普诺夫稳定性理论，证明多智能体系统的一致跟踪误差和所有信号最终有界。最后，通过仿真实例验证设计控制策略的有效性。

关键词组：多智能体系统；一致跟踪；隐私保护；强化学习

Correspondence

Correspondence: An optimal algorithm for preemptive scheduling on non-simultaneously available uniform machines

Hao ZHOU, Liping CAO, Qi WEI, Zhenyu SHU, Yiwei JIANG

DOI: 10.1631/FITEE.2300767 Downloaded: 621 Clicked: 941 Cited: 0 Commented: 0(p.472-478) <Full Text> <PPT > 22

Chinese summary <1> 非同时可用同类机可中断调度问题的最优算法

周昊¹，曹丽萍²，魏麒³，舒振宇⁴，蒋义伟²
¹浙江树人学院基础学院，中国杭州市，310015
²浙江工商大学管理工程与电子商务学院，中国杭州市，310018
³宁波财经学院国际经济贸易学院，中国宁波市，315175
⁴浙大宁波理工学院计算机与数据工程学院，中国宁波市，315100
摘要：研究了m台可用时间不同的同类机可中断调度问题，目标是极小化最大完工时间。每台机器都有一个不同的加工速度和可用时间。通过将真实机器转化成虚拟机器的方法给出最优调度目标值的下界。在这些虚拟机器中，可用时间越早的机器在任何时候都有更快的速度。对该问题，给出一个时间复杂度为O(nm+m²)的最优调度算法，并且该算法的中断次数不超过（n代表工件数量）。

关键词组：最优算法；可中断调度；同类机；非同时可用时间