|
|
Journal of Zhejiang University SCIENCE C
ISSN 1869-1951(Print), 1869-196x(Online), Monthly
2025 Vol.26 No.7 P.1017-1242
<<< CONTENTS
Personal View
Personal View: Towards the first principles of explaining DNNs: interactions explain the learning dynamics
Huilin ZHOU, Qihan REN, Junpeng ZHANG, Quanshi ZHANG
DOI: 10.1631/FITEE.2401025 Downloaded: 425 Clicked: 391 Cited: 0 Commented: 0(p.1017-1026) <Full Text><PPT> 35
1上海交通大学电子信息与电气工程学院，中国上海市，200240
2上海交通大学计算机学院，中国上海市，200240
摘要：当前关于深度学习可解释性的大部分研究都是经验主义的，而是否存在第一性原理，从不同角度全方位严谨解释深度神经网络的内在机理，成为可解释人工智能领域亟待解决的核心科学问题之一。本文探讨等效交互理论可否用于深度神经网络的第一性原理解释分析。我们认为，该理论之所以具备较强的解释能力，主要体现在以下4个方面：（1）建立了一套新的公理体系，将深度神经网络的决策逻辑转化为一系列符号化的交互；（2）能够同时解释深度学习的多种典型特征，包括网络的泛化能力、抗敏感性、表征瓶颈以及学习动态性；（3）提供了统一解释深度学习算法的数学工具，从而能够系统地解释各种经验归因方法以及对抗迁移性方法背后的机制；（4）分析深度神经网络建模过程中交互复杂度的双阶段动态变化，解释深度神经网络在训练过程中建模的复杂性以及泛化能力和抗敏感性之间的联系，从而深入揭示深度神经网络的泛化能力和抗敏感性在学习阶段的内在变化机理。
关键词组：第一性原理解释；等效交互理论；双阶段动态交互；学习动态性
Review Article
Review Article: Image generation evaluation: a comprehensive survey of human and automatic evaluations
Qi LIU, Shuanglin YANG, Zejian LI, Lefan HOU, Chenye MENG, Ying ZHANG, Lingyun SUN
DOI: 10.1631/FITEE.2400904 Downloaded: 380 Clicked: 340 Cited: 0 Commented: 0(p.1027-1065) <Full Text><PPT> 46
1浙江大学软件学院，中国宁波市，315100
2东南大学计算机科学与工程学院，中国南京市，211189
3浙江大学计算机科学与技术学院，中国杭州市，310027
摘要：图像生成模型取得了显著进展，其中图像评估在解释和推动这些模型的发展方面至关重要。现有研究广泛探讨了图像生成的人类评估与自动评估。本文对相关研究进行了系统综述，重点涵盖两个核心部分：评估协议与评估方法。首先，总结了10类图像生成任务，重点关注它们在评估方面的差异。基于此，提出一种新的评估协议，以涵盖不同图像生成任务所需的人类与自动评估的重要评估方面。其次，重点回顾过去5年中提出的自动评估方法。据我们所知，本文是对人工评估的首次全面总结，涵盖评估方法、工具、评估细节及数据分析方法。最后，探讨了当前图像生成评估面临的挑战及未来发展方向。希望本综述能够帮助研究人员系统理解图像生成评估，掌握该领域最新进展，并推动相关研究的开展。
关键词组：图像生成评估；人类评估；自动评估；评估协议；评估方面
Research Articles
Shared-weight multimodal translation model for recognizing Chinese variant characters
Yuankang SUN, Bing LI, Lexiang LI, Peng YANG, Dongmei YANG
DOI: 10.1631/FITEE.2400504 Downloaded: 1415 Clicked: 650 Cited: 0 Commented: 0(p.1066-1082) <Full Text><PPT> 42
1东南大学计算机科学与工程学院，中国南京市，210000
2东南大学计算机网络和信息集成教育部重点实验室，中国南京市，210000
3北京科技大学计算机与通信工程学院，中国北京市，100083
摘要：中文变体字识别任务旨在解决中文字符中存在的语义模糊和混淆问题，这些问题对网页内容的安全性构成潜在风险，并加剧敏感词汇管理的复杂性。大多数现有方法在预训练阶段侧重于从中文语料库和词汇中获取上下文语义，往往忽视了中文固有的音韵和形态特征。基于上述问题，本文提出一种面向中文变体字识别的共享权重多模态翻译模型。该模型将拼音的音韵特征和字体的形态特征整合到每个中文词元中，以学习变体文本的深层语义特征。具体来说，通过嵌入层对中文拼音音韵特征进行编码，并利用卷积神经网络学习中文字体形态特征。考虑到中文变体字识别任务中源句与目标句之间的多模态特征相似性，设计了共享权重嵌入机制，在训练过程中利用源句的启发式信息生成目标句。实验结果表明，本文所提出的共享权重多模态翻译模型在双语评估测试（BLEU）和F1值方面分别达到89.550%和79.480%，与当前最先进的基线模型相比有显著提升。
关键词组：中文变体字；多模态模型；翻译模型；音韵和形态
A ground-based dataset and diffusion model for on-orbit low-light image enhancement
Yiman ZHU, Lu WANG, Jingyi YUAN, Yu GUO
DOI: 10.1631/FITEE.2400261 Downloaded: 1028 Clicked: 730 Cited: 0 Commented: 0(p.1083-1098) <Full Text><PPT> 27
南京理工大学自动化学院，中国南京市，210000
摘要：在轨服务对于维护太空环境的可持续性至关重要。天基可见光相机是一种经济且轻量化的传感器，可用于在轨服务期间的态势感知。然而，其性能易受低照度环境影响。近年来，深度学习在自然图像增强领域取得显著成功，但由于数据瓶颈，尚未广泛应用于太空。本文首次提出一套用于北斗导航卫星在轨低光照图像增强（LLIE）的数据集。在自动化数据采集方案中，我们专注于减少领域差异并提升数据集的多样性。基于模拟太空光照条件的机器人仿真测试平台采集了硬件在环图像。为在不发生碰撞的情况下均匀采样不同方向和距离的姿态，提出一种无碰撞工作空间及姿态分层采样方法。随后，开发了一种新的扩散模型。为在不过度曝光和细节模糊的情况下增强图像对比度，设计了融合注意力引导来突出结构和暗区。与现有方法的对比结果表明，我们的方法具有更好的在轨低光照图像增强性能。
关键词组：卫星捕获；低光照图像增强（LLIE）；数据采集；扩散模型；融合注意力
Jiajia JIAO, Ran WEN, Hong YANG
DOI: 10.1631/FITEE.2400547 Downloaded: 2229 Clicked: 922 Cited: 0 Commented: 0(p.1099-1114) <Full Text><PPT> 31
上海海事大学信息工程学院，中国上海市，201306
摘要：硬件瞬态故障已被证实会对深度神经网络产生显著影响，尤其在自动驾驶汽车、医疗保健和航天应用中，其安全关键性误分类概率增加多达4倍。然而，使用准确的故障注入方法进行不准确性评估非常耗时，在完整的仿真平台可能需要几个小时甚至几天时间。为加快对深度神经网络上硬件瞬态故障的评估，设计了一种统一的端到端自动化方法--A-Mean，该方法利用基本操作（如卷积、加法、乘法、激活函数、最大池化等）的静默数据损失率以及静态两级均值计算机制，快速计算整体静默数据损失率，以估算一般分类指标准确性和特定应用指标安全关键性误分类。更重要的是，采用最大策略确定深度神经网络中非顺序结构的静默数据损失边界。然后，将静态安全关键性误分类结果与一次动态无故障执行的原始数据合并，采用最坏情况方案进一步计算瞬态故障下放大的安全关键性误分类和降半的准确性。此外，以上所有步骤均已实现自动化，以便该易于使用的自动化工具可以用于快速评估多种深度神经网络上的瞬态故障。同时，定义一种新指标"故障敏感性"以表征瞬态故障导致的安全关键性误分类升高和准确率降低的变化。与最先进的故障注入方法TensorFI+在5个深度神经网络模型和4个数据集上的比较结果表明，本文提出的评估方法A-Mean实现了高达922.80倍的加速，同时其平均安全关键性误分类损失和准确率损失仅为4.20%和0.77%。A-Mean的相关结果可通过https://github.com/breatrice321/A-Mean获取。
关键词组：分析模型；深度神经网络；硬件瞬态故障；快速评估；自动化评估工具
CRGT-SA: an interlaced and spatiotemporal deep learning model for network intrusion detection
Jue CHEN, Wanxiao LIU, Xihe QIU, Wenjing LV, Yujie XIONG
DOI: 10.1631/FITEE.2400459 Downloaded: 1079 Clicked: 867 Cited: 0 Commented: 0(p.1115-1130) <Full Text>
上海工程技术大学电子电气工程学院，中国上海市，310027
摘要：为应对网络攻击的挑战，人们引入入侵检测系统以识别入侵行为并保护计算机网络。在所有这些入侵检测系统中，传统机器学习方法依赖于浅学习，其性能不理想。与机器学习方法不同，深度学习方法是目前主流方法，因其能处理大量数据，而无需事先了解特定领域的专业知识。在深度学习中，长短期记忆（LSTM）和时间卷积网络（TCN）可以从不同角度提取时间特征，而卷积神经网络（CNN）则可以学习空间特征。基于此背景，本文提出一种新的交错式时空深度学习模型（CRGT-SA），该模型将CNN与门控TCN和LSTM模块结合以学习时空特性，并引入自注意力机制选择显著特征。具体而言，所提模型将特征提取分解为粒度逐渐增加的多个步骤，并结合CNN、LSTM和门控TCN模块执行每个步骤。基于UNSW-NB15数据集对所提CRGT-SA模型进行验证，并与其他方法比较，包括传统机器学习、深度学习模型以及最先进的深度学习模型。仿真结果表明，所提模型具有最高准确率和F1值。所提模型在二分类和多分类上的准确率分别为91.5%和90.5%，证明其保护互联网免受复杂网络攻击的能力。此外，在NSL-KDD数据集上进行了一系列模拟，并与其他模型比较；仿真结果进一步证明该模型的泛化能力。
关键词组：入侵检测；深度学习；卷积神经网络；长短期记忆网络；时间卷积网络
Long working distance portable smartphone microscopy for metallic mesh defect detection
Zhengang LU, Hongsheng QIN, Jing LI, Ming SUN, Jiubin TAN
DOI: 10.1631/FITEE.2401002 Downloaded: 747 Clicked: 502 Cited: 0 Commented: 0(p.1131-1143) <Full Text><PPT> 27
1哈尔滨工业大学超精密光电仪器工程研究所，中国哈尔滨市，150080
2哈尔滨工业大学超精密仪器技术及智能化工信部重点实验室，中国哈尔滨市，150080
3中国工程物理研究院材料研究所，中国江油市，621907
4阿卜杜拉国王科技大学视觉计算中心，沙特阿拉伯图瓦尔，23955
摘要：金属网栅是一种具有精细金属线结构的透明电磁屏蔽膜。然而，在加工生产或实际使用阶段会出现影响其光电性能的缺陷。金属网栅原位无损检测需要满足长工作距离、反射光路设计和小型化的要求。为解决现有智能手机显微镜在金属网栅缺陷检测领域中工作距离短和反射式成像效果不足的问题，本文提出一种长工作距反射式智能手机显微镜（LD-RSM）。LD-RSM结合外部光学组件和智能手机构成4f光学成像系统，其使用分束器实现反射式成像，即照明系统和成像系统位于样品同侧。系统实现了4.92μm的光学分辨率和高达22.23 mm的工作距离。此外，设计了双先验融合的加权鲁棒主成分分析方法（DW-RPCA）用于缺陷检测。DW-RPCA利用频谱滤波融合和霍夫变换对不同类型缺陷建模，进而提高了缺陷识别的准确性。结合双阈值分割方法，DW-RPCA在方形和圆形金属网栅数据集中分别实现了0.856和0.848的像素级缺陷检测精度（f数）。该项工作在工业产品原位在线检测领域显示出较大应用潜力。
关键词组：智能手机显微镜；缺陷检测；便携反射式成像；金属网栅；低秩分解
Zhenhui FENG, Renbin XIAO, Mingzhi XIAO
DOI: 10.1631/FITEE.2500035 Downloaded: 308 Clicked: 176 Cited: 0 Commented: 0(p.1144-1163) <Full Text><PPT> 31
1华中科技大学人工智能与自动化学院，中国武汉市，430074
2中石油昆仑燃气有限公司湖北分公司，中国武汉市，430077
3武昌首义学院信息科学与工程学院，中国武汉市，430064
摘要：空间众包作为一种完成时空任务的有效范式，逐渐引起工业界和学术界广泛关注。随着移动技术的进步，为了更好地满足用户的多样化需求，空间众包的服务模式变得更加灵活和多样化。现有研究大多聚焦于单一类型下的同构任务分配问题，未考虑任务需求和工作者的个体差异，因此在实际应用中难以得到令人满意的结果。本文根据空间众包现实场景，研究了混合场景下异构多任务分配问题，并给出问题的形式化描述和定义。在问题求解方面，提出一种嵌入个体排序模型的角色分工方法，该方法以批处理框架为基础，可分为两部分。首先，引入个体排序模型，根据任务与工人的时空属性确定对象的排序。其次，基于吸引-排斥机制设计角色分工模型，以匹配任务与工人。经多批次迭代，获得最终匹配结果。使用真实和合成数据集验证了该方法的有效性，并通过与其他算法的比较来证明其性能。此外，研究了不同参数的影响，确认了其可扩展性。
关键词组：空间众包；异构任务；角色分工；吸引-排斥机制；个体排序
Yalu WANG, Jie LI, Zhijie HAN, Pu CHENG, Roshan KUMAR
DOI: 10.1631/FITEE.2400932 Downloaded: 495 Clicked: 373 Cited: 0 Commented: 0(p.1164-1179) <Full Text>
1河南大学计算机与信息工程学院，中国开封市，475004
2郑州航空工业管理学院计算机学院，中国郑州市，450046
3河南大学软件学院，中国开封市，475004
4河南大学迈阿密学院，中国开封市，475004
摘要：物联网（IoT）设备的快速增长和其复杂性的增加使得网络入侵检测成为一个关键挑战，尤其是在以数据隐私为主要关注点的边缘计算环境中。基于机器学习的入侵检测技术可以增强物联网网络的安全性，但通常需要集中式的网络数据，这带来数据隐私和安全方面的重大风险。近年来，尽管出现了基于联邦学习的网络入侵检测方法以应对隐私问题，但这些方法尚未充分利用图神经网络（GNN）在入侵检测中的优势。为解决这一问题，提出一种联邦时空图卷积网络框架（FedSTGCN），该框架结合了时空图神经网络（STGNN）和联邦学习的能力。该框架支持在分布式物联网设备间协同训练模型，无需共享原始数据，从而在保护数据隐私的同时提高网络入侵检测的准确性。在两个广泛使用的物联网入侵检测数据集上进行了大量实验，以评估所提方法的有效性。实验结果表明，FedSTGCN在二分类和多分类任务中均优于其他方法，在二分类任务中准确率超过97%，在多分类任务中加权F1分数超过92%。
关键词组：物联网；网络入侵检测；时空图神经网络；联邦学习；数据隐私
Binkun LIU, Zhenyi XU, Yu KANG, Yang CAO, Yunbo ZHAO
DOI: 10.1631/FITEE.2400753 Downloaded: 564 Clicked: 589 Cited: 0 Commented: 0(p.1180-1193) <Full Text><PPT> 29
1中国科学技术大学自动化系，中国合肥市，230027
2系统控制与信息处理教育部重点实验室，中国上海市，200240
3合肥综合性国家科学中心人工智能研究院，中国合肥市，230088
4江淮前沿技术协同创新中心，中国合肥市，230000
摘要：在智能制造中，在标签数据稀缺条件下预测轴承剩余使用寿命（RUL）具有重要意义。当前方法在多传感器场景中常面临不同退化阶段行为相似性的挑战。针对跨传感器相似性可增强退化特征判别力的特性，本文提出一种标签稀缺条件下的多传感器对比式RUL预测方法。利用跨传感器相似性，从共现空间中丰富的无标签传感器数据中挖掘蕴含设备健康状态的多传感器相似表征。具体而言，首先利用ResNet18将不同传感器特征映射至共现空间，其次基于共现空间中的跨传感器相似性，通过交替对比学习从海量无标签数据中提取表征设备退化阶段的多传感器相似表征，最后利用有限标签数据对模型进行微调，实现RUL预测。在公开轴承数据集上的实验表明，相较于现有最优方法，平均绝对百分比误差降低至少0.058，评价得分提升至少0.122。
关键词组：自监督；剩余使用寿命预测；对比学习
Longkai WANG, Yong LEI
DOI: 10.1631/FITEE.2400696 Downloaded: 923 Clicked: 663 Cited: 0 Commented: 0(p.1194-1208) <Full Text><PPT> 28
浙江大学流体动力与机电系统国家重点实验室，中国杭州市，310027
摘要：随着工业自动化系统中DeviceNet拓扑结构越来越复杂，以及工业设备和工艺的可靠性要求越来越严格，，网络自身故障的诊断方法愈发重要。DeviceNet系统常出现间歇性连接（IC）故障，严重危害生产性能，甚至危及运行安全。然而，现有DeviceNet的IC故障诊断方法--尤其针对复杂拓扑网络的方法--无法直接处理多个故障的场景，需要人工干预才能全面诊断。针对复杂拓扑DeviceNet网络，本文提出一种基于贝叶斯推断的新型数据驱动IC故障诊断方法，该方法可在不影响系统正常运行的情况下，准确且高效地定位网络中所有IC故障。首先，通过分析被IC故障中断的数据帧定义观测症状，并通过整合观测症状与网络拓扑信息推导嫌疑IC故障。其次，利用观测症状的数量信息及其与嫌疑IC故障的因果关系，提出基于贝叶斯推断的估计方法，用来估计每个嫌疑IC故障发生于网络的后验概率。最后，开发一种基于最大似然的快速诊断算法，在不同复杂故障场景下快速识别IC故障位置。通过搭建实验台，在各种网络拓扑和故障场景下进行案例研究，验证所提方法的有效性和优势。实验结果表明，本文所提方法诊断出的IC故障位置与实验设置一致。
关键词组：DeviceNet；现场总线；复杂拓扑；故障诊断；间歇性连接；贝叶斯推断
AOI-OPEN: federated operation and control for DAO-based trustworthy and intelligent AOI ecology
Yansong CAO, Yutong WANG, Jing YANG, Yonglin TIAN, Jiangong WANG, Fei-Yue WANG
DOI: 10.1631/FITEE.2400975 Downloaded: 531 Clicked: 443 Cited: 0 Commented: 0(p.1209-1221) <Full Text><PPT> 36
1澳门科技大学创新工程学院，中国澳门市，999078
2中国科学院自动化研究所，中国北京市，100190
摘要：在智能自动光学检测（AOI）系统中，数据孤岛现象普遍存在，限制了数据资源的充分利用并阻碍了AOI系统的潜力发挥。建立一个涉及软件提供商、硬件制造商和工厂的协作生态系统，为形成闭环的数据流动并实现数据资源的最优化利用提供了积极的解决方案。然而，隐私问题、权利侵犯和来自其他参与者的威胁阻碍了高效有为社区的构建。本文提出创新的框架AOI-OPEN，首先利用去中心化自治组织（DAO）建立可信的AOI生态来聚集相关实体。接着，提出平行数据方法，用于从小规模真实数据生成大规模虚拟样本，以供AOI系统使用。最后，采用联邦学习技术，利用多个实体之间分布的数据资源，并以隐私安全的方式构建大模型。在缺陷分类任务上的实验结果显示，AOI-OPEN在保护隐私的同时，极大地加强了分布式数据资源的利用，促进了检测模型准确性的提升。
关键词组：自动光学检测；分布式自治组织；平行数据；联邦智能
Analysis of the Pareto equilibrium in multi-objective games using semi-tensor product
Fanyueyang ZHANG, Jun ′ e FENG ‡
DOI: 10.1631/FITEE.2400945 Downloaded: 520 Clicked: 369 Cited: 0 Commented: 0(p.1222-1236) <Full Text><PPT> 39
山东大学数学学院，中国济南市，250100
摘要：近年来受到广泛关注的多目标博弈（MOG）是一类具有向量收益的博弈。本文基于半张量积（STP），从静态和动态两个角度讨论该MOG模型的Pareto均衡存在性、有限步可达性和有限步可控性。首先，利用多层图提出MOG的概念，并利用STP将收益函数转化为代数形式。然后，从静态角度分别提出验证所有玩家是否都能满足其期望和验证局势是否为Pareto均衡的两个充分必要条件。进而，从动态角度设计策略更新规则来研究演化MOG的有限步可达性。最后，通过添加伪玩家分析演化MOG的有限步可控性，并给出一种寻找最短演化过程和控制序列的反向搜索算法。
关键词组：多目标博弈；Pareto均衡；半张量积；有限步可达性；有限步可控性
Correspondence
Miniaturized diplexer with wide-stopband based on half-mode SIW
Ziyu ZHOU, Gang DONG‡ , Xinqing LEI, Zhangming ZHU
DOI: 10.1631/FITEE.2400944 Downloaded: 508 Clicked: 392 Cited: 0 Commented: 0(p.1237-1242) <Full Text><PPT> 23
西安电子科技大学微电子学院，中国西安市，710071
摘要：基于半模基片集成波导（HMSIW），提出一种宽阻带小型化双工器。该双工器将双模谐振器（DMR）与单模谐振器（SMR）相结合。采用HMSIW技术突破了SMR在小型化方面的限制，同时有效解决了SMR中常见的TE202模式对宽阻带性能的限制。采用TE101/TE301DMR设计并制造了一个二阶原型，原型的中心频率分别为10.34 GHz和13.90GHz。测量结果显示，该双工器的阻带范围为2.16f1（f1是通道1的中心频率），具有优于20 dB的带外抑制水平。与此同时，该双工器的尺寸被显著缩小至1.363λg2（λg是f1时介质基底中的导波波长）。
关键词组：双工器；基片集成波导；小型化；半模；宽阻带；本征模抑制技术