|
|
Journal of Zhejiang University SCIENCE C
ISSN 1869-1951(Print), 1869-196x(Online), Monthly
2025 Vol.26 No.1 P.1-156
Perspectives
Perspective: Visual knowledge in the big model era: retrospect and prospect
Wenguan WANG, Yi YANG, Yunhe PAN
DOI: 10.1631/FITEE.2400250 Downloaded: 722 Clicked: 1155 Cited: 0 Commented: 0(p.1-19) <Full Text><PPT> 159
浙江大学计算机科学与技术学院，中国杭州市，310027
摘要：视觉知识是一种新型知识表达形式，其理论之根深植于认知科学；视觉知识旨在为视觉智能的核心要素--如视觉概念、视觉关系、视觉操作和视觉推理--提供统一、全面且可解释的理论框架和建模方法。认知科学的研究实证了视觉相关知识在人类认知过程和智能行为中扮演着不可或缺的角色，由此可以推断，视觉知识的表达与学习将对发展视觉智能和机器智能起到重要作用。近年来，人工智能不断取得进步，尤其是人工智能大模型涌现出超越传统模型的智能水平，大模型能够自动从海量数据中发现普遍性规律，并将这些规律编码进超大规模神经网络的参数之中，实现了大规模知识自动提取和隐式知识参数化存储。这场由大模型驱动的新一轮人工智能技术革命，将为构建具备视觉知识的先进智能体带来新的机遇和挑战。对此，本文深入剖析视觉知识的理论基础，系统性回顾近年来视觉知识相关领域的发展状况。同时，针对大模型时代下视觉知识的发展方向以及其可能发挥的关键作用，提出前瞻性观点和展望。
关键词组：视觉知识；人工智能；基础模型；深度学习
Jing YANG, Xingyuan DAI, Yisheng LV, Levente KOVCS, Fei-Yue WANG
DOI: 10.1631/FITEE.2400800 Downloaded: 176 Clicked: 254 Cited: 0 Commented: 0(p.20-26) <Full Text><PPT> 194
1中国科学院自动化研究所，中国北京市，100190
2欧布达大学约翰·冯·诺伊曼信息学院，匈牙利布达佩斯，H-1034
3澳门科技大学创新工程学院，中国澳门市，999078
摘要：平行交通是一种实现智能交通管理与控制的综合性范式，致力于解决人类行为和社会因素的复杂性问题。近年来，基础模型（foundationalmodels, FMs）的崛起为平行交通的实现提供了新的可能。但这种模型固有的知识陈旧、"幻觉"现象以及"黑盒"特性削弱了其决策的可靠性和可信度。为解决这一问题，提出一种基于检索增强生成与思维链提示（chain-of-thought prompting）的平行交通框架TransRAG。该框架由紧密协作的存储层、管理层和执行层组成，旨在为用户提供个性且多样化的交通服务。其中，存储层引入的外部知识增强了管理层中基础模型的性能，以实现复杂的计算实验。执行层中人工交通系统与实际交通系统的虚实交互使得管理层的决策得到持续优化，从而实现动态知识更新和灵活的策略调整，以适应不断变化的交通环境。此外，TransRAG通过区块链、智能合约和缓存技术的集成，能够有效应对单点故障、隐私泄露以及数据访问延迟等问题，从而加速推进向"6S"交通5.0的全面迈进。
关键词组：平行交通；基础模型；区块链；缓存；智能合约；检索增强生成
Research Articles
Chao JING, Jianwu XU
DOI: 10.1631/FITEE.2300741 Downloaded: 868 Clicked: 1366 Cited: 0 Commented: 0(p.27-41) <Full Text><PPT> 152
1桂林理工大学计算机科学与工程学院，中国桂林市，541004
2广西嵌入式技术与智能系统重点实验室，中国桂林市，541004
摘要：虽然协同边缘计算系统有利于提高移动边缘计算性能，但是在任务卸载过程中，用户面临严重的隐私泄露问题。为解决这一问题，我们在协同边缘计算系统中设计了一种隐私保护感知时延优化任务卸载算法（PPDO）。通过考虑位置和使用模式两种隐私，建立了一种隐私任务模型来干扰边缘服务器以保护用户隐私。为解决隐私保护带来的额外时延问题，采用基于马尔可夫决策过程的策略迭代算法实现在保护隐私的同时尽量减少时延。同时，为加快马尔可夫决策过程的求解，通过优化动作集改进PPDO。最后，采用EUA数据集进行仿真实验。结果表明，与现有算法相比，PPDO以最小延迟实现了隐私保护和时延优化之间的最佳权衡。此外，研究了改进后PPDO算法的优缺点。
关键词组：协作式边缘计算；任务卸载；隐私保护；马尔可夫决策过程
Ruipeng ZHANG, Ziqing FAN, Jiangchao YAO, Ya ZHANG, Yanfeng WANG
DOI: 10.1631/FITEE.2400279 Downloaded: 751 Clicked: 1252 Cited: 0 Commented: 0(p.42-61) <Full Text><PPT> 148
1上海交通大学人工智能学院，中国上海市，200240
2上海交通大学未来媒体网络协同创新中心，中国上海市，200240
3上海人工智能实验室，中国上海市，200232
摘要：由于基础模型在人工智能领域引发的重大变革，跨中心联邦学习因其相对丰富的数据和强大的计算能力越来越受到人们的关注。与跨设备联邦学习不同，跨中心联邦学习的数据异构问题主要由客户端之间的大规模数据和分布偏移引起，这要求算法全面考虑个性化和泛化之间的平衡。本文旨在通过增强全局模型的跨域泛化能力以及提高本地训练客户端的个性化性能来解决泛化和个性化兼顾的联邦学习目标。通过研究联邦系统中性能分布的公平性，进一步探讨了以往研究中建立的泛化误差与聚合权重之间的相关性，提出泛化与个性化兼顾的公平性引导联邦训练（FFT-GP）方法。FFT-GP结合了一种公平性感知聚合策略，以最小化训练客户端之间的泛化误差方差，以及一种元学习策略，使局部训练与全局模型特征分布保持一致，从而平衡泛化和个性化。大量实验结果表明，与现有模型相比，FFT-GP具有卓越的效果，展示了其在各种实际场景中增强联邦学习训练表现的潜力。
关键词组：兼顾泛化与个性化的联邦学习；性能分布公平性；领域偏移
Algorithm for 3D point cloud steganalysis based on composite operator feature enhancement
Shuai REN, Hao GONG, Suya ZHENG
DOI: 10.1631/FITEE.2400360 Downloaded: 224 Clicked: 316 Cited: 0 Commented: 0(p.62-78) <Full Text>
1长安大学信息工程学院，中国西安市，710064
2长安大学地质工程与测绘学院，中国西安市，710064
摘要：三维点云信息隐藏算法主要集中在空间域。现有的空间域隐写分析算法在分析检测过程中受干扰因素较多，且仅能应用于三维网格对象，缺少针对三维点云对象的隐写分析算法。为打破隐写分析仅限于三维网格的局限，消除三维网格隐写分析特征集中的冗余特征，提出基于复合算子特征增强的三维点云隐写分析算法。首先，对三维点云进行归一化以及平滑处理。其次，通过改进的3DHarris-ISS复合算子提取三维点云中可能含密的特征点以及其邻域点作为特征增强区域，并在特征增强区域进行特征增强，形成特征增强的三维点云，在突出特征点的同时抑制其余顶点带来的干扰。再次，筛选已有的三维网格特征集合，减少更多相关特征的数据冗余，并将新提取的局部邻域特征集添加到筛选的特征集，从而形成三维点云隐写分析特征集POINT72。最后，利用POINT72特征集对增强后的三维点云进行隐写特征提取，并进行隐写分析实验。实验分析表明，算法可以准确分析三维点云的空域隐写，并判断三维点云是否含有隐藏信息。在缺少边信息和面信息的前提下，三维点云隐写分析的准确率接近现有三维网格隐写分析算法。
关键词组：隐写分析；三维点云；特征增强；特征集筛选
Transfer learning with a spatiotemporal graph convolution network for city flow prediction
Binkun LIU, Yu KANG, Yang CAO, Yunbo ZHAO, Zhenyi XU
DOI: 10.1631/FITEE.2300571 Downloaded: 791 Clicked: 1500 Cited: 0 Commented: 0(p.79-92) <Full Text><PPT> 210
1中国科学技术大学自动化系，中国合肥市，230026
2系统控制与信息处理教育部重点实验室，中国上海市，200240
3合肥综合性国家科学中心人工智能研究院，中国合肥市，230088
4中国科学技术大学先进技术研究院，中国合肥市，230088
摘要：最近，基于深度学习的城市流量预测被广泛应用于智慧城市的建设。由于这些方法通常对数据量要求较高，因此难以扩展到数据匮乏的城市。虽然迁移学习可以利用数据丰富的源城市协助目标城市进行城市流量预测，但由于忽略了长距离路网的连通性，因此现有方法的性能无法满足实际使用的需要。为解决这个问题，提出一种基于时空图卷积的迁移预测方法，即在源城市和目标城市之间构建一个共现空间，然后在共现空间中对源城市和目标城市流量数据进行映射对齐，从而实现源城市流量预测模型在目标城市上的迁移预测。具体来说，我们设计了一个动态时空图卷积模块和一个时间编码器，以同时捕捉流量的时间特征和空间特征，这些特征揭示了道路网络结构、人类出行习惯和城市流量之间的内在关联。然后，将这些特征作为跨城市不变表示被非线性映射到共现空间。通过优化马氏距离损失，目标城市特征与源城市特征在共现空间中对齐，从而实现跨城市自行车流量预测。在2015年芝加哥、纽约和华盛顿的公共自行车流量数据集上对所提出的方法进行评估，结果表明该方法明显优于目前最先进的技术。
关键词组：迁移学习；城市流预测；时空图卷积
Yinhong XIANG, Kaiqing ZHOU, Arezoo SARKHEYLI-HGELE, Yusliza YUSOFF, Diwen KANG, Azlan Mohd ZAIN
DOI: 10.1631/FITEE.2400184 Downloaded: 747 Clicked: 1132 Cited: 0 Commented: 0(p.93-108) <Full Text>
康棣文1，Azlan Mohd ZAIN3
1吉首大学通信与电子工程学院，中国吉首市，416000
2马尔默大学计算机科学与媒体技术系物联网与人联网研究中心，瑞典马尔默，20506
3马来西亚理工大学信息处理技术学院，马来西亚士古来，81310
摘要：与Petri网类似，模糊Petri网（fuzzy Petri net, FPN）的研究同样受到状态空间爆炸问题的限制。目前，基于FPN的推理算法主要依赖于正向、反向和双向等机制。这些算法通过消除FPN中不相关的部分来简化推理过程。然而，随着规模的扩大，基于FPN的相关应用算法的复杂度迅速增加，这给基于FPN的推理算法的实际应用带来重大挑战。为解决状态爆炸问题，本文提出一种基于可逆和动态分解机制的FPN双向推理算法，以优化推理过程。该算法将层次化后的FPN分解为左右两个子网；然后，深入分析FPN原网与其逆网元素之间的对应关系，提出FPN逆网生成算法，用于生成右子网的逆网；最后，在左子网与右子网的逆网上同时执行推理算法，通过计算两子网输出位置之间的欧式距离得到最终结果。案例表明，本文提出的推理算法显著提高了推理效率，大幅缩短了执行时间。
关键词组：模糊Petri网（FPN）；状态爆炸；分解；平行；双向推理
Automatic parallelism strategy generation with minimal memory redundancy
Yanqi SHI, Peng LIANG, Hao ZHENG, Linbo QIAO, Dongsheng LI
DOI: 10.1631/FITEE.2300684 Downloaded: 814 Clicked: 1030 Cited: 0 Commented: 0(p.109-118) <Full Text><PPT> 224
国防科技大学并行与分布处理国家重点实验室，中国长沙市，410000
摘要：受内存和计算资源限制，大规模深度学习模型通常以分布式方式训练。现有策略生成方法很少以最小化内存占用作为目标。为此，提出一种新算法，能够生成以最小化内存冗余为目标的自动并行策略。提出一种冗余内存代价模型来计算给定并行策略中每个算子的内存开销。为确保生成最优的并行策略，将并行策略搜索问题形式化为整数线性规划问题，使用高效求解器寻找具有最小内存占用的算子内并行策略。所提方法在多维并行训练框架中实现；实验结果表明，与最新Megatron-LM方法相比，可节省高达67%的内存开销，而吞吐量相差不大。
关键词组：深度学习；自动并行；最小化内存冗余
Qingsong ZHOU, Jialong QIAN, Zhongping YANG, Chao HUANG, Qinxian CHEN, Yibo XU, Zhengkai WEI
DOI: 10.1631/FITEE.2400285 Downloaded: 172 Clicked: 304 Cited: 0 Commented: 0(p.119-133) <Full Text><PPT> 120
国防科技大学电子对抗学院，中国合肥市，230037
摘要：分布式精确干扰是电子战领域一种先进的压制式干扰技术，能够精准地将干扰资源精确地投送至敌方电子设备，同时确保友方设备不受影响。考虑到实现高效干扰与降低硬件负担的双重挑战，本文提出一种面向分布式精确干扰的具有宽带恒定模值离散相位约束的鲁棒波形设计方法。该方法在构建目标函数时同时考虑了敌方设备和友方设备处合成功率谱的最坏情况，并为求解的宽带波形附加恒定模值和离散相位约束。由此得到的数学模型可归结为一个具有恒定模值和离散相位约束的大规模极小-极大多目标优化问题。为此，利用Lp范数和帕累托框架将其转化为一个单目标最小化问题。随后，提出一种计算复杂度较低的恒定模值离散相位约束的黎曼共轭梯度算法，该算法利用复圆流形和投影来满足黎曼共轭梯度框架内的恒定模值和离散相位约束。仿真实验表明，相较于现有研究，该算法具有更好的鲁棒性和更高计算效率。
关键词组：宽带波形设计；恒定模值；离散相位；黎曼共轭梯度；分布式精确干扰
Near-field secure wireless communication with delay alignment modulation
Haiquan LU, Yong ZENG
DOI: 10.1631/FITEE.2400271 Downloaded: 557 Clicked: 818 Cited: 0 Commented: 0(p.134-145) <Full Text><PPT> 145
1东南大学移动信息通信与安全前沿科学中心，移动通信全国重点实验室，中国南京市，210096
2紫金山实验室，中国南京市，211111
摘要：无线通信由于固有的开放性和广播特性，容易遭受恶意窃听和攻击。时延对齐调制作为一种新型符号间干扰消除技术，能避免复杂的信道均衡或多载波传输。特别地，时延对齐调制不仅可以消除接收机的符号间干扰，还能在其他位置引入符号间干扰，因而在安全通信方面具有应用潜力。本文研究了基于时延对齐调制的近场安全通信。首先，当Alice天线数目远大于Bob和Eve的多径数目时，得益于近场非均匀球面波带来的渐近正交特性，简单的时延补偿和最大比发送逐径波束赋形能实现无符号间干扰和无信息泄露通信。随后，通过设计迫零逐径波束赋形以实现无符号间干扰通信，并表征相应的安全速率性能。对于存在残余符号间干扰的一般情形，进一步提出安全速率最大化的时延对齐调制逐径波束赋形设计方案。仿真结果表明，相较于基于人工噪声的正交频分复用基准测试方案，时延对齐调制能以更低的峰均比实现更高的安全速率。
关键词组：近场；非均匀球面波；时延对齐调制；无符号间干扰通信；物理层安全；安全速率
Zhongpeng NI, Jing XIA, Xinyu ZHOU, Wa KONG, Wence ZHANG, Xiaowei ZHU
DOI: 10.1631/FITEE.2400066 Downloaded: 755 Clicked: 1087 Cited: 0 Commented: 0(p.146-156) <Full Text><PPT> 119
1江苏大学计算机与通信工程学院，中国镇江市，212013
2香港理工大学电子信息工程系，中国香港特别行政区，999077
3东南大学毫米波国家重点实验室，中国南京市，210096
摘要：提出一种基于阻抗-相位混合目标函数约束的Doherty输出匹配网络优化设计方法，该方法能够利用集成增强电抗提高Doherty功率放大器在功率回退时的效率一致性。通过计算扩展功率回退范围所需的电抗，并结合双阻抗匹配方法来获得输出匹配网络设计所需的S参数。同时，该方法对输出匹配网络的阻抗和相位进行约束，以减小集成增强电抗的分布范围。此外，在输出匹配网络优化中采用了网格型结构，以增强电路优化设计的灵活性。为验证所提方法的有效性，设计并制造了一个1.7-2.5 GHz对称式高回退功率放大器。测试结果表明，在整个工作频带内，饱和输出功率高于44 dBm，9-dB回退功率效率为45%-55%。
关键词组：回退功率范围；Doherty功率放大器；片段式结构；阻抗-相位混合函数