Journal of Zhejiang University

Current Issue: <FITEE>

Frontiers of Information Technology & Electronic Engineering (former title: Journal of Zhejiang University SCIENCE C (Computers & Electronics), 2010-2014)

ISSN 2095-9184 (print); ISSN 2095-9230 (online); CN 33-1389/TP; Monthly.

FITEE is an international peer-reviewed journal indexed by SCI-E, Ei Compendex, DBLP, IC, Scopus, JST, CSA, etc. It covers research in Electrical and Electronic Engineering, including Computer Science, Information Sciences, Control, Automation, Telecommunications, and related disciplines.

Impact factor: 0.308 (2011), 0.297 (2012), 0.380 (2013), 0.415 (2014), 0.392 (2015), 0.622 (2016), 0.910 (2017), 1.033 (2018), 1.604 (2019), 2.161 (2020), 2.526 (2021).

Frontiers of Information Technology & Electronic Engineering

ISSN 2095-9184 (print), ISSN 2095-9230 (online), monthly

2018 Vol.19 No.1 P.1-150

<<< CONTENTS >>>

2018 Special Issue on Artificial Intelligence 2.0: Theories and Applications

Guest Editor-in-Chief: Yun-he PAN

Editorial

2018 special issue on artificial intelligence 2.0: theories and applications

Yun-he PAN

DOI: 10.1631/FITEE.1810000 Downloaded: 2486 Clicked: 5511 Cited: 0 Commented: 0(p.1-2) <Full Text>

Chinese summary <52> 2018人工智能2.0特刊：理论与应用

概要：2017年7月，中国政府发布了人工智能（AI）开发指南，即《新一代人工智能发展规划》。该计划拟分三步走，推进中国人工智能研发，其目标是在2030年，中国人工智能理论、技术和应用总体达到世界领先水平，成为世界主要的人工智能创新中心。
根据新一代人工智能发展规划，要瞄准大数据智能、跨媒体计算、人机混合智能、群体智能、自主无人化决策、类脑计算、量子智能计算等人工智能基础理论进行深入研究，取得突破。
下一代人工智能具有从数据和经验中无限（自我）学习、直觉推理、自适应等特点（Pan, 2016, 2017）。为克服现有人工智能的局限，人们普遍认识到，跨学科领域合作是人工智能真正影响世界的关键因素。
感谢来自计算机科学、统计学、机器人和精神病学等领域的研究人员为本期特刊撰写高质量论文。本期特刊主要涵盖如下5个方面主题：（1）人工智能基本理论问题，如可解释性深度学习和无监督学习（即领域自适应学习和生成对抗性学习）；（2）类脑学习，如脉冲神经网络和记忆增强推理；（3）人在回路智能学习，如众包设计和数字大脑；（4）创意智能应用，如社交聊天机器人（即小冰）和自动语音识别；（5）卡耐基梅隆大学RajReddy博士分享了他对新一代人工智能的看法，加州大学伯克利分校郁彬教授主张在人机协作中使用统计概念以提升智能，中国科学院程健研究员等综述了深度神经网络加速方法。

关键词组：

Interview

An interview with Dr. Raj Reddy on artificial intelligence

FITEE editorial staff

DOI: 10.1631/FITEE.1700860 Downloaded: 2679 Clicked: 3932 Cited: 0 Commented: 0(p.3-5) <Full Text>

Chinese summary <39> 人工智能专家Raj Reddy博士专访

概要：Raj Reddy博士就职于美国宾夕法尼亚州匹兹堡的卡耐基梅隆大学，担任该校计算机科学学院Moza Bint Nasser University计算机科学和机器人学教授。他曾于1994年获得美国计算机协会（ACM）图灵奖。
对中国政府2017年7月发布的"新一代人工智能发展规划"，Reddy博士表现出浓厚兴趣。2017年11月，Reddy博士在上海参加会议时接受了我们的采访，谈到关于人工智能的个人看法。就在这次会上，Reddy博士提出"认知放大器"（cognition amplifier）和"守护天使"（guardian angel）的概念。

关键词组：

Perspective

Artificial intelligence and statistics

Bin Yu, Karl Kumbier

DOI: 10.1631/FITEE.1700813 Downloaded: 2102 Clicked: 7885 Cited: 0 Commented: 0(p.6-9) <Full Text>

Chinese summary <39> 人工智能与统计分析

概要：人工智能（artificial intelligence, AI）本质上是由数据驱动的。在其通过人机协作完成数据生成、算法开发与结果评估的任务中，需要应用许多统计概念。本文讨论了如何通过数据产生、兴趣问题探究、训练数据代表性和对结果审视等环节（Population, Question of interest, Representativeness of training data, and Scrutiny of results, PQRS）来解决人机协作的问题。PQRS的工作流程为融合统计分析的思想与人类输入提供了一个概念框架。这些统计分析的思想包括通过随机化、局部控制以及稳定性的原则来获得算法和结果的可重复性与可解释性。我们讨论了这些原则在自动驾驶、自动医疗以及作者其他合作研究中的应用。

关键词组：人工智能；统计；人机协作

Review Articles

From Eliza to XiaoIce: challenges and opportunities with social chatbots

Heung-yeung Shum, Xiao-dong He, Di Li

DOI: 10.1631/FITEE.1700826 Downloaded: 3402 Clicked: 6850 Cited: 0 Commented: 1(p.10-26) <Full Text> <PPT> 1727

Chinese summary <39> 从Eliza到小冰：社交对话机器人的机遇和挑战

概要：会话系统经过数十年研究与开发，从20世纪六七十年代的Eliza和Parry，到航空旅行信息系统（Airline Travel Information System, ATIS）项目中的自动任务完成系统，从智能个人助理Siri，再到社交对话机器人微软小冰，出现了多种形式。社交对话机器人的吸引力在于其不仅具有回应用户不同请求的能力，还具有与用户建立情感联系的能力。其中，后者通过满足用户对于沟通、情感及社会归属感的感性需求来完成。社交对话机器人的设计必须专注于用户参与度，同时也须考虑智商和情商。为了吸引用户和聊天机器人交流，我们将社交对话机器人的成功程度以每次会话中交流回合数（conversation-turns per session, CPS）来衡量。以小冰为例，在本文中我们讨论了从核心对话、视觉感知到可扩展技巧等一系列社交对话机器人构建中的重要技术，展示了小冰动态识别用户感情的能力，并在长时间交互中以适当的人际关系反应吸引用户。作为第一代与人工智能共生的人类，感情丰富且功能强大的社交对话机器人将很快变成我们生活中不可或缺的一部分。

关键词组：会话系统；社交对话机器人；智能个人助理；人工智能；小冰

Visual interpretability for deep learning: a survey

Quan-shi Zhang, Song-chun Zhu

DOI: 10.1631/FITEE.1700808 Downloaded: 2704 Clicked: 8643 Cited: 0 Commented: 0(p.27-39) <Full Text> <PPT> 1782

Chinese summary <42> 深度学习中的视觉可解释性

概要：总结了近年来在理解神经网络内部特征表达和训练一个具有中层表达可解释性的深度神经网络上的相关研究工作。虽然深度神经网络在众多人工智能任务中已有杰出表现，但神经网络中层表达的可解释性依然是该领域发展的重大瓶颈。目前，深度神经网络以低解释性的黑箱表达为代价，获取了强大的分类能力。我们认为提高神经网络中层特征表达的可解释性，可以帮助人们打破众多深度学习的发展瓶颈，比如，小数据训练，语义层面上的人机交互式训练，以及基于内在特征语义定向精准修复网络中层特征表达缺陷等难题。本文着眼于卷积神经网络，调研了：(1) 网络表达可视化方法；(2) 网络表达的诊断方法；(3) 自动解构解释卷积神经网络的方法；(4) 学习中层特征表达可解释的神经网络的方法；(5) 基于网络可解释性的中层对端的深度学习算法。最后，讨论了可解释性人工智能未来可能的发展趋势。

关键词组：人工智能；深度学习；可解释性模型

Past review, current progress, and challenges ahead on the cocktail party problem

Yan-min Qian, Chao Weng, Xuan-kai Chang, Shuai Wang, Dong Yu

DOI: 10.1631/FITEE.1700814 Downloaded: 3638 Clicked: 7819 Cited: 0 Commented: 0(p.40-63) <Full Text> <PPT> 1854

Chinese summary <36> 鸡尾酒会问题的技术回顾、当前进展及未来挑战

概要：鸡尾酒会问题即在多人同时说话的场景下追踪并识别某一个特定说话人的语音。在自动语音识别技术大规模推广应用中，鸡尾酒会问题是亟待解决的关键问题之一。本文回顾了在过去20多年中针对鸡尾酒会问题提出的相关技术。主要讨论在鸡尾酒会问题中扮演中心角色的语音分离问题。介绍了以下内容：传统的单通道情况下的技术，如计算听觉场景分析（computation alauditory scene analysis, CASA）、非负矩阵分解（non-negative matrix factorization, NMF）以及生成式模型建模；传统的多通道情况下的技术，如波束成形和多通道盲源分离；一些基于深度学习的最新技术，如深度聚类（deep clustering, DPCL）、深度吸引网络（deep attractor network, DANet）以及排列不变性训练（permutation invariant training, PIT）。此外，介绍了在鸡尾酒会环境下针对改善多说话人语音识别和说话人识别精度的相关技术。笔者认为，利用一个更加强大的模型来有效地开发和利用来自麦克风阵列、声学训练集合以及语言本身的知识非常重要。更好的优化策略和技术的提出会逐步解决鸡尾酒会问题。

关键词组：鸡尾酒会问题；计算听觉场景分析；非负矩阵分解；排列不变性训练；多说话人语音处理

Recent advances in efficient computation of deep convolutional neural networks

Jian Cheng, Pei-song Wang, Gang Li, Qing-hao Hu, Han-qing Lu

DOI: 10.1631/FITEE.1700789 Downloaded: 3220 Clicked: 9486 Cited: 0 Commented: 0(p.64-77) <Full Text> <PPT> 1884

Chinese summary <32> 深度卷积神经网络高效计算研究进展

概要：近年来迅速发展的深度神经网络已成为许多智能系统的基础工具。同时，深度网络的计算复杂度和资源消耗也在持续增加，这给深度网络的部署带来了严峻挑战，尤其在实时应用中或应用设备资源有限时。因此，网络加速是深度学习领域的热门话题。为提升深度神经网络的硬件性能，最近几年涌现出一大批基于现场可编程门阵列（field-programmable gate array, FPGA）或专用集成电路（application-specific integrated circuit, ASIC）的加速器。本文针对网络加速、压缩、软硬件结合的加速器设计等方面的进展进行了详细而全面的总结。特别地，本文对网络剪枝、低秩估计、网络量化、拟合网络、紧凑网络设计以及硬件加速器进行了深入分析。最后，展望了该领域未来一些研究方向。

关键词组：深度神经网络；加速；压缩；硬件加速器

Research Articles

A platform of digital brain using crowd power

Dongrong Xu, Fei Dai, Yue Lu

DOI: 10.1631/FITEE.1700800 Downloaded: 2339 Clicked: 6078 Cited: 0 Commented: 0(p.78-90) <Full Text> <PPT> 1828

Chinese summary <32> 一种数字大脑的群智平台

概要：介绍了一种可用于脑科学研究的数字大脑群智平台，该平台的搭建基于一个综合推理或多元类比生成的人工智能可计算模型。目标是研发一个全领域脑研究数据库、脑数据推算工具、脑知识库以及用于研究神经科精神疾病和脑发育的智能助手。采用大数据、群智和大规模高性能计算能力将显著加强和发挥该平台的功能。对该方向研究的初步成果进行了总结。

关键词组：人工智能；数字大脑；综合推理；多元类比生成；群智；推算；神经图像

Layer-wise domain correction for unsupervised domain adaptation

Shuang Li, Shi-ji Song, Cheng Wu

DOI: 10.1631/FITEE.1700774 Downloaded: 2344 Clicked: 7117 Cited: 0 Commented: 0(p.91-103) <Full Text> <PPT> 1625

Chinese summary <37> 针对无监督域自适应问题的深度逐层领域修正算法

概要：深度神经网络凭借强大的特征抽象能力，已成功应用在机器学习的多个领域。然而，传统深度网络假设训练样本和测试样本来自同一分布，这一假设在很多实际应用中并不成立。为借助深度网络解决领域偏移问题，本文提出逐层领域修正（layer-wise domain correction, LDC）深度域自适应算法。该算法通过在已有深度网络中增加领域修正层，将源域网络成功适配到目标领域。逐层增加的领域修正层能够将两个领域特征的最大均值偏差（maximum mean discrepancy, MMD）距离最小化，从而完美匹配源域和目标域样本的特征表示。与此同时，网络深度的增加极大提高了网络表达能力。LDC算法不需要目标领域有标记样本，在几个跨领域分类识别数据集都取得了当时最好结果，且其训练比已有深度域自适应算法快近10倍。

关键词组：无监督域自适应；最大均值偏差；残差网络；深度学习

Temporality-enhanced knowledge memory network for factoid question answering

Xin-yu Duan, Si-liang Tang, Sheng-yu Zhang, Yin Zhang, Zhou Zhao, Jian-ru Xue, Yue-ting Zhuang, Fei Wu

DOI: 10.1631/FITEE.1700788 Downloaded: 2925 Clicked: 6650 Cited: 0 Commented: 0(p.104-115) <Full Text> <PPT> 1795

Chinese summary <37> 时序增强的知识记忆网络在问答中的应用

概要：问答系统旨在为人类以自然语言提出的问题提供具体答案。如何对问题做出有效回答是该领域的热点问题。在问答系统研究中，对于给定问题与其相应答案，现有方法通常侧重于模拟问答语料间语义相关性或句法关系。当一个问题包含的答案线索非常少时，这些模型大多受到影响。本文设计了一个名为时序增强型知识记忆网络（temporality-enhanced knowledge memory network, TE-KMN）的架构，并将该模型应用于一个名为Quiz Bowl的知识竞赛问答数据集。与多数现有方法不同，该模型不仅对文本内容进行编码，也对问题中连续语句间能够逐步揭示答案的时序线索进行编码。此外，该模型通过协同使用外部知识，能够更好理解给定问题。实验结果表明，该方法性能优于目前几种最先进方法。

关键词组：问答系统；知识记忆；时序增强

Generative adversarial network based novelty detection using minimized reconstruction error

Huan-gang Wang, Xin Li, Tao Zhang

DOI: 10.1631/FITEE.1700786 Downloaded: 2548 Clicked: 8384 Cited: 0 Commented: 0(p.116-125) <Full Text> <PPT> 1851

Chinese summary <31> 基于最小化重构误差的生成对抗网络异常检测

概要：生成对抗网络是机器学习领域近年来最令人瞩目的进展，它通过在二人零和博弈中达到纳什均衡来训练模型。生成对抗网络由一个生成器和一个判别器构成，二者通过对抗学习机制进行训练。本文引入并调查了生成对抗网络在异常检测中的应用。在训练阶段，生成对抗网络从正常数据中学习；然后，基于过去的未知数据，生成器和判别器可以通过学习到的决策边界，区分异常和正常模式。提出的基于生成对抗网络的异常检测方法在MNIST数字数据集和田纳西-伊斯曼标准数据集上的性能表现极具竞争力。

关键词组：生成对抗网络；异常检测；田纳西-伊斯曼过程

Crowdsourcing intelligent design

Wei Xiang, Ling-yun Sun, Wei-tao You, Chang-yuan Yang

DOI: 10.1631/FITEE.1700810 Downloaded: 2223 Clicked: 6680 Cited: 0 Commented: 0(p.126-138) <Full Text> <PPT> 1723

Chinese summary <32> 众包智能设计方法

概要：通过利用人工智能方法解决创造性问题、产出创意方案，设计智能在新一代人工智能背景下高速发展。现有人工智能方法善于从数据中学习，难以产出不同于训练数据的创意方案。众包结合人的创意灵感与计算机的计算能力进行创意设计，有望提升设计智能的创新能力。已有众包设计多采用筛选方法，依赖参与者自身提出高质量方案，对众包控制力弱，产出方案质量不稳定。针对这些问题，本文提出一种柔性众包设计的众包智能设计方法。该方法整合参与者创意和培育创意以得到高质量方案。通过一系列研究呈现了如何利用柔性众包设计方法持续产出原创创意。特别地，描述了柔性众包设计方法的流程、众包任务、创意发展的影响因素、计算创意发展潜力的方法，以及两个柔性众包设计方法的应用案例，并据此总结该方法的设计能力。柔性众包设计方法可提升众包设计表现，支持设计智能发展。

关键词组：众包；柔性众包设计；设计智能

A novel spiking neural network of receptive field encoding with groups of neurons decision

Yong-qiang Ma, Zi-ru Wang, Si-yu Yu, Ba-dong Chen, Nan-ning Zheng, Peng-ju Ren

DOI: 10.1631/FITEE.1700714 Downloaded: 2657 Clicked: 7410 Cited: 0 Commented: 0(p.139-150) <Full Text> <PPT> 1902

Chinese summary <31> 基于感受野编码的多神经元决策脉冲神经网络

概要：人类对信息的处理主要依赖数十亿个神经元构成的复杂神经网络，信息传输通过神经元释放电脉冲信号实现。本文提出一个名为MD-SNN的脉冲神经网络模型，其具有以下3个主要特点：（1）使用感受野模型对图片编码，产生相应脉冲序列；（2）随机选取脉冲序列中部分脉冲作为每个神经元的输入信号，并以这种方式模拟生物神经元的绝对不应期;（3）使用多组神经元对输出结果作出共同决策。我们在手写数字数据集（MNIST）上对MD-SNN进行测试，结果表明：（1）不同大小感受野对图像分类结果有显著影响；（2）由于MD-SNN模型引入了生物神经元绝对不应期特征，同时增加的学习层神经元极大缩短了训练时间，因此有效降低了过拟合概率，与引入绝对不应期与增加学习层神经元的SNN模型相比，图像分类准确率提高了8.77％；（3）与其他SNN方法相比，MD-SNN对图像分类更加有效--与卷积神经网络（CNN）相比，MD-SNN在图像发生翻转或旋转时仍能保持有效分类（测试集上的分类精度可以保持在90.44％），同时更适合小样本学习（1000个训练样本的分类准确率可以达到80.15％，即CNN的7.8倍）。

关键词组：Tempotron；神经元模型；感受野；高斯差分；图像翻转；图像旋转