科研学术

分享到微信 ×
打开微信“扫一扫”
即可将网页分享至朋友圈
软件学院本科生在数据挖掘领域顶级会议CIKM上发表论文并获最佳短文奖
文:张诗晗 图:毛海涛 来源:软件学院 时间:2021-11-05 22744

  近日,我校信息与软件工程学院2018级本科生毛海涛在数据挖掘领域顶级国际会议CIKM (ACM International Conference on Information and Knowledge Management) 上,发表题为“Neuron Campaign for Initialization Guided by Information Bottleneck Theory”的论文,并荣获最佳短文奖,这是我校学生第一次荣获此奖。毛海涛为论文的第一作者。

51AF36FE876DA917C0E6B0E29E9_CB7FEFB0_105

图1 会议论文颁奖现场

  近年,随着深度学习相关研究的深入,如何训练好神经网络日益成为学术焦点。在神经网络的初始化策略研究中,最著名的方法有Xavier Initialization、He nitialization,这些方法更多的关注了解决梯度消失和梯度爆炸的训练问题,而没有考虑如何寻找更好的初始化策略来提高神经网络的泛化能力。

  为此,该论文基于“信息瓶颈理论”(Information Bottleneck Theory)提出了一套在理解初始化网络泛化性能的新角度。基于这种新视角,作者提出,满足特定互信息指标条件的初始化网络,能具有好的泛化性能,并对互信息指标进行了一系列的简化,以降低实际计算复杂度。在确定指标基础上,作者提出了一套神经元竞争方法,以组合优化的方式选择出合适的神经网络初始化。

E867F04B7A0B10D371155980536_366BFF06_2D3

图2 基于信息瓶颈理论的神经元竞争初始化策略初始化(IBCI)算法流程

  此类基于“信息瓶颈理论”的神经元竞争初始化策略,在初始化方式上可以集成在现有全部的初始化方式上,以加快收敛速度,提高泛化性能。论文初步在MNIST数据集和多种MLP网络结构上进行实验,证实初始化方式的优异性。

FB2D7450F03C0C8BB8943C8715E_C7D03B10_26A

图3 本论文提出的IBCI算法精度对比图

  毛海涛是信息与软件工程学院2018级国际菁英班的本科生,根据学院培养计划,在学院的支持和校内导师周帆副教授的指导下,该生在大三下学期前往微软亚洲研究院开展科研实习。本篇论文就是在实习期间,在微软亚洲研究院首席研究员付强、研究员杜仑、研究主管韩石、副院长张冬梅的指导下,和北大博士生陈旭共同完成的。


编辑:赵海玲  / 审核:林坤  / 发布:陈伟