学术沙龙: 深度神经网络的低维猜想

文:人力资源部教师发展中心 / 来源:信通学院 党委教师工作部、人力资源部 / 2021-06-11 / 点击量:819

人力资源部教师发展中心“学术沙龙”活动特别邀请上海交通大学黄晓霖副教授作学术交流,具体安排如下,欢迎广大师生参加。

  一、主 题:深度神经网络的低维猜想

二、主讲人:上海交通大学 黄晓霖 

三、时 间:2021年6月16日(周三)10:00-11:30

  四、地 点:清水河校区宾诺咖啡

  五、主持人:刘翼鹏 副教授

  六、主讲人简介:

黄晓霖,上海交通大学长聘教轨副教授、博士生导师,国家青年人才、IEEE Senior Member2006年在西安交通大学获工学和理学学士学位,2012年在清华大学获工学博士学位2012年至2015年在比利时鲁汶大学电子工程系任博士后2015年4月起作为洪堡学者在德国埃尔兰根-纽伦堡大学计算机系任研究组组长。主要研究方向为机器学习方法及其医学图像应用已在Journal of Machine Learning Research, IEEE Trans. Pattern Analysis and Machine Intelligence, ACM Trans. Graphics, Applied and Computational Harmonic Analysis 以及IEEE TIP, IEEE TNNLS, IEEE TMM, IEEE TMI, Automatica, SIAM. J. Opt.等国际重要学术期刊和会议上发表论文40余篇  

七、主讲内容:

  深度神经网络在近年来的实际应用中获得了巨大的成功。在本质上,深度神经网络是极高维空间的复杂非线性系统,近年来学者们进行了极大的努力,取得了若干创新性的成果,促进了人们对于深度神经网络的认知。在神经正切核对神经网络训练行为刻画的启发下,我们对神经网络的动态行为进行了极为有效的降维:通过大量的实验(在CIFAR10, CIFAR100, ImageNet等标准数据库,针对VGG, ResNet, DenseNet, Inception等标准网络)验证,在100维以内的空间进行训练,就可以达到在千万维空间对神经网络进行训练的效果。这一结果隐含着对深度神经网络实质空间维度的新猜想,希望能够启发对神经网络的新的理论认知。

  八、主办单位:力资源部教师发展中心

    承办单位:信息与通信工程学院

 

                       人力资源部教师发展中心

                         2021年6月8日

 

编辑:林坤  / 审核:林坤  / 发布者:陈伟