学 术

分享到微信 ×
打开微信“扫一扫”
即可将网页分享至朋友圈
学术沙龙:深度神经网络的训练动态分析:泛化性与反学习
文:教师发展中心 来源:党委教师工作部、人力资源部(教师发展中心) 时间:2024-06-17 589

教师发展中心“学术沙龙”活动特别邀请上海交通大学黄晓霖教授来校作学术交流。具体安排如下,欢迎广大师生参加。

一、主 题:深度神经网络的训练动态分析:泛化性与反学习

二、主讲人:上海交通大学 黄晓霖 教授

三、时 间:2024年6月17日(星期一)14:00-16:00

四、地 点:清水河校区科研楼C108

五、主持人:信息与通信工程学院 刘翼鹏 教授

六、内容简介:

过参数化是深度神经网络具有良好性能的基础保证,但过参数化使得神经网络的训练损失可以非常小,这些具有相似损失误差的局部解却具有截然不同的泛化性。这使得仅关注训练终态无法分析泛化性,必须考虑整个的训练动态。在之前神经网络的训练动态的低维子空间的基础上,我们深入分析了低维训练、锐度敏感训练等方法以提升神经网络的泛化性,同时训练动态的分析也为反学习等任务提供了新的视角。

七、主讲人简介:

黄晓霖,上海交通大学教授、博士生导师,国家级青年人才。2006年在西安交通大学获得学士学位、2012年在清华大学获得博士学位。此后,在比利时鲁汶大学任博士后研究员,2015年在德国埃尔朗根-纽伦堡大学开展工作并任研究组组长。2016年加入上海交通大学任副教授,2024年晋升教授,现任上海交通大学自动化系副主任。

八、主办单位:教师发展中心

       承办单位:信息与通信工程学院 通信抗干扰全国重点实验室

编辑:罗莎  / 审核:李果  / 发布:陈伟