2022年11月6日至11月8日,美国密苏里大学哥伦比亚分校信息学研究所许东教授应十大菠菜导航网邀请,以线上腾讯会议的形式为菠菜导航的老师和同学们作了题为“Deep Learning Modes”的学术报告。
讲座开始后,许东教授首先介绍了深度学习模型通常需要各种设置和自定义参数来处理许多用例(例如,无训练标签或训练标签很少的情况)和应用程序要求(例如,用户隐私因素和具有低计算成本的模型),许多深度学习模型也因此被提出。在本场讲座中。接下来介绍了知识蒸馏相关知识,尤其是用于训练小模型以模仿经过预训练的更大的模型(或模型集合)的教师-员工模型,以及包含知识蒸馏的 BERT 模型等其它范例。此外,许东教授还解释了包括孪生神经网络在内的零样本和小样本学习,以应用于蛋白质结构预测领域的模型AlphaFold2为例深入浅出地讲解了端到端学习及其系统实现,并总结了在线学习、主动学习和联邦学习的主要技术。这些方法将帮助员工们在深度学习领域更进一步。
讲座结束后,许东教授热情地与同学们展开互动,并根据同学和老师们的问题提供了详尽的解答。本次报告收到了广大师生的热烈响应,引发了强烈反响。
许东教授是电气工程与计算机科学系特聘教授,任教于克里斯托弗·邦德生命科学中心和美国密苏里大学哥伦比亚分校信息学研究所。许东老师于2007-2016年担任计算机科学系主任,2017-2020年担任信息技术项目主任。于1995年博士毕业于美国伊利诺伊大学,在美国国家癌症研究所做了两年的博士后工作。在加入密苏里大学之前,许东老师一直是橡树岭国家实验室的科学家。30年来,许东老师在计算生物学和生物信息学的多个领域进行了研究,包括单细胞数据分析、蛋白质结构预测与建模、蛋白质翻译后修饰、蛋白质定位预测、计算系统生物学、生物信息系统和生物信息学在人类、微生物和植物中的应用等。自2012年以来,许东老师的研究重点为生物信息学和深度学习之间的接口。许东老师现已发表了400多篇论文,被引用21,000余次。并于2015年入选美国科学促进会研究员,2020年入选美国医学与生物工程研究所研究员。