简介
报告题目
预训练的基础模型下的持续学习
报告简介
虽然近年来神经网络,特别是预训练的基础模型研究得到了广泛的应用,但其仍然主要依赖于在大量样本上的批量式训练。
本报告将探讨实现模型的增量式训练,针对深度神经网络在增量式学习新任务时所面临的"灾难性遗忘"问题,介绍如何在预训练的基础模型上进行连续学习,包括基于重放的遗忘抑制机制、基于模型高效微调的连续学习框架,以及连续学习在计算机视觉上任务上的应用和部署等。
报告嘉宾
洪晓鹏
哈尔滨工业大学教授
特邀主持
黄礼泊
中国科学院计算技术研究所
特别研究助理
讲座时间
2024年10月30日(周三)20:00-21:10
讲座环节及流程
◈讲座环节:
① 5 分钟主持人进行主题与嘉宾介绍
② 55分钟报告嘉宾讲座环节
③ 10分钟互动问答环节
◈讲座流程:
① 19:45 开芯会视频号上线,欢迎观众朋友提前进入直播间候场
② 20:00 主持人开场
③ 20:05 主讲嘉宾开始讲座,持续55min
嘉宾介绍
ICTXM
中科(厦门)数据智能研究院(以下简称“智研院”),瞄准人工智能、大数据、集成电路等下一代信息产业方向,面向国际前沿、国家需求和本地需要,立足厦门、面向全球的专业型科研院所。智研院成立于2019年7月,落户于厦门市软件园三期。
智研院依托国内外信息领域顶尖科研院所在技术、人才、团队等方面优势,聚集国内外优质创新智力资源,实施“三个一”工程。聚集和培养一批大数据、人工智能等新兴方向科学家,通过院地合作、协同创新、产研融合等方式,承担国家重大战略任务,打造“一”个新型数据智能研发基地;紧抓产业升级关键要素,通过孵化、吸引、服务等方式,打造“一”个数据智能深度融合的企业服务体系;形成一个人才发展生态,将厦门打造成“一”个人才集聚的创新基地。
此外,由研究院协同国家相关产业联盟,依托智研院各项创新成果,牵头发起设立厦门市开源芯片产业促进会,努力建成中国开放指令生态(RISC-V)联盟的地方产业落地平台;发展并培育厦门市开源芯片产业生态,打造下一代电子信息产业高地。