《开心快三全天计划》_【首届北美计算机华人学者年会】伊利诺伊大学刘兵:终身机器学习(45PPT)

【首届北美计算机华人学者年会】伊利诺伊大学刘兵:终身机器学习(45PPT)

 
  新智元报道来源:SOFC 2017翻译/报道:刘小芹,闻菲

  【新智元导读】第一届北美计算机华人学者年会暨计算技术前沿研讨会于 2017 年 6 月9-10日在芝加哥举行。这是会议是华人计算机学者的顶级盛会,新智元从会议主办方处获得了伊利诺伊大学芝加哥分校刘兵教授在会上的演讲PPT,刘兵教授以《打造能够终身学习的机器》为题,介绍了终身机器学习(Lifelong Machine Learning,LML)系统,尤其是 LML 在自然语言处理中的应用。  北美计算机华人学者协会(Association of Chinese Scholars in Computing,ACSIC)的使命是通过协助和促进成员对社会的贡献,推进计算科学技术和教育。

  ACSIC 通过提供成员之间的信息交流和协作机会,提高会员的知名度和奖学金,组织社会和技术活动,以及与其他科技机构和企业合作来实现其使命。

  第一届北美计算机华人学者年会暨计算技术前沿研讨会(The First ACSIC Symposium on Frontiers in Computing,SOFC)于 2017 年 6 月 9-10日在芝加哥举行。会议旨在:(1)探讨计算技术的前沿问题;(2)促进华人计算机学者的交流与合作;(3)凝聚华人计算机学者的共识。

  在本次会议上,以下华人计算机学者发表了主旨演讲:

  Ming Li,滑铁卢大学(ACM Fellow, IEEE Fellow)

  Bing Liu,伊利诺伊大学芝加哥分校(ACM Fellow, AAAI Fellow, IEEE Fellow)

  Yuan Xie,加州大学圣巴巴拉分校(IEEE Fellow)

  Lixia Zhang,加州大学洛杉矶分校(ACM Fellow, IEEE Fellow)

  Xiaodong Zhang,俄亥俄州立大学(ACM Fellow, IEEE Fellow)

  Yuanyuan Zhou,加州大学圣地亚哥分校(ACM Fellow, IEEE Fellow)

  主旨演讲话题覆盖了计算机系统、网络、体系结构、算法、人工智能等计算机科学的几个大方向。会议还就“计算前沿技术”(Frontiers in Computing)举办了论坛。

  其中,伊利诺伊大学芝加哥分校的刘兵教授,演讲题目为《打造终身学习的机器》,涉及“终身机器学习”(Lifelong Machine Learning,LML)的概念与机器学习密切相关。

  下面就是刘兵教授的 PPT 全文。

终身机器学习

 

终身机器学习

  刘兵

  伊利诺伊大学芝加哥分校计算机科学系

经典学习范式(ML1.0)

 

经典学习范式(ML1.0)

  孤立的单任务学习:给定一个数据集,运行一个ML算法,然后构建一个模型。

  没有考虑任何以前学的知识“孤立学习”的弱点:学到的知识没有保留或积累,也就是说,没有记忆。

  需要大量的训练示例。

  适用于限制环境中有明确定义的狭义任务。

  不能自我激励和自我学习

机器学习:ML 2.0

 

机器学习:ML 2.0

  人类从来不是孤立地学习的:人类是连续学习

  积累过去学到的知识,并利用它们去学习更多知识;

  高效地从少量示例学习,并自我激励。

  终身机器学习(LML):

  模仿人类的这种学习能力

人类不是孤立地学习的

 

人类不是孤立地学习的

  没有人会给我1000个正面的和1000个负面的汽车评论,然后让我建一个分类器去给汽车评论分类。

  我可以不需要任何评论来训练就可以做到这些,因为我已经知道人们是如何赞美和贬损事物。

  如果我没有积累的知识,我不可能做到这些。比如说,我完全不懂阿拉伯语,即使有人给我2000个用阿拉伯语写的正面/负面评论来训练,我也不可能学会。

【首届北美计算机华人学者年会】伊利诺伊大学刘兵:终身机器学习(45PPT)

 
大纲

  终身学习的定义

  基于全局知识的终身学习

  基于局部知识的终身学习

  自我意识和自我激励的学习

  利用图形的终身学习

  测试或执行中的学习

  总结

  终身学习的定义

LML的定义

 

LML的定义

  学习者从1到N完成一系列任务的学习。

  在面对第(N + 1)个任务时,它使用知识库(knowledge base,KB)中的相关知识来辅助学习第(N + 1)个任务。

  在学会第(N + 1)个任务后,将第(N + 1)个任务的学习结果更新到知识库。

终身机器学习系统(示意图)

 

终身机器学习系统(示意图)

LML的主要特征

 

LML的主要特征

  连续学习过程:不仅在训练过程学习,而且在模型使用或执行中学习

  知识被保留和积累在知识库:具有更多的知识

  使用并适应过去学习的知识,以帮助未来的学习和解决问题

迁移学习,多任务学习 终身学习

 

迁移学习,多任务学习 终身学习

  迁移学习 vs. LML

  迁移学习是不连续的

  迁移学习不保留或积累知识

  迁移学习只有一个方向:帮助目标领域

  多任务学习vs. LML

  多任务学习除了保留数据外,不保留知识

  当任务有很多时,很难重新学习

  在线的多任务学习就是LML

  基于全局知识的终身学习

共享知识的两种类型

 

共享知识的两种类型

  全局知识(Global knowledge):许多现有的LML方法假设在共享的任务中存在一个全局的潜在结构(global latent structure)。

  这种全局结构可以在新任务的学习过程中学到和利用。

  这些方法来自多任务学习。

  任务应该来自同一领域。

ELLA:有效的终身学习算法

 

ELLA:有效的终身学习算法

  ELLA基于GO-MTL,一种批处理多任务学习方法。

加盟热线:4008-888-888  网站地图XML  网站地图HTML

Copyright © 2002-2019 双龙乐园有限公司 版权所有 苏ICP12345678