1.深度学习之于自然语言处理,有其局限性。刘群教授认为尚未解决的这些问题最终是由深度学习的四大边界——数据边界、语义边界、符号边界和因果边界所共同造成的。要想在这些尚未解决的问题上寻找突破,需要从
深度学习的这些边界出发,去探索新的解决方案。
2.深度学习解决了自然语言处理的词语形态问题、句法结构问题、多语言问题、联合训练问题、领域迁移问题以及在线学习问题。
3.基于深度学习的自然语言处理,其边界在哪里? 刘群教授认为深度学习有几个重要的边界:数据边界、语义边界、符号边界和因果边界。
4.人工智能在很多领域都大获成功,其中在围棋、电子竞技等项目上获得的成功最大,包括早期还没有深度学习乃至统计方法时,在 Winograd 系统上就很成功了,为什么会取得这么大的成功?这是因为这些领域能够对客观世界的问题进行精确建模,因此能做得很好;而现在自然语言处理系统大部分都无法对客观世界进行精确建模,所以很难做好。另外比如像智能音箱、语音助手系统能够取得一定成果,很大程度上也是因为这些系统对应着明确定义的任务,能对物理世界建模,不过一旦用户的问话超出这些预定义的任务,系统就很容易出错。 机器翻译的成功是一个比较特殊的例子,这是因为它的源语言和目标原因的语义都是精确对应的,所以它只要有足够的数据而并不需要其他的支撑,就能取得较好的效果。
5.听众提问:在统计机器翻译时代,有分词分析、句法分析以及语义分析等共性任务,那在
神经网络机器翻译时代是否也有这样一些共性任务呢?
刘群:显然是有的。
一个是预训练语言模型,它实际上就是在将语言当成一个共性任务来处理,其之所以现在取得这么大的成功,我认为某种程度上就是因为这种共性任务的处理方式。
第二个是知识图谱,它其实也是一种共性任务,这个领域的研究者做了这么多年的研究,我认为是非常有意义的,所以我们现在也在想办法将
知识图谱和自然语言处理结合起来做研究。