2019.09.02 Day37
1. 深度学习解决了自然语言处理中的词语形态问题，对中文可以基于汉字来实现，绕开了分词的困难，对其他语言采用包括基于字符的模型等方式，也基本解决了形态问题；深度学习解决了句法结构问题，神经网络可以对句子结构进行较好的捕捉，不需要句法分析，系统可以自动获得处理复杂结构句子翻译的能力；深度学习对自然语言处理中的多语言问题也提供了可行方案，利用中间语言构建的庞大系统，取得了较好的效果；深度学习也通过联合训练有效提高了性能
2. 尚未解决：资源稀缺，可解释性和可信任问题，可控制问题，超长文本问题，缺乏常识问题；基于深度学习的NLP，有几个重要的边界：数据边界、语义边界、符号边界和因果边界
3. 神经网络的方法只有在语料很多的情况下，表现才能超过统计方法，在语料不够大时，表现并不比统计方法更好
4. 总而言之，我认为自然语言处理的一个理想的改进方向就是做世界模型或语义模型，换句话说，就是不仅仅只做文本间的处理，还必须落地到现实世界中，去对现实世界建模，而知识图谱这是其中一个较为值得探索的具体方向
5. 神经网络无法做到这一点，它根据数据学习到的东西去做出判断而并没有理解真正的因果关系，即并不知道哪些因素是事情发生的真正原因，哪些是辅助性的判断依据，因而很容易做出错误的判断