Integration of World Knowledge for
Natural Language Understanding

Ekaterina Ovchinnikova
Foreword v
Acknowledgments vii
List of Figures xiii
List of Tables xv
List of Algorithms xvii
1. Preliminaries 1
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 HowtoReadThisBook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2. Natural Language Understanding and World Knowledge 15
2.1 What is Natural Language Understanding? . . . . . . . . . . . . . . . . . . . . . . 15
2.2 RepresentationofMeaning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2.1 Meaning Representation in Linguistic Theories . . . . . . . . . . . . . . . 19
2.2.2 Linguistic Meaning in Artificial Intelligence . . . . . . . . . . . . . . . . 26
2.3 Shared Word Knowledge for Natural Language Understanding . . . . . . . . . . . 30
2.3.1 Linguistic vs. World Knowledge . . . . . . . . . . . . . . . . . . . . . . 31
2.3.2 Natural Language Phenomena Requiring Word Knowledge to be Resolved 33
2.4 ConcludingRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3. Sources ofWorld Knowledge 39
3.1 Lexical-semanticResources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.1.1 Hand-crafted Electronic Dictionaries . . . . . . . . . . . . . . . . . . . . 46
3.1.2 Automatically Generated Lexical-semantic Databases . . . . . . . . . . . 53
3.2 Ontologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.2.1 Foundational Ontologies . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.2.2 Domain-specific Ontologies . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.3 MixedResources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.3.1 Ontologies Learned from Text . . . . . . . . . . . . . . . . . . . . . . . . 65
3.3.2 Ontologies Learned from Structured Sources: YAGO . . . . . . . . . . . 66
3.3.3 Ontologies Generated Using Community Efforts: ConceptNet . . . . . . . 67
3.4 ConcludingRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
ix
x Integration of World Knowledge for Natural Language Understanding
4. Reasoning for Natural Language Understanding 73
4.1 SemanticParsers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.1.1 English Slot Grammar . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.1.2 Boxer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.2 Deduction for Natural Language Understanding . . . . . . . . . . . . . . . . . . . 77
4.3 Abduction for Natural Language Understanding . . . . . . . . . . . . . . . . . . . 81
4.4 ReasoningwithDescriptionLogics . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.5 ConcludingRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5. Knowledge Base Construction 93
5.1 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.1.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.1.2 Axiom Weights . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.2 Axioms derived fromLexical-SemanticResources . . . . . . . . . . . . . . . . . 96
5.2.1 Axioms derived from WordNet . . . . . . . . . . . . . . . . . . . . . . . 96
5.2.2 Axioms derived from FrameNet . . . . . . . . . . . . . . . . . . . . . . . 101
5.2.3 Axioms derived from Proposition Store . . . . . . . . . . . . . . . . . . . 114
5.3 Ontology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5.4 SimilaritySpace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.5 ConcludingRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
6. Ensuring Consistency 123
6.1 Conceptual InconsistencyofFrameRelations . . . . . . . . . . . . . . . . . . . . 124
6.1.1 Ontological Status of Frames . . . . . . . . . . . . . . . . . . . . . . . . 126
6.1.2 Constraints on Frame Relations . . . . . . . . . . . . . . . . . . . . . . . 128
6.1.3 Reasoning-Related Conceptual Problems in FrameNet . . . . . . . . . . . 131
6.1.4 Case Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6.2 Logical Inconsistency inOntologies . . . . . . . . . . . . . . . . . . . . . . . . . 134
6.2.1 Resolving Logical Inconsistencies . . . . . . . . . . . . . . . . . . . . . 136
6.2.2 Tracing Clashes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.2.3 Resolving Overgeneralization . . . . . . . . . . . . . . . . . . . . . . . . 141
6.2.4 Root and Derived Concepts . . . . . . . . . . . . . . . . . . . . . . . . . 145
6.2.5 Rewriting Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
6.2.6 Prototypical Implementation . . . . . . . . . . . . . . . . . . . . . . . . 151
6.3 ConcludingRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
7. Abductive Reasoning with the Integrative Knowledge Base 155
7.1 Adapting Mini-TACITUS toaLargeKnowledgeBase . . . . . . . . . . . . . . . . 155
7.2 Refining Abductive Reasoning Procedure for NLU . . . . . . . . . . . . . . . . . 162
7.3 ReasoningwithOntologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
7.4 ReasoningwithSimilaritySpace . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
7.5 ConcludingRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
8. Evaluation 177
8.1 Natural Language Understanding Tasks . . . . . . . . . . . . . . . . . . . . . . . 179
8.1.1 Recognizing Textual Entailment . . . . . . . . . . . . . . . . . . . . . . 179
8.1.2 Semantic Role Labeling . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
8.1.3 Paraphrasing of Noun Dependencies . . . . . . . . . . . . . . . . . . . . 185
8.2 Experiments with Boxer and Nutcracker . . . . . . . . . . . . . . . . . . . . . . . 187
Contents xi
8.2.1 Recognizing Textual Entailment . . . . . . . . . . . . . . . . . . . . . . 189
8.2.2 Semantic Role Labeling . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
8.3 Experiments with Mini-TACITUS . . . . . . . . . . . . . . . . . . . . . . . . . . 195
8.3.1 Recognizing Textual Entailment . . . . . . . . . . . . . . . . . . . . . . 196
8.3.2 Semantic Role Labeling . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
8.3.3 Paraphrasing of Noun Dependencies . . . . . . . . . . . . . . . . . . . . 202
8.3.4 Domain Text Interpretation . . . . . . . . . . . . . . . . . . . . . . . . . 207
8.4 ConcludingRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
9. Conclusion 215
Appendix A 221
Bibliography 225
Index 241