Longbing Cao · Philip S. Yu · Chengqi Zhang ·Yanchang Zhao
Challenges and Trends . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .     1

2      D3M Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .   27
2.1    Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .   27
4      Knowledge Actionability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .   75
5      D3M AKD Frameworks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .   93
6      Combined Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.1    Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.2    Why Combined Mining  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
6.3    Problem Statement  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
6.3.1    An Example  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
6.3.2    Mining Combined Patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
6.4    The Concept of Combined Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
6.4.1    Basic Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
6.4.2    Basic Paradigms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
6.4.3    Basic Process  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
6.5    Multi-Feature Combined Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
6.5.1    Multi-Feature Combined Patterns . . . . . . . . . . . . . . . . . . . . . . . 126
6.5.2    Pair Pattern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
6.5.3    Cluster Pattern  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
6.5.4    Incremental Pair Pattern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
6.5.5    Incremental Cluster Pattern . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
6.5.6    Procedure for Generating Multi-Feature Combined Patterns . 131
6.6    Multi-Method Combined Mining  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6.6.1    Basic Frameworks  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6.6.2    Parallel Multi-Method Combined Mining . . . . . . . . . . . . . . . . 133
6.6.3    Serial Multi-Method Combined Mining  . . . . . . . . . . . . . . . . . 134
6.6.4    Closed-Loop Multi-Method Combined Mining  . . . . . . . . . . . 134
6.6.5    Closed-Loop Sequence Classification  . . . . . . . . . . . . . . . . . . . 136
6.7    Case Study: Mining Combined Patterns in E-Government Service
Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.8    Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.9    Summary  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
7      Agent-Driven Data Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.1    Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.2    Complementation between Agents and Data Mining  . . . . . . . . . . . . . 145
7.3    The Field of Agent Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
7.4    Why Agent-Driven Data Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
7.5    What Can Agents Do for Data Mining? . . . . . . . . . . . . . . . . . . . . . . . . 152
7.6    Agent-Driven Distributed Data Mining . . . . . . . . . . . . . . . . . . . . . . . . . 154
7.6.1    The Challenges of Distributed Data Mining . . . . . . . . . . . . . . 154
7.6.2    What Can Agents Do for Distributed Data Mining? . . . . . . . . 154
7.6.3    Related Work  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
7.7    Research Issues in Agent Driven Data Mining . . . . . . . . . . . . . . . . . . . 159
7.8    Case Study 1: F-Trade – An Agent-Mining Symbiont for Financial
Services  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
7.9    Case Study 2: Agent-based Multi-source Data Mining . . . . . . . . . . . . 161
7.10  Case Study 3: Agent-based Adaptive Behavior Pattern Mining by
HMM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
7.10.1  System Framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
Contents
xv
7.10.2  Agent-Based Adaptive CHMM . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.11  Research Resources on Agent Mining  . . . . . . . . . . . . . . . . . . . . . . . . . 167
7.11.1  The AMII Special Interest Group . . . . . . . . . . . . . . . . . . . . . . . 167
7.11.2  Related References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
7.12  Summary  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
8      Post Mining  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
8.1    Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
8.2    Interestingness Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
8.3    Filtering and Pruning  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
8.4    Visualisation  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
8.5    Summarization and Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
8.6    Post-Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
8.7    Maintenance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
8.8    Summary  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
9      Mining Actionable Knowledge on Capital Market Data . . . . . . . . . . . . . 181
9.1    Case Study 1: Extracting Actionable Trading Strategies . . . . . . . . . . . 181
9.1.1    Related Work  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
9.1.2    What Is Actionable Trading Strategy? . . . . . . . . . . . . . . . . . . . 182
9.1.3    Constraints on Actionable Trading Strategy Development  . . 185
9.1.4    Methods for Developing Actionable Trading Strategies  . . . . 189
9.2    Case Study 2: Mining Actionable Market Microstructure Behavior
Patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
9.2.1    Market Microstructure Behavior in Capital Markets  . . . . . . . 196
9.2.2    Modeling Market Microstructure Behavior to Construct
Microstructure Behavioral Data . . . . . . . . . . . . . . . . . . . . . . . . 196
9.2.3    Mining Microstructure Behavior Patterns . . . . . . . . . . . . . . . . 199
9.2.4    Experiments  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
10    Mining Actionable Knowledge on Social Security Data . . . . . . . . . . . . . 203
10.1  Case Study: Mining Actionable Combined Associations . . . . . . . . . . 203
10.1.1  Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
10.1.2  Combined Associations and Association Clusters  . . . . . . . . . 203
10.1.3  Selecting Interesting Combined Associations and
Association Clusters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
10.2  Experiments: Mining Actionable Combined Patterns . . . . . . . . . . . . . 207
10.2.1  Mining Multi-Feature Combined Patterns . . . . . . . . . . . . . . . . 208
10.2.2  Mining Closed-Loop Sequence Classifiers  . . . . . . . . . . . . . . . 213
10.3  Summary  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
11    Open Issues and Prospects  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
11.1  Open Issues  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
11.2  Trends and Prospects  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
xvi
Contents
12    Reading Materials. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
12.1  Activities on D3M   . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
12.2  References on D3M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
12.3  References on Agent Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
12.4  References on Post-analysis and Post-mining  . . . . . . . . . . . . . . . . . . . 223
Glossary  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .