Cluster Analysis for Data Mining and System Identification

1 Classical Fuzzy Cluster Analysis
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Types of Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 SimilarityMeasures . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 Clustering Techniques . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4.1 HierarchicalClustering Algorithms . . . . . . . . . . . . . . 9
1.4.2 PartitionalAlgorithms . . . . . . . . . . . . . . . . . . . . . 10
1.5 Fuzzy Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.5.1 Fuzzy partition . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.5.2 The Fuzzy c-Means Functional . . . . . . . . . . . . . . . . 18
1.5.3 Ways for Realizing Fuzzy Clustering . . . . . . . . . . . . . 18
1.5.4 The Fuzzy c-Means Algorithm . . . . . . . . . . . . . . . . 19
1.5.5 Inner-ProductNorms . . . . . . . . . . . . . . . . . . . . . 24
1.5.6 Gustafson–Kessel Algorithm . . . . . . . . . . . . . . . . . . 24
1.5.7 Gath–Geva Clustering Algorithm . . . . . . . . . . . . . . . 28
1.6 Cluster Analysis of CorrelatedData . . . . . . . . . . . . . . . . . 32
1.7 ValidityMeasures . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2 Visualization of the Clustering Results
2.1 Introduction:Motivation andMethods . . . . . . . . . . . . . . . . 47
2.1.1 Principal Component Analysis . . . . . . . . . . . . . . . . 48
2.1.2 SammonMapping . . . . . . . . . . . . . . . . . . . . . . . 52
2.1.3 Kohonen Self-OrganizingMaps . . . . . . . . . . . . . . . . 54
2.2 Fuzzy SammonMapping . . . . . . . . . . . . . . . . . . . . . . . . 59
2.2.1 Modified SammonMapping . . . . . . . . . . . . . . . . . . 60
2.2.2 Application Examples . . . . . . . . . . . . . . . . . . . . . 61
2.2.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
2.3 Fuzzy Self-OrganizingMap . . . . . . . . . . . . . . . . . . . . . . 67
2.3.1 Regularized Fuzzy c-Means Clustering . . . . . . . . . . . . 68
2.3.2 Case Study . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
2.3.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
vi Contents
3 Clustering for Fuzzy Model Identification – Regression
3.1 Introduction to Fuzzy Modelling . . . . . . . . . . . . . . . . . . . 81
3.2 Takagi–Sugeno (TS) FuzzyModels . . . . . . . . . . . . . . . . . . 86
3.2.1 Structure of Zero- and First-order TS Fuzzy Models . . . . 87
3.2.2 Related Modelling Paradigms . . . . . . . . . . . . . . . . 92
3.3 TS FuzzyModels for Nonlinear Regression . . . . . . . . . . . . . . 96
3.3.1 Fuzzy Model Identification Based on
Gath–Geva Clustering . . . . . . . . . . . . . . . . . . . . . 98
3.3.2 Construction of Antecedent Membership Functions . . . . . 100
3.3.3 Modified Gath–Geva Clustering . . . . . . . . . . . . . . . . 102
3.3.4 Selection of the Antecedent and Consequent Variables . . . 111
3.3.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
3.4 Fuzzy RegressionTree . . . . . . . . . . . . . . . . . . . . . . . . . 115
3.4.1 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . 120
3.4.2 Identification of Fuzzy Regression Trees based
on Clustering Algorithm . . . . . . . . . . . . . . . . . . . . 122
3.4.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
3.5 Clustering for Structure Selection . . . . . . . . . . . . . . . . . . . 133
3.5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 133
3.5.2 Input Selection for Discrete Data . . . . . . . . . . . . . . . 134
3.5.3 Fuzzy Clustering Approach to Input Selection . . . . . . . . 136
3.5.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
3.5.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
4 Fuzzy Clustering for System Identification
4.1 Data-Driven Modelling of Dynamical Systems . . . . . . . . . . . 142
4.1.1 TS Fuzzy Models of SISO and MIMO Systems . . . . . . . 148
4.1.2 Clustering for the Identification of MIMO Processes . . . . 153
4.1.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
4.2 Semi-Mechanistic FuzzyModels . . . . . . . . . . . . . . . . . . . . 162
4.2.1 Introduction to Semi-Mechanistic Modelling . . . . . . . . . 162
4.2.2 Structure of the Semi-Mechanistic Fuzzy Model . . . . . . . 164
4.2.3 Clustering-based Identification of the
Semi-Mechanistic FuzzyModel . . . . . . . . . . . . . . . . 171
4.2.4 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
4.3 Model Order Selection . . . . . . . . . . . . . . . . . . . . . . . . . 183
4.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 183
4.3.2 FNN Algorithm. . . . . . . . . . . . . . . . . . . . . . . . . 185
4.3.3 Fuzzy Clustering based FNN . . . . . . . . . . . . . . . . . 187
4.3.4 Cluster Analysis based Direct Model Order Estimation . . . 189
4.3.5 Application Examples . . . . . . . . . . . . . . . . . . . . . 190
4.3.6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
4.4 State-Space Reconstruction . . . . . . . . . . . . . . . . . . . . . . 198
4.4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 198
Contents vii
4.4.2 Clustering-based Approach to
State-space Reconstruction . . . . . . . . . . . . . . . . . . 200
4.4.3 Application Examples and Discussion . . . . . . . . . . . . 208
4.4.4 Case Study . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
4.4.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
5 Fuzzy Model based Classifiers
5.1 FuzzyModel Structures for Classification . . . . . . . . . . . . . . 227
5.1.1 Classical Bayes Classifier . . . . . . . . . . . . . . . . . . . 227
5.1.2 Classical Fuzzy Classifier . . . . . . . . . . . . . . . . . . . 228
5.1.3 Bayes Classifier based on Mixture of Density Models . . . . 229
5.1.4 Extended Fuzzy Classifier . . . . . . . . . . . . . . . . . . . 229
5.1.5 Fuzzy Decision Tree for Classification . . . . . . . . . . . . 230
5.2 Iterative Learning of Fuzzy Classifiers . . . . . . . . . . . . . . . . 232
5.2.1 Ensuring Transparency and Accuracy . . . . . . . . . . . . 233
5.2.2 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
5.3 Supervised Fuzzy Clustering . . . . . . . . . . . . . . . . . . . . . . 237
5.3.1 Supervised Fuzzy Clustering – the Algorithm . . . . . . . . 239
5.3.2 Performance Evaluation . . . . . . . . . . . . . . . . . . . . 240
5.3.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
5.4 Fuzzy Classification Tree . . . . . . . . . . . . . . . . . . . . . . . . 245
5.4.1 Fuzzy Decision Tree Induction . . . . . . . . . . . . . . . . 247
5.4.2 Transformation and Merging of the
Membership Functions . . . . . . . . . . . . . . . . . . . . . 248
5.4.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
6 Segmentation of Multivariate Time-series
6.1 Mining Time-seriesData . . . . . . . . . . . . . . . . . . . . . . . . 253
6.2 Time-series Segmentation . . . . . . . . . . . . . . . . . . . . . . . 255
6.3 Fuzzy Cluster based Fuzzy Segmentation. . . . . . . . . . . . . . . 261
6.3.1 PCA based DistanceMeasure . . . . . . . . . . . . . . . . . 263
6.3.2 Modified Gath–Geva Clustering for
Time-series Segmentation . . . . . . . . . . . . . . . . . . . 264
6.3.3 Automatic Determination of the Number of Segments . . . 266
6.3.4 Number of Principal Components . . . . . . . . . . . . . . . 268
6.3.5 The Segmentation Algorithm . . . . . . . . . . . . . . . . . 269
6.3.6 Case Studies . . . . . . . . . . . . . . . . . . . . . . . . . . 270
6.4 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273