http://rapidshare.com/files/77774192/Heavy-Tail_Phenomena.pdf

Springer Series in Operations Research and Financial Engineering

Tile:

"Heavy-Tail Phenomena Probabilistic and Statistical Modeling"

Sidney I. Resnick

Size: 3.38MB (Only download URL is provided)

Format: pdf

Content:
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v
Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Welcome . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Survey . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.3 Context and examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3.1 Data networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3.2 Finance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Value-at-risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3.3 Insurance and reinsurance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
Part I Crash Courses
2 Crash Course I: Regular Variation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1 Preliminaries from analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.1 Uniform convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.2 Inverses of monotone functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.1.3 Convergence of monotone functions . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.4 Cauchy’s functional equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2 Regular variation: Definition and first properties . . . . . . . . . . . . . . . . . . . 20
2.2.1 A maximal domain of attraction. . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3 Regular variation: deeper results; Karamata’s theorem . . . . . . . . . . . . . . 24
2.3.1 Uniform convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
xii Contents
2.3.2 Integration and Karamata’s theorem . . . . . . . . . . . . . . . . . . . . . . . . 25
2.3.3 Karamata’s representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.4 Differentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.4 Regular variation: Further properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.5 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3 Crash Course II: Weak Convergence; Implications for Heavy-Tail
Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.2 Basic properties of weak convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2.1 Portmanteau theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2.2 Skorohod’s theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.3 Continuous mapping theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2.4 Subsequences and Prohorov’s theorem . . . . . . . . . . . . . . . . . . . . . . 43
3.3 Some useful metric spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3.1 Rd , finite-dimensional Euclidean space . . . . . . . . . . . . . . . . . . . . . 44
3.3.2 R∞, sequence space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.3 C[0, 1] and C[0,∞), continuous functions . . . . . . . . . . . . . . . . . . 45
3.3.4 D[0, 1] and D[0,∞) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.5 Radon measures and point measures; vague convergence . . . . . . 48
Spaces of measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
Convergence concept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
The vague topology; more on M+(E) (and hence, more
on Mp(E)) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.4 How to prove weak convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.1 Methods in spaces useful for heavy-tail analysis . . . . . . . . . . . . . . 53
3.4.2 Donsker’s theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.5 New convergences from old . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.5.1 Slutsky approximations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.5.2 Combining convergences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.5.3 Inversion techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
Inverses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
Vervaat’s lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.6 Vague convergence and regular variation . . . . . . . . . . . . . . . . . . . . . . . . . . 61
Vague convergence on (0,∞] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
Contents xiii
Part II Statistics
4 Dipping a Toe in the StatisticalWater . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.1 Statistical inference for heavy tails: This is a song about α . . . . . . . . . . . 73
4.2 Exceedances, thresholds, and the POT method . . . . . . . . . . . . . . . . . . . . . 74
4.2.1 Exceedances. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.2.2 Exceedance times . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
Subsequence principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.2.3 Peaks over threshold . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.3 The tail empirical measure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.4 The Hill estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.4.1 Random measures and the consistency of the Hill estimator . . . . 81
4.4.2 The Hill estimator in practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.4.3 Variants of the Hill plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
The smooHill plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
Changing the scale, Alt plotting . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.5 Alternative estimators I: The Pickands estimator . . . . . . . . . . . . . . . . . . . 90
4.5.1 Extreme-value theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.5.2 The Pickands estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.6 Alternative estimators II: QQ plotting and the QQ estimator . . . . . . . . . . 97
4.6.1 Quantile-quantile or QQ plots: Preliminaries . . . . . . . . . . . . . . . . 97
4.6.2 QQ plots: The method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
4.6.3 QQ plots and location-scale families. . . . . . . . . . . . . . . . . . . . . . . . 100
4.6.4 Adaptation to the heavy-tailed case: Are the data heavy tailed? . 101
4.6.5 Additional remarks and related plots . . . . . . . . . . . . . . . . . . . . . . . . 102
Diagnosing deviations from the line in the QQ plot . . . . . . . . . . . 102
A related plot: The PP plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
Another variant: The tail plot for heavy tails . . . . . . . . . . . . . . . . . 104
4.6.6 The QQ estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
Consistency of the QQ estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
4.7 How to compute value-at-risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
4.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
xiv Contents
Part III Probability
5 The Poisson Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.1 The Poisson process as a random measure . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.1.1 Definition and first properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.1.2 Point transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
5.1.3 Augmentation or marking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.2 Models for data transmission . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
5.2.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
5.2.2 Probability models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.2.3 Long-range dependence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
Simple minded detection of long-range dependence using the
sample acf plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
5.2.4 The infinite-node Poisson model . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
5.2.5 Connection between heavy tails and long-range dependence . . . . 130
5.3 The Laplace functional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
5.3.1 Definition and first properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
5.3.2 The Laplace functional of the Poisson process . . . . . . . . . . . . . . . 134
5.4 See the Laplace functional flex its muscles!. . . . . . . . . . . . . . . . . . . . . . . . 137
5.4.1 The Laplace functional and weak convergence . . . . . . . . . . . . . . . 137
Convergence of empirical measures . . . . . . . . . . . . . . . . . . . . . . . . 138
Preservation of weak convergence under mappings of the state
space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
5.4.2 A general construction of the Poisson process . . . . . . . . . . . . . . . . 143
5.4.3 Augmentation, location-dependent marking . . . . . . . . . . . . . . . . . . 144
5.5 Lévy processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
5.5.1 Itô’s construction of Lévy processes . . . . . . . . . . . . . . . . . . . . . . . . 146
Lévy measure. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
Compound Poisson representations . . . . . . . . . . . . . . . . . . . . . . . . . 147
Variance calculations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
Process definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
5.5.2 Basic properties of Lévy processes . . . . . . . . . . . . . . . . . . . . . . . . . 150
The characteristic function of X(t) . . . . . . . . . . . . . . . . . . . . . . . . . 151
Independent increment property of X(t) . . . . . . . . . . . . . . . . . . . . 151
Stationary increment property . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
Stochastic continuity of X(·) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
Subordinators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
Stable Lévy motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
Contents xv
Symmetric α-stable Lévy motion . . . . . . . . . . . . . . . . . . . . . . . . . . 154
5.5.3 Basic path properties of Lévy processes . . . . . . . . . . . . . . . . . . . . . 155
5.6 Extremal processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
5.6.1 Construction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
5.6.2 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
5.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
6 Multivariate Regular Variation and the Poisson Transform . . . . . . . . . . . 167
6.1 Multivariate regular variation: Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
6.1.1 Multivariate regularly varying functions . . . . . . . . . . . . . . . . . . . . 167
6.1.2 The polar coordinate transformation . . . . . . . . . . . . . . . . . . . . . . . . 168
6.1.3 The one-point uncompactification . . . . . . . . . . . . . . . . . . . . . . . . . . 170
6.1.4 Multivariate regular variation of measures . . . . . . . . . . . . . . . . . . . 172
6.2 The Poisson transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
6.3 Multivariate peaks over threshhold . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
6.4 Why bootstrapping heavy-tailed phenomena is difficult . . . . . . . . . . . . . . 184
6.4.1 An example to fix ideas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
6.4.2 Why the bootstrap sample size must be carefully chosen . . . . . . . 186
The bootstrap procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
What exactly is the bootstrap procedure? . . . . . . . . . . . . . . . . . . . . 187
When bootstrap asymptotics work . . . . . . . . . . . . . . . . . . . . . . . . . 188
When bootstrap asymptotics do not work . . . . . . . . . . . . . . . . . . . . 189
6.5 Multivariate regular variation: Examples, comments, amplification . . . . 191
6.5.1 Two examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
Independence and asymptotic independence . . . . . . . . . . . . . . . . . 192
Repeated components and asymptotic full dependence . . . . . . . . 195
6.5.2 A general representation for the limiting measure ν . . . . . . . . . . . 196
6.5.3 A general construction of a multivariate regularly varying
distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
6.5.4 Regularly varying densities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
6.5.5 Beyond the nonnegative orthant . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
6.5.6 Standard vs. nonstandard regular variation . . . . . . . . . . . . . . . . . . . 203
6.6 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
7 Weak Convergence and the Poisson Process . . . . . . . . . . . . . . . . . . . . . . . . 211
7.1 Extremes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
7.1.1 Weak convergence of multivariate extremes: The timeless
result . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
xvi Contents
7.1.2 Weak convergence of multivariate extremes: Functional
convergence to extremal processes . . . . . . . . . . . . . . . . . . . . . . . . . 212
7.2 Partial sums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
7.2.1 Weak onvergence of partial sum processes to Lévy processes . . . 214
7.2.2 Weak convergence to stable Lévy motion . . . . . . . . . . . . . . . . . . . 218
7.2.3 Continuity of the summation functional . . . . . . . . . . . . . . . . . . . . . 221
7.3 Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
7.3.1 Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
Linear combinations of components of a random vector . . . . . . . 227
Adding independent vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
7.3.2 Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
Breiman’s theorem: A factor has a relatively thin tail . . . . . . . . . . 231
Products of heavy-tailed random variables which are jointly
regularly varying . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
Internet data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
7.3.3 Laplace transforms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
Special case for d = 1: Karamata’s Tauberian theorem . . . . . . . . 245
Renewal theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
7.4 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
8 Applied Probability Models and Heavy Tails . . . . . . . . . . . . . . . . . . . . . . . . 253
8.1 A network model for cumulative traffic on large time scales . . . . . . . . . . 253
8.1.1 Model review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
8.1.2 The critical input rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
8.1.3 Why stable Lévy motion can approximate cumulative input
under slow growth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
The basic decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
One-dimensional convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
Finite-dimensional convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
8.2 A model for network activity rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
8.2.1 Mean value analysis when α, β < 1 . . . . . . . . . . . . . . . . . . . . . . . . 265
8.2.2 Behavior of N(t), the renewal counting function when
0 < α < 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
8.2.3 Activity rates when α, β < 1 and tails are comparable . . . . . . . . . 266
Counting function of {(Sk, Tk), k ≥ 0} . . . . . . . . . . . . . . . . . . . . . . 266
Number of active sources when tails are comparable . . . . . . . . . . 267
8.2.4 Activity rates when 0 < α,β < 1, and Fon has a heavier tail . . . 269
Number of active sources when F¯on is heavier . . . . . . . . . . . . . . . 271
8.3 Heavy traffic and heavy tails . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
Contents xvii
8.3.1 Crash course on waiting-time processes . . . . . . . . . . . . . . . . . . . . . 273
8.3.2 Heavy-traffic approximation for queues with heavy-tailed
services . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
8.3.3 Approximation to a negative-drift random walk . . . . . . . . . . . . . . 279
8.3.4 Approximation to the supremum of a negative-drift random
walk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
8.3.5 Proof of the heavy-traffic approximation . . . . . . . . . . . . . . . . . . . . 283
8.4 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
Part IV More Statistics
9 Additional Statistics Topics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
9.1 Asymptotic normality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
9.1.1 Asymptotic normality of the tail empirical measure . . . . . . . . . . . 291
9.1.2 Asymptotic normality of the Hill estimator . . . . . . . . . . . . . . . . . . 296
Blood and guts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
Removing the random centering . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
Centering by 1/α . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
9.2 Estimation for multivariate heavy-tailed variables . . . . . . . . . . . . . . . . . . 304
9.2.1 Dependence among extreme events . . . . . . . . . . . . . . . . . . . . . . . . 304
Example: Modeling of exchange rates . . . . . . . . . . . . . . . . . . . . . . 305
9.2.2 Estimation in the standard case . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
9.2.3 Estimation in the nonstandard case . . . . . . . . . . . . . . . . . . . . . . . . . 309
Live with diversity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
Be crude! . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
The ranks method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
Estimation of the angular measure . . . . . . . . . . . . . . . . . . . . . . . . . 313
9.2.4 How to choose k; the St˘aric˘a plot . . . . . . . . . . . . . . . . . . . . . . . . . . 314
9.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
9.3.1 Internet data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
Boston University data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
Internet HTTP response data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
9.3.2 Exchange rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
9.3.3 Insurance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
9.4 The coefficient of tail dependence and hidden regular variation . . . . . . . 322
9.4.1 Hidden regular variation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
Definition of hidden regular variation . . . . . . . . . . . . . . . . . . . . . . . 324
Topology is destiny . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
xviii Contents
9.4.2 A simple characterization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
9.4.3 Two examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330
9.4.4 Detection of hidden regular variation . . . . . . . . . . . . . . . . . . . . . . . 332
A first step . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
But wait! Why does the rank transform preserve hidden regular
variation? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
Estimating the hidden angular measure . . . . . . . . . . . . . . . . . . . . . 337
9.5 The sample correlation function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
9.5.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
9.5.2 Limit theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
Point process limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
Summing the points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
9.5.3 The heavy-tailed sample acf; α < 1 . . . . . . . . . . . . . . . . . . . . . . . . 346
9.5.4 The classical sample acf: 1 < α < 2 . . . . . . . . . . . . . . . . . . . . . . . 347
9.5.5 Suggestions to use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
9.6 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
Part V Appendices
10 Notation and Conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
10.1 Vector notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
10.2 Symbol shock . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
11 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
11.1 One dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
11.1.1 Hill estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
Hillalpha . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
altHillalpha . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
smooHillalpha . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
11.1.2 QQ plotting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
pppareto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
parfit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
QQ estimator plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
11.1.3 Estimators from extreme-value theory . . . . . . . . . . . . . . . . . . . . . . 368
The Pickands estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368
The moment estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
11.2 Multivariate heavy tails . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
11.2.1 Estimation of the angular distribution . . . . . . . . . . . . . . . . . . . . . . . 370
Contents xix
Rank transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
Estimate the angular density using ranks . . . . . . . . . . . . . . . . . . . . 371
Estimate the angular density using power transforms . . . . . . . . . . 371
Estimate the angular distribution using the rank transform . . . . . 372
11.2.2 The St˘aric˘a plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372
Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
St˘aric˘a plot using the power transform . . . . . . . . . . . . . . . . . . . . . . 373
St˘aric˘a plot using the rank transform . . . . . . . . . . . . . . . . . . . . . . . 374
Allowing the St˘aric˘a plot to choose k . . . . . . . . . . . . . . . . . . . . . . . 374
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397