数学与统计预修讲义（英文版）
Pre-Session Mathematics and Statistics Course _Notes
Jackson Wong
September 20, 2006

CONTENTS
1 Linear Algebra 9
1.1 Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2 Matrix Manipulations . . . . . . . . . . . . . . . . . . . . . . . . 9
Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Elementary Matrix Operations and Reduced Row Echelon
Form (RREF) . . . . . . . . . . . . . . . . . . . . . . . . . 11
Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
Rank and Linear Independence . . . . . . . . . . . . . . . . . . 16
Kronecker Product . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.3 Matrix System and Applications . . . . . . . . . . . . . . . . . 18
Linear system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
Eigenvalues, Eigenvectors and Diagonalization . . . . . . . . 19
Quadratic Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Matrix Di¤erentiation1 . . . . . . . . . . . . . . . . . . . . . . . 21
1.4 Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Inner Product and Inner Product Space . . . . . . . . . . . . 25
Linear Combination and Spanning Sets . . . . . . . . . . . . . 25
Basis and Dimension . . . . . . . . . . . . . . . . . . . . . . . . 26
Orthonormal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Projection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Gram-Schmidt Orthogonolization . . . . . . . . . . . . . . . . 27
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2 Mathematical Analysis 31
2.1 Sets Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
Set De…nition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
Set Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.2 Interval On Real Line and Sequences . . . . . . . . . . . . . . . 33
Interval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Sequence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Calculus of Limits . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.3 Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Concave and Convex Function . . . . . . . . . . . . . . . . . . 35
Limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
Exponential Functions . . . . . . . . . . . . . . . . . . . . . . . 38
Trigonometric Functions . . . . . . . . . . . . . . . . . . . . . . 40
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3 Calculus 43
3.1 Di¤erentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Di¤erentiation Rules . . . . . . . . . . . . . . . . . . . . . . . . 43
Optimization Concepts . . . . . . . . . . . . . . . . . . . . . . . 44
Taylor Series Expansion . . . . . . . . . . . . . . . . . . . . . . 47
3.2 Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
What is an Integral? . . . . . . . . . . . . . . . . . . . . . . . . 48
Laws of Integration for Inde…nite Integral . . . . . . . . . . . 49
Laws of Integration for De…nite Integral . . . . . . . . . . . . 49
3.3 Partial Di¤erentiation . . . . . . . . . . . . . . . . . . . . . . . . 52
3.4 Ordinary Di¤erential Equation . . . . . . . . . . . . . . . . . . . 53
What is a Di¤erential Equation? . . . . . . . . . . . . . . . . . 53
Second Order Di¤erential Equation . . . . . . . . . . . . . . . 55
3.5 Di¤erence Equation . . . . . . . . . . . . . . . . . . . . . . . . . . 55
First-Order Linear Di¤erence Equation . . . . . . . . . . . . . 56
Stability Condition . . . . . . . . . . . . . . . . . . . . . . . . . 57
Second-Order Linear Di¤erence Equation . . . . . . . . . . . 57
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4 Probability 61
4.1 Fundamentals of Probability . . . . . . . . . . . . . . . . . . . . 61
Probability Space . . . . . . . . . . . . . . . . . . . . . . . . . . 61
Conditional Probability . . . . . . . . . . . . . . . . . . . . . . . 61
Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.2 Random Variable . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
Distribution function . . . . . . . . . . . . . . . . . . . . . . . . 63
Random vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
Discrete Random Variable . . . . . . . . . . . . . . . . . . . . . 64
Continuous Random Variable . . . . . . . . . . . . . . . . . . . 64
4.3 Moments of a Sequence of Variables . . . . . . . . . . . . . . . 64
Moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
Moment Generating Function (mgf) . . . . . . . . . . . . . . . 66
4.4 Important Distributions . . . . . . . . . . . . . . . . . . . . . . . 67
Normal (Gaussian) Distribution . . . . . . . . . . . . . . . . . 67
Poisson Distribution . . . . . . . . . . . . . . . . . . . . . . . . . 70
Chi-Square 2 Distribution . . . . . . . . . . . . . . . . . . . . . 71
Student t-Distribution . . . . . . . . . . . . . . . . . . . . . . . 71
F-Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.5 Hypothesis Testing . . . . . . . . . . . . . . . . . . . . . . . . . . 71
Sampling Distribution and Standard Errors . . . . . . . . . 71
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
5 Random Process and Statistics 75
5.1 Stochastic Process . . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.2 Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
Almost Sure Convergence . . . . . . . . . . . . . . . . . . . . . 75
rth mean Convergence . . . . . . . . . . . . . . . . . . . . . . . . 75
Convergence in Probability . . . . . . . . . . . . . . . . . . . . 76
Convergence in Distribution . . . . . . . . . . . . . . . . . . . . 76
5.3 Law of Large Numbers . . . . . . . . . . . . . . . . . . . . . . . . 76
Law of Large Numbers . . . . . . . . . . . . . . . . . . . . . . . 76
Weak Law of Large Numbers . . . . . . . . . . . . . . . . . . . 76
Central Limit Theorem . . . . . . . . . . . . . . . . . . . . . . . 76
5.4 Conditional Probability and Expectation . . . . . . . . . . . . 77
Conditional Probability Rules to Compute E(XjF) . . . . . 77
5.5 Martingales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
Types of Martingales . . . . . . . . . . . . . . . . . . . . . . . . 78
Useful Facts on Martingale: . . . . . . . . . . . . . . . . . . . . 80
5.6 Brownian Motion (BM) . . . . . . . . . . . . . . . . . . . . . . . 80
Non-Di¤erentiability . . . . . . . . . . . . . . . . . . . . . . . . 80
Markov Property . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
Gaussian Density . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
5.7 Poisson Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
Counting Process . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
Poisson Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
5.8 Markov Chain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
What is a Markov Chain? . . . . . . . . . . . . . . . . . . . . . 82
Transistion probabilities . . . . . . . . . . . . . . . . . . . . . . 82
From One State to Another... . . . . . . . . . . . . . . . . . . . 83
6 Partial Di¤erential Equation 85
6.1 What is a Partial Di¤erential Equation? . . . . . . . . . . . . . 85
Solution Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . 85
Linear PDE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
Well known PDE . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
Boundary Value Problems (BVP) . . . . . . . . . . . . . . . . 86
6.2 Laplace Transform . . . . . . . . . . . . . . . . . . . . . . . . . . 86
Laplace Transform of Elementary Functions . . . . . . . . . . 86
Inverse Laplace Transform . . . . . . . . . . . . . . . . . . . . . 87
6.3 Fourier series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
Dirichlet Conditions . . . . . . . . . . . . . . . . . . . . . . . . . 89
Parseval Identity . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
7 Numerical Methods 91
7.1 Root Finding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Bisection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Newton Raphson . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
8 Integral and Measure 95
8.1 Integral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
Stieltjes Integral . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
Lebesgue Integral . . . . . . . . . . . . . . . . . . . . . . . . . . 95
Properties of Lebesgue Integral . . . . . . . . . . . . . . . . . . 96
Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
8.2 What is a Measure? . . . . . . . . . . . . . . . . . . . . . . . . . 97
Properties of a Measure . . . . . . . . . . . . . . . . . . . . . . 97
8.3 Lebesgue Measure . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
Measurable Lebesgue Functions . . . . . . . . . . . . . . . . . 98
A Useful Functions in Excel 99
Matrix Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
Data Functions: Summary Statistics . . . . . . . . . . . . . . . . . 99
Linear System Functions . . . . . . . . . . . . . . . . . . . . . . . . . 99
Financial and Statistical Functions . . . . . . . . . . . . . . . . . . 99


回复免费下载