The Fourier Transform and its Applications
. . . . . . . . 4
1.4 It All Adds Up . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.5 Lost at c . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.6 Period, Frequencies, and Spectrum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.7 Two Examples and a Warning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.8 The Math, the Majesty, the End . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.9 Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.10 Appendix: The Cauchy-Schwarz Inequality and its Consequences . . . . . . . . . . . . . . . 33
1.11 Appendix: More on the Complex Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.12 Appendix: Best L2 Approximation by Finite Fourier Series . . . . . . . . . . . . . . . . . . 38
1.13 Fourier Series in Action . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
1.14 Notes on Convergence of Fourier Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
1.15 Appendix: Pointwise Convergence vs. Uniform Convergence . . . . . . . . . . . . . . . . . . 58
1.16 Appendix: Studying Partial Sums via the Dirichlet Kernel: The Buzz Is Back . . . . . . . . 59
1.17 Appendix: The Complex Exponentials Are a Basis for L2([0, 1]) . . . . . . . . . . . . . . . . 61
1.18 Appendix: More on the Gibbs Phenomenon . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
2 Fourier Transform 65
2.1 A First Look at the Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
2.2 Appendix: Chase the Constant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
2.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
2.4 How Does the Graph of f(ax) Compare with the Graph of f(x)? . . . . . . . . . . . . . . 78
2.5 Getting to Know Your Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3 Convolution 91
ii CONTENTS
3.1 A  is Born . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
3.2 What is Convolution, Really? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
3.3 Properties of Convolution: It’s a Lot like Multiplication . . . . . . . . . . . . . . . . . . . . 97
3.4 For Whom the Bell Curve Tolls . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
3.5 Appendix: Evaluation of the Gaussian Integral . . . . . . . . . . . . . . . . . . . . . . . . . 101
3.6 Convolution in Action I: A Little Bit on Filtering . . . . . . . . . . . . . . . . . . . . . . . . 102
3.7 Convolution in Action II: Differential Equations . . . . . . . . . . . . . . . . . . . . . . . . . 106
3.8 Appendix: Didn’t We Already Solve the Heat Equation? . . . . . . . . . . . . . . . . . . . . 113
3.9 Convolution in Action III: The Central Limit Theorem . . . . . . . . . . . . . . . . . . . . . 116
3.10 The Central Limit Theorem: The Bell Curve Tolls for Thee . . . . . . . . . . . . . . . . . . 128
3.11 Appendix: The Mean and Standard Deviation for the Sum of Random Variables . . . . . . 130
3.12 More Details on the Central Limit Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
3.13 Appendix: Heisenberg’s Inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
4 Distributions and Their Fourier Transforms 135
4.1 The Day of Reckoning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
4.2 The Right Functions for Fourier Transforms: Rapidly Decreasing Functions . . . . . . . . . 140
4.3 Appendix: A Very Little on Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
4.4 Appendix: The Riemann-Lebesgue lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
4.5 Appendix: Smooth Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
4.6 Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
4.7 Appendix: A Physical Analogy for Distributions . . . . . . . . . . . . . . . . . . . . . . . . 165
4.8 Appendix: Limits of Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
4.9 Appendix: Other Approximating Sequences for  . . . . . . . . . . . . . . . . . . . . . . . . 166
4.10 The Fourier Transform of a Tempered Distribution . . . . . . . . . . . . . . . . . . . . . . . 169
4.11 Fluxions Finis: The End of Differential Calculus . . . . . . . . . . . . . . . . . . . . . . . . 175
4.12 Approximations of Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
4.13 Appendix: The Generalized Fourier Transform Includes the Classical Fourier Transform . . 179
4.14 Appendix: 1/x as a Principal Value Distribution . . . . . . . . . . . . . . . . . . . . . . . . 180
4.15 Operations on Distributions and Fourier Transforms . . . . . . . . . . . . . . . . . . . . . . 181
4.16 Duality, Changing Signs, Evenness and Oddness . . . . . . . . . . . . . . . . . . . . . . . . 182
4.17 A Function Times a Distribution Makes Sense . . . . . . . . . . . . . . . . . . . . . . . . . . 185
4.18 The Derivative Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
4.19 Shifts and the Shift Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
4.20 Scaling and the Stretch Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
CONTENTS iii
4.21 Convolutions and the Convolution Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
4.22  Hard at Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
5 Sampling 209
5.1 X-Ray Diffraction: Through a Glass Darkly1 . . . . . . . . . . . . . . . . . . . . . . . . . . 209
5.2 The III Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
5.3 The Fourier Transform of III . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
5.4 Appendix: Periodic Distributions and Fourier series . . . . . . . . . . . . . . . . . . . . . . 217
5.5 Appendix: How Special is III? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
5.6 Sampling Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
5.7 Sampling and Interpolation for Bandlimited Signals . . . . . . . . . . . . . . . . . . . . . . 225
5.8 Interpolation a Little More Generally . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
5.9 Finite Sampling for a Bandlimited Periodic Signal . . . . . . . . . . . . . . . . . . . . . . . 230
5.10 Appendix: Timelimited vs. Bandlimited Signals . . . . . . . . . . . . . . . . . . . . . . . . . 233
5.11 Appendix: Periodizing sinc Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
5.12 Troubles with Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
6 Discrete Fourier Transform 249
6.1 From Continuous to Discrete . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
6.2 The Discrete Fourier Transform (DFT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
6.3 Two Grids, Reciprocally Related . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
6.4 Appendix: Gauss’s Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
6.5 Getting to Know Your Discrete Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . 259
6.6 Periodicity, Indexing, and Reindexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
6.7 Inverting the DFT and Many Other Things Along the Way . . . . . . . . . . . . . . . . . . 262
6.8 Properties of the DFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
6.9 Appendix: Different Definitions for the DFT . . . . . . . . . . . . . . . . . . . . . . . . . . 275
6.10 The FFT Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
6.11 Zero Padding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290