1 Fourier Series 1
1.1 Introduction and Choices to Make . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Periodic Phenomena . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Periodicity: Definitions, Examples, and Things to Come . . . . . . . . . . . . . . . . . . . . 4
1.4 It All Adds Up . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.5 Lost at c . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.6 Period, Frequencies, and Spectrum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.7 Two Examples and a Warning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.8 The Math, the Majesty, the End . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.9 Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.10 Appendix: The Cauchy-Schwarz Inequality and its Consequences . . . . . . . . . . . . . . . 33
1.11 Appendix: More on the Complex Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.12 Appendix: Best L2 Approximation by Finite Fourier Series . . . . . . . . . . . . . . . . . . 38
1.13 Fourier Series in Action . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
1.14 Notes on Convergence of Fourier Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
1.15 Appendix: Pointwise Convergence vs. Uniform Convergence . . . . . . . . . . . . . . . . . . 58
1.16 Appendix: Studying Partial Sums via the Dirichlet Kernel: The Buzz Is Back . . . . . . . . 59
1.17 Appendix: The Complex Exponentials Are a Basis for L2([0, 1]) . . . . . . . . . . . . . . . . 61
1.18 Appendix: More on the Gibbs Phenomenon . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

2 Fourier Transform 65
2.1 A First Look at the Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
2.2 Getting to Know Your Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

3 Convolution 95
3.1 A ∗ is Born . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
3.2 What is Convolution, Really? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
3.3 Properties of Convolution: It’s a Lot like Multiplication . . . . . . . . . . . . . . . . . . . . 101
3.4 Convolution in Action I: A Little Bit on Filtering . . . . . . . . . . . . . . . . . . . . . . . . 102
3.5 Convolution in Action II: Differential Equations . . . . . . . . . . . . . . . . . . . . . . . . . 106
3.6 Convolution in Action III: The Central Limit Theorem . . . . . . . . . . . . . . . . . . . . . 116
3.7 The Central Limit Theorem: The Bell Curve Tolls for Thee . . . . . . . . . . . . . . . . . . 128
3.8 Fourier transform formulas under different normalizations . . . . . . . . . . . . . . . . . . . 130
3.9 Appendix: The Mean and Standard Deviation for the Sum of Random Variables . . . . . . 131
3.10 More Details on the Central Limit Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
3.11 Appendix: Heisenberg’s Inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

4 Distributions and Their Fourier Transforms 137
4.1 The Day of Reckoning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
4.2 The Right Functions for Fourier Transforms: Rapidly Decreasing Functions . . . . . . . . . 142
4.3 A Very Little on Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
4.4 Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
4.5 A Physical Analogy for Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
4.6 Limits of Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
4.7 The Fourier Transform of a Tempered Distribution . . . . . . . . . . . . . . . . . . . . . . . 168
4.8 Fluxions Finis: The End of Differential Calculus . . . . . . . . . . . . . . . . . . . . . . . . 174
4.9 Approximations of Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
4.10 The Generalized Fourier Transform Includes the Classical Fourier Transform . . . . . . . . 178
4.11 Operations on Distributions and Fourier Transforms . . . . . . . . . . . . . . . . . . . . . . 179
4.12 Duality, Changing Signs, Evenness and Oddness . . . . . . . . . . . . . . . . . . . . . . . . 179
4.13 A Function Times a Distribution Makes Sense . . . . . . . . . . . . . . . . . . . . . . . . . . 182
4.14 The Derivative Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
4.15 Shifts and the Shift Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
4.16 Scaling and the Stretch Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
4.17 Convolutions and the Convolution Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
4.18 δ Hard at Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
4.19 Appendix: The Riemann-Lebesgue lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
4.20 Appendix: Smooth Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
4.21 Appendix: 1/x as a Principal Value Distribution . . . . . . . . . . . . . . . . . . . . . . . . 209

5 III, Sampling, and Interpolation 211
5.1 X-Ray Diffraction: Through a Glass Darkly1 . . . . . . . . . . . . . . . . . . . . . . . . . . 211
5.2 The III Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
5.3 The Fourier Transform of III . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
5.4 Periodic Distributions and Fourier series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
5.5 Sampling Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
5.6 Sampling and Interpolation for Bandlimited Signals . . . . . . . . . . . . . . . . . . . . . . 225
5.7 Interpolation a Little More Generally . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
5.8 Finite Sampling for a Bandlimited Periodic Signal . . . . . . . . . . . . . . . . . . . . . . . 231
5.9 Troubles with Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
5.10 Appendix: How Special is III? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
5.11 Appendix: Timelimited vs. Bandlimited Signals . . . . . . . . . . . . . . . . . . . . . . . . . 248

6 Discrete Fourier Transform 251
6.1 From Continuous to Discrete . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
6.2 The Discrete Fourier Transform (DFT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
6.3 Two Grids, Reciprocally Related . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
6.4 Appendix: Gauss’s Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
6.5 Getting to Know Your Discrete Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . 261
6.6 Periodicity, Indexing, and Reindexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
6.7 Inverting the DFT and Many Other Things Along the Way . . . . . . . . . . . . . . . . . . 264
6.8 Properties of the DFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
6.9 Different Definitions for the DFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
6.10 The FFT Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
6.11 Zero Padding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292

7 Linear Time-Invariant Systems 295
7.1 Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
7.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
7.3 Cascading Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
7.4 The Impulse Response . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
7.5 Linear Time-Invariant (LTI) Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
7.6 Appendix: The Linear Millennium . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
7.7 Appendix: Translating in Time and Plugging into L . . . . . . . . . . . . . . . . . . . . . . 308
7.8 The Fourier Transform and LTI Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
7.9 Matched Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
7.10 Causality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
7.11 The Hilbert Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
7.12 Appendix: The Hilbert Transform of sinc . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
7.13 Filters Finis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
7.14 Appendix: Geometric Series of the Vector Complex Exponentials . . . . . . . . . . . . . . . 330
7.15 Appendix: The Discrete Rect and its DFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332

8 n-dimensional Fourier Transform 335
8.1 Space, the Final Frontier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
8.2 Getting to Know Your Higher Dimensional Fourier Transform . . . . . . . . . . . . . . . . . 347
8.3 Higher Dimensional Fourier Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
8.4 III, Lattices, Crystals, and Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
8.5 Crystals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
8.6 Bandlimited Functions on R2 and Sampling on a Lattice . . . . . . . . . . . . . . . . . . . . 383
8.7 Naked to the Bone . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386
8.8 The Radon Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
8.9 Getting to Know Your Radon Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
8.10 Appendix: Clarity of Glass . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395
8.11 Medical Imaging: Inverting the Radon Transform . . . . . . . . . . . . . . . . . . . . . . . . 396

A Mathematical Background 403