1 Installation 1
1.1 UNIX : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1
1.1.1 Download : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1
1.1.2 Floppy : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1
1.1.3 Solaris 2.x Volume Management : : : : : : : : : : : : : : : : : : : 2
1.2 Windows/NT/2000 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 3
1.2.1 Download : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 3
1.2.2 Floppy : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 3
1.3 Di erences Between the UNIX and Windows/NT/2000 Versions : : : : : 3
2 Constrained Maximum Likelihood Estimation 5
2.1 Getting Started : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 5
2.1.1 README Files : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 5
2.1.2 Setup : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 5
2.1.3 Converting MAXLIK Command Files : : : : : : : : : : : : : : : : 6
2.2 New in CML : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 7
2.2.1 Fast Procedures : : : : : : : : : : : : : : : : : : : : : : : : : : : : 7
2.2.2 New Random Numbers : : : : : : : : : : : : : : : : : : : : : : : : 7
2.2.3 Trust Region Method : : : : : : : : : : : : : : : : : : : : : : : : : 8
2.2.4 Switching Algorithms : : : : : : : : : : : : : : : : : : : : : : : : : 8
2.2.5 Grid Search : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 8
2.2.6 Multiple Point Numerical Gradients : : : : : : : : : : : : : : : : : 9
2.2.7 Calling CML without a Dataset : : : : : : : : : : : : : : : : : : : : 9
2.3 The Log-likelihood Function : : : : : : : : : : : : : : : : : : : : : : : : : : 10
2.4 Algorithm : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 11
2.4.1 Derivatives : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 12
2.4.2 The Secant Algorithms : : : : : : : : : : : : : : : : : : : : : : : : 12
2.4.3 Line Search Methods : : : : : : : : : : : : : : : : : : : : : : : : : : 13
2.4.4 Weighted Maximum Likelihood : : : : : : : : : : : : : : : : : : : : 14
2.4.5 Active and Inactive Parameters : : : : : : : : : : : : : : : : : : : : 15
2.5 Managing Optimization : : : : : : : : : : : : : : : : : : : : : : : : : : : : 15
2.5.1 Scaling : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 15
2.5.2 Condition : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 15
2.5.3 Starting Point : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 16
2.5.4 Diagnosis : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 16
2.6 Constraints : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 17
2.6.1 Linear Equality Constraints : : : : : : : : : : : : : : : : : : : : : : 17
2.6.2 Linear Inequality Constraints : : : : : : : : : : : : : : : : : : : : : 17
2.6.3 Nonlinear Equality : : : : : : : : : : : : : : : : : : : : : : : : : : : 18
2.6.4 Nonlinear Inequality : : : : : : : : : : : : : : : : : : : : : : : : : : 18
2.6.5 Bounds : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 19
ii
2.6.6 Example : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 19
2.7 Gradients : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 21
2.7.1 Analytical Gradient : : : : : : : : : : : : : : : : : : : : : : : : : : 21
2.7.2 User-Supplied Numerical Gradient : : : : : : : : : : : : : : : : : : 22
2.7.3 Analytical Hessian : : : : : : : : : : : : : : : : : : : : : : : : : : : 22
2.7.4 User-Supplied Numerical Hessian : : : : : : : : : : : : : : : : : : : 24
2.7.5 Analytical Nonlinear Constraint Jacobians : : : : : : : : : : : : : : 25
2.8 Inference : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 26
2.8.1 Covariance Matrix of the Parameters : : : : : : : : : : : : : : : : : 27
2.8.2 Testing Constraints : : : : : : : : : : : : : : : : : : : : : : : : : : 29
2.8.3 Heteroskedastic-consistent Covariance Matrix : : : : : : : : : : : : 30
2.8.4 Con dence Limits by Inversion : : : : : : : : : : : : : : : : : : : : 30
2.8.5 Bootstrap : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 31
2.8.6 Pro ling : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 33
2.9 Run-Time Switches : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 34
2.10 Error Handling : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 35
2.10.1 Return Codes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 35
2.10.2 Error Trapping : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 36
2.11 References : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 36
3 Constrained Maximum Likelihood Reference 39
CML : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 40
CMLBlimits : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 57
CMLClimits : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 58
CMLP
Climits : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 59
iii
CMLTlimits : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 61
CMLBayes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 62
CMLBoot : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 65
CMLDensity : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 68
CMLHist : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 70
CMLPro le : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 72
CMLSet : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 75
CMLPrt : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 76
CMLCLPrt : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 77
fastCML : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 79
fastCMLBayes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 94
fastCMLBoot : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 97
fastCMLP
Climts : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 100
fastCMLPro le : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 102
4 Constrained Event Count and Duration Regression 105
4.1 Getting Started : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 106
4.1.1 README Files : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 106
4.1.2 Setup : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 106
4.2 About the CONSTRAINED COUNT Procedures : : : : : : : : : : : : : : 107
4.2.1 Inputs : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 108
4.2.2 Outputs : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 109
4.2.3 Global Control Variables : : : : : : : : : : : : : : : : : : : : : : : : 109
4.2.4 Adding Constraints : : : : : : : : : : : : : : : : : : : : : : : : : : 112
4.2.5 Statistical Inference : : : : : : : : : : : : : : : : : : : : : : : : : : 112
4.2.6 Problems with Convergence : : : : : : : : : : : : : : : : : : : : : : 114
4.3 Annotated Bibliography : : : : : : : : : : : : : : : : : : : : : : : : : : : : 116
iv
5 CMLCount Reference 119
CMLCountPrt : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 120
CMLCountPrt : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 121
CMLCountSet : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 122
CMLExpgam : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 123
CMLExpon : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 128
CMLHurdlep : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 132
CMLNegbin : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 136
CMLPareto : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 142
CMLPoisson : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 147
CMLSupreme : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 152
CMLSupreme2 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 156