Goals . . . . . .  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .  . .  . . . . 3

Approach to Model Building . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .  . . . .  . 3

Architectural Suggestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .  . 3

Practical Suggestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . 3

R Code Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . 4

Reading Data In . . . . . . . . . . . . . . . . . .  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

Binning Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .  . 4

Example of Binning or Coarse Classifying in R: . . . . . . . . . . . . . . . . . . . . . .  . . . . . . . . 4

Breaking Data into Training and Test Sample . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . 4

Traditional Credit Scoring . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . .  . . . . . . . . . . . . . 5

Traditional Credit Scoring Using Logistic Regression in R . . . . . .  . . . . . . . . . . . . . . . . . . 5

Calculating ROC Curve for model . . . . . . . . . . . . .  . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

Calculating KS Statistic . . . . . . . . . .  . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 5

Calculating top 3 variables affecting Credit Score Function in R . . . . . . . . . . . . . . . . . . . . . 6

Cutting Edge techniques Available in R . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . 7

Using Bayesian N Using Traditional recursive Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . 7

Comparing Complexity and out of Sample Error . . . . . . . . . .  . . . . . . . . . . . . . . . . . . 10

Compare ROC Performance of Trees . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . 10

Converting Trees to Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

Bayesian Networks in Credit Scoring . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 12

Using Traditional recursive Partitioning . . . . . . . . . . . . . . . . . .  . . . . . . . . . . . . . . . . . . . . . 14

Comparing Complexity and out of Sample Error . . . . . . . . . . . . . .  . . . . . . . . . . . . . . . . . . . . 16

Compare ROC Performance of Trees . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . 17

Converting Trees to Rules . . . . . . . . . . . . . . . . . . . . .  . . . . . . . . . . . . . . . . . . . . . . . . . 18

Conditional inference Trees . . . . . . . . . . . . . . . . . . . . . . . ..  . . . . . . . . . . . . . . 18

Using Random Forests . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . 20

Calculating Area under the Curve . . . . . . . . . . . . . . . . . .  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

Cross Validation . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

Cutting Edge techniques: Party Package(Unbiased Non parametric methods-Model

Based Trees) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

Appendix of Useful Functions . . . . . . . . . . . . . . . . . . .  . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34