Linear regression should be fast enough. Here is a simple case with 1,000,000 obs one variable. It takes 0.34 cpu time on a window 7/I5 laptop.

244  data t1;
245     do i=1 to 1e6;
246        x=rannor(123);
247        Y=1+1*X+rannor(123);
248        OUTPUT;
249      END;
250  RUN;

NOTE: The data set WORK.T1 has 1000000 observations and 3 variables.
NOTE: DATA statement used (Total process time):
      real time           0.35 seconds
      cpu time            0.34 seconds


251
252  PROC REG DATA=T1;
253  MODEL Y=X;
254  RUN;

255  QUIT;

NOTE: PROCEDURE REG used (Total process time):
      real time           0.74 seconds
      cpu time            0.15 seconds

其实，这个时候一个关键问题是你的X'X是否是奇异的，以及大小

原来是程序写错了。。。                                                                                                

It is nothing to do with singularity.