回归分为解释型回归和预测型回归。如果你是做预测，那么你直接用逐步回归法就行，这样显著的变量就保留了，不显著就被剔除了；如果你是做解释型回归，那么你的自变量选取就是有依据的，要么是根据文献/理论/客观常识，并在构建模型前做了研究假设。这种条件下即使变量不显著那可能也要保留，从专业上去解释不显著的原因。
    所以具体到你这个问题，你自变量中含有类别变量，在构建模型时将其处理为哑变量纳入模型即可。然后参照我上面提的解释型回归和预测型回归，看是哪种类型的回归。祝好运。