王允又令安抚长安之兵，中郎将徐荣乃幽州人，当即投靠，中郎将胡轸因为败于孙坚，不受重用，与董卓疏离，亦伏地投效，王允让他们一一交上投名状或质子。
董卓虽死，中郎将牛辅、董越、段煨等率兵还屯驻长安以东的安邑、陕县、华阴一线，以阻挡关东盟军西进长安，雍凉之兵，这些将领手中都还握有重兵。
段煨投效，而牛辅、董越因为是董卓亲属，见董卓、董旻、董璜全家皆死，不愿也不敢投效。
吕布建议将凉州军司马、军侯以上将官全部杀死，以并州或关东人代替，然后整顿兵马再向东进攻。
王允说：“此辈无罪，不可杀，有错的是校尉以上官员。”
吕布又建议以皇甫嵩为太尉，安抚凉州人，尤其是牛辅部，而后徐徐图之。李傕、郭汜皆牛辅部下，带兵数万攻击朱俊未回，这是董卓军精锐中的精锐。
王允认为安抚重用凉州人会让袁绍、袁术产生误会，遂不用吕布之计。为了不打击吕布积极性，封其属下李肃为中郎将，封张辽为北地太守。