徐惠滋的军事生涯分为两个时期，解放战争之前是国民党士兵，解放战争时期被俘后，成为加入解放军队伍，军事能力卓越的徐惠滋，建国后晋升军长，成为部队中的传奇人物。
辽沈战役是解放战争时期的三大战役之一，在突破沈阳时连长黄大宣俘虏了国军两个中将，但晚年时他却说到，最大的成就是俘虏了徐惠滋。当时徐惠滋接受了解放军部队的思想教育，随后问他选择回家还是留在部队，徐惠滋本来打算回家，但是黄大宣却觉得这个心态很好小伙子是个当兵的料，于是挽留他，徐惠滋听到"全国解放"四个字时，觉得连长说的有道理，于是加入了东北联军。
解放战争后期，徐惠滋的作战实力日益显露，广西战场上的骁勇善战也让部队首长对其多了几分赞许，建国后给予了徐惠滋连副导员的职位，在1950年爆发的抗美援朝战役中，徐惠滋加入了志愿军的行列，根据战功将其转正。
在建国后的晋升名单中，徐惠滋算是最为频繁的一个，几乎每年都会得到晋升，达到师长级别时，徐惠滋已经52岁了，也到了该退休的年龄，但是却在55岁之前提升为军长，可见徐惠滋在军事领域的贡献。邓小平视察部队时，看到人高马大的徐惠滋，还与其交谈过几句，中气十足的回答，让人一点都看不出来，徐惠滋此时已经五十多岁将近退休的年纪。
徐惠滋晋升军长后，前往北京参加工作，当时俘虏自己的连长黄大宣也在北京，再次见面的二人觉得十分亲切，此时的黄大宣军级还在徐惠滋之下，位列副军长。