他出生于江西一个比较贫困的农民家庭，从小务农做应工，这也为他后来的农民生涯埋下了种子。 他是22岁加入的共产党，在1930年时他任湘赣军区兵工厂的副科长，管理着上百人的伙食。1934年湘赣红军突围出来西征，甘祖昌则跟随红军部队进行了艰苦的长征。当抗日战争打响时也随着部队奔赴前线，担任供给部副部长一职。 1949年建国前夕，甘祖昌调任为后勤部部长，向新疆进军，在新疆时他不仅解决了十万指战员的粮食问题，还密切了人民军队与新疆人民的关系，可谓是封疆大吏。在1955年新中国成立后同志们一致肯定了他的军阶
