向智柱这一生都与数字“5”有着特殊的缘分。1934年，向智柱出生于云阳县水磨乡（今宝坪镇）一户农民家庭。1937年至1945年正值抗日战争时期，童年时期的向智柱饱受战乱和生活之苦，当过放牛娃，打过杂工。入伍后，部队里的老领导跟他讲起红军长征的故事，让他坚定了加入共产党的信念。1956年7月1日，他如愿以偿成为一名正式党员。入党后，他努力学习，积极工作，获得四川省和原万县专卖局表彰；他还是政治学习中的“五好学员”。