步鑫生的符号意义，给当时处于探索中的改革者送上了“定心丸”。1984年，甚至被公认为“步鑫生年”。但真正的步鑫生仍然还是那个脾气直、性子急的倔犟汉，尽管能干，却也不太招人喜欢。
海盐衬衫总厂从1984年底开始上马西装项目，这也成为步鑫生从巅峰滑落的开端。当时西装市场被看好，全国很多企业都在生产西装。上级主管部门一再要求海盐衬衫总厂上一条西装生产线，步鑫生抹不开面子只能点头，但只要“6万套生产规模”。报告打上去，省二轻工业总公司负责人却说，步鑫生是全国典型，要做就做最大的。生产规模加码到年产30万套，3年后追加到80万套。
同意让西装项目上马，步鑫生也承认当时有点头脑发热。1986年，当6000平方米的西装大楼建成时，衬衫总厂多年积累的利润也全部填入这个“无底洞”。彼时国家出台了财政紧缩的宏观调控政策，钢材、水泥等价格一路看涨，建西装大楼每年的贷款利息就要40多万元。而国内的西装市场却在急剧萎缩。
这年8月底，省二轻工业总公司负责人来到海盐衬衫总厂，他认为“西装热”已过去，省内杭州、萧山两条西装生产线已下马，要求步鑫生也下。但步鑫生却不认可，他坚持熬上两年，待“西装热”再来时，便能抢先占领市场，否则前功尽弃，死路一条。性子火暴的他甚至急得和省公司领导顶起来，声称：“我只认理不认权，只要我当一天厂长，一天不下！”气得那位负责人两手发抖，晚饭都吃不下。以至于朋友们常常感慨：“老步是个好人，就是不懂政治啊。”
9月4日，步鑫生被送去浙江大学“深造”，由县二轻工业公司掌门人代理厂长。1987年3月，步鑫生又被要求回厂收拾烂摊子。此时，西装线厂房、设备已被卖掉，厂内部分技术人员被放走，企业债务累累。当年底，省调查组突然来厂里，说群众反映步鑫生受贿外商金戒指和电视机，并以锁住仓库内产品不准送海关为威胁，要步鑫生交代。步鑫生拍案而起：“我‘步鑫生’三个字，哪怕你用10根金条也收买不了。不按期交货外商要索赔，你能负这个责任吗？”
1988年1月，衬衫厂里的下水道开始堵得恶臭连天，红极一时的企业一片萧条。1月15日，步鑫生被宣布免去厂长职务，调县二轻工业公司工作。第二天清晨，当林坚强早早赶到海盐衬衫总厂时，只见步鑫生一个人坐在办公室里，接连不停地猛抽香烟。“他的脸上布满着无奈，交谈中不时露出委屈和怨气。”林坚强记得，末了，步鑫生愤愤地说：我不会认输，此处不留人，自有留人处。
20多天后，没有告别，步鑫生过完春节便悄悄地离开了家乡，不服输的他要去另闯江湖。他总是憋着一股劲，说：“好企业请我，我不去，亏损企业我才去，我要体现人生价值！”他在北京承包一家亏损服装厂创办了“金宝路”衬衣品牌，后又接手亏损状态中的辽宁盘锦服装厂推出“阿波罗”衬衣。1993年，他应邀到秦皇岛创办步鑫生制衣公司。1998年，他赴吉隆坡参加了亚太经合组织举行的工商界高峰论坛。
家乡，只能在半夜想得心痛。在外漂泊的十几年，步鑫生极少回海盐，清明时给母亲上坟也是静悄悄地来静悄悄地走。而身边的朋友也极少听他提起这十几年的酸甜苦辣，伤痛，需要时间慢慢抚平。2001年步鑫生因病中止创业生涯，定居上海修养。
恩怨师徒情
2000年9月30日上午，赵荣华正在北京参加全国劳模观光团，手机突然响起，一个生疏又透着熟悉的声音传来：“是荣华吗？”赵荣华不由一愣，脱口而出：“是先生？”“先生”，是海盐衬衫总厂的职工对厂长步鑫生的称谓。通话中，已定居上海的步鑫生说他正在海盐，想和赵荣华见上一面。关上手机后，赵荣华沉默良久。自从离厂后，自己和步鑫生再无任何联系，而当年那场轰动全国的“罢免”风波，也已经整整过去17年了。
1983年7月的一天，步鑫生突然召开厂工会委员会议，宣布改组厂工会，任命工会副主席赵荣华任主席，取消原工会主席冯织娟的职务。当时，冯织娟照顾生病的孩子没有参加会议，而赵荣华也正在海宁送货没有回厂，直到第二天才从同事口中得知。步鑫生几次催促赵荣华立刻上任，但考虑再三后，赵荣华却拒绝了。“按照《工会章程》，工会主席是由会员们选举后报县总工会批准的，这样做恐怕不合适。”