1956年，由市文化局出面借调，李世杰到陕西戏曲研究院代课，教授学生唱碗碗腔和乐器弹奏。院长有意把他留下，德庆社社长谢德龙一下急了，多番找到文化局的人，把李世杰要了回去。
德庆社的演出与革新，并没有持续几年。1964年，由于奉命下乡宣传毛泽东思想，德庆社改名“农村宣传队”，后来又加入易俗社等秦腔剧团的人和一批刚毕业的学生，易名“西安市文艺工作队”，简称“文工队”。1966年8月，“文革”开始，文工队一下子乱了，没法再演戏了，90%的皮影也被毁坏殆尽。
1970年，西安市砍掉评剧、粤剧、先锋文工团、文工队四个剧团，几百人被下放到饭馆、糖果厂、门市部等单位。李世杰被下放到糖果厂，从搬运工到食堂管理员，一直干到仓库总管，最多的时候手下管着7个仓库管理员和30名搬运工。
在糖果厂待了十几年，李世杰又回到陕西戏曲研究院，一直干到退休。然而，陕西的皮影剧团再也没有恢复起来。在上世纪90年代，有人曾找到李世杰，希望他出来演皮影，可后来他发现对方和自己的想法截然相反，李世杰想“把摊子撑起，给后人留点东西，带两班娃”，对方却只想利用他一味赚钱。
双方很快不欢而散，年岁日大的李世杰从此很少公开演出，除了教孙女弹弹月琴，只在高兴的时候才偶尔吼上几嗓子。
“唉，走咧——”
许多人对陕西皮影的最初印象，往往来自张艺谋的两部电影——《秋菊打官司》和《活着》，而它们都与李世杰有关。
“唉，走咧——”《秋菊打官司》里那段抑扬悠长的片头，正是李世杰录制的。一天，陕西戏曲研究院副院长赵季平找到李世杰，让他到办公室唱几段戏，说明天要录音。不明所以的李世杰接连唱了几段，赵季平似乎不大满意，问他还能唱啥，李世杰只好说：“没啥唱了，我给咱耍个怪，唱个丑角戏。”赵季平听后，一拍桌子：“我要的就是这个味。”于是就有了后来的片头。电影出来后，有人拉着李世杰去看，看到篇末最后打出的字幕，他才知道是自己唱的片头。
1993年，张艺谋在拍摄《活着》，曾打算叫李世杰给葛优指导演唱技巧。当时李世杰忙着给学生上课，剧组于是让另一位碗碗腔著名艺人潘京乐去教。在江国庆眼里，陕西皮影不过“一李一潘”。所不同者，李世杰是演戏世家，科班出身，潘京乐则是民间“土八路”，吐词虽然不清，但表情入味。虽然没去教戏，李世杰却写了张条子，给剧组推荐了一个皮影箱子。
在李世杰家中的墙上，贴着一张《碗碗腔之王》的纪录片海报，海报上面，李世杰手握月琴纵情弹唱，背后是滚滚黄河和数量众多的伴唱演员。这部拍摄于十几年前的纪录片，只拍了一半，由于遭人嫉妒，最终在不断上告中被压了下来。
“当时在黄河边拍了两次，我脚下就是哗哗的水流，害怕我晕倒，导演让人找根绳子，在我腰上拴着，绳子头缠在一块石头后面，由两个人拉着。”在绳子的保护下，年近七十的李世杰唱了起来：“行一步我来到黄河东岸，又只见狂风起波浪连天。”
肚子里的戏太多，李世杰往往能即景演唱，丝丝入扣。直到现在，他仍能记住150本皮影戏的台词。让他痛苦的是，现在唱皮影的人越来越少，而且渐渐没人会唱。“他们发声位置不对。铜器（锣鼓）是戏的骨头，音乐是戏里的肉，演员才是调味。谁唱戏有味没味，就看后面那一点声，能不能钻到弦里头。”
在传统手艺如烛闪烁的地平线上，从设计、雕刻到演唱，江国庆、汪天稳和李世杰成为最后的关中皮影“三剑客”。