他自己当导演后，《风柜来的人》一出来，坦白地说，当时的台湾评论界完全看不懂，观众也不懂，就觉得是一种成长的感觉，但是没有故事线。从那时候开始，他的电影票房就一路下坡，一直到《悲情城市》，但是那是例外，因为那个是话题之作，正赶上1987年台湾解除戒严，让他有机会拍摄敏感的题材。因为是这个话题而卖得疯狂，之后又是一路下坡路，没有人看，总有人问他：你拍艺术电影，不怕没有观众？其实在侯孝贤看来，是整个形式和观影的观众之间，存在越来越宽的距离。
“但是我慢慢做到彻底不管了。因为我觉悟了。”所谓觉悟，是明白自己走到哪条路上了，而且也知道这条路不能回头了。他开始拍自己的电影，不再应酬票房。
廖桑是年轻时候和侯孝贤的老相识。他们当时都在台湾的“中影”集团拍摄纪录片。“那时候就觉得这个人拍电影不八股。当时台湾电影都是三厅电影，就是客厅、餐厅和舞厅，可是他不一样，哪怕是他早期当副导演的时候，也有自己的东西了，而且是上来就有，不是后天的。他那些城市喜剧也很清新，不落俗套，里面还很关心社会问题，比如城乡差别。他像是泥土中长出来的导演，和新浪潮那批导演，杨德昌、万仁他们很不一样。”
等到有机会拍自己电影的时候，他就放开了。“我们是台湾最早用同步拍摄的导演，很少拍短镜头，长拍，努力争取同期录音，这样一来就比较真实。有时候分几台摄像机在那里拍，中间一点不打断，就像拍纪录片一样。拍几套回来扔给我，拍《小毕的故事》、拍《儿子的大玩偶》都是那样，让我去慢慢剪。那时候我总是把剪辑室地板打扫干净，因为还是胶片，害怕弄到地上弄脏了，他一来就说话，使劲说，我们俩从20岁说到50多岁，话才慢慢少下来，觉得什么都说过了。”
侯孝贤特别重视的是前期，他觉得剧本压力最大，想清楚就好了，他在写剧本的时候会设想出很多画面，找到朱天文、吴念真这些作家一起编剧，对他有特别大的好处，因为他自己是真实的自然主义，而作家们帮助他把这些真实画面约束到某个框架里。但是侯孝贤又不受这些框架的约束。“拍《悲情城市》的时候，本来有300多条，可是他就是不愿意拍，觉得繁琐，整个故事太清晰了，他不喜欢，他不要那种结构，一边拍一边抱怨，最后只拍了200条，缺好多没有拍完。怎么办？我没法剪辑，好多人都说看不懂。后来我一看，每段都很有意境，充满了唐诗的感觉，简直像杜甫的诗歌，那我也就照着七律的节奏去剪辑吧，用了很多倒装，把缺乏的地方都剪辑出来了，中国诗不是靠意境吗？他正好也把诗化的意境拍出来了。抽掉了那么多，可是看起来不觉得缺乏什么，后来我觉得他还是聪明，去掉的东西是对的。不啰唆。”
去参加威尼斯影展的时候，所有人都在预测这部电影要得奖。“侯导装酷，装出无所谓的样子，其实心里也很高兴，那天晚上开心地喝酒、跳舞一直到天亮。”那次回来后，侯孝贤觉得自己有资源了，做了很多庞大的电影计划，可是随着台湾电影业的崩盘，他的计划都没有实现。“好在他不着急。最缺钱的时候他会去拍广告，可是一旦电影有投资，找他做什么他都不做，哪怕随便拍个广告就有几百万收入，他也不接。他说自己要读书。比如我们都知道纪念小津100周年的时候找他去拍致敬片《咖啡时光》，其实纪念黑泽明的时候也找了他，对于一个亚洲导演，这可是特殊的光荣，毕竟两个伟大导演的致敬片都找到你，可是那时候他在筹备《刺客聂隐娘》，所以不去，每天在看《资治通鉴》。”他告诉廖桑，他不缺那个钱，拍电影缺钱的时候抵押房子，或者帮朋友忙抵押房子的事情他做过几次，但是这次拍《刺客聂隐娘》的钱已经找到了，他就安静编剧看书，光剧本就弄了好多年。
“他生活太简单，坐捷运也坐公交车，没有排场。基本上心灵单纯，结果聂隐娘吸引他的也是心灵单纯，那种孤寂的状态，一个杀手被描绘成这种形象，和他近年的心思也有关系。”
在廖桑看来，侯孝贤早就形成了自己的中国文学的抒情传统，包括受佛、道的影响，所以他的电影往往是与市面上流行的观念冲突的。“很多电影讲究情节、结构，他喜欢不规则，讨厌直接的线性叙事，直追19世纪的无情节影片，突出自己的个性、气氛和意念。像拍《海上花》的时候，本来有很多妓院的冲突故事、各种骗局，包括疯狂的厮打，李嘉欣演的黄翠凤心思颇多，有各种装疯卖傻欺骗男人的情节，可是拍好了后全部被侯导要求剪辑掉了，他喜欢平淡的故事里隐藏的人性。”