1949年的台湾已经与大陆断绝了交通往来的可能。本来他父亲以为自己做一阵还会回大陆，可是却没有这个可能性了，直接影响到家庭的未来。最受影响的，侯孝贤的电影观众都以为是他的祖母。在他的电影《童年往事》里，他的祖母特别心疼他，总觉得他以后会有出息，在家里等待吃饭的时候，总是出门找他，他那时候总是躲在城隍庙附近的巷子里和人赌博，从不管祖母的叫声。那时候祖母已经有点糊涂，经常忘记回家的路，结果往往要三轮车送回来，祖母总是叫他“阿哈咕”，有时候糊涂严重了，就收拾包裹，让他陪她一起回大陆。祖母觉得，从镇上祠堂的小路一直走，走到尽头就可以过河进入大陆的梅江县城，路两边都是油菜花，特别美丽，而菜田的尽头，就是他们老家的村子。
他和祖母这么走过，当然是一条没有方向的道路，每次都是他带祖母回家。这大概就是侯孝贤电影中最典型的乡愁观念。但是，还有更多的乡愁没有被他拍进电影里，比如他母亲的故事，他母亲在梅县是教小学的，在当时已经是比较高的教育程度了，她不能回到老家，也就意味着她的亲戚朋友关系都没有了，在台湾的时候，她很郁闷。父母亲两人的状态都不好。父亲是有报国理想的，在汕头办过报纸，后来得了肺病，只能在家庭和疗养院两边待，母亲独自带一堆小孩。
他母亲的颈部有道疤痕，是很长的一条，因为那时候缝合手术也不好，所以很明显。但是他后来才明白，应该是母亲自杀过的痕迹，母亲也往海里跳过。小时的他不会主动问，也没有人解释给他听，但是心里是有感受的，他那时候就不由自主地一天到晚往外面跑。后来有人和他说到星座，说是因为他是白羊座，所以天生爱跑，他也承认——不在家待是他幼年的基调，他的电影里也充满了这种基调。
跑到外面干什么？人称廖桑的廖庆松，从年轻时就担任侯孝贤的剪辑师，他大笑着说，侯孝贤打架和赌博的本事就是那时候练成的，这对于他日后拍电影很有用处。“因为打惯了架，也赌惯了博，慢慢就学会了观察人，特别能算计，也特别好勇斗狠，这都是经验啊，知道谁最厉害，也知道谁是可以当对手来赌博的。”廖桑一直觉得侯孝贤会望气，平时选演员，一看一个准，都是从幼年的社会经验来的，“这是学校里学不到的”。
当时在城隍庙有几个小帮派，也不算黑社会，就是小群体，侯孝贤和他的朋友们组成了一个打架帮派，先是内部打，打完和外部打，打到各个村落里。这种经验一般人很难想象，我在采访他的时候，就看到他瘦小、温和，几乎如同敦厚长者，完全想不到他早年还有这么一出。
只有当和他告别，看他独自在宾馆走廊里走动的背影，才猛然觉得他早年的生动。他戴棒球帽，猿背，走起路来悄然无声，如果说和同龄人比试，一定是能打的那个。
他说自己那时候上初中，一伙人和南门的人在黑漆漆的公园决斗。大家都拿着在铁具工厂里自己加工的短刀，要么对砍，要么用砖头去砸对方，非常刺激。到高中的时候，已经把陆军俱乐部都给砸了，注定是上不了大学的，只有到了当兵的那刻，才把这种生活猛然割断了。不过别人对他的眼光已经不一样了，觉得他能打，是做大事的人，朋友挨了打，都会找他去帮忙。
这段生活，在拍摄《风柜来的人》和《童年往事》的时候都用到了。拍《风柜》正好看了沈从文的文章，尤其是《从文自传》，里面的观点，尤其是描写自己家乡，那种悲伤却很平淡，是阳光下的感觉，没有波动，有种平静的俯视感，所以他拍那部电影的时候一直和摄影师说，退后，再退后一些。退后之后的景观很特别，把整个海岛的天地之间的感觉都拍出来，一群人的群架从镜头里打到镜头外，又打回来，应该就是童年的记忆。
《童年往事》里面，一群少年唱着成熟男人的歌曲，看到庙门口摆摊的布贩没有经过他们的同意就摆设开来，于是去砸摊，把布撩在小贩的头上，还堵在巷口打；追逐漂亮的姑娘，每天骑车跟着姑娘走，还把自己的情书折叠成十字，往姑娘的院落里扔，正好打到姑娘的母亲的头上。这些都是童年的真实事件的记录。后来成为他长期合作者，也是劝他读《从文自传》的朱天文说，侯是她遇见的最直觉的作者，拍《风柜》的时候，他根本不知道写实主义电影是什么，也不知道“作者论”，场面调度也不会，可是他就是拍出来和戈达尔类似的彻底用写实文体拍摄写实内容的电影。“说来也奇怪，不通时一窍不通，可是通了就什么都懂了，像飞一样，忽然就进入电影高地，可以和任何一位大师对话，在电影院看帕索里尼的一部《马太福音》，完全不知道作者是谁，他看着看着就坐直了，说，这个导演厉害，也不知道导演是谁。”