“1979年回去之后，我的心很不舒服。那时候当地的朋友请我吃饭，还分三级制，这个你没听过吧？港澳同胞坐楼下那层，台胞坐二楼，欧美侨胞坐三楼VIP。当我坐在那里吃饭的时候，真是一点也没有夸张，茶楼上有二十几张桌子，每张桌子旁边都站着一帮乞丐，那些全部都不是本地人，很困苦，衣衫褴褛，拖儿带女。服务员又不赶他们走，然后乞丐们就说，‘你别动，这个鱼头是我的’，‘你别动，这个鸡头是我的。’他们围着你，你吃都吃得不安乐。当时我在广州就是这样，在北京也是这样。”
这些亲身见闻，并没有影响他回内地。1981年，他就受邀回内地取景，其后拍了电影《木棉袈裟》。在那个时期，香港影人极少北上拍戏。一位香港资深电视人告诉记者，《木棉袈裟》的男女主角都是内地人，这对于当时的香港人来说是很新颖的。
对于当年的率先北上拍戏，徐小明说，“这就是我所说的，不要对国家那么多埋怨，你应该对自己流着的中国人的血液负责。那时候他们要我回去拍戏，我二话不说就回。当时大部分行家都不回去。我在香港不能说要风得风、要雨得雨，但都算薄有其名，我拍戏要的东西，那些老板不会说不给。如果回内地的话，我要重新耕田。大家都说我傻，说小明你为什么回去，大陆是‘三无’：无人才、无器材，无钱财。从北京回去后，我一直有一个想法，假如国家需要，我一定回去。如果你不回来，他也不回来，那怎么发展？只要国家肯开发，进步，我相信要追不是很难的。那时候我说的话，到今天真的一一实现，而且比我所说的时间更快。”
开明，这是徐小明常用来形容当时内地领导的词。“那时候我也很感谢刘炽局长。那时候还没有广电局，他的局长身份也是负责广东的广播方面，当年也是广东电视台的老台长。他来香港看到《大侠霍元甲》，马上就和我们聊：小明，这部戏行喔！可以去内地播。我说行吗？我不敢奢望。因为那时候内地的制度还不可以给外剧进来。他说这部戏绝对是可以的。”
信心还来自高层对他的态度，“那时候包括习仲勋，请我去中南海吃饭，鼓励我们这些年轻人去拍一些我们现在说的正能量的电影。那些照片我还留下，但我不拿出来晒。当时的文化部副部长丁峤，也是非常开明的领导，他说：小明是年轻导演，不用给你任何枷锁，你不用怕，你想拍什么，只要不违反我们几个原则，我们尽量给你拍。结果才会有《木棉袈裟》出来。你可以感觉到他对一个年轻人的鼓励和栽培。从商业的角度来讲，就是双赢。他为国家做出业绩，我徐小明想拍的东西，国家支持我。我不去作奸犯科，共同的目标达到了，那为什么不做？”
顿挫
回内地拍戏，让徐小明付出了代价。1980年代，香港影视的主要市场在台湾。其时台湾当局要求香港的影视工作者不得进入内地拍戏，否则禁入台湾市场。作为回内地的香港前锋影人，这个禁令徐小明是首当其冲，但他没有理会。
“他们先是威逼，在报纸上说我是‘附匪影人’，让我的片子进不了台湾。看到我的《木棉袈裟》成绩很好后，他们就改为利诱，跟我说：内地你也回去了，片子也拍了，现在开始，你不要再回内地了，我把台湾市场开放给你。以前是‘诛九族’的嘛，跟我合作过的人都去不了台湾，所以当时没有人有胆子跟我回内地的，即使是支持我的人，是连名字都不敢署的。但我进入台湾的事情并不顺利，他们要我写悔过书，让我骂内地，说如何辛苦、艰难。当时我就不写！”
按照徐小明的说法，当时不写“悔过书”的香港影人，只有两个，另一个是导演李翰祥。这一禁，从1983持续到1989年，这6年成了他生命历程中的惨淡时期。“当时我们是自己真金白银投钱去内地拍戏的，内地是不会给钱我们的。拍完之后，由于内地市场还没有起来，卖不了多少钱，东南亚的收益是‘湿湿碎’，又被禁止进入台湾，所以只能指望香港市场。当时真的很难熬。”
如今在他看来，这是生命中一件自豪的事。1989年，台湾新闻局开禁，请他赴台，当时台湾官方对他的介绍，还是“附匪影人”。徐小明说，“我很开心的是，台湾当局还是认可了我，我当时就做了一个桥梁，将我所认识的班底介绍给了台湾。”
在影视上，徐小明自认没有失意过，影视之外，他则遭遇过重大挫折。“我17岁出道，靠勤奋博得他人欣赏，我又没有黄赌之类的不良嗜好，所以经济上一直都很稳定。我太太为我打理家庭方面，钱我完全不用发愁的。家里所有的东西，包括业务上的行政管理，她都能帮我的忙。1994至1998年之间，我投资房地产，那段时间我是一败涂地，可以用‘倾家荡产’这4个字来形容。”