宋明帝坐稳江山后，怕“鬼部队”之事外泄，有损帝王尊严，又设计将“鬼部队”全体官兵全部淹死。除掉“鬼部队”后，宋明帝不但未能高枕无忧，反而多了个心病，他夜夜都梦见有无数冤魂向他索命，原本健康的身体很快就百病缠身。
行将就木的宋明帝怕自己死后，执掌大权的刘休仁和王或篡夺继位皇帝的江山，故在赐死刘休仁后，又下旨赐死王或。
一天晚上，王或正在灯下与刎颈之交覃文远下棋，病入膏肓的宋明帝派人携带诏书和毒酒到王府，赐王或“升天”。诏书上写着：“朕不谓卿有罪，然朕不能独死，请予先之。”诏书里还威胁王或说：“与卿周旋，欲全卿门户，故有此处分。”王或看罢，将诏书放在棋盒上，继续下棋。棋罢，他将诏书递给覃文远看。覃文远看后，激怒异常，他用唇语对王或说：“君无情，臣也不必有义，大丈夫岂能引颈受死！府中现有兵丁百余入，可以一拼，在下愿为马前卒！”当着催命御史的面，王或也用唇语对覃文远说：“文远兄，我很感激你愿与我共生死，但事情不能这么干，我要保住全家百余口人的性命啊！”说完，王或提笔给宋明帝写《谢诏书》，然后捧起毒酒，一饮而尽，结束了自己的一生，时年六十岁。
在御史向宋明帝复命时，覃文远含泪离开王或府第，从此隐名埋姓，不知所终。因王或在临终前用唇语将“鬼部队”之事告知覃文远，所以宋明帝借“鬼”打天下的故事也就在民间悄悄流传开来。
宋明帝借“鬼”打天下