佛教中所说的管阴间的神，就是阎王，也叫阎罗、阎罗王、阎王爷。小鬼是阎王的差役。
传说佛主释伽牟尼曾是古印度释伽部落的王子，因厌倦宫廷奢侈糜烂的生活而出走，尝尽人间苦难后，终于大彻大悟而成佛。
释伽牟尼曾遇上一个管土地的人，释伽牟尼要经过那人所管辖的地方，而他硬是不让过去，并说连野兽也因惧怕他而不敢在他管辖的地界上栖息。释伽牟尼问这是为什么。那人说了一个字“凶”。后来释伽牟尼成佛后，封他去管阴间，称其为阎罗。
这日，佛祖托身游阴间，要见阎罗王，那些差役们，也就是人们所说的“小鬼儿”就是不让佛祖进去，佛祖心善也不动怒，还是耐心央求他们去禀告阎罗，而那些小鬼儿并不答话，只是异口同声地喊：“凶”、“凶”，佛祖这才知道小鬼儿们的心思是也要让他封王，于是愤怒而去，并将所有阳世上做过恶的人也打入阴间。
这句俗语本意是阎王容易见到，可是小鬼难对付。今天多用来比喻那些不好的工作人员，比某些领导干部还难办事。