童年时代的吴晗，对劳动人民有深厚的感情。
他六岁那年，有一天，家中来了一位父亲的世交之友。父母以家酿水酒和便饭待客。饮酒时，客人见吴晗在院子里玩泥巴沙土，便招他来身旁说：“听说你会作诗，现在作一首试试好吗？”吴晗从容答道：“你命题吧！”
客人想了想说：“就以你父请饮酒为题吧！”吴晗站在餐桌旁，个子还不如桌腿高，听到诗题，略加思考，脱口吟诵道：“桌中无菜市上有，饮酒何必杏花村。人人都说读书好，吾谓耕者比我高。”客人听罢，大为吃惊，连连称赞说：“小贤侄的诗才和见解均可称奇，了不起啊！”
吴晗对劳动人民的热爱，不仅流露于诗篇，而且见诸于行动。他交了许多穷朋友。最典型的一位是被称为杨家傻子的孤儿，与吴晗年龄相仿，有股傻气，衣衫褴褛，破不蔽体。吴晗很同情他，常常把米饭大碗大碗地倒给他。
还有一位双目失明、沿街卖唱的孤老头，住在邻村。吴晗很尊敬这位可怜的老人，三天两头去看望他。直到吴晗成为大名鼎鼎的历史学家后，仍没忘记这位老人。1946年，吴晗因故乡为母亲祝寿，还特地把这位老人请来，扶他上坐，奉为上宾。