霍小玉原来出身于贵族世家，父亲是唐玄宗时代的武将霍王爷，母亲郑净持原是霍王爷府中的一名歌舞姬。因容貌秀美，歌舞动人而被霍王爷收为妾。不料，在郑净持身怀六甲的时候，突如其来的“安史之乱”打破了郑净持安享霍王爷恩爱的美梦。霍王爷在御敌时战死疆场，顷刻之间，霍王府中家人作鸟兽散。郑净持带着尚在襁褓中的霍小玉流落民间，开始了普通平民的生活。
唐代宗大历元年，霍小玉已经十六岁了，禀承母亲的资质，长得容貌秀艳，明丽可人。加上母亲的悉心教诲，她不但能歌善舞，而且精通诗文。这时，母亲郑净持落难时从府中带出的首饰细软都变卖殆尽，为了维持母女俩的生计，霍小玉不得不承母亲的旧技，做歌舞伎待客。为了女儿的前途，郑氏对待客的尺度把持甚严，仅限于奉歌献舞，为客人助兴消愁，决不出卖身体。这样竭力保住女儿的贞洁，是为了有朝一日遇到有缘人，能名正言顺地为人妻，以获取终身的幸福。这样卖艺不卖身的艺伎，娼门中称为“青倌人”，必须意志坚强的人才能做到。霍小玉虽为“青倌人”，但因才貌俱佳，照样能吸引一大批清雅风流之客，成为颇有声誉的红歌伎。
这时，有个青年男子以诗才名满京城，他就是李益。此人是陇西人士，大历四年赴长安参加会试，中进士及第。他在家中排行第十，故人们又称他李十郎。中进士时，他年方二十，少年壮志，才华横溢。他所写的《征人歌》、《早行将》等诗篇，还被长安无数豪门贵族请画工绘在屏帏上，视为珍品。
李益生长在苍凉的陇西，那里曾是汉唐时的征战之地，幼年的李益就经常游览这些战争遗址，凭吊那些曾叱咤疆场的古代英雄，这些生活经历，激发了李益的诗情豪气，因此写下了大量的怀古诗篇。霍小玉读到这些诗，大为欣赏。而更令她怦然心动的还是李益的那首五言绝句《江南词》，只用了二十个字，却将闺中怨妇无可奈何的孤寂心情渲染得淋漓尽致：
嫁得瞿塘贾，朝朝误妾期；
早知潮有信，嫁给弄潮儿。
多情的女子总是盼望与心上人朝夕相守，真心相依。霍小玉阅历无数名门公子、风流雅士，却一直不肯轻易以情相许，就因为要寻觅一个像“弄潮儿”那样守信的情人。透过这首诗，好仿佛有了一个善解柔情的男子站在诗后，于是在内心深处，牢牢记住了作者李益这个名字。
后来，经过街坊邱十一娘的穿针引线，进士及第后等待季派官职的李益，来到崇德坊的霍小玉家。两人相见，都对对方十分钟情。于是落座客厅，煮酒欢谈，大有相见恨晚之感。两人才情相投，意趣相合，竟有说不完的话题。这时正值暮春时节，槛外花落遗芳，窗前鸟鸣道爽，气候乍暖还寒，令人心旷神怡。谈兴正浓，直至夜阑人静，两人仍未有告别之意。霍母郑氏在一旁看着这一对情意相投的年轻人，心中漾起喜意，心想：可怜的女儿，总算找到了一个可意的归宿。霍母殷情地点上两支红烛，重洗怀盘，再添酒菜，在烛光摇曳中，李益与霍小玉洒酒为媒，定下终身，并一同对天起誓：“永结同心，忠贞不二，海沽石烂，此情不移！”
从此，李益留住霍小玉家，双双对对，同吃同寝，同出同入，俨然是一对新婚伉俪。
时光荏苒，转眼夏去秋来，李益被朝廷授职郑县主薄，主薄是掌管全县的行政钱粮的官员，是仅次于县令的父母官。受印后，李益打算先回陇西故乡祭祖探亲，来年春天东行走马上任。在一切安排停当之后，再派人前来迎接霍小玉到郑县完婚。
李益获得官位，霍小玉半是欣喜，半是担忧，担心李郎此去，远走高飞，再也不会回到她的身边。见李益把今后的打算说得头头是道，霍小玉深想口说无凭，仍疑虑重重。李益索性取过笔墨把婚约写在一方素绫上：“明春三月，迎取佳人，郑县团聚，永不分离。”
霍小玉珍重地收藏起这一份素绫誓约，就像收藏起一份对前途的希望。在落叶透凉的秋夜里，霍家母女设宴为李益饯行，在酒意微醺中，霍小玉忽然郑重地对李益说道：“人事变幻，难以把持，虽有海誓山盟，永结同心，但等你官高位显时，难免不见异思迁，为妾只求你我十年之内倾心相爱，等你三十而立之年，任凭另攀高枝也不算晚，到时妾当剪发为尼，永绝红尘！”说完泪水无声地洒落衣襟。李益为之感伤不已，自然又把誓言重复了一遍。
谁知随后事态的发展，竟让霍小玉的担忧成了现实，李益申言再三的誓言，也被迎面的事实击得粉碎！
李益回乡后，功成名就，好生风光。喜不胜收的李家父母忙不迭地替他说下了一门婚事，女方是当地官宦世家卢家的千金。李益闻听此事，有些为难，硬着头皮向父母禀告了在长安与霍小玉的关系。李家父母听了大摇其头，反对说：“堂堂进士及第，朝廷命官，怎可以娶娼门女子为妻，真是岂有此理！”既然父母坚决反对，加之卢家姑娘秀美知书，一派大家闺秀风范，尤其卢家在朝中有一定的势力，对李益的仕途进展大有裨益。如此种种理由，使沉浸在喜悦之中的李益把长安的婚约抛到了脑后，顺理成章地与卢氏结为夫妻，双双前往郑县赴任，夫唱妇随，喜气洋洋，渐渐把多情的霍小玉淡忘了。