纪晓岚17岁那年，准备参加童子试，他却娶了当地大家族的千金，十八岁的马月芳，结果纪晓岚二十岁才应童子试成为秀才。这位小姐的祖上是“元曲四大家”之一的马致远。马月芳出身书香门第，才貌双全，是纪晓岚的贤内助。在纪晓岚七十二岁那年，积劳成疾而死。
纪晓岚的初恋是他的四婶李氏的侍女，叫文鸾，与纪晓岚青梅竹马。纪晓岚与马月芳结婚后，去北京居住，准备将文鸾也带去。但四婶怕影响纪晓岚的学业，就没有让文鸾同去。纪晓岚二十三岁时，在顺天府乡试中了解元，这才想起来要接文鸾，可是，文鸾已与三年前去世。
纪晓岚的小妾有很多，其中有一个叫郭彩符的，十三岁就成了纪晓岚的侍妾，比他小十一岁。给他生了几个儿子，都夭折了，只有一个女儿纪韵华，嫁给了两淮盐运使卢见增的孙子。乾隆三十三年，两淮盐引案爆发，郭彩符求纪晓岚帮助卢见增，结果不但没帮上忙，还把自己搭了进去，纪晓岚被充军发配到新疆。纪晓岚召回京后，郭彩符一病不起，于三十七岁时去世。
郭彩符死后，纪晓岚的三婶和四婶在河间买了一个沈姓人家十三岁的女儿，长得很像文鸾，送到京城给他作妾。纪晓岚非常喜欢，取名叫明玕。纪晓岚六十八岁时，明玕大病，可偏巧纪晓岚在圆明园当值，不能回家。明玕死时，年仅三十岁。
纪晓岚死后，墓中有七个小妾陪葬。据说纪晓岚成婚后，用他自己的话说：“不善鳏睡，否则双目红肿”。
他的一生共有四子三女七个孩子。