他的父亲纪容舒曾在康熙年间当过姚安知府，着有《唐韵考》、《玉台新咏考异》、《杜律疏》等书，是当时名声甚响的文人。
纪晓岚从小在父亲的影响下，变得酷爱读书，加上他天生聪慧，小小年纪便能诗善对。
他家常有文人来做客。大人们吟诗作对，他就在一旁静听。每逢有人出题考他，他都能立即张口应对，很少被难住。日子久了，他的善对之名传得人人皆知，人们就给他冠以小神童的称号。
一天，父亲不在，他的一个朋友来访，纪晓岚捧上一杯香茶待客。
来客早就听说纪晓岚才智过人，有意试他一试，就应景出对：
客来茶当酒;
说完，他手捻胡须，对纪晓岚点头示意。
纪晓岚明白客人的考问之意，张口就对道：
宾至月为媒。
客人听后大感惊奇，称赞他说：“好个天下无双的小神童啊。”
不久，父亲回来了，老朋友见面两人都非常高兴，父亲吩咐下人在园中摆酒与客人夜饮。
酒席中，朋友说起方才对句的事，又对纪晓岚赞不绝口了，他说道：“今晚明月当空，恰恰是‘月作媒’呢。”说完，哈哈大笑。
第二天，朋友打算告辞离开，临行时他摸着纪晓岚的头说道：“小神童，我们再对一联怎样?”
纪晓岚笑笑地说：“请老前辈出句吧!”
朋友想了想，指着屏风上的《风吹梅花图》吟道：
屏上画梅，日日摇，风不动;
纪父在一旁暗想：这一联可不简单，小子你该怎么应对?
纪晓岚听后也犯了难，眨巴着眼睛思索了好一会儿。
巧的是，这时一个丫鬟脚穿绣花鞋从堂前走过，纪晓岚拍手笑道：
鞋头绣菊，朝朝晒，雾难开。
父亲心中暗暗称许，朋友更是喜不自胜，连称奇童。