晓青到了十三、四岁，开始懂人事的时候，就露出了贪图女色的性情。起初钟家还不知晓，等到叶晓青要强收府里一个容貌俏丽的丫鬟做通房，偏那丫鬟已订了婆家，那婆家还是在城里做些小生意的，因着那丫鬟长得好，且在大户人家做丫鬟，懂规矩，娶了她还能跟叶家扯上点关系，遂跟这丫鬟订了亲。而她那位未婚夫婿也是个容貌清秀又品行极好的，有这样满意的婆家，出嫁便能做正头奶奶，那丫鬟又是个有志气的，哪里看得上通房的位置？死活不肯。叶晓青那个年纪最是叛逆的时候，你越不肯，他越喜欢，当即不知从哪里淘弄了些上不得台面的药，给那丫鬟下了，并且趁机把她给办了。丫鬟清醒来时，万念俱灰，悲愤之下直接就跳了井。
这件事，外头人不知道，但爱女如命的钟德平不可能不知道。自打给女儿订了这门亲事，他就花重金收买了叶府几个下人，一来能通些消息，二来以后钟灵玉嫁进了叶府后也能有个照应。知道叶晓青为了女色，竟然闹出人命来，他追悔莫及，十分后悔给女儿订了这样一门亲事。
但退亲对女子的名声十分不好；再者天下男子能像叶老爷那般只守着一个女人过日子的极为罕见，便是他自己都纳了两个妾。叶晓青是独子，妾氏总是少不了的。所以钟德平思来想去，不敢冒然退亲，只派人上门向叶老爷隐晦的点了点，让他在这方面管束一下叶晓青，不要再闹出类似的事情来；又郑重声明，叶晓青有通房丫鬟这没什么，但在钟灵玉生儿子前，不能让这些通房生出庶子来，除非钟灵玉成亲三年没有儿子。如果叶家做不到这一点，两家的亲事只能作废。
自家儿子做出这样的丑事来，还被亲家知道了，叶老爷无地自容。再加上他对钟德平极为敬重，且钟家提出的要求也不过份，他便答应了下来。
也因此，叶夫人敢拿这个借口来做退亲的砝码，是因为钟德平对此事甚是看重，他临终前不会不向钟灵玉提及此事。无论钟灵玉再怎么想，对父亲的遗愿总不能不听吧？