刘秀才听了这些话，并没有感到害怕，只是偶尔在院中读书时远远看见那宅子大门，就感觉有些压抑。有一天晚上，刘秀才正准备睡觉，突然有个人前来拜访他，这个人自称东林翁，说是他的邻居。刘秀才不认识他，只好礼节性的与他寒暄，问他前来是为了什么事情。东林翁笑道，我常自你的窗台下路过，听见你诵读圣人文章，非常喜欢，想来你这样的人都是品德高尚的，一直想与你结识，却没有一个好的理由，明日就到了我的寿辰，所以才冒昧前来拜访，可以接受我的邀请吗？
刘秀才听他说得如此真诚，一时不好拒绝，东林翁又道，我那里菜品都比较丰富，就是没有酒，就请你为我送上两坛寿酒，明晚宴席齐备后我将亲自前来迎接你，可以吗？刘秀才闻言勉强答应了下来，东林翁才很满意地离开了。第二天，刘秀才就在城中买了两坛酒，做成一挑，待薄暮至，才见东林翁前来，只见他接过扁担，挑着两坛酒，高高兴兴在前边为刘秀才引路。刘秀才跟在他身后，见走的路越来越不对劲，到最后走到了罪官遗留下来的那个破败宅子面前。
这时只见东林翁在门口唤道，小杜，半坡道人和鲁公到了吗？门里有个女人的声音回答说，刚到不久。东林翁又道，快开门，贵客到了。刘秀才见了有点害怕，东林翁就对他说，我们都是清修之人，平时知道的人并不多，君子是有品学道德的人，不应该害怕才是。门开后，一个十八九岁的女子走出来迎接他们，刘秀才勉强硬着头皮走了进去。院子里很荒芜，怎么看也不像是人在里面居住的样子，女子在前面指引刘秀才和东林翁走进了正堂，里面有两个人，看样子已经来了有些时候。
东林翁指着个道士模样打扮的人对刘秀才说，这个是半坡道人，最喜欢喝酒。然后又指着另外一个白衣人道，这个是鲁公，和你一样是个读书人。刘秀才一一见礼，但内心恐惧，有几分猜测这些都不是人。这时候只听半坡道人笑道，最近皇城巡官昼夜出动，如何能入城中沽来美酒，倘若不是东林兄大寿，几时我等才能醉上一回。东林翁闻言道，道长言重了，我那得入城，巡城官焉能放我入内，此酒乃秀才赠我的寿酒。刘秀才听他们说的话古古怪怪，更加不敢搭话。
刘秀才闻言道，请我来，是可以解决这个问题吗？东林翁笑道，是这样，鲁公愿用五百年的修为为你祛除浊气，作为交换，应该抽取你一根智虫。刘秀才问他，智虫该作何解？回答说，智慧之虫在人的脑中，很细，普通的人有三条，读书人四条，读书且又聪慧者有五条，可以用它作为交换吗？刘秀才骇然道，脑中之物如何交换？东林翁指着半坡道人笑道，他最擅长的就是这样的事情。刘秀才见自己已经无法逃脱，就对其言道，可以，请先为我祛除浊气再说。
这时鲁公抬头看向东林翁及半坡道人，两人均对他点头默许，只见其端着酒杯，做吞吐之状，如此十几次后，就从口中吐出一颗发着光的珠子在酒杯中。东林翁此时对刘秀才道，现在就可以喝下它。刘秀才端过酒杯，略微思考后一饮而尽。那珠子一开始在刘秀才腹中发出非常亮的光，后来慢慢开始暗淡，待他吐出来后，已经很黑没有光泽了。鲁公将黑珠子又吞回了腹中。这时候半坡道人拿出一根银针，从刘秀才耳背后慢慢插入脑中，过程竟然一点也不感觉到痛苦，待抽出银针后，尤还看见一条肉线在银针尖端蠕动，半坡道将那银针又缓慢插入鲁公耳朵背后。
而后，两人都没有感到什么不适，宴席结束后，东林翁对刘秀才道，这种事情不合天意，应少道于外人，此事过后，我们当尽了缘分，以后不应再相见了。刘秀才自此后为人似乎更加愚钝，少了些许聪慧，犹如个书呆子一般，但后来却连过乡试会试，有了进士之身。