因为他们上代的关系，他的曾祖父的妻子孙氏是康熙皇帝的保姆，所以康熙皇帝封她为一品夫人，这就是曹雪芹的曾祖母。
曹雪芹的祖父曹寅是康熙皇帝的奶兄弟，从小一起长大的，很小的时候他就是康熙皇帝的近侍。
后来他做的职务虽然是江宁职造等职，但是实际上他担负的责任比谁都大，他还兼江南的情报局长一样，可以写秘奏直接报告康熙皇帝吏治乡情。
当时的官吏怎么样，我看上去某个人老是捞钱，某个人不错，老百姓哪个地方受灾害了，有什么怨恨，等等，他都直接写秘密奏章给康熙。
并且他还兼今天讲的“统战部长”这个职务，联络江南汉人里边有地位的知识分子，广交斯文朋友。
所以他们这一家上代跟京城里的关系是很密切的。
同时曹寅有两个女儿嫁给了亲王，其中一个叫纳鲁苏，所以他们在北京的亲戚、故交、旧时候有来往的人一定很多。
但曹頫既然犯了罪，作为一位罪犯到了北京，当然大人之间来往可能顾忌多一点，但是像四五岁的小孩子谁领着都可以走，到这个王府去到那个王府去，都可以走走。
所以曹雪芹到了北京以后他所走过的深院大宅是很多很多的。
所以有红学界的学者讲，说别看红楼梦里写的刘姥姥进大观园，进荣国府里面很惊奇的样子，看到自鸣钟是什么什么，这很可能就是曹雪芹的看到的。
但曹雪芹跟刘姥姥不一样，刘姥姥从来不知道这些，而他看到这些东西，看到人家深宅大院的时候，他的想法就会不一样。
比如他会想到我祖母讲过了，我们家里过去比你还阔呢，譬如说我祖父在做江宁织造的时候就亲自接驾四次，他的织造府作为行宫，这谁有这么阔，所以他那时候看到人家的豪富，他的心情是复杂的。
再说他交往的这些宗室子弟当中，家族在政治斗争中败落的很多，比如说敦诚、敦敏，他们的上代就是努尔哈赤的第十二子阿济格，很有名的亲王。
可惜后来也是在政治斗争里败落了，所以他的子孙说是宗室，其实就和普通老百姓一样。
曹雪芹到北京以后，听到以前是玉堂金马、后来是陋室蓬窗这种事情不知道有多少，而且曹雪芹这个人又会讲，如果平时不讲的话，喝了几杯后他一定讲，不但讲还得哭。
需要说明，这个不是我们凭空想像的，而是敦诚敦敏的诗里头多次提到“燕市哭歌悲与合，秦淮风月忆繁华”，“燕市”嘛就是北京，一面哭着一面唱歌，悲叹自己的身世的不幸，秦淮河的风月他还在回忆着。
然敦诚敦敏弄不清楚这是回忆还是他听来的梦游。
因此有人说是他听来的，他梦想自己本来家庭是怎么怎么好。
因为敦诚比曹雪芹小十岁，敦敏比曹雪芹小五岁，比曹雪芹年纪还轻呢，看到他喝酒的时候在讲这些、发这些牢骚的时候头头是道，讲得如身临其境，特别是讲曹寅那个最繁华时代。
所以敦诚敦敏的诗里面已经可以看出他们有一些误会，以为曹雪芹有过风月繁华的经历，现在在回忆，在梦想。
这句下敦诚有一个注解雪芹曾随先祖寅织造之任，所以有学者讲他的梦已经醒了。
不过也有人说这个显然是误解，因为你敦诚、敦敏说他活了四十岁，如果他要随着他祖父而且有记忆的话，那起码再多活二十年、三十年。
因为他祖父在他出生前12年就死掉了，而且12年前生的话也没有记忆，那还要大，所以实际上是赶不上了。
要赶得上的话曹雪芹要活到六七十岁了，这正如红楼梦里面王熙凤有一次谈到省亲的时候给人家讲，以前这个皇帝南巡，这个热闹，可惜我们迟生了十年，没有赶得上看那个热闹。
这才是真的，没有赶得上。
所以才说这些都说明曹雪芹的这个红楼梦里写的东西主要是他想像出来的，他在不断地把这些生活素材自己家里当然为主，还有他看到的现在的富家，还有他看到的没落的那些宗室子弟在思想上酝酿起来，要写一部书，一个风月繁华的大家庭，最后一败涂地，没落，这样一种构思，逐渐地形成。
当然了，需要说明的是，也正是因为曹雪芹穷困倒霉的命运才造就了红楼梦这部伟大的文学家，也就是曹雪芹不幸的遭遇造就了他这个的伟大文学。
乾嘉的时候有一个人，他的笔名或者外号叫二知道人，他说“蒲聊斋之孤愤”蒲聊斋就是蒲松龄“假鬼狐以发之”，借着鬼狐来发泄出来。
“施耐庵之孤愤，假盗贼以发之”，施耐庵借写梁山好汉来发泄他内心的激愤。
“曹雪芹之孤愤，假儿女以发之”，借儿女故事发泄出来，“同是一把辛酸泪”，心里都有不平，都有激愤，才写出这么一部小说，我觉得这个话也讲得很深刻。
曹雪芹最大的恨，最大的遗憾是什么呢，我觉得不仅仅是生活上面，过去能够吃大鱼大肉，红楼宴里面的那种菜，现在呢只能吃粗茶淡饭，不是这个，最重要的是他觉得他的环境、他的路给堵住了，就是他这一生能够发挥作用、做大事业的路给堵了。
比如小说开头写了一个“女娲补天”的补天石，列了三万六千零一块，大家都去补天了，这一块不用，“谁知此石自经锻炼以后”，就是补天石经过一番锻炼以后，灵性已通，“因见众石俱得补天，独自己无材，不堪入选，遂自怨自叹，日夜悲号惭愧”。
“补天”就是安邦治国，在古人看来这是男子汉的大事业，探春讲但凡我是一个男人，我早就做一番大事业去，安邦治国，做大事业，实际上就是做官了，为国家做些事情。
“入选”实际上就是参加科举考试，为朝廷选中，被它录用，这样你才能安邦治国。
在这一点上，了解他的脂砚斋曾经批道“无材补天，幻形入世”，这八个字就是作者一生的惭恨、惭愧、遗憾。
脂砚斋还有一条批我觉得特别有趣，他说“剩下这一块”，没有用了，“便生出这许多故事来”，就写出红楼梦故事来。