因爲當時那個時候，滿族尚未被完全漢化，對於改嫁之事也是極爲寬容的，因此在圖海傳出被順治罷官之後，圖海妻子的孃家人就找來了，想要讓自家姑奶奶和圖海和離。
伊爾根覺羅氏的孃家算是比較疼女兒的，擔心自家女兒和圖海蹉跎一生沒個着落，人到中年還要受窮困之苦，因此想要她再嫁找一個殷實的家庭，要知道圖海被罷官之後，連自家的宅子都被順治給抄了，不得不說順治真是愛之慾其生，恨之慾其死的典型，就連他兒子康熙除了對幾個大敵外，都不會抄家這麼狠。
當然那時候伊爾根覺羅氏是不願拋下丈夫和兒子回家改嫁的，因此也拒絕了孃家的好意，然後又就查出了身孕，當她剛被查出身孕之後，圖海欣喜若狂，之前因爲罷官而頹喪的心情又重新奮起。
只是好景不長，馬佳宗族裏來人說是要把圖海住的這一棟宅子給收到走，天知道這一座宅子是當初圖海阿瑪尚在時留給圖海的，就連朝廷抄家都沒有要把這個宅子抄走，因爲他法理上算是族裏的財產，因此宗族裏的人瞅準這個機會，對這棟宅子起了貪婪之心，因此就藉機趕人。
天可憐見，圖海剛剛纔起了奮進之心，誰知道這時候族裏就來落井下石，圖海的心氣兒一下子就被打擊了，而圖海的妻子也是在族人的推搡之下，懷的孩子也流掉了，那孩子都能看出來是一個女孩兒了。
還是多虧吳祿的阿瑪額亦騰接到消息趕來，才就下了伊爾根覺羅氏的一條性命。大夫都說若是再晚來一時半刻的，圖海妻子的這條命也保不住了。
也是因此伊爾根覺羅氏對於鈕祜祿家甚是親近，直到圖海因爲見妻子自流產後悶悶不樂就和妹妹商量把雲瑤抱來養育幾天，不過圖海妻子看到雲瑤反而沒有之前對她的喜愛了，圖海以爲妻子是觸景傷情，因此反而不敢再讓妻子親近雲瑤。
不過都說生病的人最容易鑽牛角尖，圖海的妻子在病中終於被這件事壓倒了，差點都要一命嗚呼了不過她在病中發現自己的孩子若是沒了她，到時候再被圖海新娶一個額娘，到時候孩子不一定受到什麼樣的嗟磨呢因此她就撐了過來，不過自此之後圖海的妻子對着雲瑤不冷不熱的，還約束着自己的孩子，只是不准他們親近雲瑤。
不過對於鈕祜祿家，伊爾根覺羅氏還是恩怨分明的，畢竟若非是額亦騰趕來，她的命也不會保得住。
但是這麼多年過去了，伊爾根覺羅氏看到圖海爲雲瑤的進宮之路盡心盡力，心裏的怨恨再也壓不住了，就在這日圖海和妻子談起即將進宮的雲瑤的時候，圖海妻子真正的爆發了
“圖海，你把你的私生女捧這麼高，你也不怕她能不能受得住”
伊爾根覺羅氏這話一出來就讓圖海懵了，圖海可沒想到自己還有一個私生女，不知道妻子說的是誰而且他們之前討論的明明是自己的外甥女，怎麼又和什麼私生女摻上邊兒了
伊爾根覺羅氏見圖海還在裝傻，就氣急道：“若想人不知，除非己莫爲。”
圖海見妻子似乎是和他打啞謎似的，有些無語道：“夫人，你說的這從何而來啊”
圖海是真的疑惑妻子到底是何意，可是在伊爾根覺羅氏看來就是圖海在再三狡辯，她的臉色一下子變得極爲蒼