第二天一大早他就又進宮前去求見武則天，畢竟在他看來即使武則天不捨得處罰自己的女兒太平公主，至少也會爲了保全自己的面子而降罪於崔子陵，可沒想到還沒見到武則天就又被上官婉兒給攔了下來。
上官婉兒對他說道：“國公爺，陛下今早吩咐了，今天要在宮中接見番邦使節，不接見任何人，你還是先回去，改天再來吧！”
薛懷義聽了這話簡直肺都要氣炸了，這分明就是不想見自己找的藉口。心道：“當初是誰口口聲聲說離不開我，要讓我服侍她一輩子？今天竟然有了新人忘舊人，連我被打了都對我不管不問！都說一日夫妻百日恩，可怎麼也沒想到她現在居然開始翻臉不認人了！”
薛懷義心中越想越生氣、越覺得自己委屈，來到了自己奉命修建的天堂明堂，讓隨從給自己買來了酒菜，獨自一個人在天堂裏面喝起了悶酒。
到了傍晚時分，他已經把自己喝的是酩酊大醉，開始說起了胡話。
他嚷嚷道：“什麼他媽的女皇陛下、公主殿下，在老子面前全他媽就是個女人。拽什麼拽，還不是一樣被老子壓在身下！”
“狗屁天堂、狗屁明堂，老子生氣了全他媽一把火給他點着燒了！”說着說着居然真的拿出了火鐮，點燃了天堂裏用以包裹某些木質結構的綢緞。由於明堂基本採用的都是木質結構，再加上當晚風勢很大，很快天堂的火就着了起來！
最後火勢漫延又燒到了明堂，就這樣耗時數年、花費數以百萬計的明堂、天堂在薛懷義這一把大火中付之一炬！
武則天傳旨命京兆尹杜預徹查此事，京兆尹很快就查出薛懷義於天堂明堂着火之前在天堂中飲酒，並且喝醉之後還曾口出狂言辱罵女皇陛下與公主，明堂天堂着火一事定然跟他有莫大的關係。
可杜預也知道薛懷義是女皇陛下的面首，乃女皇近侍，關係非同一般，自然不敢將此事公諸於衆，所以只能祕密的把這件事上奏給武則天，請她親自定奪。
武則天看了杜預的密奏，心中也明白了是薛懷義酒醉之後泄憤所爲。可這件事情若是泄露出去，不殺薛懷義根本不足以平民憤，而且也很難堵住悠悠衆口，更何況女皇的尊嚴何在？可若殺了薛懷義，也有些於心不忍，畢竟薛懷義也陪伴了自己好幾年，而且在自己登基這件事情上也爲自己出力不小，雖說不是夫妻，但幾乎與夫妻無異！所以武則天一直隱忍不發，暫且將這件事情給壓了下來！
太平公主也是於第二天早上才聽說了天堂明堂的大火，知道母親定然會因此事震怒。可沒想到這件事情幾天之後竟然悄無聲息的不了了之了，心中知道這裏面肯定大有文章。
太平公主傳召了京兆尹杜預過府，向他詢問對這件事情的調查結果。杜預剛開始支支吾吾的不肯說，後來在太平公主的逼問之下才吞吞吐吐的說出了實情。
當太平公主聽到薛懷義酒醉之後竟敢辱罵自己時勃然大怒。心道：“你薛懷義不過就是個街頭賣假藥的小混混，若沒有我你哪來今天的榮華富貴？沒想到你非但不知感恩，竟然還敢在背後辱罵於我。僅憑你辱罵當今聖上與公主就是死罪一條，何況你還將天堂明堂付之一炬。既然母親不願意來當這個惡人，那麼這個惡人只有我來當了！”