適逢亂世，自是英雄有用武之時，於是他到處祕密招兵買馬，囤積糧草，廣攬英雄。因此在他的家鄉搞得轟轟烈烈，可是有一樣，在鄉下儘管他們家是當官的，可是都是一些小官，根本不服衆望，沒有多少號召力。因此他們迫切要求有個能服衆的大人物來領導，在這個時候，胡大就把自己懷裏的聖旨拿出來，給衆人觀看。謝安一看如獲至寶，有他極力推薦讓胡大這個晉王擔當首領，胡大說什麼也不幹，看看實在擰不過他說：“要不這樣，我是老了，又沒有什麼文化，還不如讓我兒子幹，讓他來當這個首領，同時我把晉王這個爵位傳給我的兒子，你們看如何”
聽到這大家這才明白，原來是胡大有心培養自己的兒子。這樣正好，這個司馬瑞天生聰明，文濤武略樣樣精通，而且心地善良，要是將來能夠匡扶朝廷，仍不失爲一代名相，於是大家極力推崇司馬瑞，可是他卻堅決不授，謝安說：“作爲一名晉王，就應該有擔當的義務，現在司馬家族已經沒落，只有你們父子還可擔當此重任，如果你們退縮，難道說讓別的奸雄擾亂超綱，百姓民不聊生。”謝安的一席話，讓胡大斧子啞口無言。後來架不住衆人苦苦相勸，司馬睿這才暫時受禮這個首領之職。
他來的正是時候，大林率人平了白雲觀，紀靈被打死，紀雲身受重傷逃走，然後放火燒了白雲觀大部分建築，看到白雲觀的慘樣，胡大不禁唏噓不已。可是他卻無意發現受重傷紀雲，那天紀雲由於傷勢發作疼痛難忍，不巧被幾個魔教人發現，他們四五個圍攻紀雲，由於有傷在身，再加上連續幾天不得喫睡