關於“光嶽樓”還有一個傳說相傳：明朝洪武七年，駐守東昌府的官員陳鏞，要利用築城剩餘木料，在城中心，修建一座雄偉壯觀的樓閣，用以了敵遣兵和設鼓報時，這一建議，受到全城百姓的讚賞！
陳鏞對樓閣建築的要求是：基座要有十字拱門通道，上部爲四層全木結構，外加圍廊，不準用一寸鐵釘，並限期一年完工，承辦人按要求建起了青磚底座，可全木型的樓體，卻總也拿不出一張可心的圖樣，所以工程遲遲不能進行！
正在大家焦愁之際，一日，在木場的廢料堆旁邊坐下了一位象似尋找活計的木工老頭，他一邊聽着大家的議論，一邊用手扒拉着廢料堆兒，在低頭暗暗發笑！
木工頭兒見他把粗細不等的木條撿了一堆，不帶好氣地說道：
“哎哎，要找營生去鄉下轉轉吧，這裏你搭不上手兒，別在此扒拉廢料湊熱鬧了”！
老頭笑了笑說：
“匠心有成人自請，廢材巧用大器成，老弟，您就別爲俺操心了”！
人們聽了老頭這一番話，認爲他有些憨傻，都對他不再留意了，第二天一早，當一名工匠出來晨解時，發現在老頭停坐處，卻放着一個用雜木條搭扣的精巧樓閣模型！
他急忙回報了工頭，工頭來此一看，不禁驚呆了！原來這模型，正是想建的樓閣的雛形，他讓人四處尋找老頭，可老頭早已無影無蹤了！
工匠們聽說一夜間有了模型，都爭先恐後地圍上來觀看，只見這小小樓閣，全用粗細方圓不等的木工廢料，縱橫交錯地搭扣着，五向樓角帶廊，四面拱排檐，歇山十字脊，堅固異常，人們不僅驚歎這技藝的高超，而且高興地說道：“有這座模型作樣，就不愁如期交工了”！
於是大家各自作了分工，備料的備料，成型的成型，便七手八腳地干將起來，第一層最要緊的工料是四十根一摟多粗、三丈多高的立柱！
由於它是全樓的基礎，因此不僅要選料精良，而且根根要尺寸準確。三十九根已經備好，誰知在截鋸第四十根時，卻發現中心存有嚴重糠洞，不能使用。這麼大的木料沒有餘數，這可咋辦？
去外地採購，不說一時難以找到合適的料源，光是遠程運輸，也是個大難題兒，一時間，大家又長吁短嘆，不知如何是好了！
就在這時，那位失蹤的木工老頭，又出現在了木料場上，工頭見他如見了救星，忙迎上施禮道：
“老師傅，您可來了，快給俺想想辦法吧”！
木工老頭笑着道：
“您這次工程我怕搭不上手兒吧”！
工頭有施禮道：
“老師傅，上次怨我有眼不識泰山，對您多有得罪。如沒有您賜贈的模型，俺如今也開不了工。今日又遇到缺一立柱的難題，還請您老在給想想辦法吧”！
木工老頭笑道：
工頭聽了哪敢怠慢，忙吩咐衆人準備，要的料一一備齊，老頭卻在一邊閉眼養神，睡着了，工頭不敢驚動於他，只好讓人備下酒飯，置於老人身邊！
第二天一早，只見在工料場的空地上，出現了一條又粗又長用蘆蓆緊緊卷着的圓型物體，工頭讓人打開蘆蓆一看，正是需要的立柱！
用尺子一量，粗細長短恰好，無需一鋸一斧；其質雖全系鋸末合成，卻堅實如木，工頭心裏又感激又敬佩，要人去尋找老人時，和上次一樣，又不見影兒！
四十根基柱很快豎了起來，可是當往上按扣斗拱時，卻不是這斗大了，就是那拱的彎度不夠，總也不合適兒，畫線工說鋸工走了墨線，鋸工卻埋怨線工沒有劃準尺寸，工頭也一時急得束手無策！
有人見工頭難得光轉圈兒，說道：
“吵也沒用，急也沒法，還是去請那位造立柱的老師傅來幫忙吧”！
工頭雖然點頭稱是，可嘴上說：
“這老人來無蹤去無影，可到哪裏去找呢”？
有個歲數大的工匠說:
“那老師傅本事這麼高強，我看他不是神仙，也是魯班祖師，咱燒個香，祈禱祈禱，興許能讓他老人家顯顯靈”！
工頭一聽在理，於是買來了信香，在木工場點燃，就祈禱起來，整整盼了一天，卻連影兒也沒盼來，可是在第二天一早，在備作斗拱的木料上，卻出現了縱橫交錯有曲有直的墨線，按狀鋸木加工成形，相互搭扣，結果個個嚴實合縫，不大不小！
大家這才知道，這全是那位神祕的木工老人所爲，只好拜地相謝了！
工程終於如期完工了，**宏偉的樓閣，被陳鏞驗收認可後，大家歡天喜地地拆除了腳手架，由陳鏞命名的“餘木樓”，明日就要舉行落成典禮了！
可就在這時，卻突然有人發現在樓的最高層的西北角正檐下，露着半拃長的一根椽頭，上去鋸吧，又得重搭腳手架，十分費工，不鋸吧，又十分礙眼！
這可怎麼辦？正當大家爲難之時，不料那神祕的木工老頭，又出現在大家面前。他沒等大家求助，只見他慢騰騰地從腰後抽出一把利斧，往那椽子頭上一扔，只聽“嚓”的一聲響，便把那長出的椽子頭砍齊了！
在衆人一片歡呼聲中，共頭去尋找老頭時，老人卻不見了，人們紛紛議論說，這一定是魯班祖師所爲，大家爲了紀念魯班在建樓中的功績，特在一樓北牆，修了一個小型的魯班祠，裏面畫上了魯班像，以示紀念，現在魯班的畫像雖然沒有了，但那個小祠堂尚在，大家都知道，那就是供奉魯班的地方！
此後人們都會在魯班生忌到光嶽樓來拜祭，一時間香火鼎盛，但是**時期，光嶽樓也毫不例外的遭到了破壞，經過了那場浩劫之後，魯班祖師畫像已經不在，只剩下了空空的祠堂！