無回谷的歷史，最早可以追溯到聖皇時代後期，第一次九州大戰的時代。
那時候無名祖師神山講道，傳下五大弟子、三百門人，由此立下道門正統。道門正統從誕生之日起，就抱定了守護蒼生的信念，很快成爲了人間正道的表率，並且帶動了一直有些消極的佛門，雙方聯手，集結了衆多想要讓人間變得更好的正派修士們，和當時勢力龐大的邪派展開了一次大戰。
那一戰因爲魔門並未怎麼參與的緣故，邪派一敗塗地，從此就開始衰落了下去，而道魔之爭便由此成爲了此後數萬年歲月裏面，人間修士鬥爭的主流，直到今天。
無回谷大概就是在第一次九州大戰期間出現的，當時人間有很多以武入道的先天強者，但他們在那些煉罡凝元的煉氣士們面前沒有半點優勢，在轟轟烈烈的大戰之中，差不多淪爲了敢死隊一樣的角色。
這個時候，有不知名的高手悄悄出現，向先天武者們伸出了友誼之手，邀請他們前往名爲“無回谷”的地方避世潛修。
所謂無回谷，就是“有去無回”的意思。按照無回谷使者的說法，雖然任何一位先天武者都可以得到前往無回谷的邀請，但只有當他們突破到了“武聖”境界，纔可以重返人間。
武聖，是武者對於煉罡層次的稱呼。因爲武者並不需要經過見性通幽這一關，所以若是能夠突破相當於百鍊境界的“陸地神仙”就可以進入煉罡境界，成爲武聖。
這一度是隻存在於想象中的境界——事實上提出這個境界的人甚至不是武者，而是聖皇時代的一位詩人。
按照那位詩人的構思，武者的道路是從“先天宗師”到“陸地神仙”再到“武中聖者”然後還有“窮盡武道小“神而明之”。分別對應先天、百鍊、煉罡、凝元和還丹。而且那位詩人還認爲，既然煉氣士能夠丹成不朽白日飛昇，武者應該也可以破碎虛空前往更高層次的世界。
遺憾的是，在此後的無數歲月中，他提出的這些概念，始終只是個美好的幻想。
進入無回谷的那些先天宗師們，沒有一個能有所突破回到人間，只是藉助使者，時不時傳回來一些消息。
這種情況後來得到了扭轉，大概是在無回谷建立三千多年之後，出現了第一位從無回谷返回塵世的武者。他本是隱居的無名強者，自稱早已忘記姓名，因爲是無回谷歷史上第十三位突破到武聖境界的，所以自稱“十三”。
這位十三前輩被不知道多少流派視之爲開山祖師，號稱“拳聖”。而從他開始，便斷斷續續地有人從無回谷返回塵世，帶來了更高境界的武道知識，和經過仔細整理、完整的武道理念。
不過從那時一直到數百年前，無回谷出身的強者們最高也只到武聖爲止。所以雖然這地方十分蹊蹺，很吸引好奇的人，但卻也沒有太多強者對其報以過多的注意。
《大唐妖怪圖鑑》裏面，在“武者”這一條裏面就提到了無回谷，說它是一個避世隱居、與人無爭的地方，沒必要太過關注，也不應該去打擾那些武者們的清修。
當然，這段話下面很順理成章的有那位好事前輩的批註。那位祖師說：“我很好奇無回谷究竟是什麼樣子，就想方設法去了一趟，結果——也就這樣吧，沒什麼意思。真的，我認爲那地方不值得花時間精力去探究，反正又不讓看……”
第一層表明他去過無回谷，考慮到他連冥龍都敢轟，無疑是成就了還丹的人物，那大致上也就意味着，還丹祖師們是可以前往無回谷而且回來的。
第二層意思則是說無回谷裏面沒什麼有意思的東西，雖然其中存在着一個很大的祕密，但並不肯讓別人知道究竟，就連還丹祖師都沒辦法去偷看。
這段短短的記錄，差不多是所有關於無回谷的記載裏面最有價值的了。吳解當初看到這個的時候，也曾經對這傳說中的無回之谷非常好奇，但無回谷從不邀請煉氣士加入，而各派祖師們又約束門人不得去打擾……所以雖然好奇的人比比皆是，但真正能夠去打擾他們的人卻少得可憐。
吳解的弟子喬峯和秦靜都沒有收到無回谷的邀請，但明教護法杜雷思當年曾經得到邀請。
那是他纔剛剛突破先天境界不久的事情，當時他跟一個人品不佳的前輩武者發生了衝突，不敵而走，那位武者便追殺到他的家鄉。雖然他已經提前把親人轉移，可那位前輩竟然很不要臉地將那些跟他關係不大的鄉親們給殺光了泄憤!
杜雷思大怒，卻也無可奈何，不由得升起了隱居山野遠離江湖之心。
就在這時，他得到了來自無回谷的邀請。
那是一封很普通的信，看上去沒有半點特別。信上說，如果有興趣前往無回谷的話，請在一年之內，選擇一個月圓之夜，在空地上將信燒了，就可以打開可以打開通往無回谷的門。
杜雷思仔細思考了很久，最終還是沒有前往無回谷。大概在一年之後，那封被他珍藏的信突然就變成了白紙——這張白紙依然被他珍藏，吳解也有幸見過，但並沒看出什麼異常來。
如果無回谷裏面的強者最高只到相當於煉罡層次的武聖境界，那其實也不值得投入太多的關注。但數百年前，這個情況發生了決定性的變化。
無回谷中，出現了突破武聖境界的強者!
那個人便是棄劍徒，他最初本是煉氣士，可惜煉氣尚未有成就被強敵所傷，一身修爲盡喪。當時他得到了神相李布衣的指點，前往了一個祕密的地方求道，十餘年後歸來的時候，已經以武入道，成爲了一位先天武道的宗師。
先天武者的戰鬥力遠勝於先天修士，而棄劍徒又是其中的佼佼者。他在短短數年內轉戰萬里，將昔日追殺自己的仇敵——斬殺。
那些仇敵之中，有一人來頭甚大，得到了煉罡修士的庇護，本以爲可以高枕無憂，卻不料棄劍徒實力之強超乎想象，甚至連那位煉罡修士也一併殺了!
那一戰震驚天下，很多人都動了心思，想要找棄劍徒的麻煩，可棄劍徒卻消失了。
數年之後，他重現人間，自稱去了無回谷——而這個時候，他的境界已經突飛猛進，成爲了武聖層次的人物。
此後的十餘年間，棄劍徒不知道跟多少高手戰鬥過，無論對手是人還是妖怪，是煉氣士還是武者，都敗在了他的劍下。