少年时他先结识了来自西南的宋玉，后又与岳鸣、柳然、林青锋几人义气相投，结为异性兄弟。那段时间里，他们五人在江湖上叱咤风云，建立长生堡，那是何等顺心畅意的日子。然而时间未久，林青锋便第一个退隐，五名结义兄弟中，胡绝与林青锋的交情并不是最深厚的，但他心中仍是不愉，便仿佛一块品相完美的宝石，骤然被切割掉了一角。
再后来，宋玉死于江湖搏杀之中。这个年纪还小于他的四弟曾救过胡绝一命，二人交情最好，到此时，胡绝才是真正的心灰意冷。他对自己，对岳鸣与柳然说：江湖多风雨，我烦了，不想继续了，退隐罢。
岳鸣与柳然皆有些惊讶，却又不是特别惊讶，毕竟先前已有了一个林青锋，再者，胡绝的性情素来脱略狂傲，这似乎也正是他能做出的事。但岳鸣到底还是多问了一句，“老三，你当真要退隐？”
自己当时是怎么说的？对了，胡绝当时冷笑着道：“江湖上我已走过一次，不过如此，何必再留！”
岳鸣便不再多说什么了。胡绝自负潇洒，背了个简单的行囊步出长生堡，一出大门险些撞上个孩子。
那便是岳海灯，手里还抱着小小的岳小夜。
岳鸣膝下仅此一儿一女，若说不疼，自然是假话，但那个时候正是长生堡冉冉上升之期，在岳鸣看来，自然是现下的江湖事业最为重要，并没有多少时间照管他们。胡绝看了不由皱眉头，道：“依海灯现下的年纪，也可以启蒙了，怎好似没什么功底的样子？”
柳然出来送他，乘机就道：“大哥现下忙碌成这样，哪有时间教孩子。依我看，三弟你既要隐居，哪里不行？俗话还说大隐隐于朝，难道在长生堡不能隐居？也不用你管什么江湖事，就教教这两个孩子，不也很好？”
胡绝又看了一眼岳氏兄妹两个，脚步不由自主地停了下来。
他教着岳海灯，带着岳小夜。过几年，又来了姜白虹与林皆醉。他的心里面，隐隐也是颇为自豪的。
我虽不管长生堡的事务，却教出了四个好孩子。
这些年来，长生堡在江湖中的地位逐步上升，虽然中间风波不断，也出现了天之涯这般强劲的对手，但并没有人能够真正战胜这个强大的组织。胡绝喝着酒，种着他的草药，心里寻思：退隐江湖，超然物外，却还能做到如我一般的，纵观武林，大概也唯有我胡绝一人了。
仅有的一点伤感之处，乃是姜白虹入堡时所受的严重内伤，然而因着姜白虹自身的优异与乐天，这些伤感也被淡化了许多。
就这样过了十多年，忽然间柳然叛变，霎那时天翻地覆。
这一场叛变，连岳鸣事先也全无觉察，更不必提胡绝。事情发生之时，柳然对岳鸣下了狠手，对他却没怎么难为。但胡绝并不因此而欢喜，反而更加伤痛。
二哥怎的会忽然叛变？兄弟之间怎会互相残杀？倘若我当日一直留在江湖中，不曾隐居，是否便不会发生这些事情？
至少我教的这几个孩子，不能再出事了。
这四个孩子里，最让他放心的是岳小夜，聪明懂事的女孩子，从不让人操一分心；私心里最喜欢的则是姜白虹，性情疏朗开阔，剑术在年轻一代中当世无双；最重视的自然是岳海灯，长生堡未来的继承人；而林皆醉……
他总有些看不透这孩子。
然而林皆醉终还是一路成长了起来，成为长生堡的小总管，武学方面虽不算特别出色，但行事滴水不露，为人周密齐全，胡绝从前会想：这样也很好，一个林皆醉，一个姜白虹，一文一武，二人关系又好，将来正好一同辅佐岳海灯。谁想当他好容易带着岳海灯回来的时候，又是一番巨变。
最让他放心的岳小夜，他亲眼看着这个从小看大的女孩子中毒身死；
最被他喜欢的姜白虹，在长生堡巨变之后忽然出走，自此全无影踪；
而本应是担负着长生堡未来重任的岳海灯全无干劲，黄沙帮、李三娘，这些事情发生在其他江湖人身上，原本无伤大雅，出现在他身上，便是致命之处。
再有，便是林皆醉，柳然出事之后，这名年纪轻轻的小总管所做所为，亦令胡绝触目惊心：私下修炼清明手记中的武学，心腹林戈击败少主岳海灯，一手调动堡内精兵，最终又在众目睽睽之下夺得了龙文古剑。
小总管的武学是胡绝教出来的，但他的为人处事，应对事务，却是柳然一手带出来的。一个大总管，一个小总管，林皆醉会是第二个柳然吗？然而岳海灯，胡绝自己也不得不承认，不如岳鸣远矣。
他心中一直抱着这样的疑虑，在看到李三娘将岳海灯打落寒潭之时，如同天花板上的第二只靴子一般，终于落了下来。
原来如此，果然还是如此。
我后半生退隐，任事不管，自诩超脱，最终却是兄弟反目；而这半生里我唯一做的一件事情，教出的四个孩子，终于全军覆没。
而海灯来参加品剑大会，甚至还是我专程陪他前来。
胡绝实在无法继续想下去，恰好前方路边有个茶棚，他跌跌撞撞地走了进去，内里的一位白衣青年公子忙扶了他一把，“这位老先生，你是怎样了？”
老先生？胡绝从前可从没觉得这一个老字和自己有关，那白衣青年公子的力道不大，他随身一个老仆便过来，搀扶胡绝坐下。那公子便招呼道：“店家，快上一碗酸汤子给这位老先生，喝了暖暖身子。”
一碗滚热的酸汤子很快便端上了上来，胡绝喝了几口，出了一头的虚汗，他定一定神，不愿接受旁人的怜悯，从怀中掏出一小块银子放在桌上，道：“我没什么事。”便起身离开了。