三日後一早，有四個衙役帶著沈穆之上了一輛馬車，沒有給他上枷鎖。不久他們到了河渡口，換乘了搖櫓船。
船行約一個時辰以後，只見水面逐漸開闊，風帆隱隱，水鳥翔集，沈穆之覺得似乎行至了太湖。
午後小船靠岸，差役們又帶著他步行走了不少路，日落之前，來到一處湖邊，依舊坐船朝湖心島進發。
沈穆之忍不住問道：「差大哥，咱們這是在哪裡？」
有個略和善的差役道：「這裡是洞庭西山，此處湖心島上有個採石場，咱們正是要去採石場。」
沈穆之暗道自己應該能活命了，費了許多周折，把他弄到採石場，多半不要他性命。
此處原來是洞庭西山，他千里迢迢，就為的要到洞庭西山投親，想不到自己會以囚徒的身份來到西山。
四個衙役把沈穆之交給採石場的差役就走了，沒有人來盤問他甚麼，差役發給他一身號衣，一雙蒲鞋，領他去指定的號房。
號房裡已經有了一個人，是個威風凜凜的大漢，赤腳睡在柴草堆上，這大漢不說話，也不欺凌沈穆之，沈穆之靠在角落裡縮了一宿。
第二天清早，差役們驅趕著號房裡的犯人們去採石場幹活，採石場裡管理不太嚴，大概是孤島四面環水，沒有船出入，很難泅渡到對岸。
沈穆之發現，他與同號的那個大漢是被優待的，沒有差役盯著他們去鑿石掏方搬運，他跟在眾人後面出點力就行了。
渾渾噩噩過了一兩個月，島上條件雖然艱苦，沈穆之因為有之前逃難流離失所的經歷，竟也忍受了下來。
轉眼歲聿其莫，一日差役們將他和同號的大漢叫起來，說柳府尊來了島上，要提審他們。
那大漢先進去，隔了很久才出來，垂著頭，面無表情。
接著是提審沈穆之，柳府尊仍是遠遠地坐在堂前，許久未有的驚惶又壓迫著沈穆之。
良久，柳府尊冷冷問道：「赤腳劉大跟你說過甚麼嗎？」
「赤腳劉大？哦？」沈穆之聽到這個陌生的名字楞了一下，隨即猜到就是指同號的大漢：「他，從未與我說過話。」
「哦。」柳府尊與左右耳語一番，回頭對沈穆之說：「赤腳劉大要是同你說話，你就牢牢記著。」
說罷拂袖離開。
如此一連三年，年底之時柳府尊就來提審他們一次，看樣子，並未得到滿意的答案。
島上差役對沈穆之的管束更松，他有時漫山遍野亂跑，晚上也只能回到採石場。沒有食物和水，進出島嶼的船隻，他是逃不出去的。
同號房的劉大還是對他一言不發，他聽別的號房的人說，這赤腳劉大是太湖大盜，凶名在外。
第四年夏天，有一日凌晨，號房前忽然傳來陣陣鳥叫，沈穆之自從豫章王府迎賓館事變後，睡覺就很警醒，他偷偷冷眼裡看著赤腳劉大，赤腳劉大顯得很焦躁，在號房裡踱來踱去，然後也模仿著小鳥叫聲，但是外面的鳥叫聲又響起來。
號房門前衝過來兩個人，似乎是一男一女，他們舉著大刀鐵棍就來砍號門。
「二弟，三妹，你們快走，這個號房都是精鋼灌注，你們開不了的。」劉大撲到門前。
「大哥，你再挺一挺，我去抓幾個獄卒搶一把鑰匙。」那男的從號門的格子裡丟進來一把匕首，昏黃的燈火下，閃閃發亮。
「不可不可，驚動了獄卒你們就跑不了了，我被那狗官灌下了毒酒，早就武功盡失成了廢人，根本不可能逃出去。」
那女的慘聲道：「大哥，我們同生共死。」
門外漸漸腳步聲雜沓起來，差役們大概發現有情況，紛紛趕過來。
一男一女仍舊破不了門，劉大連連擺手道：「你們快跑，那狗官留著我有用，不會殺我，倘若他拿住了你們要挾我，就更不妙了。」
那一男一女，聽到外面雜亂紛紛朝這廂湧來，只得疾步向外，身影消失在黑夜裡。
差役們過來見兩個人都在，便熟視無睹地無視地上一片狼藉，用警告的眼神看了看裡面的赤腳劉大和沈穆之。
裡面的兩個人都默不作聲，劉大知道沈穆之看見了二弟丟進來的匕首，沈穆之並不想坐一輩子牢，也沒有要繼續當柳府尊走狗的想法，上次對付白鳶教是迫於無奈，所以，他嘴巴閉得很牢。
從此以後，背著人，他們兩個偶爾說幾句話。
第四年，第五年柳府尊依舊年底來提審他們一次，赤腳劉大還是沒有招出柳府尊想要的答案，他們兩個就這麼羈押著，別的獄友陸陸續續刑滿釋放，他們的刑期遙遙無期。
第六年的時候，柳府尊沒有來採石場。
赤腳劉大對沈穆之說：「小兄弟，外面肯定出了變化。」
沈穆之閱歷淺，又且坐牢多年，哪裡想得通關竅。
夜裡劉大說：「小兄弟，你想學武功嗎？」
沈穆之當然想成為強者，於是劉大悉心教導，沈穆之日日打熬身體。
外面不知道甚麼情況，柳府尊從此沒有再來提審他們兩個。
沈穆之練功漸入佳境，亦一心一意練武，無暇顧及別的。
三年之後，劉大說沈穆之內外功夫均有小成。
劉大多年觀察下來，每月初一裝山石的船進來裝貨，中間會交班休息一次，他們決定伺機從內殺出，奪船逃走。
天不遂人願，劉大旋即生了重病，沈穆之對劉大甚是感激，照顧了他很久，採石場缺醫少藥，劉大終於油盡燈枯，臨終前拿出那把金光燦燦的匕首，交給沈穆之。
沈穆之見這匕首鑲滿寶石，知道價值不菲。
劉大道：「小兄弟，你也知道，我是橫行太湖的大盜赤腳劉大，我被柳知府那狗官誘捕的緣起，就是因我在縹緲峰發現了這把鑲滿寶石的匕首，機緣巧合中被我發現了前朝末年白頭軍的寶藏。」
「寶藏？」沈穆之不是很感興趣，他連自由都沒有，要寶藏何用。
「那狗官怎麼可能言而有信，我死咬住不說，讓我多活了十年。」劉大哈哈笑道：「寶藏的秘密，我不與你說，怕給你惹來殺身之禍，你若有心，只管參詳參詳這把匕首。」
沈穆之依言將匕首貼身藏好。劉大一笑而逝。
劉大去世後，沈穆之膽怯，遲遲不敢依計而行。
柳府尊再也沒有來見過他，他被所有人遺忘了。
又過了兩年，一天清早，差役叫住他，他服刑已滿，今日釋放，把他進採石場時候的衣物還給他。
沈穆之五味雜陳，唏噓不已，換上自己的舊衣時，不禁哽咽。
他坐著船出了採石場，然後問了兩個訊，靠著兩條腿走路，當然很慢，可總有走到萬戶莊的時候。