一條碧清的小溪邊，有一所又小又破的屋子。牆壁早就穿了許多窟窿，風和太陽光月亮光可以從這些窟窿自由出進。柱子好像酥糖一樣又粗又松，因為早有蛀蟲在那裡居住。鋪在屋面上的稻草早成了灰白色，從各方吹來的風和從雲端里落下來的雨，把原先的金黃色都洗掉了。屋子的倒影映在小溪里，快樂的魚兒都可以看見。月明之夜，屋子的影子站在小溪邊上，半夜醒來的小鳥兒都可以看見。
這所又小又破的屋子裡，住著祥兒和他的母親。祥兒的父親臨死的時候，什麼事兒也沒囑咐，只指著掛在牆上的胡琴斷斷續續地說：「阿祥，我沒有什麼可以傳給你，只有這把胡琴。你收下吧！」祥兒不懂他父親說這話是什麼意思，他的母親卻傷心得哭不出聲音來了。就在這時候，他的父親咽氣了。
這把胡琴是祥兒的父親時常拉著玩兒的。本來青色的竹干，因為手經常把握，變得紅潤了；塗松香的地方經常被弓磨擦，成了很深的溝；繃著的蛇皮也褪了色。繁星滿天的夏天的夜晚，清風吹來的秋天的夜晚，他父親就拿這把胡琴拉幾支曲子。
在種田累了的時候，在割草乏了的時候，他父親也要拿這把胡琴拉幾支曲子，正像別的農人在休息的時候一定要吸幾筒旱菸一個樣。就是極冷的冬天，白雪像棉絮一般蓋在屋面上，鳥兒們緊緊地擠成一團，也可以聽見從屋子裡傳出來的胡琴的聲音。
父親的棺材被抬出去了，胡琴還掛在牆上。風從牆壁的窟窿吹進來，只見胡琴在輕輕地左右搖擺。陽光和月光射進來，胡琴的影子映在牆上，像一把舀水的勺子。祥兒看著覺得很有趣，胡琴好像充滿了神秘的味道。
母親織了一會兒草蓆，指著牆上的胡琴說：「阿祥，爸爸把這東西傳給了你，你要像爸爸一樣會拉，我才喜歡呢！」祥兒不大明白母親的話，只是對著牆上的胡琴發呆。吃飯的時候，母親又指著牆上的胡琴說：「阿祥，爸爸把這東西傳給了你，你要像爸爸一樣會拉，我才喜歡呢！」祥兒還是對著胡琴發呆。早上，祥兒在母親的懷裡醒來，母樣又教訓他說：「阿祥，爸爸把牆上那東西傳給了你，你要像爸爸一樣會拉，我才喜歡呢！」
直到祥兒滿了四歲，母親從牆上取下胡琴來，交在他手裡。母親說：「現在你可以拉這個東西了。我希望聽到你拉出好聽的調子來，跟你爸爸拉的一個樣。」
祥兒雙手握著胡琴。這是天天見面的老朋友，可是怎麼拉法，他一點兒不懂。他移動了一下胡琴的弓，胡琴發出鋸木頭一般的聲音。他把弓來回地拉，跟木匠師傅鋸木頭一個樣。母親看著他，臉上現出笑容，她稱讚說：「我的兒子真聰明！」
拉動胡琴上的弓，成了祥兒每天的功課。他不但在家做這功課，走到小溪邊，走到街道上，也一樣做他的功課。打魚的老漢正在溪邊下網，譏笑他說：「跟鋸木頭一個樣，拉得比你爸爸還好聽哩！」蹲在埠頭洗衣服的老太太也譏笑他說：「叫花子胡琴，也算接過了你爸爸的手藝麼？」街道上的孩子們追趕著他說：「難聽死了，難聽死了，不如把胡琴送給我們玩吧！」祥兒不管他們說些什麼，只顧一邊拉一邊走。
祥兒走到沒有人的地方，周圍都是高山，山下都是樹林，他拉動弓，自己聽著胡琴發出來的聲音，覺得很快活。忽然聽到有個聲音在喚他：「小弟弟，想拉好聽的調子嗎？我可以教你。」祥兒四面找，一個人也沒有。是誰在說話呢？正在疑惑，那個聲音又說：「小弟弟，我在這裡。你低下頭來就看見我了。」祥兒低下頭看，原來是一道清澈的泉水，活潑潑地流著，唱著幽靜的曲調。水底有許多五色的石子，又圓又光滑，可愛極了。
祥兒高興地回答說：「泉水哥哥，你肯教我，我非常感激。」泉水說：「你聽著我的曲調，把胡琴和著我的調子拉吧。」祥兒側著耳朵聽，很能懂得泉水用它的曲子講的什麼話，就拉動弓和著，胡琴不再發出鋸木頭的聲音了。胡琴的聲音緊跟著泉水的曲調，後來竟合成一體，分不出哪是泉水的哪是胡琴的了。祥哥和泉水都高興極了，只顧演奏，忘記了一切。後來泉水疲倦了，對祥兒說：「小弟弟，你拉得很好了。我想休息一會兒，明天再見吧。」泉水的調子越來越輕，最後它睡著了。祥兒離開了泉水，向前走去。
祥兒拉著新學會的曲調，引起周圍的山都發出回聲，成為很複雜的調子。他自己聽著也很快活。忽然又聽到有個聲音在喚他：「小弟弟，還想學一種好聽的調子嗎？我可以教你。」他四面找，一個人也沒有，難道泉水睡醒了，追上來了？正在疑惑，那個聲音又說：「小弟弟，我在這裡。你抬起頭就看見我了。」祥兒抬起頭看，原來是一陣紗一般的風，輕輕地吹著，唱著柔和的曲調。小草們野花們都一邊聽一邊點頭。
祥兒高興地回答說：「風哥哥，你肯教我，我非常感激。」風說：「你聽著我的曲調，把胡琴和著我的調子拉吧。」祥兒側著耳朵聽，很能理解風用它的曲子說的什麼話，就拉動弓和著，比任何人做任何事兒都用心。胡琴的聲音緊跟著風的曲調，後來競成了一體，分不出哪是風的哪是胡琴的了。祥兒和風都很高興，一會兒快，一會兒慢，一會兒高，一會兒低，只顧演奏。小草和野花都聽得入了迷，好像喝醉了似的都垂下了頭。後來風要走了，對祥兒說：「小弟弟，你又學會了一種好聽的調子了。我現在要到別處去了，有機會再見吧。」風說完就飄走了。祥兒跟風告了別，又向前走去。
祥兒輪流拉著新學會的曲調，一會兒拉泉水的，一會兒拉風的，不知不覺走進了樹林。拉泉水的調子，他就想起了活潑的泉水哥哥；拉風的調子，他就想起了輕柔的風哥哥。忽然又聽到一個聲音在喚他：「小弟弟，再多學一種好聽的曲調，不是更好嗎？我可以教你。」他四面找，一個人也沒有。奇怪極了，除了泉水和風，又有誰自己願意當他的音樂教師呢？正在疑惑，那個聲音又說：「小弟弟，我在這裡。你向綠葉深處仔細找，就看見我了。」祥兒向綠葉深處仔細找，原來是一隻美麗的小鳥兒。小鳥兒機靈地從這根樹枝飛到那根樹枝，一邊跳舞，一邊唱著優美的曲調。綠葉圍成的空間成了小鳥兒的舞台。
祥兒高興地回答說：「小鳥兒哥哥，你肯教我，我非常感激。」小鳥兒說：「你聽著我的曲調，把胡琴和著我的調子拉吧。」祥兒側著耳朵聽，很能理解小鳥兒用它的曲子說的什麼話，就拉動弓和著。他的手腕越發靈活了，輕重快慢都能隨他的心意。胡琴的聲音緊跟著小鳥兒的曲調，後來竟合成一體，分不出哪是小鳥兒的哪是胡琴的了。祥兒和小鳥兒都開心極了，大家眼睛對著眼睛，微微地笑了。後來小鳥兒唱得口都渴了，對祥兒說：「你學會的好聽的調子越來越多了。我現在渴了，要到溪邊去喝點兒水，順便洗個澡。咱們以後再見吧。」小鳥兒說完，就飛出樹林去了。
祥兒的胡琴拉得越來越好，拉出來的調子越來越奇妙。他的調子不是泉水的，不是風的，也不是小鳥兒的，他把三種曲調融合在一起，產生了新的曲調，好像把幾種顏色調和在一起，成了新的顏色一個樣。他常常去看泉水，看泉水睡醒了沒有。泉水對他說：「你的曲調比我的好聽多了。拉一曲給我聽，催我睡著吧！」他常常去看風，跟風談心。風對他說：「你的曲調勝過了我的。拉一曲給我聽，讓我高興高興吧！」他常常去看小鳥兒跳舞，聽小鳥兒唱歌。小鳥兒對他說：「現在你可以教我了。拉一曲給我聽，讓我學會你的新曲子吧。」祥兒聽他們這樣說，心裡快樂極了，就儘量把自己新編的曲調拉給他們聽。泉水聽著，安靜地睡著了；風聽著，微微地笑了；小鳥兒一邊聽，一邊跟他學。
祥兒跟大自然的一切做朋友，經常把自己編的曲調拉給它們聽。它們個個歡喜祥兒，都把自己的曲調演奏給祥兒聽。祥兒的胡琴變得越來越奇妙，他能拉許許多多自己編的新鮮曲子。母親早就快活得不得了，她對祥兒說：「你拉胡琴，拉得跟你爸爸一樣好了。我非常歡喜。你可以帶著爸爸傳給你的胡琴，把你自己編的曲子，拉給世界上所有的人聽了。」祥兒聽母親這樣說，就帶著胡琴，離開了小溪邊的這所破屋子。
都市裡有一所音樂廳，建築十分華麗，
台階和柱子都是大理石的，舞台上有絲織的帷幕，有用鮮花作的屏障，還有許多金色的裝飾品，教人看著眼睛發花。大音樂家都在這裡演奏過；演奏的時候音樂廳里坐滿了人，男的女的，神態都很高雅，服飾都很華貴。他們閉著眼睛，輕輕地點著頭，表示只有他們能夠欣賞這樣高超的樂曲。一曲完了，他們拍起手掌，輕輕地，很沉著，表示他們從樂曲中得到了快樂。演奏的音樂家的名聲就越發增高了。
祥兒來到都市裡，音樂廳也請他去拉胡琴。幾天之前，街上已經貼滿了彩畫的大GG。GG上寫著：「奇妙的調子，新鮮的趣味，田野的音樂家。」這些字寫得離奇古怪，格外引人注目。到了祥兒演奏的那一天，音樂廳里坐得滿滿的，自然都是經常來的老聽客。他們都望著台上，張開了嘴，好像等著吃什麼好東西似的。
祥兒走上台來了。他仍舊穿著他那半舊的青布衫，提著父親傳給他的那把胡琴。他向聽眾深深地鞠躬，
聽眾們卻在那裡皺眉頭。「咱們見過幾百位上千位音樂家，哪裡見過這樣的鄉下人！這把胡琴難看極了，就跟乞丐手裡拿的一個樣。」聽眾們正在這樣想，祥兒把弓拉動了，琴弦發出的聲音在音樂廳中流動。大家開頭還很安靜，可以聽得十分清楚。可是才一會兒，聽眾說起話來了，開頭還很輕，後來越急越響，好像潮水似的。祥兒的胡琴拉得越急越響，嘈雜的人聲緊緊追了上來，而且蓋過了胡琴的聲音。隱隱約約聽得他們在說：「從來沒聽過這樣的曲子！」「乏味透了！」「不知從哪兒來的乞丐！」「是個騙子！冒充音樂家的騙子！」「把咱們的耳朵都弄髒了，非趕快回去洗一洗不可！」
聽眾們都站起來，紛紛走出音樂廳，都去洗他們的耳朵了。老紳士的鬍子翹了起來，貴夫人搽著一層粉的臉也漲得通紅，公子小姐都在喃喃地咒罵，表示無法忍住他們的憤怒。最後只剩下祥兒一個人站在台上。他再也拉不下去了，提著父親傳給他的那把胡琴，走出了音樂廳，回過頭來，對這座大理石的建築微微一笑。
祥兒回到小溪邊，回到自己的又破又小的屋子裡。母親問他：「我叫你帶爸爸傳給你的胡琴，把你自己編的曲子拉給世界上所有的人聽，你怎麼這樣快就回來了？」祥兒回答說：「人家不要聽我的曲子，所以我回來了。」母親笑著，把他的腦袋摟在懷裡，對他說：「人家不要聽你的，我要聽。你不要再出去了，在家裡拉給我聽吧。聽了你的胡琴，我織起草蓆來更有勁了。」母親吻著祥兒的雙頰，好像他還是個小娃娃。
胡琴的聲音常常從又破又小的屋子裡傳出來。在繁星滿天的夏夜，在清風吹來的秋晚，在白雪鋪滿大地的冬天，在到處開滿鮮花的春朝，近的遠的村落都可以聽到胡琴的聲音。泉水琮琮琤琤，風時徐時疾，小鳥兒啾啾唧唧，都跟胡琴的聲音相和：田野就成了一個沒有圍牆的大音樂廳。
祥兒的胡琴帶領大自然的一切奏起樂來，那美妙的聲音，好像輕紗一般蓋在人們的身上。又倦又乏的農夫恢復了精神，又困又累的磨坊工人又來了勁頭，被火紅的鐵屑灼傷的小鐵匠忘記了痛，死掉了兒子的老母親得到了安慰……所有的人都感到甜美，感到舒適。他們異口同聲地說：「感謝祥哥的胡琴。」而這樣兒的胡琴，正是大理石音樂廳里的聽眾們所不願意聽的。
1922年4月3日寫畢。