故事发生在1905 年的俄国犹太村庄阿那特夫卡，几个世纪来，这个乌克兰的小镇一直居住着犹太人，他们保持着犹太传统。牛奶场主泰维和他的妻子高尔德以及他们的5个女儿过着再普通不过什至有些拮据的家庭生活。令泰维震惊的是，他的女儿们都定以自己的方式表达对爱情和婚姻的理解，并且以非传统的方式举行婚礼。
大女儿特热特尔没有遵照父亲的意愿与经济条件还不错的的屠夫沃尔夫结婚，而是想嫁给穷裁缝莫特尔。经历了一番思想斗争，泰维终于同意了这对有情人的婚事，还帮助妻子改变了一些传统偏见。
二女儿霍德儿爱上了一个革命者帕契克，当帕契克被流放到西伯利亚时，她跟随他一起去了那里。泰维必须在女儿的幸福与自己的信仰之间做出选择。深受儿女们爱情感染的泰维使他对女儿的深情与理解超越了传统的束缚。所以尽管很担忧，但是他仍然答应了孩子们的请求。
三女儿查娃则爱上了邻村的一个俄罗斯青年农民菲德卡，还背着父亲嫁给了这位异教徒。这是泰维坚决反对的的婚姻，无奈女儿和情人只好私奔了。泰维对心爱女儿的背叛难过极了。
后来由于沙皇的哥萨克轻骑兵的破坏，泰维难以忍受的灾难是犹太人将被驱逐。使得泰维定走向新大陆的难民队伍，举家搬迁到美国。一家人准备收拾行李上路。泰维想到了他的女儿们，大女儿特热特尔和莫特尔定待在波兰首都华沙，直至他们挣够了钱就去美国。二女儿霍德尔和帕契克仍然在西伯利亚。三女儿查娃和菲德卡这时又来到泰维面前，查娃告诉父亲她也要和菲德卡离开了。在最后的歌声中，人们告别了阿那特夫卡，屠夫沃尔夫将到芝加哥投奔哥哥，渴望得到父亲对她和丈夫理解和接受的查娃也终于得到了父亲在纽约相见的承诺。人们踏上了走向新大陆的难民队伍，包括那位提琴手。队伍黑鸦鸦的一片，艰难而又充满希望的旅途开始了。