劉備的親人是沒有幾個的，小時候父親就死了，依靠會點手藝活的母親度日。劉備早年過得很清苦，盡管他喜歡漂亮的衣服，劉備很珍惜親情，所以他身邊不乏優秀的人才，比如關羽張飛。后來劉備在徐州的時候，與城中首富糜竺一見如故，糜竺把自己的妹妹送給劉備做夫人。糜夫人很賢惠，盡管她比劉備小了好多，她珍惜自己哥哥給自己找的這個男人，并且和另外一個姓甘的女子友好的相處。盡管她和劉備并沒有兒子，可是糜夫人打心眼里敬仰劉備，把他當成頂天立地的大英雄。糜夫人家里有錢，小時候過慣了有錢人的生活。可是結了婚，卻跟著劉備東躲西藏的。她很受用，畢竟當時自己的夫君的名聲是很大的。糜夫人很看重劉備，自然也號召家里人也對劉備格外看重。其實她即使不說話，家里人也象神一樣的敬著劉備。當時糜夫人有兩個哥哥，老大是糜竺，老二是糜芳，都是一表人才，而且都有才華。糜竺在徐州城里說話很有力度，劉備的徐州牧糜竺是出過大力的。糜芳也不例外，在劉備跟前跑前跑后的，也很受到劉備的賞識。

劉備被曹操攻下徐州的時候，糜芳被曹操表奏為彭城相，官職相當于太守，兩千石的官職，可是糜芳二話不說，跟著劉備去過逃難一樣的日子，輾轉飄零到劉表那里。劉備手下有個大將名叫關羽，平時很高傲，看不起自己的同僚，一開始還好一些，因為在苦日子，還能互相照應。后來一旦劉備漸漸能和曹操孫權成鼎足三分的時候，關羽的傲氣就更加凌人。劉備和張飛諸葛亮攻打益州的時候，關羽奉命占據荊州，任命糜芳是南郡太守駐守江陵，同時將軍傅士人駐守公安。關羽總是認為二人的能力夠不上太守的資格，總是故意找他的茬。

公元219年，關羽在抗曹前線勢如破竹，制造了水淹七軍的神話，活捉了曹操大將于禁，斬了敵將龐德，聲名遠揚。此刻更加不可一世。要求糜芳等快速制備前線所用物資，如果時間延誤，一定要重重責罰。關羽是有脾氣的，而且脾氣很大，這一點糜竺很清楚。孫權是多厲害的人物，派諸葛瑾替兒子前來求親，照樣遭到責罵。自己平時就不受關羽的待見，糜芳很惶恐，可他還是沒有別的想法，指示加緊籌備糧餉。不過，孫權手下的呂蒙太厲害了，當時兵不血刃，白衣渡江拿下荊州，接著對待關羽手下的兵將猶如親人，知冷知熱、噓寒問暖，這一招著實厲害，關羽手下的荊州士兵紛紛投降，就連公安的傅士人也沒辦法控制，后來傅士人投了東吳。不久傅士人給糜芳寫一封書信，讓著名的演說家虞翻前來下書。

虞翻反復陳述利害，說如今荊州危在旦夕，關羽這個人心高氣傲，你又沒有辦法為他準備糧餉，既然如此，不如歸降我東吳。我主孫權本來就善待人才，閣下又是漢中王的至親，主公自然不會虧待閣下。如果駐守此地，進不能守，退不能自保，如今荊州失守，關羽一定會惱恨閣下，即使關羽不怪罪，漢中王豈能善罷甘休。不如與江東互為一體，可保無虞。糜芳無奈，只得投降。糜芳投降以后，不僅遭到蜀漢的唾棄，也遭到東吳的輕視，就是當年勸降的虞翻也經常刁難。有一次糜芳乘船出行，恰好遇到虞翻的船，糜芳命人回避，虞翻厲聲說：失忠與信，何以事君？傾人二城，而稱將軍，可乎？糜芳含羞而退，不過他仍然想在東吳建功立業，不久便和劉邵、鮮于丹等人平定了東吳的叛亂，俘虜當初背叛吳國的戲口守將晉宗。

如此可見，糜芳并非一無是處，他的背叛顯然有原因的：其一，關羽的輕視。關羽這個人對士兵很友善，不過與同僚關系并不友好，尤其是不喜歡那些咬文嚼字的文官。盡管關羽的書讀的并不多，可是很驕傲，總認為自己文武都是第一。其二，傅士人的投降，傅士人和糜芳本來互為依仗，傅士人的投降，讓緊張的糜芳不知所措，在敵人的強大攻勢下，最終選擇投降。其三，對方太優秀。無論是呂蒙還是陸遜，都是東吳有名的軍事統帥，不僅仗打得好，思想工作也做得好，尤其是優待俘虜，讓糜芳差一點成了光桿司令。其四，東吳的說客太厲害，虞翻能說，很有煽動性。傅士人的投降，糜芳的投降都與此人有關。不過演說家的嘴是靠不住的，用你的時候把你捧到天上，一旦惱怒，會把你罵得一佛出世，二佛升天。其五，劉備的手下并非只有糜芳一人叛降，黃權等名將也是如此，看來劉備待手下也是有需要檢討的地方。

總之，在三國那個時代，人們在哪里做官，其實并沒有一定的框框，至于忠臣不保二主，那都是后來小說演義上的話，何況關將軍當年還保過曹操，孟達在魏國和蜀漢中間周旋，照樣受到諸葛亮的器重，因此對于糜芳實在沒有完全責備的必要。另外說一句糜芳的結局不是三國演義上寫的，被劉備綁在關羽的靈前，脫光了罰跪，用刀剮之，而是一直好好的呆在東吳。