劉邦晚年寵愛戚姬及其子趙王如意，疏遠呂后，幾次想廢黜呂后所生的太子劉盈(惠帝)而立劉如意，但因大臣反對，只好作罷，為了皇權的鞏固，劉邦費盡心機，本來他年齡就大，在平定英布叛亂時又中了箭傷，到了長安病情加重，呂后找來名醫，劉邦問他病情，醫生說能治，劉邦一聽口氣，就知道不會好了，氣得大罵醫生：“以布衣提三尺劍取天下，此非天命乎？命乃在天，雖扁鵲何益！”說完賞賜給醫生五十金打發他走了。

呂后看著彌留中的劉邦，問他死后人事的安排：“蕭相國死后，由誰來接替呢？”劉邦說曹參，呂后問曹參之后是誰，劉邦說：“王陵可以在曹參之后接任，但王陵智謀不足，可以由陳平輔佐，陳平雖然有智謀，但不能決斷大事，周勃雖然不擅言談，但為人忠厚，日后安定劉氏江山肯定是他，用他做太尉吧。”呂后又追問以后怎么辦，劉邦有氣無力地說：“以后的事你不會知道了。”

劉邦駕崩于公元前195年，即高祖十二年的四月二十五日(6月1日)，享年六十二歲，葬于長陵(在今陜西咸陽)，謚號為高皇帝，廟號是太祖，葬于長陵。

長陵，位于西安市中心以北約20公里、咸陽市以東約20公里的窯店鎮三義村北，1988年，國務院將其列為全國重點文物保護單位，長陵又名“長山”，是漢高祖劉邦與皇后呂雉(呂后)的陵墓。

劉邦死后，群臣議定的廟號是“太祖”，謚號是“高皇帝”，正式的全稱為“漢太祖高皇帝”，簡稱廟號應該是“漢太祖”，簡稱謚號則是“漢高帝”，而不是人們習慣稱呼的“漢高祖”。

《史記·卷八高祖本紀第八》曰：“丙寅，葬。己巳，立太子，至太上皇廟。群臣皆曰：高祖起微細，撥亂世反之正，平定天下，為漢太祖，功最高。上尊號為高皇帝。太子襲號為皇帝，孝惠帝也。令郡國諸侯各立高祖廟，以歲時祠。”

《漢書·卷一下 高帝紀第一下》文字相同，只是恐引起歧義，將《史記》中的“高祖”換為“帝”。

司馬遷《史記》作“高祖本紀”，首稱劉邦為“高祖”，蓋司馬氏為漢世宗孝武皇帝時人，孝武皇帝之皇考為孝景皇帝，孝景皇帝皇考為太宗孝文皇帝，孝文皇帝皇考即是太祖高皇帝，對武帝而言，高皇帝是自己的曾祖父。

按《爾雅》：“曾祖王父之考，為高祖王父”，照理講，漢武帝要稱呼太上皇(高帝之父)為高祖，但是《爾雅》上文郭注曰：“高者，言在最上。”《釋名》云：“高祖，高，皋也，最在上皋，韜諸下也。”《潛邱札記》云：“曾祖之父為高祖，然自是以上，亦通謂之高祖。”

《周書·康王之誥》：“無壞我高祖寡命”，高祖指文王、武王，這是以曾祖父、祖父稱“高祖”。因為周文王、武王是肇基建國之王，功高至偉，所以稱高祖，是最上之尊稱。

同樣，漢武帝稱曾祖父高帝為“高祖”亦是此意，是后世子孫對于先祖的至高稱呼，司馬氏應該是使用當時漢朝對高皇帝的尊稱，以劉邦為“高祖”。