薛蟠和賈寶玉是表兄弟，賈寶玉又是薛姨媽暗許的女婿，按理說薛蟠對這位寶弟弟要多關照才是，不過小說有多處寫出了二人的不和，當然薛蟠很粗俗，但如果真心實意對寶玉好，寶玉也是能體會出來的，事實上并非如此。小說中幾處寫道薛蟠和賈寶玉的不合拍：

其一，頑童鬧學堂。這次書中未寫薛蟠出場，是他的“好朋友”金榮和秦鐘、寶玉之間的紛爭。書中明寫控制學堂的是“偶動了龍陽之興”的薛蟠，大家“都懼薛蟠的威勢”，“暫且管理”學堂的賈瑞也“一任薛蟠橫行霸道”。金榮和寶玉秦鐘之“鬧”實際上是薛蟠和寶玉之爭。有趣的是引起事端的“生得嫵媚風流”的兩個學生的“外號”，一號“香憐”，一號“玉愛”，似乎可以從這兩個外號的諧音和含義引起點什么聯想。把這件事說清楚的是三十四回寶釵“暗暗想道”的話：“我的哥哥素日恣情縱欲，當日為一個秦鐘，還鬧得天翻地覆。”原來鬧學堂的罪魁禍首是薛蟠，是薛蟠和寶玉的對立。這個對立書中寫得很隱，寫得很淡，卻是一條貫穿全書的粗線。學堂之鬧和香菱表面上無關，但香菱是站在旁邊的，明寫學堂之鬧暗含寶玉薛蟠因香菱而起的對立。

其二，寶玉挨打。寶玉挨打實乃薛蟠所為。死了個丫頭金釧兒，如果不聲張，倒也不是什么大事。看看晴雯之死。原因如焙茗所說：“那琪官的事，多半是薛大爺素習吃醋，沒法兒出氣，不知在外頭挑唆了誰來。”薛蟠自己對他母親和妹妹說：“那琪官，我們見過十來次的，我并未和他說一句親熱話。怎么前兒他見了，連姓名還不知道，就把汗巾子給他了。”《石頭記》作者敘述中說：“這一回卻不是他干的。”似乎在“這一回”外還有其他幾回。這句話不是作者以假掩真而是以假顯真：這一回又是他干的。薛蟠聽了他媽媽妹妹為此事理怨他后就嚷：“既拉上，我也不怕，越性進去把寶玉打死了，我替他償了命，大家干凈！”這幾句話似乎只是“呆霸王”的粗魯，只是口頭上胡說而已，其實是作者以此寫出薛蟠潛在的“打死寶玉”的念頭，表明二人有不可調和的矛盾。

那么，薛蟠為何不喜歡寶玉，甚至要至于死地：江湖以為里面還是一個香菱，因為薛蟠覺得賈寶玉和香菱二人之間有些見不得人的勾當，因為他自己就是看見美女走不動的主。當日看見林黛玉，渾身都酥倒了。

另外小說有多處寫到香菱和寶玉的親昵：在《呆香菱情解石榴裙》一回中，香菱說：“我有夫妻蕙。”思夫并不可羞，羞在“想夫妻”上，這段文字從“想夫妻”入題，渲染氣氛，暗示主題。“寶玉笑道：‘你有夫妻蕙，我這里倒有一枝并蒂菱，’”書中前文說到的觀音柳、羅漢松、君子竹、美人蕉;星星翠、月月紅;牡丹花、枇杷果等等，都是成雙配對的。現在寶玉又以“并蒂菱”與香菱的“夫妻蕙”為對，即香菱與寶玉為對，前面的許多對都是為了引出這一對。最值得注意的是這里出了“菱”字，而且是“并蒂”的“菱”？從“夫妻蕙”到“并蒂菱”，香菱和寶玉的關系已經清楚了。焦點還是在石榴裙上。“香菱道：‘什么夫妻不夫妻，并蒂不并蒂，你瞧瞧這裙子。’”一個女子叫一個男子瞧她的裙子，是極親昵的了。這是由夫妻、并蒂引出的，瞧裙子，管他什么夫妻不夫妻呢！寶玉道：“你快提動，只站著方好，不然連小衣兒膝褲鞋面都要拖臟了。”香菱“又命寶玉背過臉去，自己又手向內解下來”之后，“香菱拉他的手笑道：‘這又叫做什么？怪道人人說你慣會鬼鬼祟祟使人肉麻的事。’”二人分開已走了幾步，香菱叫住寶玉說道：“裙子的事可別向你哥哥說才好。”香菱寶玉之間不可告薛蟠之事，可知是什么事了。

“為紅顏沖冠一怒”，自然不只一位吳三桂，還有我們這位弄性使氣的薛大公子，當日曾經把一個小鄉宦之子馮淵打了個稀巴爛，不過如今面對的是賈府的少爺，甚至是賈府未來的接班人，就只有敢怒不敢言的份，不過心里頭，對賈寶玉的不滿是一定的了。