薛蟠和賈政之間，並沒有直接的關係。他們之間的關係，是透過王夫人和薛姨媽建立起來的。這兩個人，也是性格脾氣截然不同的兩個人。
賈政“素性瀟灑，不以俗務為要，每公暇之時，不過看書著棋而已”；賈政崇尚節儉，看到賈寶玉腳上穿了一雙綾羅做的鞋子，心中便很不滿意，問是誰做的。賈寶玉也不敢說是三妹妹探春做的，只說是前些日子過生日，舅母送的。即便如此，賈政也忍了半天，終究還說說出來一句：“何苦來！虛耗人力，作踐綾羅，做這樣的東西！”
賈寶玉因為不愛讀書，也不知道被賈政打罵了多少次。賈寶玉去上學，還氣得賈政冷笑道：“你如果再提上學兩個字，連我也要羞死了。依我的話，你竟玩你得去是正理，仔細站髒了我的地，靠髒了我的門！”
薛蟠呢？薛蟠“性情奢侈，言語傲慢，雖也上過學，不過略識幾字，終日唯有鬥雞走馬，遊山玩景而已。雖是皇商，一應經紀世事全然不知”。在賈家學堂唸書，不過是為了“多結識幾個契弟”；將“唐寅”兩個字，能念成“庚黃”。在他的這些“契弟”身上，一年不知道要扔多少銀子（僅僅一個金榮，兩年就花了七八十兩銀子）。為了賈寶玉的一料莫名其妙的藥方，就花了一兩年的時間，花了上千的銀子，好不容易配了一料藥。
這樣的兩個人，脾氣自然是不可能相契合的。薛家初進賈府的時候，賈政雖然派人來留薛姨媽一家人住下，但他說出的六個字，也滿滿都是對薛蟠的不待見。
當時，王夫人將薛姨媽等人接到大廳上，薛蟠也去拜見了賈政，賈璉又引著拜見了賈赦、賈珍等。賈政便派人上來對王夫人道：“姨太太已有了春秋，外甥年輕不知世事，在外住著恐又有人生事，咱們東北角上梨香院，一所十來間房白空閒著，趕著打掃了，請姨太太和哥兒、姐兒住了甚好。”
話說得非常客氣，也非常周到，但是，對於薛蟠的評價，賈政用了六個字——年輕不知世事。這六個字，往往都是年輕人對自己的謙虛的說法，而賈政卻毫不客氣地用在了第一次見面的老婆的外甥薛蟠身上。可以說，這是一個很有些不耐煩的評價。
我們都知道，在薛家進京之前，薛蟠曾經在金陵城惹下了一樁案子——就是因為和馮淵爭香菱，而喝令手下的豪奴，將馮淵打死了。應天府的那個門子（葫蘆僧）評價起這件事的時候，說得輕描淡寫：“（薛蟠）既打了馮公子，奪了丫頭，他便沒事人一般，只管帶了家眷走他的路，他這裡自有兄弟奴僕在此料理，並不為此些些小事值得他一逃走的……”
話雖如此說，但這件事其實也並沒有這麼容易。王子騰還因為這件事，專門寫了書信來與王夫人商議。後來，還是在賈雨村的安排下，這件拖了一年之久的官司才算了結。這件事，也讓榮國府的賈政，不得不欠了賈雨村一個人情。
對於這件事，賈政心中肯定是不滿意的；對於薛蟠，也難免有了看法；所以，他才會說薛蟠“年輕不知世事”。賈政不是賈赦，只要為了自己好，哪怕鬧出人命來也不在意（諸如石呆子事件），賈政還是有一定的底線的，他希望晚輩們都走正路，好好唸書。薛蟠偏偏是一個與賈政的期待，完全相反的人。同時，薛蟠又並非是他的直接晚輩，只是他老婆王夫人的外甥。這個“年輕不知世事”，已是賈政能表達出來的，最嚴厲的口氣了。
然而，又因為兩家之間的密切關係，賈政又不得不留了薛家人在賈府住下，這對於賈政來說，大概也是一件很頭疼的事吧。一個本來就不待見的人，還要長長久久地留在家中，還要承擔起管教他的責任。