先明确几个词的意思
1爱幸
《三国志 吴书 妃嫔转》吴主权谢夫人，会稽山阴人也……权母吴，为权聘以为妃，【爱幸有宠】
《陈书 江总传》总笃行义，宽和温裕。好学，能属文，于五言七言尤善；然伤于浮艳，【故为后主所爱幸】
爱幸在现代汉语词典中被解释为帝王宠爱妇女，这显然是错的。以上两则例子说明爱幸不等于有宠，它的意思更类似于现代语境下的喜欢，至于是什么类型的喜欢还需要看具体的表述。

2贵人
（1）具体的妃嫔称号
（2）泛指后宫妃嫔。
《陈书 后妃传》后主自居临春阁，张贵妃居结绮阁，龚、孔二贵嫔居望仙阁，并复道交相往来。又有王、李二美人、张、薛二淑媛、袁昭仪、何婕妤、江修容等七人，并有宠，递代以游其上。以宫人有文学者袁大舍等为女学士。后主每引宾客对贵妃等游宴，则使【诸贵人】及女学士与狎客共赋新诗，互相赠答……
李世民的燕德妃慕志中记载了贞观元年她被册封为贤妃的诏书内容，“【贵人燕氏】识悟开朗……擅美公宫，移芳椒掖，情深惟旧，宜正恒序。可贤妃。”不少对燕妃墓志的解读中将贵人理解为燕妃在秦王府时的封号。虽然不能完全排除这种可能，但我觉得此处的贵人更有可能是泛指帝王妃嫔。册封燕氏的诏书颁布时，李世民已经是大唐皇帝。燕氏等一班蕃邸姬妾虽未正式册封，但她们仍然是皇帝的后妃，因此在诏书中便用贵人这个统称来指代她们。正式册封过后便可以用贤妃来称呼她了。

大业元年隋炀帝重新制定的妃嫔称号中已经没有贵人了（《隋书 志第七 礼仪七》）。所以贵人是泛指。
既然贵人是泛指妃嫔。那么“大业二年，隋炀帝以后主第六女婤为贵人，绝爱幸”这句话的正确理解应为，隋炀帝因为后主第六女陈婤是后宫妃嫔，因此十分喜欢。即隋炀帝对陈婤绝爱幸的原因是她是后宫妃嫔，“以”在这里理解为因为。

陈后主去世于仁寿四年十一月二十日，而陈婤在大业二年已经是隋炀帝后宫一员，所以可以肯定陈婤是隋炀帝的蕃邸旧人。否则陈婤作为后主未嫁女，被选入宫中肯定是要待二十七月孝期过后，最早也是大业三年。
所以也可以解释为隋炀帝绝爱幸陈婤的原因是她是蕃邸旧人。这就和贬斥裴虔通诏书里的那句话意思是一样的“以蕃邸旧情，特相爱幸”

隋炀帝登基后就改革了后妃制度，大业二年，可能是在新的舆服制作完成之后才正式册封蕃邸姬妾，如刀妙琏墓志所载，她是在大业二年被册封为才人（《秦国故细人刀氏墓志铭并序》）。而炀帝因陈婤之故召陈氏子弟尽还京师可能就是在正式册封妃嫔之前，所以陈书作者使用了泛指的贵人一词。

李二贞观二年、七年三次流放江都叛臣确实很迷，尤其是七年那次叛臣子孙都被连累不能为官。