只是楊廣旗幟鮮明授予他對付元家之權，卻讓他明白了兩件事：一是楊廣讓他去幽州遼東搞事，主要還是讓他對付關隴貴族，而目標還是元家。
二是幽州刺史李子雄上奏說漁陽太守元傑協同治下官員私設關卡收稅，但奉命巡視幽州的司隸丞劉休文卻說幽州各郡縣官場清明，反過來說李子雄和漠州大都護宇文述、遼東郡太守燕詢勒索官員錢財、剋扣軍餉。這說明劉休文極可能是元派的喉舌，而李子雄和宇文述、燕詢也捲進了對付關隴貴族的遊戲之中，事情就變得有點複雜了。
宇文述和燕詢還好一些。其中的宇文述早已自絕於關隴貴族集團，其長子宇文化及現在供職於廉政司，並且和蕭瑀、楊恭仁一道，拿下萬多名有桉底的散官和閒官，導致宇文家成了人人喊打的過街老鼠，其處境不比楊集好多少；宇文家如今除了跟着皇族混以外，別無選擇。
燕詢所在的燕家只是關隴貴族一箇中小家族，其父燕榮因爲暴戾被元弘嗣告發被先帝賜死，所以不僅與元氏有殺父之仇，而且沒有什麼勢力可以依靠，加上他娶了楊雄第三女，故而甘心情願、踏踏實實的當起了皇族外戚。
相對於前兩者，李子雄就複雜多了，只因他是趙郡李氏子弟，其族兄李子權更是山東士族的代表，他雖然忠於朝廷、忠於楊廣，可他的出身讓他在考慮問題的時候，先是家族、次之是山東士族、最後纔是君王和帝國。
李子雄作爲幽州刺史，要是在對待元氏的問題上，雜入太多家族、派別的功利之心，而不是認真配合，事情就麻煩和複雜了。而楊集要是不能及時解決元氏漁陽系，繼而會影響到他向遼東進軍的進度。不過好在楊廣任命他爲遼東行軍大總管，授予他先斬後奏之權，光是這兩項，就足以令李子雄老實幾分。
楊廣確認他明白了自己的心思，便將此事放在一旁，話題一轉道：「針對元氏這一事，你要是一時半會找不到入手之處，不妨先去上谷郡遒縣拜會盧氏家主盧赤松，此人乃是已故武陽郡太守盧思道之子。」
說到這裏，楊廣狡黠一笑，續道：「盧氏和元氏爲了爭奪遼西走廊商道主導權，明爭暗鬥多如牛毛。只要你拜會盧氏的時候客氣一些、謙虛一些，盧氏想必很樂意當你的得力助手。」
楊集聽得雙眼一亮，欣喜若狂的直呼道：「這真是剛想瞌睡阿兄就送上了枕頭，若是有盧氏相助，必將事半功倍。」
見到楊集興奮至斯，楊廣亦是十分高興，他忽然想到一事，饒有興致的問道：「金剛奴，聽說你有幾個立下軍功的武婢？」
楊集聞言，心中頓時有些發虛了，他知道楊廣指的是來自楊素所贈的十大武婢。雖然二大武婢的出身並不重要，但重要的卻是楊廣所說的「立下軍功」，這表明楊廣知道他喜歡帶着女人去打仗，若是追究起來，那可是犯了兵家大忌的。
乍一發現楊廣正用似笑非笑的目光看着自己，而不是像是追究的樣子，楊集的膽氣立馬陡壯，以一種平靜的口吻說道：「確實有那麼幾個，庶妃柳如眉、宜人張出塵便是武婢中的一員，她們精擅技擊之術，曾爲我刺探了不少軍情。」
要好用。」
楊集鬆了口氣，好奇的問道：「既如此，那你忽然問這個做什麼？」
楊廣目光詭異的看着楊集，呵呵一笑道：「我沒有別的意思，只是覺得她們既然爲國立功，不得不賞。」
楊集心中大生不妙之感，連忙說道：「她們不在乎的。」
「她們是不在乎，可我在乎。我作爲皇帝，不能賞罰不明。」楊廣一本正經的說道：「可她們終究女的，又是你的人，我也不能讓她們入宮當女官。這樣好了，我給她們每人一個皇家誥命好了。」
楊集乾笑一聲道：「阿兄容稟，小弟我和她們是清白的，我們之間清白得不得了！你要是賜予皇家的封號，那成什麼了？」
楊廣嗤之以鼻，步步緊逼道：「要是你真的跟她們清清白白的，你會走哪兒都帶到哪兒？我且問你，若是我讓你把那幾個武婢送人，你樂意不？你同意不？」
「那肯定不樂意、肯定不同意。」楊集答得十分果斷，於他而言，已經習慣十大武婢的存在，柳如眉和張出塵是他的老婆了，自然不可能送人，但另外八個，他也不可能送人，一是她們知道了太多的祕密，二是、二是他貌似也捨不得。
「這不就對了。」楊廣兩眼一翻，不屑的冷笑道：「我是真的沒看出來，你衛王何時變得這般迂腐了？這身邊的女人嘛，既然喜歡了，那就應當納爲己有，免得日後後悔。出了問題自我這個當家主的來扛着。你究竟在怕什麼？」
說着，楊廣作出一副恍然大悟的模樣道：「哦，我知道了。堂堂衛王閣下是怕媳婦，生恐媳婦打罵，所以不敢納妾。但不是我說你，就你這點鼠膽，如何成就大事？」
皇族最嚴重的問題就是人丁單薄、家族不旺，楊堅五個兒子現在只有楊廣、楊秀、楊諒三人，長子楊勇已死，他的子嗣也被革除皇族、悄悄轉移走了。而秦王楊俊、楊秀和楊諒雖然都有兒子，但是也不多，楊廣本人三個兒子，長子楊昭太胖、楊暕是個問題「兒童」、幼子楊杲剛出生不久。孫子倒是有，但他們實在是太小了，二十年內，都無法負擔重任。
大隋皇族現在出任***者，只有四大親王和楊雄楊達兄弟，以及剛剛被調爲宗正寺卿的蜀王楊秀、調爲民部侍郎的楊恭仁。
如此人丁不旺、皇族***稀少的局面，使大隋處於一種主弱臣強的格局，很不利於江山的穩固。楊廣現在十分希望皇族子弟多娶一些小老婆、多生一些兒子。好使皇族在二十年之內，呈現出人丁興旺、子弟衆多的繁榮景象。
皇族只有人多了，他這個當皇帝的、當家主的，才能從中擇優而仕，大隋江山也因皇族人才輩出得以永固。若是皇族繼續像現在這般人丁不興下去，即便以後稀少的子侄全都是庸才，他也只能使用，但此舉卻不利於江山傳承。