雖然獲得巡察二十三郡軍府的權力，不過宇文述並不是太高興，一切是因爲個使命的壓力實在是太大了，他知道這個權力乃是楊廣給他重新爬起的機會，同時也是一條捷徑；從這一點上說，楊廣仍舊信任他這個從龍之臣、親家。而之前的免官罷黜，只是就事論事、依法辦事、過去就過去了；楊廣的重情重義，宇文述心中十分感動。
但是楊廣給予他的這條捷徑，同時也是一場嚴峻的考驗；要是他能夠如皇帝之所願，把此事辦得圓圓滿滿、妥妥當當，那麼他不但可以迴歸中樞，甚至還能成爲議事堂宰相之一；可是他如果再一次把事情辦砸了，他這輩子就完了。這不是他說沒有再次復出的機會，主要還是歲月不饒人，年過花甲的宇文述擔心自己鬥不過不多的時日。
今年，宇文述已經是六十二歲了，如果再把軍改後續的「軍府撤併」辦砸，問題將比之前更嚴重、受到的懲罰更重、復出所要的時間更久，而他都這個歲數了，哪能等到復出之日？就算等得到，可他未必還有進入中樞的陽壽。
接下來，他所要徹查的二十三個郡軍府，不但有着自上而下、自上而上、方方面面的壓力，還有時間要求，最後還不能失敗；如果再把歲月給他施加的緊迫感算上，他肩上的壓力可想而知。
也正是基於這些壓力，以及迴歸朝堂、入主議事堂的野望，促使宇文述前來找楊集。
兩人聊完沒有意義的戰事，楊集杴想到一事，向宇文述說道：「大將軍，朝廷上次冊封有功之將時，聖人給我寫了一封信，他說以前的許多俊傑空有縱天之才、凌雲之志，卻無報國之門，但是科舉出現以後，他們都有步入仕途的途徑，而朝廷也因此得到了更多優秀的人才。而後，他說士及文武雙全、品行端正、見事敏速、性甚慎至，然而這樣一個近在遲尺的人才，卻被他疏忽了。」
在宇文述三個嫡子當中，唯有次子宇文士及德才兼備；宇文述在平陳之戰立下大功、其所溢出的功績被先帝加封到次子士及身上；後來不僅賜爵新城縣公，而且因爲受到先帝賞識，迎娶了時爲晉王的楊廣嫡長女爲妻，楊廣登基爲帝后，封他爲駙馬都尉、殿中省尚輦局奉御。
尚輦局主管皇帝出行的車輦、傘扇，主官的名稱與其他五局同樣是叫奉御，官階正五品下；由於是六局掌宮廷衣、食、住、行、醫，所以能在六局當官的，都是天下近臣。如果宇文士及是一個才幹平庸的人，當這個尚輦局奉御自然天大的好事，可他才華橫溢、有名臣之姿，他在尚輦局完全就是大材小用。
而宇文述如日中天之時，做夢都想把宇文士及「外放」，好讓次子有施展才華的舞臺，並且爲日後晉升積累政績和資歷，然而駙馬這層身份，卻把宇文士及限制得死死的。這倒不是說是駙馬不能外出爲官，而是楊廣夫婦特別疼愛南陽公主，不忍心讓他們夫婦分開。
聽了楊集此話，宇文述心中頓時又驚又喜，他知道以楊集如今的身份，絕不會擅自拿聖人來騙自己，要是聖人啓用次子、讓次子外出爲官，這可真是天大的好事啊！但是楊集隨後的一句話便又讓他心涼半截。
宇文述臉上的笑容變得苦澀了起來。
誠然，安東都護府異常偏遠、苦寒、貧窮，高句麗的殘餘勢力日後甚至還有可能發動叛亂，但底子越差的地方越容易做
出耀眼成績。次子要是能夠來安東都護府任職，哪怕是當通守、司馬、長史、六曹主官，都比京城那個奉御好。
以宇文士及之才化來說，只要他能在這裏當上一屆官員，一定迸出令人驚豔的光華，即便條件不好，宇文述也能自掏腰包、幫助兒子。
然而、然而宇文士及是駙馬，皇帝皇后哪能讓自己的女婿來這兒「受苦」？
宇文述嘆息一聲，說道：「多謝大王提醒，只是大王忽然提到士及，不僅是這麼簡單吧？」
「我始終認爲過度的保護、寵愛，對於士及這樣的人才，實非好事！」楊集向宇文述說道：「你看李敏那樣的人，都去涼州當官了，而且還做得不錯，如果換成士及，定然更好。」
「末將三子，化及和智及不成器，做了許多荒唐荒謬之事，誠然很令人失望；然，他們兄弟二人主要是品德不端，多少還是有一點才華、一點本事。至於李敏，嘿嘿，連做壞事的本事都沒有……」宇文述冷笑一聲，不屑的說道：「呵呵，李崇乃是令人仰慕的英雄、忠烈，然而虎父生了一個扶不起的犬子，要不是娶了樂平公主之女爲妻，他連當個縣令的資格和本事都沒有。」
楊集聽得暗自驚訝無比，他記得當年一起從涼州還朝之時，李敏一口一個「舅舅」的叫宇文述；而宇文述也表現得十分親近，甚至在軍改之時，還把李敏拉入了自己陣營。
怎麼現在，宇文述變得如此的激憤了？
想了想，楊集好奇的問道：「大將軍，李敏乃是申國公李渾之侄，而申國公是大將軍的妹婿，你們應當是親戚……」
「我沒有這種白眼狼親戚！」宇文述忽然暴怒了起來，頗爲失態的打斷了楊集的話，他深吸一口氣，說道：「大王，末將有皯失態。然而大王有所不知，當初軍改失敗、鄙府慘遭叛軍攻克，隴西李氏可謂是首當其功，我宇文家與隴西李氏不共戴天。」
說到最後，宇文述臉都扭曲了。
李渾是他妹婿、申國公李穆第十子，當年尉遲迥造反之時，李穆的第五子李榮勸其造反，但是李穆不爲所動，令李渾把尉遲迥使者押送回京，表示堅決支持楊堅平叛，尉遲迥叛亂被平定後，李渾受封爲安武郡公、上儀同三司。
開皇六年，李穆病逝於大興，申國公之爵由長孫李筠繼承，然而李筠卻遭到堂弟李善衡殺害，身爲最小的李渾想謀取這申國公之爵，他找上太子（楊勇）左衛率內兄宇文述，只要宇文述幫他牟取到父親傳下來的爵位，他每年把一半俸祿給予宇文述。
宇文述便向楊勇說「立嗣以長，不則以賢。今申明公嗣絕，遍觀其子孫，皆無賴，不足以當榮寵。唯李金才（李渾字）有勳於國，謂非此人無可以襲封者。」