凡与其有过节者，杨素定会百般为难，大小必报。次年隋文帝在岐州之北建仁寿宫，令杨素总督监造工程。杨素奏请莱州刺史宇文恺检校将作大匠，记室封德彝为土木监，遂夷山堙谷以立宫殿，崇台累榭，宛转相属。又役使严急，丁夫多死，疲屯颠仆，推填坑坎，覆以土石，因而筑为平地，死者以万数。役夫死者相次于道，杨素悉焚除之，其残暴程度令人发指。隋文帝至仁寿宫，见宫殿如此奢华，对左右大怒道:“杨素殚民力为离宫，为吾结怨天下！”杨素闻言惶恐无比，便向封德彝请教。封德彝为人邪辟，多阴谋，便使杨素于北门拜见独孤皇后，请为讲情。次日隋文帝果召杨素问之，独孤皇后则在傍道:“杨公知我夫妇年老，无娱乐所，故盛饰此宫，岂不谓忠孝乎？”文帝惧内，则杨素不但无罪，反被赐钱百万，锦绢三千段。杨素恃财凌物，对众人多有凌侮，唯重赏封德彝，视作心腹，并荐为内史舍人。
自开皇初年起，五胡既灭，突厥独盛。隋文帝纳长孙晟之谋，一直对突厥施用离间，使其各部长期混战不休。开皇十七年，隋文帝许都兰可汗之弟突利可汗娶安义公主为妻，并故意予以优厚礼遇，借以离间都兰可汗。都兰可汗果被激怒，乃断绝朝贡，多次骚扰隋边。开皇十九年二月，突利可汗奏报都兰可汗制造攻城器械，准备攻击大同。隋文帝命杨素出灵州，尚书左仆射高颎出朔州，上柱国燕荣出幽州，三路进击突厥。都兰可汗得知隋军来攻，便与达头可汗结盟，合兵掩击突利可汗。杨素军在灵州以北与达头可汗部遭遇，尽弃步骑在内、车阵在外传统保守阵法，依鬼谷门兵法所传，下令各军摆开骑兵阵势，对阵突厥。达头可汗闻之大喜道:“此乃天助我耶！”并下马仰天而拜，复飞身上马，率十余万精骑直扑隋军。隋将周罗睺见突厥阵形不整，乃请令率精骑迎击，杨素指挥大军随后继进，大败突厥，达头可汗带重伤逃跑，其众死伤不可胜数，号哭而去。另一路隋军在高颎率领之下，亦大破突厥，都兰可汗败逃，后被其部下所杀。隋军追过白道，越秦山七百余里，尽驱突厥还归大漠，然后勒石记功，振旅还师。杨素在此战中敢弃陈旧车、骑、步互相卫护之保守阵法，大胆使用骑兵突击取胜秘诀，再显鬼谷门奇术通天，非同凡响。隋文帝下诏褒奖，赐杨素缣二万匹，及万钉宝带。加其子杨玄感位大将军，杨玄奖、杨玄纵、杨积善皆为上仪同。
杨素有随机应变之谋，制军严厉有序，犯军令者立即斩首，绝不宽容。每次多者百余人，少不下十数人，以至流血盈前，而杨素言笑自若。两军对阵时，杨素每先令一二百人迎敌，如不胜败逃，无论多少，全部斩首。然后再令二三百人迎敌，不胜则照杀不误。故部下对其极其敬畏，作战时皆抱必死之心，所以战无不胜，杨素亦因部下鲜血浸染，被称为世之名将。杨素受宠，故随其征战将士微功必录，而其他将领虽有大功，皆被文官谴却。杨素虽严厉凶狠，但能恩威并施，将士皆愿随其征战。开皇二十年四月，突厥步迦可汗率兵进犯隋边，隋文帝命杨素随晋王杨广出灵州，同时又令汉王杨谅、柱国史万岁出朔州，合击步迦可汗。杨广为培植势力，亲与杨素结交，杨素也知杨广有夺位之心，遂投其门下。仁寿初年，杨素接替高颎任尚书左仆射，又拜为行军元帅，前往云州攻打突厥，连连破敌。突厥逃跑，杨素率骑兵紧追不舍，亲带两名骑兵及突厥二降卒潜入敌阵，同敌一起前行，无人发觉。待突厥停宿屯驻之际，杨素忽密令骑兵突袭，大败敌军。从此突厥人远逃，碛南再无踪迹。
杨素日益显贵荣耀，弟杨约、叔杨文思、杨文纪及族父杨异皆为尚书，位列公卿。诸子虽无汗马之劳，也都官至柱国、刺史。家童数千，后院披罗挂绮乐妓小妾也以千计。府第华丽奢侈，规模体制摹仿皇宫。杨素内外亲戚及旧日部属，皆位列清静显要之职，其个人显贵，南北朝以来无人可比。朝臣之中有违犯杨素者，如贺若弼、史万岁、李纲、柳述等一班忠臣，皆被其中伤，自此朝廷内外皆惧。兵部尚书柳述、大理寺卿梁毗弹劾杨素作威作福，隋文帝于是疏远杨素，剥夺其权。仁寿四年，隋文帝病重，杨素与兵部尚书柳述、黄门侍郎元岩等人入宫侍候。皇太子杨广住在宫内大宝殿，与杨素以书信勾结谋位，信使误送帝宫。
隋文帝见信大怒，又闻宠妃陈贵人说杨广无礼调戏，乃决意废立，召见废太子杨勇。杨素假传圣旨派东宫士兵入卫，出入皆由宇文述、郭衍决定，又命张衡守候隋文帝，帝命乃不得出。隋文帝驾崩，杨广登基。汉王杨谅起兵反叛，命蠕蠕天保占领蒲州，