这当然和世家大族们光明磊落、以直报怨的风度截然不同，所以李义府也就得到了笑里藏刀的名声，人称“李猫”，说他像猫一样看上去柔柔的，其实最会害人。
说到底，李义府这些寒门子弟，和长安城的门阀贵族们来自不同的世界，那些含着金钥匙长大的贵人们，何尝会去设身处地地考虑小人物的感受？
但对李治来说，李义府等新贵们的表现大大超出了预期，让他十分满意。当初李治成功将武氏捧上皇后之位后便及时收手，与长孙无忌、来济等人和解，很大一个顾虑便是担心要是把这些宰相们逐出中枢，那就没人来帮他经营这个帝国了。如今李义府可是个宝藏男孩，又懂人情世故，又能揣摩上意，又会吟诗作赋，又会治国理政，有这样一位助手，李治像捡到宝一样高兴，也更有底气去面对那些贞观朝的老臣们了。
只是美中不足的是，李义府私德不行。
后世的很多落马贪官，都是从穷苦的农民家庭出来的，为什么贪污受贿？原因就是“穷怕了”，因为自己穷过，所以对钱财美色有着一种本能的欲望。李义府也有些类似。钱财、美色，哪个男人不爱？只不过以往的勋贵们，本来就家底雄厚，财大气粗，欲望并没有那么强烈，而且就算是揽财，吃相也不会太难看。但李义府的吃相就未免难看了一些，刚刚上位，便在工作的闲暇大肆揽财。比如，他听说大理寺关着的一个名叫淳于氏的女子长得好看，就暗地里让大理寺悄悄把人放了，然后纳她为妾室。这件事情很快被正直之臣发现，闹成了大案。
不过，天子李治还要依傍李义府的才能，便硬生生地把这个案子给压了下去。对李治来说，是否贪污其实并不会损伤自己什么，能够帮他治好国家才是首要的。
这就是李治不如他父亲的地方，他还没有明白，风气的清正也是治理国家的重要一部分。如果皇帝只喜欢能臣，而不重视清官，那朝廷的风气就会自上而下地败坏下去。当初太宗皇帝看重大臣是否正直，靠着明辨是非的慧眼和强大的驾驭群臣的能力，最终成功养成了贞观一朝的淳朴之风，一直延续到永徽朝而没有衰绝。然而这一切到李治亲政之后便有所转变了，那股贞观之遗风，从此开始渐渐地黯淡消散。
羽翼日渐丰满的李治，终于可以对长孙无忌的势力发起总攻了。
显庆二年（公元657年），许敬宗、李义府带头对贞观老臣们发起攻击，声称侍中韩瑗、中书令来济与被贬的褚遂良图谋不轨，有所密谋。虽然这个指控乍一听起来就让人感觉不合理，李治还是认可了许敬宗、李义府的指控，将韩瑗贬为振州刺史，来济贬为台州刺史，终生不得有机会入朝觐见。又将褚遂良继续贬为爱州刺史，那位可怜的前皇后的舅舅柳奭又从容州刺史继续被贬为象州刺史。
顶着谋逆的罪名，却只是被贬官到外地担任市长，可见李治是不信这个谋逆指控的，他只是需要这样一个借口，将这些占着宰相之位、阻挡他获取权力的老臣们请出去。
振州（今海南三亚）、台州（今浙江台州）、象州（今广西来宾）这些地方，虽然此时还没怎么经过开发，但都是风景秀丽之地，荔枝、椰子、香蕉等热带水果随便吃。贬官外放的处罚，主要是让这些宰相们经历贬官就任路上的旅途之苦。褚遂良先贬为潭州（今湖南长沙）都督，然后转为桂州（今湖南桂阳）都督，接着再贬为爱州（今越南清化）刺史，这就要经历三次旅途颠簸，忍受南方的蚊虫瘴气，还有大得吓人的蟑螂。旅途中的褚遂良上表给天子，陈述自己当初含辛茹苦拥立李治为帝的经过，请求皇帝念在自己的功劳，给予自己宽大。
只是这封表奏几经辗转送到了李治的案前，李治翻也不翻，就把它放到了一边。
皇帝的态度已经很明显了，将褚遂良、柳奭等人送出去，只剩长孙无忌一个人孤零零地待在长安。长孙无忌再也没有什么依傍，他要独自面对皇帝、皇后还有朝廷新贵们的暴风骤雨。
从“废王立武”之后，长孙无忌消失在了朝廷日常理政的记录里，连韩瑗、来济被贬，他也不发一言。直到显庆三年（公元658年），他终于再次现身，这三年他没有闲下来，而是组织团队，将朝廷礼制重新编订成册，献给皇帝。李治于是下诏，将这部《显庆礼》昭告天下。
古人说的“三不朽”，是立德、立功、立言。三十年前，长孙无忌在玄武门之变立下大功，帮助太宗上位；永徽朝的这六年，他又成功帮助李治和平地接掌大权，并创下了“永徽之治”的功业。但这些功业也许几年之后便如过眼云烟，长孙无忌的权力也很快随着李治权力的扩张而消散。
只有长孙无忌主编的这些著述，将会流传千百年，成为他留给时代的不朽献礼。几年前的《永徽律》和《唐律疏议》，是律令体系的集大成者，堪称“长孙无忌法典”，影响了大唐以及东亚的朝鲜、日本等国千余年。而这一部《显庆礼》，也是后世君臣行事的依据，影响非凡。
长孙无忌自己也看开了，和这些不朽之事相比，长孙无忌个人的荣辱已经算不上什么。
三十年前，他的妹妹长孙皇后曾力劝太宗，不要重用当时就已经担任左仆射的长孙无忌，甚至在她临终时还反复嘱咐太宗，这不仅是因为当时朝野舆论的压力，或者是担心作为外戚身处擅权的嫌疑，更是因为长孙皇后太清楚自己兄长的性格了。长孙无忌的忠心、才干，都是世间一流，只不过在军事上的技能点没有点开，他唯一的弱点，也在于他强势的性格——进退自如是做人的一种境界，而长孙无忌只知进，不知退，他和大多数人一样，掌握了权力之后，往往以为自己就是权力本身。殊不知，作为外戚家族，他的权力来源于皇帝，如果失去了皇帝的支持，他的权力也就转眼变成了没有根基的楼台。