后来因为与蔡京权势互相倾轧，加之一些人从中挑拨，于是父子失和，反目为仇。而赵官家倒也乐见其成，对蔡攸更是宠幸，更另赐蔡攸府第。据说蔡京二次罢相时，有一次蔡攸到蔡京的府第，正赶上蔡京与客人谈话，蔡京让客人稍候，只见蔡攸一进来就急着上前抓住蔡京的手做诊脉之状，说：“大人脉势舒缓，有什么不舒服的地方吗？”

蔡京便说：“没有不舒服的地方。”

于是蔡攸又说：“宫中还有要事，我先回去了。”

说罢转身就走了，蔡攸这般来也匆匆，去也匆匆，把客人弄了个丈二和尚——摸不着头脑，就问蔡京：“公子为什么不多停一刻呢？”

蔡京无可奈何地说：“你一定不明个中缘由，这个逆子是想因为我有病而罢了老夫啊！”

结果过了没几天，赵官家果然下诏命蔡京致仕。

甚至，坊间还传言蔡攸因四弟蔡眥受父亲蔡京钟爱，就曾多次向赵官家请求杀蔡眥，不过这般无凭无据，最终也就不了了之。

还有就是，这蔡攸受赵官家宠幸之甚，古来也不曾多见，因此有关他与赵官家的私密逸事，坊间也是传言甚多。比如说，坊间便传言，蔡攸为了取悦官家，竟与王黼参与宫中秘戏。身穿短衫窄裤，涂脂抹粉，混杂于倡优侏儒之中，口说市井放浪之语，丑态百出。其妻宋氏，更是可以自由出入禁掖。

甚至，传言蔡攸向官家进言，谓人主当以四海为家，太平为娱，及时行乐。结果深信其言，在修建艮岳至于，还将宫中苑囿仿照江浙之地建成村居野店，聚珍禽异兽于其中，每至秋风夜静，禽兽之声响彻都城。

好吧！这些传言，既有不实之处，也有一些事情是真的，比如说在艮岳里修建皇家动物园这事，黄杰便是知道的，倒也不是蔡攸撺掇，而是林灵素那厮提议！

不过，话说回来，虽然如今蔡攸与其父蔡京明面上势同水火，但他对于蔡鞗这个五弟到时没有什么恶感，虽然二人不是一奶同胞，但蔡鞗从小与他也算亲近，以此兄弟二人也还唯有翻脸。