太后武曌移居上阳宫后不久，李显曾去看望他的母亲，并为太后加尊号为则天大圣皇帝。从此之后，“则天”成了武曌的尊称，世人都开始称她为“武则天”。当李显在寝宫亲眼见到病榻上的母亲时，他惊讶地发现，太后仿佛一夜之间变老了。

武则天曾是一个绝世美女，尤其注意护肤养颜，梳妆打扮之后，外表看起来绝对比实际年龄要年轻得多，八十多岁了，却一点显不出衰老。但失去权力后的武则天，整个人仿佛失去了延缓岁月的魔力，一下子没了精气神，也不再化妆。李显见到武则天时，看她又苍老，又憔悴，惊得说不出话来。

看着自己的儿子，武则天哭泣着说道：“当初我把你从房州接到神都来，原本就是要把皇位交给你的。谁想到张柬之他们五个国贼，贪图拥立新君的功劳，竟把我逼得如此窘迫。”说着说着，已经泪湿满襟。

李显听了，百感交集，只能陪着他老娘一起难过地大哭。这个想法原来就一直萦绕在李显的心头，如今在太后这里得到了验证。太后的话说得再明白不过了，不久前的那场政变，其实根本没有必要，无论那次政变有没有发生，武则天都会把皇位传给他这个太子，李显只要耐心地等下去就可以了。事实上，李显当初也是这么打算的，直到张柬之等五人突然亮出了“抽屉计划”，把打倒张氏兄弟变成了打倒女皇，硬赶着他一步步夺取了帝位。

如此看来，李显并没有从这次政变中拿到什么好处，张柬之的五人小组只是把本就属于李显的皇位提早递到了他手上，还让李显落下个逼宫亲妈的道德污点。而这个五人小组，则成了恢复李唐社稷的大功臣。张柬之、桓彦范、敬晖、崔玄暐、袁恕己，都晋升为同凤阁鸾台三品的宰相，把持朝中大政，李多祚赐爵辽阳郡王，王同皎为右千牛将军、琅邪郡公，李湛为右羽林大将军。

李显的心态崩了，听完武则天这番话，他算是看明白了，自己原来是个工具人，一个五人小组借以上位的工具人。李显自从上次被废之后，大部分时间都流放在房州，即使几年前被武则天召回，立为太子，也同样被小心地看着，没有什么参与政事的机会，除了他的东宫班底，朝中基本上没有什么自己人，此时他坐上帝位，却发现自己根本没有什么实权。初登帝位时的喜悦，渐渐转化成了对别人的愤懑。

知子莫若母，失去权力的武则天依然是辣手之人，她找准了李显的性格弱点，只是哭着说了一番话，就在李显的心中种下了猜疑的种子。这颗种子将会渐渐地生根发芽，最终如她所愿地为张柬之等人送去杀身之祸。

李显年轻时本是一个飞扬跳脱的人，人们说他像太宗皇帝，不只是说他的样貌，也因为他像太宗一样有着激情的性子。当然李显比不上他天才般的爷爷，他做事情总是急躁冒进，这也让他第一次当皇帝就吃了大亏。一上台就急着让他的岳父韦玄贞做宰相，打破了他父亲高宗生前精心设计好的平衡。

爷爷太宗皇帝发动的玄武门之变仿佛一道魔咒，深深影响着日后李唐皇室的权力游戏，同时也影响着李显的心态。他与曾经是太子的哥哥李贤向来不对付，关系时常很紧张，李贤的倒台或多或少与他有些微妙的关系。章怀太子李贤当时是在左金吾将军丘神勣奉令逼迫之下自尽而死的，而丘神勣奉令从洛阳出发的时候，正是李显在位期间。世人大多认为，章怀太子被逼自尽是源于武则天当时的授意，但其实最有动机、也最有机会下达清除前任太子指令的，恰恰是李显。然而李显下达指令之后不久，他自己猝不及防地被母亲废黜，后世之人因为武则天的种种行径，想当然地把章怀太子被害的锅扣在了她身上。

李显人生中最大的坎，就是在房州流放的这十几年，这些日子里，他每日每夜心惊胆战，生活在恐惧之中。他心里有鬼，害怕自己被罢黜之后，落得和章怀太子一样的下场。沉重的压力，让这个原本跋扈跳脱的年轻人变得懦弱卑琐，时而风声鹤唳、疑神疑鬼，时而偏执地怀疑猜忌。

他唯一信任的人，只有妻子韦氏。武则天即将改唐为周的时候，酷吏当朝，告密之风盛行，天下笼罩着白色的恐怖。每当有神都的敕使来到房州，李显便害怕得想要自杀，而这时，妻子韦氏握着他颤抖的手说，“祸福无常，再坏也不过是一起死而已，何苦要先自寻短见？”韦氏知道李显想自杀是为了保全妻子儿女们，所以她义无反顾地支持丈夫，同甘共苦，成为他的精神支撑。李显也将妻子视为最信赖的人，没有之一。在他人生最低谷的时候，李显向妻子许诺：要是有一天可以重见天日，他一定会让她随心所欲，不用任何东西束缚她。

等到李显再次成为大唐的皇帝，韦氏立刻被重新封为皇后，不仅有锦衣玉食侍奉，上朝时还让她垂帘听政，朝中大事也都和她商量。

神龙年间的政局，对李显非常不利，作为几年前突然被接回神都的“空降太子”，他并没有什么实权，但朝中的各个势力都有极大的影响力。