有人觉得裴炎不是忠臣，因为他支持武则天废黜中宗李显，做出了对李氏不利的事情。其实裴炎反李显，只是因为他觉得李显身为皇帝能力太低，他并非反李氏。此后武则天想建武庙，已经有了越界的苗头，裴炎更是全力反对，他内心其实是希望李氏的根基不被动摇的。那裴炎和李显到底有何矛盾呢?只能说李显缺乏智慧，但凡他有自己母亲一半的能力，也不会被弄得如此狼狈了。
唐中宗李显第一次当皇帝，只当了55天，就被他的母亲武则天给废掉了。这件事，可以说集中体现了李显在政治上的不成熟，他确实不是一个能干大事的君王。
唐高宗李治去世，李显继承了皇位。当时，他应该集中对付的，是他的母亲武则天。因为他父亲李治当皇帝的时候，武则天一直把持朝政，什么事都是武则天做主，李治就负责昏昏欲睡。因此，李显上台后，做主的一定是他的母亲武则天。但是，李显却把政敌搞错了。
李显一上台，就把他的妻子韦后的父亲韦玄贞提拔起来。韦玄贞最早只是一个小小的普州参军，李显把韦玄贞提拔为豫州刺史，接着又把韦玄贞提拔为侍中，也就是说，已经提拔为宰相了。这件事，遭到了中书令裴炎的极力反对。
为什么裴炎会极力反对呢?因为裴炎是宰相，李显把韦玄贞提拔为宰相，明显就是和裴炎争权。于是裴炎表示反对，他反对的理由有两个：一是提拔得太快了，让天下人不服;二是韦玄贞作为李显的妻族，这种做法也容易被人说成是任人唯亲。
李显对裴炎的反对非常生气，他说，我就是把天下给韦玄贞，也没有什么不可以，何况是一个侍中。裴炎把李显没法，于是就把这句话报告给了武则天。武则天对于李显说的这句话大为生气，于是就把李显废为庐陵王，把李显的弟弟李旦提拔起来当皇帝。
前面我们说了，他的政敌应该是武则天，而不是裴炎。事实上，为了扳倒武则天，他反而应该依靠裴炎。为什么说要依靠裴炎呢?
从后来裴炎的表现，我们可以看出，裴炎是不支持武则天当政的，他拥护的是李唐，他在情感上与李唐是割舍不下的。
同时，裴炎是李治选定的顾命大臣，位高权重，在朝中的势力是非常强大的。李显仅凭自己，根本不是武则天的对手，只有依靠裴炎，才可以与武则天抗衡。
而他没有这样做，反而把岳父韦玄贞提拔起来。
提拔韦玄贞有两个坏处：一是把自己变成了裴炎的对立面，二是让武则天找到了上位的借口。
提拔韦玄贞，让裴炎非常不满。裴炎不满，他斗不过李显，因此要找盟友，于是他做了最坏的打算，把武则天拉进来。
事实上，裴炎也知道，把武则天拉进来，对李唐江山是不好的。但是李显要把他搞下台，所以他实在是没有办法，所以才用下下策，拉武则天入伙。
而武则天呢，本来想要深度介入朝廷，一时找不到更好的办法，李显把韦玄贞提拔起来，裴炎来告给她听，她高兴得不得了，立马就重新出山，把李显废为庐陵王，然后把听话的李旦提拔起来，武则天顺理成章掌控朝中大权。并为她最终当皇帝，做好了过渡。
事实上，李显这个人，一生政治上都非常不清醒，一生都在被人利用，尤其是被他的妻子韦后利用。
也许李显确实与韦后有深厚的感情，毕竟他们在长期岁月里，属于是患难夫妻。但是个人感情，怎么能够取代政治谋略呢?
后来李显在张柬之等人的拥戴下，发动了神龙政变，推翻了武则天，李显当了皇帝。李显这时候，再一次犯了政治上的错误，他没有想过要重用那些拥戴李唐江山的大臣。事实上，那些拥戴李唐江山的大臣，对李显来说，是一笔宝贵的财富。因为这可以意味，李显是在拨乱反正。
从武周江山变成李唐江山，确实需要一个拨乱反正的过程。让天下老百姓，让朝中大臣，重新确立李唐为正统的意识，维护李唐统治。
然而，李显在当了皇帝以后，却竟然又开始重用自己的妻族和母族，朝中大小事情，都拿去和韦后以及武三思商量，这实在是一件非常奇怪的事情。李显不是拨乱反正，他是继续添乱!
由此，又造成了他的儿子李重俊对韦后家族以及武则天家族的不满，发动叛变。他没有站稳立场，反而帮助韦后把他的儿子拿下。
也就在这个过程中，李旦的儿子李隆基趁机发动政变，从而实现了权力从李显家族到李旦家族的完美转移。
总之，李显一生都不是一个清醒的人，不是一个聪明的政治家，所以他才造成了那样悲剧的结局。