袁天罡的传说有很多。

相传，唐太宗李世民召见袁天罡，对其术数之精奇深奥，大为称赞，并问他：“古有君平（汉朝严君平，术数大师），今朕得卿，何如？”

袁天罡回答说，严君平是生不逢时，臣要比他强得多！

李世民让他为贞观重臣看相，所预测后事无不准确。

这还不算什么，这货比较出名的，是与李淳风写了中华预言第一奇书，推背图！

相传，唐太宗李世民为推算大唐国运，下令当时两位著名天相家袁天罡和李淳风编写了中华预言第一奇书《推背图》。

李淳风用周易八卦进行推算，没想到一算起来就上了瘾，一发不可收拾，竟推算到了唐以后中华两千多年的命运，直到袁天罡推他的背，说道：“天机不可再泄，还是回去休息吧。”

这才停止推算。

因此这本预言奇书得名《推背图》。

《推背图》共有六十幅图像，每一幅图像下面附有谶语和“颂曰”律诗一首，预言了从唐开始，发生在历史上的主要事件。

《旧唐书·方技》记载袁天罡最著名的相术传奇事迹是为女皇武则天看相。

当武则天还在幼年襁褓中，袁天罡一见到武则天的母亲杨氏便吃惊地说：“夫人法生贵子！”

武则天的母亲便把两个儿子武元庆、武元爽领出让袁天罡相面，可是袁天罡一看说可以官至三品，只不过是能保家的主儿，还不算大贵。

杨氏又唤出武则天的姐姐（后封韩国夫人）让袁天罡相，袁天罡称“此女贵而不利夫！”

最后由保姆抱出穿着男孩衣裳打扮的武则天，袁天罡一见襁褓中的武则天大为震惊，说她“龙瞳凤颈，极贵验也！”

但又遗憾地说：“可惜是个男子，若是女子，当为天下主！”历史进程已被他提前言中。