在朱棣登上皇位后，姚广孝白天辅佐朱棣，尽人臣之事，晚上修佛养性，行僧侣之职 。姚广孝虽仍参与朝务，但一直居住在寺庙里，过着非常清贫的生活 。
“靖难之役” 后的姚广孝，低调内敛，毫不张扬，其白天上朝，晚上依然与青灯古佛作伴。对朱棣的赏赐，大多拒绝 。金银财宝，也都散给宗族。所以，姚广孝也得了 一个 “ 黑衣宰相 ” 的称呼 。
世人俗称其为“黑衣宰相”。其虽无宰相之名，但有宰相之实。
奇才：编纂《永乐大典》设计永乐大钟
永乐十六年(1418年)三月十八日，姚广孝病逝于庆寿寺，享年八十五岁。这在古代可算得上是老寿星，死后被皇帝葬在了今天房山区的常乐寺村。