“设置四方馆就是为了服务官员，朕安排您住进来，是为了国家考虑。如果可以，朕恨不得让您住进宫里，您不要推辞！”
尽管姚崇是一代贤相，但在家庭教育方面却有不足之处。他的儿子姚彝、姚异广交宾客，招权纳贿的行为受到了舆论的批评。此外，中书主书赵诲因接受胡人贿赂而被揭露，虽经姚崇极力营救，但唐玄宗对此非常不满，在赦免京城罪囚时特地注明将赵诲流放岭南。这使得姚崇感到忧惧不安，数次请求辞去宰相职务，并推荐广州都督宋璟继任。最终，在开元四年（716年）十月，姚崇被罢免了宰相之职，改任开府仪同三司。即使如此，唐玄宗对姚崇仍然极为尊重，让他五日上朝一次，遇到重大政事也专门征询他的意见。
到了开元八年（720年），唐玄宗封姚崇为太子少保，但姚崇因病未能接受这一职位。开元九年九月初三日姚崇病逝，终年七十二岁。他去世后，被追赠为扬州大都督，谥号“文贞”或“文献”，显示了朝廷对其一生贡献的高度评价。
即便在姚崇去世多年之后的开元十七年，唐玄宗再次追赠姚崇为太子太保，以表彰他对唐朝的卓越贡献。姚崇的一生不仅体现了他在政治上的远见卓识和改革精神，同时也反映了他在个人生活中的某些遗憾，如子女教育问题，但这并不影响他作为一代名相在中国历史上留下的光辉形象。
喜欢大唐帝国的辉煌与变迁请大家收藏：(m.zjsw.org)大唐帝国的辉煌与变迁爪机书屋更新速度全网最快。