可以说刘秀建立后汉后，天下兵戈四起，甚至达官显贵的安全也得不到保障。建武六年刘秀赐给隗嚣的财宝竟在运送途中被偷走，由此可见当时治安之混乱。
建武九年，毗邻京师洛阳的颍川和河东两郡发生变乱，叛军和盗贼四起。此时阴家因为富比王侯而成为了盗贼眼中的目标。阴丽华的母弟被贼人劫持，在官府的捉拿时，被盗贼杀害。实际上，两汉民风彪悍，东汉安帝、顺帝时期，法治松弛，盗贼甚至劫持王公大臣作为人质勒索，就更不用说天下未定的东汉初年。
这令刘秀感到甚为悲伤，为了安慰阴丽华，刘秀下诏给大司空说：“朕微贱之时，娶于阴氏，因将兵征伐，遂各别离。幸得安全，俱脱虎口。’以贵人有母仪之美，宜立为后，而固辞弗敢当，列于媵妾。朕嘉其义让，许封诸弟。未及爵土，而遭患逢祸，母子同命，愍伤于怀。《小雅》曰：‘将恐将惧，惟予与汝。将安将乐，汝转弃予。风人之戒，可不慎乎？其追爵谥贵人父陆为宣恩哀侯，弟欣为宣义恭侯，以弟就嗣哀侯后。及尸柩在堂，使太中大夫拜授印绶，如在国列侯礼。魂而有灵，嘉其宠荣！”
皇妃家眷遇害，皇帝下诏安抚，也在情理之中，但皇帝的诏书却偏重于强调自己不忘与元配的患难之情。最重要的是，在立郭圣通为后七年之后，刘秀再次旧事重提，诏书很直白的说拥有“母仪之美”的阴丽华才是皇后的最佳人选，而郭皇后能成为皇后，完全是贵人阴丽华“固辞”的结果，也是在暗示，给阴家的一切待遇都是阴丽华理所应当、不容置疑的。
而且，当时天下未平，很多功臣还没有封地（刘秀大封功臣外戚是在建武十三年），刘秀以阴丽华曾固辞后位的缘由，给阴家兄弟封爵，西汉只有皇后外戚才能封侯，而且也不可以太多。王政君为太后时，因其家封了五个关内侯备受诟病。而此次刘秀将阴丽华的兄弟先于功臣封侯，对于那些在前方打仗拼命还未得到封赏的将军士兵眼中，不啻于极大的恩宠。
公元37年刘阳十岁之时摸着他的头说“吴季子”，此言更是引人遐想。吴季子是吴王寿梦的第四子，本来没有资格继承皇位，但寿梦却希望他继承，于是他的哥哥纷纷辞让储位，希望他即位，他却推却了。
联系阴丽华和阴家兄弟让后、推让爵位的举动，不难看出，刘秀希望刘阳能够继承大统，却又担心他受母族谦让的家风影响，不肯接受父亲的一片苦心。而十岁稚龄便通晓春秋的刘阳，却毫无所惧，以一句“愚戆无比”评价吴季子的行为，也向父亲表明了自己当仁不让的态度。
公元33年，郭皇后已经完全失宠，被刘秀疏远。尚书令申屠刚在任期间多次谏言让郭圣通所生的太子刘疆就东宫，却被刘秀拒绝，并最终把申屠刚贬黜出京。
公元37年，蜀地平定后，刘秀大封功臣外戚，但其中却不包括郭圣通的外戚族人，其弟郭况直到建武十四年（38年），才升任城门校尉。建武十五年（39年），阴氏和刘秀的母族樊氏增封，却没有包括郭圣通的弟弟郭况。而刘秀封皇子为公，阴丽华的长子刘阳封东海公，东海国据二十三县，为诸子之中最大的。[65-66]郭圣通因为日渐失宠，她的外戚也始终不像阴家兄弟那样受到刘秀的亲信和重用，因此越来越对刘秀感到怨恨和不满。
建武十六年（40年），刘秀度田，收到一片简牍，写到“颍川、弘农可问，河南、南阳不可问”，东海王刘阳在朝堂上当众揭露，这是因为”河南帝城，多近臣，南阳帝乡，多近亲，田宅逾制，不可为准。“[67]，刘秀由此加大了度田的核查，并杀了十余个郡守。[68]在平定了度田引发的叛乱之后，刘秀将叛乱的魁帅严厉处罚，迁往他地，度田成为东汉定制，社会恢复了安定，形成了牛马放牧，邑门不闭的大好局面。
而刘秀在经过“退功臣进文吏”，削弱了朝堂上功臣的影响力，让他们安享富贵，不过逢年过节入朝觐见而已。[70]又经过“虽置三公，事归台阁”极大的加强了皇权，将权柄牢牢握于手中。经过度田，打击了地方豪强势力，在度田中杀了不少郡守，震慑了朝堂，在执政风格上“严猛为政”，做到了“总揽权纲”，此时他已经能够控制废后易储，国本动摇造成的政治影响。
建武十七年（41年），也就是在天下平定四年之后，刘秀决定废皇后郭圣通，立贵人阴丽华为后。刘秀认为她心怀怨恨，对她性情的评价是像“鹰鹯”、无后妃之德，认为她在自己死后不会善待阴丽华母子；而阴丽华是原配，与自己情深意重，应该侍奉宗庙，居国母之位。因此在国家政局稳定之后，便开始行废立之事。西汉废后之后立新后，间隔少则半年，多则两年，但因郭圣通生有五个嫡子，郭圣通被废之后，刘疆仍然可以以长子身份合法居于太子位之上。为了解决这个问题，刘秀将废立皇后同时进行。并强调因皇后失德而导致中宫异位，进而致使国本动摇，是异常之事，不是国家之福，因此不得庆祝。将废后引起的政治动荡减到了最小。