버림받은 황비, 그녀가 공작저로 가야했던 사정