李元吉的妃子是杨雄侄孙女杨氏，相传杨氏肤白貌美，聘聘婷婷，之后被李渊许配给李元吉做王妃，可是在玄武门之变后，杨氏被李世民宠爱，然后生下了皇十四子，后来长孙皇后逝世，李世民想要立杨氏为皇后，因魏征劝阻才断了念头。
李元吉是李渊第四子，也是李世民的弟弟，不过李元吉是拥护太子李建成的，李渊在位期间，李元吉被封为齐王，并将隋观王杨雄的侄孙女赐婚给他，这个杨氏可不是省油的灯，她与李元吉育有五子五女。
李世民发动玄武门之变后，李建成和李元吉相继被杀，为了以绝后患，李世民诛杀李元吉的五个儿子，而杨氏被李世民带进了后宫。
杨氏很得李世民的宠爱，在长孙皇后薨逝后，李世民曾想封杨氏为皇后，好在有魏征的极力阻止，才没有让杨氏母仪天下，而且杨氏还为李世民生下第十四子李明，贞观二十一年杨氏逝世。
