杜牧一共娶过两个老婆，她们分别是裴氏和崔氏。其中裴氏是杜牧的结发妻子，她是郎州刺史裴偃的女儿，家庭条件十分显赫，和杜牧在一起也算是门当户对，而且两人婚后的感情一直都很甜蜜。
裴氏和杜牧的婚姻没能走到最后，裴氏陪伴杜牧没有几年就去世了。裴氏为杜牧生了三个孩子，其中有一个儿子刚出生不久就夭折了，这也让裴氏的性格开始变得很内向。没过多久，裴氏也离开了人世。
后来杜牧又娶了第二位妻子崔氏，不过在历史上对于崔氏没有过多的记载，不过崔氏的家庭条件也很不错。杜牧当时是在一次朋友举办的笔会上认识的崔氏，当时便对她一见钟情，于是杜牧开始追求于她。
崔氏嫁给杜牧以后，两人的感情也十分恩爱。杜牧对家庭、对家人都是很体贴的，崔氏为他生了三个儿子，可见当时杜牧真的是家丁兴旺。
