离婚时，两人又为儿子的抚养权问题闹得沸沸扬扬，最后儿子判给赵雅芝抚养。由于婚变加上打官司，有一段时间赵雅芝的情绪很低落。1984年，赵雅芝在拍摄电视长剧时与黄锦燊认识，那时，黄刚从美国回港，他性格豁达、开朗，那一段时间，正是赵雅芝情绪最低沉的时候，黄锦燊在生活上关心她，并开导她振作起来，勇敢面对生活。赵雅芝先是对黄产生了好感，后渐渐爱上了对方，最后与黄重新结合———她仿佛命里注定要嫁一个学医的，黄锦燊在美国大学毕业后当过药剂师。婚后，他俩又育有一子。赵雅芝的3个孩子都已经长大成人。事实上，说到赵雅芝情史，就不得不说一说她坎坷婚姻。赵雅芝事业在电视台刚起步没多久，就嫁给了当时的丈夫黄汉伟，之后生了两个儿子。
不过，赵雅芝与前夫黄汉伟的婚姻并不幸福，两人离婚后，为了争取儿子的抚养权，赵雅芝无奈与前夫对薄公堂，而这也是当时香港娱乐圈最火爆的话题。在随后的事业发展中，赵雅芝与艺员黄锦燊因合作《《女黑侠花木兰》而传出绯闻，后来赵雅芝与黄锦燊承认恋情并于八五年在美国注册结婚，从此黄锦燊就成为赵雅芝老公，两人生了一个孩子，感情稳定。
除了前夫黄汉伟和现任老公黄锦燊，赵雅芝情史不可不提的就是83版霍元甲黄元申。1978年左右，赵雅芝与黄元申合作爱情喜剧《剥错大牙拆错骨》，当时赵雅芝与前夫黄汉伟的婚姻还没有结束，但已经与黄元申因戏生情。不过两人发乎情止乎礼，黄元申读过不少书，书卷气颇重，他常给赵雅芝写情书。当时赵雅芝老公黄汉伟在娱乐圈人脉颇广，他认识某周刊老总，黄汉伟在家中捡到黄元申写给赵雅芝的信后，在酒醉之时向该老总诉苦，没想该老总后来将那些信公开，弄得赵雅芝与黄元申很是尴尬。
