24岁时潘虹与上影厂美工米家山结婚，米家山比潘虹大8岁，所以潘虹说她好像是“找到半个父亲”。在出演影片《苦恼人的笑》时，他与导演杨延晋传出绯闻，“爱”上有妇之夫的她“腹背受敌”，这件事也或多或少地影响到了她与米家山之间的感情。10年的婚姻，潘虹与米家山相处的时间却只有1年，其中有5年的时间，是潘虹独自一人在峨影厂度过的，32岁那一年潘虹与米家山离婚。