Поговорите со мной про фамилию

У нас с мужем по второму браку, в сентябре ждем мальчика.
У меня фамилия первого мужа, а вот у мужа фамилия придуманная его первой женой.
И вот уж очень мне не хочется, чтобы мой ребенок носил фамилию, придуманную абсолютно посторонней женщиной, причем о которой у меня не самое лучшее мнение.
Муж это понимает, но его аргумент - у тебя тоже фамилия бывшего мужа.
Как бы вы поступили на моем месте, дать ребенку фамилию отца и не заморачиваться ее происхождением?