Новый папа и отчество

Осенью вышла замуж,с нынешним мужем вместе 4года.У меня есть сын 6лет от бывшего гр.мужа(жили без росписи).Хочу стороннего мнения,менять ли отчество ребенку? Фамилия у него моя.Отец ребенка после определенных обстоятельств совсем не появляется и ребенком не интересуется(уже год).Честно говоря надоели лишние вопросы(сад,поликлинника и т.п)сторонних людей по поводу отчества и "папы".
Нынешний муж хочет сменить свою фамилию на мою.С ребенком отношения хорошие.Сын его папой считает,муж тоже уже себя папой осознает)))