написание фамилии в паспорте.

что делать, если при смене фамилии мне в паспорте поставили вместо буквы "Ё" - "Е". ведь фамилия-то уже другая получается?
я постеснялась тогда в паспортном столе вопрос этот задать, а сейчас сталкиваюсь с тем, что люди порой даже не подозревают при назывании моей фамилии о возможности наличии в ней буквы "Ё".
чем это грозит?