По замкам Белорусии на НГ на машине. Подскажите пожалуйста.

Решили прокатиться по маршруту Москва - Минск - Лида - Несвиж - Смоленск.
Расклад такой - Москва - Минск ( посещаем в Смолянах костел пресвятой девы Марии), ночуем в Минске. Дальше едем в Лида. По дороге заезжаем в Гольшанский замок и в усадьбу Умястовских в Жемыславле. Ночуем в Лида. Следующая ночевка у нас в Несвиже. Вот и думаем - из Лиды уехать в Ружаны, там погулять, потом в Мир, потом переночевать в Несвиже. А Несвижский замок утром, или наплевать на Ружаны, из Лиды поехать сразу в Мир и Несвиж?.
Вопрос собственно в том - стоит ли ехать в Ружаны? ( крюк в 300 км)