Не хочет в сад

Сыну 4 года, в ноябре прошлого года отдали в сад. Были слезы, истерики, крики...... В мае ушли "на каникулы", 3 месяца не ходили в сад, теперь думаю, как опять начать водить.
Дело в том, что меня грызут сомнения.
1. Я не работаю, сижу в декрете с дочкой 2 года. Т.е. старший не понимает, почему я его сплавляю в садик, а его сестра остается дома (объясняю, что она еще маленькая, а сын - большой);
2. Не хочет там спать. Дома днем не спит;
3. В саду есть мальчик, с которым у моего ребенка конфликт, мальчик задиристый там;
4. Через пару месяцев собираемся менять район проживания, т.е. придется менять и сад;
5. Мне с двумя детьми дома реально легче намного, они вместе играют, я спокойно могу заниматься своими делами. Зато бардака в 10 раз больше, но это мелочи.
Как думаете, стоит забрать ребенка из садика? Или приучать к нему?