Поймет ли ребенок в 2г и 4 мес хлопок по попе?

Для начала уточню, что 90% времени мы проводим вместе, бабушек нет рядом, папа мало с ним занимается. В принципе отношусь я к нему с нежностью, обнимаю, целую, говорю, что он любимый и нежный, радую всякими вкусностями. Но и воспитывать тоже надо, делаю замечания, иногда прикрикиваю, когда собирается по часу на улицу( не любит он это дело) или еще что..Все в общем нормально, но раздражается очень быстро, вот как сейчас- строил пирамидку, задел- сломалась,все в стороны разбросал..я ему "не надо бросать, давай соберем" лежу рядом на полу на подушке, он подходит ко мне, берет за воротник и начинает как игрушку поднимать и злится еще-мол "мама встать, сесть на спину!",мне уже это не понравилось, говорю: "сядь на бок, покатаю", он вроде бы сел и давай меня рукой постукивать(вообще-то это у нас чуть что постоянно последнее время- или бьет или замахивается, мы с мужем решили попробовать в ответ по руке шлепать, что мол и нам неприятно), он в ответ еще сильнее, а потом и по лицу как даст...Я не выдержала, встала и по задничке треснула хорошенько со словами: "вот и мне тоже так же больно" и вышла из комнаты, он дверь закрыл и вот сидит там один, успокоился...
Сердце щемит..что не так я сделала, а? и как поступать с этими замахами, битьем..неужели вообще внимания не обращать? Подскажите, опытные мамочки..Заранее спасибо