Ребенок со мной дерется

Девушки, долго думала, заводить тему или нет, в общем, не справляюсь.
Сыну 3.9. Есть еще дочь 1 годик. Сын постоянно, как только ему что-то не нравится, замахивается и может ударить или меня или мужа. Конечно, бьет не сильно, бывает не попадает, но замахивается почти постоянно. Не успел сказать, что масло не надо, а я положила, не смогли пойти на дачу из-за дождя, случайно упал. В общем, я уже пугаюсь, как это прекратить? А то уже представляю, как ему лет 13-14 и он так же замахивается, и что делать? Скажу честно, сначала пробовала говорит, что так нельзя, потом пробовала сажать на стул, не сидит, а ребенок второй маленький, не могу же я удерживать на стуле одного, когда второй заливается плачем. Пробовала запирать в комнате, сразу же начинает верещать, что боится, что дядя сверлит, боится еще чего-то. Сейчас уже, когда все исчерпала, если стукнет намеренно, шлепаю по попе. Но это ведь не выход. Он после этого еще больше с кулаками кидается.
В общем, продолжается это уже где-то пол года.
Помогите пожалуйста, как изменить проявление агрессии, что делать? Сестру не трогает, и я слежу, и как-то ему не хочется. А вот я как козел отпущения, чуть что-то случилось, сразу:"а н-н-а-а" и по мне рукой. Муж конечно вступает на защиту, но он часто на работе. В общем, очень жду советов.