Сын: "Я тебя не люблю..."

Последнее время сын (скоро 3 года) стал говорить мне что я тебя не люблю, только папу люблю и бабу люблю, при этом иногда может на меня замахнуться рукой. С отцом ребёнка вместе не живём ( но они общаются, разрешаю брать сына на прогулку, редко и на целый день может забрать, возит сына к своим родителям), с бабушкой (это моя мама) сын видится 3 -4раза в неделю, она 2 раза в неделю забирает его из сада и они гуляют и иногда на выходных может забрать к себе на пол дня). Мне почему-то так обидно от слов сына. Я его не бью никогда, стараюсь не ругать, не наказывать, если наказала, то всегда объясняю за что, вообще много с ним говорим. Мы с ним обнимаемся, каждое утро когда идет в группу целует меня в щечку, а я должна поцеловать его в ответ (воспитатели говорят что это ритуал у него такой и иногда даже напоминают ему). Вот не пойму я что то делаю не так или это просто возраст такой.