离婚后子女抚养权的归属我们是协议离婚…

离婚后子女抚养权的归属我们是协议离婚，哺乳期孩子归妈妈，但现在孩子的爸爸在请律师更改孩子的抚养权，孩子的爸爸有稳定的工作和收入，妈妈是打工的，不愿把孩子给他，因为他家的环境不好，家里有神经病的哥哥，我不放心，怎么办？