哥哥今年24岁,患精神病已经好几年了,看过不少医生,病情总是时好时坏。我现在在外打工,哥哥总是说要我带他一起出来,可是哥哥的病情跟本就不能出来工作,我又不能直接跟他说怕刺激到他,每次我回家再出来的时候都是偷偷出来的,然后家里人就骗他说我走亲戚去了,现在哥哥经常发信息说让我快点回家带他出来打工,我该怎么办呢?