从7月份进公司,到现在公司对我们进行了培训,包括请外训老师进行讲课,还有带我们去拓展训练。到现在一个多月了,我想离开。当初后来公司让我们签了份违约协议,说要是工作不满三年离职的,要付5000元违约金,现在我想离开,他们叫我付5000元,请问我该怎么办?