耒阳虽然位置在湖南省的南方，但是它有一个奇怪的事情，就是它的语言跟其它附近的城市是完全不一样。甚至人们听上去还有一些古音，所以有人将它的语言划分为客家话。但是一些语言学家经过分析校对，发现耒阳话受赣话的影响更为深一些，于是将它分为赣话。直到现在耒阳话是哪种方言甚至还没有定论。
许多人耒阳人都把江西人叫做“老表”，这个称呼只有这两个省可以称呼，老表在江西、湖南两地是表兄弟的意思。大家都听说过“江西填湖广”的事情吧，当时是唐朝五代之后，许多东方的人民迁移到了湖南这个地方。因为江西跟湖南是相邻的两个省，两省之间没有一些山川河流相隔，于是因为经济的流通和进展，渐渐的两种不同地区的人们就相互迁移。所以说湖南与江西的关系可以用表兄弟，这么亲密的关系来形容。因此有些语言专家认为耒阳话受到了赣州语言的影响，因此要将耒阳话规为赣方言的区域。
大家都知道客家话是一种十分古老的语言。而且客家人也是全球所分布范围最广的民族体系之一。客家人从秦朝征战岭南的时候，经历了许多个朝代，直到南宋时期才形成了一个固定的族群。经过历史的变迁，在明清两朝的时候，广东福建这两个地区的客家人们就迁移到了湖南省内。据不完全统计，全世界有八千多万名的客家人，当中广东、江西、福建等十九个省份里面就有五千多万人是客家人。可以说客家人的影响力是十分深远的，而客家人当时也进入到了湖南地区，并在此地扎根落户。因此耒阳方言有一些客家的古言，虽然也受到了其它周边文化的影响，但是根还是在的。
一个民系组成最重要的部分之一就是拥有属于自己独立的语言。而耒阳人的方言经过历史的变迁现在已经无从考究语言是客家方言还是赣方言。但是耒阳话仍然具有着自己独特的魅力，它与周边的语言天壤之别，语言雄浑有声，语言里有赣方言的成分，也有新旧湘语，更有客家话的成分，因此被称为“古汉语中的活化石”。