1949年3月11日，郑州铁路管理局在河南省郑州市成立，就是现在的郑州铁路局的前身。
1983年，铁道部将武汉铁路局与西安铁路局以整体编制并入郑州铁路局。
2005年3月18日0时起，铁道部将全国15个铁路局所下辖的41个铁路分局全部裁撤。
将原铁路分局所管辖的站段单位，划归铁路局直属管辖。
郑州铁路局下辖的6个铁路分局：郑州铁路分局、洛阳铁路分局、西安铁路分局、安康铁路分局、武汉铁路分局、襄樊铁路分局被裁撤，分别更名为郑州铁路办事处、洛阳铁路办事处。
原西安铁路分局、安康铁路分局合并成立新的西安铁路局；原武汉铁路分局、襄樊铁路分局合并成立新的武汉铁路局。
2008年末，按照铁道部确定的机构编制口径，郑州铁路局设置限额内职能部门22个：运输处、客运处、货运处、机务处、车辆处、工务处、电务处、安全监察室、办公室（同时称“郑州铁路局党委办公室”）、总工程师室、企业管理和法律事务处、计划统计处、财务处、审计处、收入稽查处、人事处（同时称“郑州铁路局党委组织部”）、劳动和卫生处、职工教育处、建设管理处、物资管理处、土地房产管理处、人民武装部（人防战备处），编制总数480人。
限额外职能机构5个：调度所、社会保险管理处、多元经营管理委员会办公室、集体经济处、离退休管理处（老干部部、退休职工管理委员会办公室、关心下一代工作委员会办公室），编制总数472人。
路局派出机构2个：郑州铁路办事处、洛阳铁路办事处，编制总数140人。
学、协会办事机构3个：河南省铁道学会秘书处、郑州铁路局企业管理协会秘书处、郑州铁路局财务会计学会秘书处，编制总数6人。
部控附属机构27个：郑州铁路局机务检测所、郑州铁路局车辆检测所、郑州铁路局工务检测所、郑州铁路局电务检测所、郑州铁路局客票管理所、郑州铁路局机要通信室、郑州铁路局档案史志室、郑州铁路局法律服务所、郑州铁路局合资与地方铁路管理办公室、郑州铁路局客货运输统计所、郑州铁路局概预算审查所、郑州铁路局节能监测站、郑州铁路局资金结算所、郑州铁路局财务集中核算管理所、郑州铁路局收入稽查大队、郑州铁路局审计室、郑州铁路局劳动力调剂站、郑州铁路局职业技能鉴定指导站、郑州铁路卫生监督所、郑州铁路局人才交流站、郑州铁路局工程质量监督站、郑州铁路局函授站、郑州铁路局土地管理所、郑州铁路局房产管理所、河南省铁路林业局、郑州铁路局特种设备检测所、郑州铁路局民兵武器装备库，编制总数600人。
其他附属机构6个：郑州铁路局企业自备车管理办公室、郑州铁路局代收款结算所、郑州住房公积金管理中心铁路分中心、郑州铁路局价格管理办公室、郑州铁路局职工集资建房管理办公室、郑州铁路局物资设备招标所、郑州铁路局设计所、郑州铁路局支线管理办公室、郑州铁路局工程管理所，编制总数143人。
截至2008年底，局党委设职能机构4个，有党委和行政合编的2个，即：局党委组织部，与局人事处合署办公；局党委办公室，与局办公室合署办公，同时挂保密办、机要办牌子。
由党委列编的1个，即：局党委宣传部，与企业文化处合署办公，同时挂职工思想政治工作研究会、精神文明建设办公室、统战工作办公室牌子。
由行政列编的1个，即：局人民武装部与局人防战备处合署办公。
另设政法办（综治办）。
有机关党委部门管理的附属部门1个，即局有线电视台。
郑州铁路局党校（局干部学校）、中原铁道报社隶属局党委领导。
全局有各类基层单位67个，其中：运输站段31个；非运输单位36个；车站235个。