陈珪璋在逃至陕西保安县下马关后，投身于一家油坊做工，油坊主人看中了他的胆识和抱负，赠送他一支毛瑟枪和路费，鼓励他从事大事。陈珪璋得到资助后，秘密返回故乡，与赵文华等人在华池南梁起义，组建了“甘肃义军混成团”，赵文华为团长。1928年，他们活跃在子午岭山区，打击官吏和豪绅，进行灵活的游击战术。第二年初，他们转移到宁县的九岘康家塬，面对连年的饥荒、国民军的压榨和地主的剥削，民众的反抗情绪高涨。陈珪璋以此为契机，以反对国民军和寻求生存为号召，吸引了饥民百姓和散兵游勇的加入，队伍迅速壮大，甚至发展到“贾一连，傅一团”的规模。
1929年5月，他们围攻正宁县城山河镇，攻占了朱城、潘村等地。6月，攻克宁县，队伍驻扎良平，吸引了西北国民军冯治安部的军官杨抱诚等人投诚，陈与他们结盟，义军实力大增。7月，赵文华牺牲后，陈在愤怒中勇猛冲锋，成功攻下合水县城，为赵文华报仇。部众因其英勇，推举陈为首领，将义勇混成团改编为“甘肃义军混成旅”，陈自任旅长，汪飞西任参谋长，组建了四个团和两个直属连，军威日益显赫。
9月，陈的部队在华池驻扎，成功伏击了西北国民军，缴获大量武器和俘虏，实力再次飞跃。他们乘势进攻庆阳、环县，攻克镇原和泾川，夺回宁县，并对正宁施加压力。最终，陈珪璋率军盘踞早胜，成为一支反抗统治和压迫的地方武装力量，引起了当地局势的动荡。
陈珪璋，又名庆瑞，字汉卿，生于公元1901年，庆阳县人。他出身豪门，生性豪爽，富义气，有胆识。父亲陈杰，为晚清武举。陈幼年因家道衰败而辍学，当过店员，后在陇东镇守使署驻军统领谢有胜部下当兵，打仗奋勇。