1925年8月，顾作霖回上海进上海大学社会学系。冬，加入青年团，翌年春，转为中共党员，任共青团上海杨树浦部委书记，参与指挥纪念“五卅”惨案一周年反帝示威。11月底，任中共上海（江浙）区委职工运动委员会委员、共青团上海（江浙）区委组织部长。
1927年初，受命去浦东协助筹划和指挥上海工人第三次武装起义。是年秋，山东省党团组织遭到敌人严重破坏，顾作霖调任中共山东省委委员、共青团山东省委书记。在济南、青岛和胶济铁路沿线的工矿、农村发动群众，开展斗争，并重建团的组织。不久被选为中共山东省委常委、共青团第五届中央委员。
1929年4月，奉调回沪，任共青团江苏省委书记。
1930年8月，调至武汉，任中共长江局委员，分管共青团工作。不久又调回上海，任共青团中央组织部长。
1931年1月中共六届四中全会后，根据中央决定由任弼时、王稼祥、顾作霖组织中央代表团，前往中央苏区。顾作霖与任弼时等经香港、汕头辗转到达江西宁都，任中共苏维埃区域中央局委员、宣传部长、共青团苏维埃区域中央局书记。
在苏区，顾作霖以极大的热情和精力投入苏区团的建设，领导倡办团报《青年实话》，写了大量与团员、青年谈心的文章。他倡办列宁团校，兼任校长，请毛泽东、朱德、任弼时、徐特立等讲课。还在学员中开展学习文化的互帮互学活动，培养了一大批青年干部。为配合红军的反“围剿”战争，保卫苏维埃区域，他领导建立少年先锋队，召开苏区少先队代表大会，使全区少先队员增加到30多万名，成为工农红军强大的预备力量。他还倡导建立少共国际师，有1万多名少先队员应征入伍。
1933年4月，顾作霖调任中共闽赣省委书记。到任不久，蒋介石发动第五次反革命“围剿”。顾作霖发动群众支援闽赣省军区司令员萧劲光率领的少量红军，抵御敌人，但终因寡不敌众而撤离黎川，中共闽赣省委迁至建宁。
