1931年当选为国民党中央执行委员，12月任陆军大学校长，1932年1月任军事委员会参谋次长兼陆军大学校长，杨杰将军不仅有着杰出的军事指挥才能，也是卓越的军事理论家和教育家。他长期从事军事理论研究和军事教育工作，在创造中国的战略战术理论方面颇有建树，在改造中国军队，提高其战斗力方面提出了许多重要的方略，他长期担任陆军大学的领导工作，为国家培养了大量军事人才，在抗日战争中发挥了巨大作用。他注重对学员加强品德、人格教育，强调中国的一代军人要具有强烈的爱国主义思想。
1933年3月和财政部长宋子文，军政部长何应钦、内政部长黄绍竑、外交部长罗文干一起北上，任军事委员会北平分会参谋长兼华北第8军团总指挥，参加长城抗战。指挥古北口、冷口、喜峰口一带的军事，他在居仁堂军事会议上提出后退配备的主张，要求大胆放弃一线阵地，将敌引入密云山地，集合三个军布成口袋阵歼灭日军部队，为此目的，他干脆宣称南天门战争激烈，守也守不住，必须执行这项计划，何应钦向来与他不睦，打电话给17军军长徐庭瑶问战事激烈与否，徐答不激烈，何应钦遂以谎报军情为由撤了他的职，但后来南天门终于没有挡住日本西义一的第八师团的进攻。何后来签定何梅协定，杨杰大骂：“简直是赤裸裸地卖国，低能到卖都卖不成。”
9月任军事考察团团长赴欧洲考察军事，此后近一年的时间里，杨杰到德、法、苏等29个国家进行军事考察，在苏联，斯大林多次接见他，称他为“战略专家”。对他写的《蒙古骑兵之性质及使用方法》赞赏不已。在英国，他在与国防大臣谈论第一次世界大战前后的情况时，国防大臣以一份伪造的国防计划来试探杨杰的军事才能。杨杰稍加考虑后，说这份国防计划不可能是真的，并提出了修改意见，结果与英国真的国防计划大同小异。国防大臣对此甚为惊讶，赞叹他为“军学泰斗”。从此，他的军事、外交才能也闻名于世。他回国后写成著名的《欧洲各国军事考察报告》。要蒋介石立即加强重工业建设，进行以国防工业为重心的计划，克服依赖外国武器的缺点，否则世界战端一开，各国自顾不暇，敌军封锁我海岸，到时虽以万金，不能求御敌之武器。但蒋介石没有采纳他的意见，只是在1934年12月任他为参谋本部参谋次长、代参谋总长，城塞组长、防空委员会主任。
他任航空委员会主任时，检查新买的几架飞机，发觉是用报废飞机改装的，他向蒋介石告状，但由于飞机是宋美龄和孔祥熙买的，蒋介石避而不作处理，他只好辞去航空委员会的职务。后来，宋美龄联合陈果夫兄弟和何应钦控告他贪污南京国防工事公款，蒋将城塞军需处长和副处长枪毙，他的城塞组长和代总参谋长的职务也就跟着撤销。
1935年1月兼陆军大学教育长，杨杰按日本陆军大学校的教育、管理方法来教育学员。按日本的二级学制，士官学校（相当于中国黄埔陆军军官学校）负责养成教育，把一个普通中学毕业生或部队选考的军曹(中土)通过士官候补生的教育训练，培养成为一个够格的军官。举凡一个中、下级军官应具备的战术、兵器、兵制、筑城、地形等军事知识，“忠军爱国”的思想，军官仪表及作风，都应达到一定的水平，才能毕业当军官。陆军大学则为深造一般军官成为高级统帅和参谋的陆军最高军事学府。凡经历过二年主队职(连、营长)的军官都可投考。除笔试军事学、普通科学。外国语外，还口试多种常识，观察应考者的应对进退，语言仪态，日本陆军大学学员在校三年，三年一考，因年龄限制，一般军官终身只能考二次。陆大毕业学员不愁不升到将军。因此日本陆大毕业学员很自负，表现得举止雍容，气宇轩昂。所以学员在校不编队，没有队列管理。学员在校功课完毕，即各自回家。图上战术及各种作业，都可带回家作。杨杰主持中国陆大，也只讲求学术，不作队列管理。他认为政治教育、纪律、作风、仪态等都应在养成教育时完成，陆大的任务是高级统帅及优秀参谋的学术品德修养。应使学员自重、自己约束自己，而不被动地遵守纪律。他经常讲日本陆大那一套，要求学员自治，选举一学员长自行管理，他是要学员自内心地自重、以养成统帅人格。
杨杰注重应用战术，他主张第一、二学年由中外教官重点教授战术，他说：师战术打好基础，则军战术、大军战术可得心应手。事半功倍。有一年春季现地战术，杨杰老师亲自指导。他结构的想定是：装备较蓝军优势三倍的红军由连云港登陆，其先头一个师击破数量优势而装备优势的蓝军，不顾后方有蓝军部队的袭扰，经淮阴、扬州进至镇江对岸瓜州地区，得知镇江敌军薄弱、敌一个骑兵旅正经淮阳南下，己方的后续兵团须两天后才能到达，问师长为何决心。学员的答案多是就地固守，或待敌骑兵到达而击破之，他拿出原案是渡江攻占镇江、构成桥头堡阵地等待后续兵团到达，再向南京进攻。有人说：这就是他在日本陆军大学毕业时邮前战术想定和答案的翻版。不管是不是，构想确实是巧妙的。
杨杰老师认为指挥员和参谋驰骋疆场，离不开马，所以他要学员，三年都练骑术。他还认为现代战争已机械化，要求学员都能驾驶摩托和汽车，可惜我们因经费无着，未能实现。他认为现代战争立体化，指挥员和参谋必须了解空军战术，必须空中侦察，空中指挥，所以陆大第十期毕业，他选送三人去学空中侦察。1936年两广反蒋，他利用双方态势及日本进窥华北的情况，作成想定，要求研究员们以蒋军指挥员身份作答案，学员的答案都是进军韶关，南下截断两广联络。他拿出原案是：大军压韶关，以强邻窥视为理由，谋求政治解决，他讲评时说：如果军事解决，不是两广胜，也不是中央胜，而是日本胜了。学员从心坎里佩服他的远见和谋国忠贞。
陆军大学是一所培养中高级军官的最高学府，它招收中尉以上，少将以下的军官入学。杨杰认为，军队的好坏关系国家和民族的存亡，特别是指挥官和高级幕僚，肩负国防重任，必须能够运筹帷幄，决胜千里，既要有理论基础，又要有实践经验。他常说：“将帅无才，累死三军。”因此，他在主持陆大工作时，着力在提高教学质量上下功夫。在课程设置上，他博采广收，既广揽有实学的教官讲授古代战史、各国战史、陆军战术、参谋业务、兵要地理、军队教育、后方勤务等课程，又聘请德、意、法、苏等国教官，讲授海空战术、装甲兵战术、化学战、筑城学、谍报勤务等现代军事课程。还聘请我国著名学者入校讲学，如马寅初讲经济学，萨空了讲社会学，夏鼐讲法学等。自己则亲自讲授《战争诀要》、《大军统帅学》等课程，并且特别注重理论联系实际。他经常带领学生到实地结合地形进行战术作业。有一次在上海，他指着金山卫对学生说：“一旦战争爆发，这里将是敌人看中的登陆地点，因为我对这里的潮汐、水位、地形都作了细致的调查研究。”果然，抗日战争中，日军在不受重视的金山卫登陆成功。后来，每当谈起此事，当年的学生无不佩服老师的真知灼见。
1935年8月组织庐山军官训练团，蒋介石任团长，他任团附，11月再次当选国民党中央执行委员，他名声即响，脾气也大，看谁不顺眼就骂，完全不给人面子，陈诚第四次围剿江西的中央红军，被朱德打的惨败，他放言陈诚就是一头猪，连敌情都摸不清就瞎撞。蒋介石把何应钦写的对日作战计划拿给他看，他看完就撕碎了骂道：“狗屁计划。”自己立即另外写了一份交给蒋。后来另一个以军事专家自居的方天说他实际上连蒋介石也看不上，只不过不敢公开骂而已。蒋介石在庐山军官训练团讲话：“我姓蒋的不抗日，全国人民共诛之。”他立即站起来回应：“我到外国转了一圈，看见各国都在忙，德国在忙，苏联在忙，意大利在忙，日本也在忙，好像吞了我东三省还不满足，还要气势汹汹的灭亡中国。可我回到上海一看，遍地是闲人，政府官员更闲，吃喝玩乐通宵达旦，简直把东三省沦陷的耻辱置之脑后。希望政府切实拿出抗日的措施来”蒋介石听得如坐针毡，哭笑不得。
他在此期间撰写了《大军统帅学》和《战争要诀》等军事著作，以《易经》“天行健，君子以自强不息”一语作为他“生即是战”的理论依据，他认为，天地万物要生存，就必须作战。所谓健者，就是春夏秋冬轮回不已，假使天道一时懈怠，则万物失时，世界则要毁灭。故曰：“求生存就要战争，战争就是自强，但是战争并不完全是枪弹的世界，而是求知识，求技能，求身体健康都包括在内。他认为新的军事竞争必将以牺牲像中国这样的弱小开始，要想自存，必须自强，自强必须从不买外货，加强国家经济着手。他认为日本侵略中国，必将采取速战速决的战术，对此，除了诱敌深入，然后一鼓聚歼之外，别无他法。他认为：”我们军人，在穿上军装的时候，这生命就属于国家，不复知有身家性命，这就是军人的人格。有了这种精神还要发挥出来，才是善。发挥的很好，才是美。
卢沟桥事变发生后，他在军事会议上高呼：日本目前有军阀和财阀之争，海军和陆军之争，少壮派和老旧派之争，全国不是一条心，以小国临大国，又不能倾力来犯，外交上得罪英美，犯下兵家大忌，因此不难把日本打败。他满以为他会被任命为总参谋长，主持对日持久战争，但蒋却在组建大本营的时候任命何应钦为总参谋长。他大为失望。
8月，他被任命为赴苏考察团团长，赴苏联考察，实际上是争取中苏结盟和苏联的武器援助，斯大林没有答应中苏结盟，但同意给国民政府一亿卢布的军火组建20个苏械师，另外附送一个苏联援华航空队，他因此功绩37年12月加上将衔，1938年2月任军令部次长，5月任中国特命全权驻苏联大使，在苏期间，他经常受到斯大林、伏罗希洛夫等领导人的接见，争取到总共2.5亿美元的物资和贷款，有力地支援了中国的抗战。他认真研究了苏联社会主义制度，还研读了《共产党宣言》、《资本论》等著作，认为苏联的社会主义制度有利于国防建设，加上杨杰将军多年与共产党人的接触，逐渐从思想上产生了对共产党、对社会主义由同情到支持和赞成的转变。在军事战略上，他主张在中苏边境布置重兵，挑拨日本和苏联发生战争，在南线，一定要克复广州，引导日军向南发展和英美对立。
1940年回国，他向蒋提出联苏抗战的建议和具体作战战术，蒋却送他一本《曾文正公全集》要他好好阅读，他气得打了三个月的麻将，然后胡乱写了一些批注送去交差，蒋介石看了批注气得大发脾气。给他一个军事委员会顾问的闲差留在重庆，后任中央训练团教官，他此时撰写了《国防新论》、《军事与国防》等上百万字的军事巨著，《国防新论》是1943年由重庆商务印书馆出版发行的，共分3篇：第一篇是国防“认识论”，介绍了古今中外的国防，阐明了国防理论的思想体系；第二篇是国防“本体论”，说明现代国防的种种形式和组织；第三篇是国防“方法论”，阐述了中国国防建设的实际问题。在这部著作中，杨杰充分论述了国防建设与政治、经济、文化的关系，他说：“国防是政治、经济、文化、社会、军事等各种力量的结晶，军事是结晶体的顶点，经济是结晶体的基础。”同时深刻剖析了中国社会政治对经济和军事的影响。他认为，国民党政府政治上的腐败，导致了经济、军事、兵工业的腐败，进而导致了民族精神的颓废，国家无御侮的能力，国防也就无从谈起。杨杰以精辟的语言和锐利的笔法，为人们描绘了理想国防的全景图，同时向人们展示了国民党统治下中国国防的残破景象，这无疑需要足够的胆识和魄力。此书出版后引起人们的极大关注，在半年之内3次再版。 《军事与国防》是1944年由重庆商务印书馆出版的，它是杨杰军事思想的又一部代表作。在该书中，杨杰论述国防和军事问题。他说：“社会生活形式是由社会生产技术、生产力和生产关系这些因素决定的。产生革命以后，社会生产力所发生的大变革，……使战争和国防与人民的关系日渐密切；没有人民的支持，战争就不能进行；没有人民的参加，国防就无法建设。”“由军人的战争到人民的战争，由军人的国防到人民的国防，这便是封建社会与资本主义社会的分野。而真正的人民国防，又为社会主义国家国防组织的特色。‘人民’，就是这个时代的象征，是社会的创造者和支配者。”最后他得出一个结论：只有在消灭了人剥削人制度的社会主义国家，才能建立起真正的人民国防。无需引用他的更多话语，这已经足以表明杨杰在苏联研究马克思主义，并把马克思主义的一些观点与他的军事理论相结合所发生的思想转变。他的这些理论，显然与蒋介石片面抗战理论完全背道而弛，在国民党内引起很大的反响。蒋介石尽管明白这理论不可能主导国民党的军事政策，但他还是十分担心和焦虑，这样发展下去，与共产党的主张还有什么两样?
蒋介石的担心不无道理。在潜心著述的过程中，杨杰对共产党的许多观点是赞同的，特别是进行全民族抗战的观点几乎是一样的。为此，从1943年开始，杨杰就与中共南方局的领导人周恩来、董必武取得了联系。周恩来和董必武对杨杰的抗日主张表示赞赏，对他本人也非常信任。当1943年杨杰赴欧洲进行短暂军事考察路经昆明时，董必武还让他将一封中共中央的指示信转交给昆明地下党领导人刘浩。此后，杨杰频繁地在公开场合发表自己的观点。他在复旦大学参加苏德战争座谈会时分析道：“苏德之间，德国要完全打败苏联，力量不够。”这是因为，“战争是角力，就是物质力与精神力的角斗，物质力是一定的，而精神力则可以膨胀，也可以缩小。战争力是两种力量的总和，精神力一经丧失，物质力就会变成无用。”在国民党军事学校夏令营对学员的讲话中，他把第二次世界大战分为欧洲、太平洋和中国3个战场，在分析中国战场时说：“胜利的关键仍操之在我。但日本军阀一意孤行，作最后的本土连接大陆的焦士战时，则中国居于主导地位，是非靠自己的力量去解决不可。”这些观点，使听者耳目一新。 他主张现代战争已经从武装人员的对抗扩展到全体人民的对抗，只有扎根于人民的战争才能立于不败之地；文化的征服，是一种视之无形，听之无声的思想占领，强调国防中的文化建设。为国内外军界所推崇。他还做了几十个世界军事形势的分析汇报。1944年任中国军事代表团团长赴英美考察军事设施，欧洲开辟第二战场，他批评艾森豪威尔诺曼第登陆后，战略部署扇形展开，包打败仗。不久果遭德军反击，有阿登之败。云南远征军反攻的时候，他正好在大理家乡省亲，卫立煌等亲自登门拜访求教军事战略战术。1945年5月再次当选国民党中央执行委员 。
