张舜徽的父亲张淮玉，字小岩，自幼聪明过人，有过目成诵之能；但他对八股文向来深恶痛绝，也不参加科举考试，一生精研朴学，尤长于天文历算。曾历任常德官立中学堂、辰州官立中学堂、西路师范学堂、湖南优级师范学堂算学教习；在授课之余，刻苦治学，撰有《二进数考数根术》、《循环小数新术》等数学著作。
张舜徽自七岁发蒙，其父以王筠的《文字蒙求》为课本，稍长即读《说文解字》。段玉裁的《说文解字注》，王筠的《说文解字句读》、《说文解字释例》都是他这一时期的常备书。十六岁后，他开始研究郝懿行的《尔雅义疏》，并于十七岁时撰写了《尔雅义疏跋》，这是他一生上千万字的浩博著作中的第一篇学术论文。张舜徽对文字和训诂的兴趣与功底就是这时培养起来的。
张淮玉虽然深恶八股，但对四书五经还是非常看重，在张舜徽具备了文字基础之后，即开始让他读经。因为自己的学术兴趣和治学观念，他并不要求儿子死记硬背；张淮玉认为，不知天文，不足以读《诗经》和《尚书》，因此引导他学习天文与历算。《尚书》佶屈聱牙，于是指导他对照《史记》阅读。我们由此可知，由于父亲的治学旨趣和张舜徽本人的气质，他从一开始读书就偏重学问，而不是文章，这一点对他以后几十年的治学生涯具有深刻的影响。在《清人文集别录》中，他推重的是学问湛深之人，对纳兰性德、龚自珍这样的文章尔雅之士倒不甚在意。
民国初年的沅江，依旧还很闭塞，尤其是僻处乡下的长岛。但张淮玉崇尚新知，非常留心各种新出版物，并为张舜徽订购了《东方杂志》、《学衡》、《少年杂志》，还把当时商务印书馆出版的国文和历史教材买来给他看。也是在这个时期，张舜徽接触到了梁启超的新著《清代学术概论》，这本书对他影响至巨。他在《庭闱受学记》中曾说：“生平服膺乾嘉诸儒之学，盖自此始。”
除了父亲张淮玉，在张舜徽的学术生涯中，有三个人对他有尤其深刻的影响：早岁姑父余嘉锡，自北平南归直到中岁，杨树达，晚岁顾颉刚。
在回忆杨树达的一篇文章中，张舜徽曾深情地说：“平生所识老一辈学者名流，算来不是太少。而亲炙最久，感慕最深，治学著书最勤的，首推杨遇夫先生。”张舜徽初识杨树达是在当时任教北平辅仁大学等高校的姑父，著名湘籍学者、文献学家余嘉锡家中。杨树达为清华大学教授，常到余嘉锡家中谈论学问，对年纪尚轻的张舜徽的见识感到惊讶，因此常常约他到家中盘桓。张舜徽常常向这位大学者请教，两人从此建立起了亦师亦友的深厚友谊。有时张舜徽因为读书过勤，多日不登门，杨树达就会打电话到余家，告诉他自己近日的研究心得，或者亲自过门约谈。谦恭下士，毫无崖岸。抗战爆发后，杨树达南归，任湖南大学教授，两人的交往更加密切了。后来湖南大学西迁辰溪，时张舜徽任教蓝田国师；杨树达移书召他往辰溪任教，张舜徽因为家累不能应命。杨树达又寄书相请，云：“达一生无他长，惟乐于贤己者处，达可以进学耳。”可见他对张舜徽推重如此！ 历史学家顾颉刚年长张舜徽十八岁，亦属长者之列，是张舜徽晚年交往最密切的学者。张舜徽与顾颉刚没有特别的私交，但是纯粹为中国学术的传承，他由衷为张舜徽取得的每一种成就而喜悦，因此，几乎张舜徽每出版一本学术著作，顾颉刚都会写信表示祝贺，其折节下士之风丝毫不让杨树达。1962年，张舜徽出版《中国古代史籍校读法》，顾颉刚飞书盛赞说：“纲举目张，显微索隐，为初学引导正路，谆谆以教，苦口婆心，俾其于摸索之中，得见明灯，欢喜赞叹，当不止刚一人也。” 翌年，增订本《广校雠略》于中华书局出版时，顾颉刚又来信祝贺，称“信条理中国学术，惟先生为当行也”。同年11月，张舜徽的《清人文集别录》又在中华书局出版，顾颉刚读后不胜欣喜，释卷之后，当即提笔修书云：“先生所著诸书，示学者以途径。启牖之功，实在张香涛《輏轩语》、《书目答问》之上。然彼二书，对我辈之效用已极巨。先生别白是非，指明优劣。上绍向、歆之业，下则藐视纪昀之书，其发生影响之大，固不待言也。”正是在顾颉刚的敦劝下，张舜徽又写作了《清人笔记条辨》。1979年夏天，张舜徽因事进京，专程到三里河南沙沟寓所拜访了顾颉刚，当时顾颉刚正在病中，听说张舜徽来访，立刻披衣出迎。这虽然是两人的第一次会面，但相谈非常欢洽。
