水浒中，人物有很多，但是作者主要介绍的角色并不多，大多数都是一笔带过，或者几句话道出其人其事。主角中，除了林冲、鲁智深、史进、武松、李逵等人外，还有一人便是青面兽杨志。
杨志祖上是杨令公，也就是第一代杨家将，北宋开国时期的著名将领杨业。
受《杨家将》等文学作品的影响，很多人都知道，杨家将非常威风，人才辈出，他们为国效力，谱写了许多可歌可泣的故事。然而，到杨志这一代时，杨家将已经没落了，这是杨志亲口说过的事。书中杨志连个亲人都没有，似乎他只是一人。
杨志的经历，也能证明这一点。
从小杨志就没有什么幸福生活，更没有祖上之荫，他流落在关西一带，后来考上武举，才得到宋徽宗的“赏识”。这种赏识换来的，不是让杨志去边疆效力，也不是让他去军中立功，而是去押送花石纲。杨志想做官，想立功，就是想恢复祖上的光辉，这也能证明杨家将的确没落了。
那么，杨志家为何会没落呢？或者说，杨家将为何会没落呢？
从小说角度出发，这可能是衬托当时世道。
众所周知，水浒传的背景设定在北宋末年，那时候宋徽宗为帝，但是他治国不行，贪图个人享受，对于提拔官员等也不靠谱。比如，他喜欢石头，于是就有了押送花石纲的事；他喜欢蹴鞠，就把会蹴鞠的高俅提拔为太尉等。
正因为，所以当时有许多贪官污吏，他们不好好为官，只会想着巴结皇帝，贪钱害民，像高俅、童贯、蔡京、梁中书等人都是这样。
此外，北宋后期战争颇多，其周边西夏、辽国、金国等也都是大宋劲敌。按理说，像杨志这样的武将，应该得到重用，何况杨志是杨家将的后代，且考了武举，不是空有其名。但是，杨志并没有得到重用，他只是为皇帝押送花石纲。
说白了，杨志就是宋徽宗个人玩乐的快递员。
这样的情况下，有这样昏庸无能的皇帝，杨家将能不没落吗？既然如此，杨志家又怎么不会没落呢？所以，杨志家的没落，衬托的是北宋末年的混乱世道。这种环境，也是水浒梁山好汉被“逼上梁山”的原因。
从历史角度出发，杨家将的没落符合事实。
上面是从小说角度来解读，其实，从历史上来看，大概也是这样。历史上，杨家将最初的确很有名，杨业算得上北宋开国名将。到了第二代杨家将杨延昭时，杨家将依然有名，他曾经大破辽军，威震边界，颇有乃父之风，人称“铁遂城”。
杨业的次子杨延玉，也曾与辽军作战，后战死。
到第三代杨家将，即杨延昭之子杨文广时，杨家将逐渐走向末路。杨文广曾抗击西夏，有一定的功劳，还曾在宋辽争代州时，奉献阵图及攻取幽燕之策。
杨文广在小说评书中名气很大，但在正史不然。再往后，杨家将的后人名气就更普通了，似乎还有杨震等人。杨震曾参与平定方腊的战役，有一定的功劳。
按书中所言，杨志是杨业的孙子，但实际上按年龄来算，杨志应该是杨业的玄孙，也就是杨文广的孙子辈。这样看的话，到杨志这一代，杨家将已经没落了，所以杨志家没落也很正常。
当然，杨志的原型人物也叫杨志（原型人物之一），他只是一名普通的军官，曾经因为杀人而被充军。后来在战场上杨志曾立功，而后不知所踪，应该是战死了。
总而言之，无论是从哪一个角度来说，杨志的家庭背景都是很普通的。所以，设定为杨家将后人的杨志，家庭没落是正常的。