不适合服用灵芝的人群包括：
1. 孕妇和哺乳期妇女。
2. 手术前及手术后一周的患者。
3. 患有严重慢性疾病如肾衰竭、心衰等的患者。
4. 对灵芝过敏的人。
详细解释如下：
孕妇和哺乳期妇女身体状态较为特殊，需要特别注意营养摄入。虽然灵芝具有很高的营养价值，但其中的某些成分可能对胎儿或婴儿产生影响，因此孕妇和哺乳期妇女应避免服用。
进行手术前后的一周，人体处于较为虚弱的状态，灵芝虽然具有滋补作用，但其补益作用可能过于强烈，不利于手术恢复。因此，手术前及手术后一周的患者应避免服用灵芝。
患有严重慢性疾病如肾衰竭、心衰等的患者，其身体状态较为复杂，需要遵循医生的建议进行治疗。灵芝虽然具有保健作用，但对于这些患者而言，其成分可能对身体产生不利影响，因此这类人群也应避免服用。
对于已知对灵芝过敏的人来说，服用灵芝可能会引起过敏反应，如皮肤瘙痒、红肿等。因此，对灵芝过敏的人不应服用灵芝。
以上内容仅供参考，具体是否适合服用灵芝，应结合个人实际情况和医生的建议来决定。