桂鱼营养价值高，大部分人群都可以食用，但是部分特殊人群应当注意避免食用。
以下是具体的情况说明：
1. 对海鲜过敏的人不宜食用桂鱼。桂鱼属于海鲜的一种，如果对海鲜过敏，食用桂鱼可能会引发过敏反应，如皮肤瘙痒、红肿，甚至可能出现呼吸困难等严重症状。因此，对海鲜过敏的人应当避免进食桂鱼。
2. 孕妇及哺乳期妇女建议谨慎食用。虽然桂鱼含有丰富的蛋白质和其他营养物质，但由于其可能含有较高的汞和其他化学物质，孕妇和哺乳期妇女需要特别注意食品安全。在摄入桂鱼前，建议咨询医生或营养师的意见。
3. 患有某些疾病的人应避免食用桂鱼。如患有痛风等疾病的人应当避免食用高嘌呤的食物，包括桂鱼在内。此外，某些特殊的慢性病或免疫系统相关疾病的患者，由于特殊的饮食要求，可能也需要避免或减少桂鱼的摄入。具体情况应咨询医生的建议。
总体来说，除了以上特殊人群，大多数人都可以适量享用桂鱼的美味。但每个人的体质都有所不同，如果有任何疑虑或特殊情况，建议在食用前咨询医生或营养师的专业意见。同时，选择新鲜、安全的食材来源也是确保健康的重要因素。