1、过敏者：如果对灵芝孢子粉过敏，则不要吃灵芝孢子粉，服用后可能会诱发过敏反应，出现恶心、腹泻、皮肤瘙痒、皮疹等过敏症状，严重者甚至可能出现呼吸困难、休克等危及生命的情况。

2、外感发热者：对于存在外感发热的患者，建议不要吃灵芝孢子粉。感冒发热的患者吃灵芝孢子粉不利于控制症状，可能会加重不适症状。

3、阴虚火旺者：灵芝孢子粉具有壮阳补气的功效，本身存在阴虚火旺者，可能会加重阴虚火旺的表现，导致机体上火。

4、生长发育期儿童：正处于生长发育阶段的儿童，通过日常均衡饮食可以获得足够的营养需要，不建议吃灵芝孢子粉进行额外补充。

5、妊娠期女性：妊娠期女性也不建议吃灵芝孢子粉，可能会影响胎儿的正常生长发育。