罗布麻茶含有咖啡因和茶碱，因此以下人群需谨慎食用或禁止饮用：

1. 对咖啡因过敏或过敏体质的人；

2. 心脏病、高血压、糖尿病、贫血、肝病、脂肪肝、神经过敏等疾病患者；

3. 患有失眠、焦虑、神经衰弱等相关疾病的人；

4. 孕妇、哺乳期妇女和儿童。

建议以上人群应该在医生或者营养师的指导下进行饮用。