1. 孕妇或哺乳期妇女：因为孕妇和哺乳期妇女需要控制咖啡因的摄入量，桂花茶中含有咖啡因，因此不适合他们饮用。

2. 体弱者：由于桂花茶具有一定的温热作用，如果体质较弱的人饮用过量的话可能会引起身体不适。

3. 肝肾功能不好者：桂花茶中含有黄酮类物质，对肝肾有一定的刺激作用，如果肝肾功能不好的人大量饮用，可能会加重肝肾的负担。

4. 慢性胃炎及胃肠道易敏感的人：桂花茶中含有挥发油和芳香物质，可能会对慢性胃炎患者及胃肠道易敏感的人产生刺激作用，导致胃肠道不适。

5. 过敏体质：桂花茶中含有一些芳香物质，容易引起过敏反应，因此过敏体质的人不宜多饮。