桃花茶一般对大多数人都是安全的，但以下人士不适合饮用桃花茶：

1. 孕妇和哺乳期妇女：目前还没有足够的数据证明桃花茶是否会对妊娠或哺乳期妇女有不良影响，因此为了安全起见，最好不要饮用。

2. 脂肪肝和胃肠功能异常患者：桃花茶具有清热解毒的功效，但过量饮用可能会刺激肝脏和胃肠，对于患有脂肪肝或胃肠功能异常的人来说不太适宜。

3. 儿童和老人：由于儿童和老人的身体免疫力较弱，因此可能会对桃花茶中的某些成分敏感或产生过敏反应，所以最好避免饮用。

4. 对桃花过敏的人：如果你对桃花过敏，就不要饮用桃花茶了。