1. 孕妇：红豆薏米茶具有一定的药性，孕期饮用容易引起孕妇体内气血不和、胎动不安或者流产等问题。

2. 儿童：红豆薏米茶含有挥发油和茶碱等成分，如果过量饮用，容易对儿童的神经和心血管系统造成负担，从而影响健康发育。

3. 肝脏疾病患者：因为红豆薏米茶具有利尿、解毒的功效，大量饮用可能会给肝脏带来负担，不利于康复。

4. 肾脏疾病患者：由于薏米具有利尿的作用，饮用量过多会增加肾脏排泄的负担，加重肾脏疾病的进程。

5. 药物过敏者：红豆薏米茶中含有大量的药性成分，如果身体对这些成分发生过敏反应，饮用就容易引起过敏反应，从而在健康上造成影响。