以下人群应避免或限制饮用苦瓜茶：

1. 低血糖患者：苦瓜可以降低血糖水平，因此低血糖患者应该避免喝苦瓜茶，以免血糖过低。

2. 肝脏疾病患者：苦瓜可以增加肝脏的负担，因此肝脏疾病患者应该避免过量摄入苦瓜茶。

3. 孕妇：苦瓜有一定的药理作用，孕妇应该避免饮用苦瓜茶，以免对胎儿造成不良影响。

4. 乳母：苦瓜能够调节胰岛素分泌，影响乳汁的分泌，因此乳母应该避免过量饮用苦瓜茶。

5. 过敏体质者：苦瓜可能会引起过敏反应，过敏体质者应该避免饮用苦瓜茶。