行政单位可以购买茶叶，茶叶作为一种普遍的饮品可以被各类机构和个人消费。然而，行政单位在购买茶叶时需要按照政府采购法规进行采购，遵守相应的规定和要求。此外，行政单位应该注重节约用水和环保，选择符合国家标准和环保要求的茶叶产品。