今3月与尚海公司（聚通下属）签订设计协议，设计师设计差强人意，不能很好沟通。我们在他出第一稿时，用了十几天设计出来设计图就觉得差距太大，根本不是我们沟通理念去设计，曾在3月28日提出换设计师。设计师以抽不出人为由，并会努力工作，希望能继续合作。我们提出电视背景和餐厅背景二个先试着设计，如好的话，再继续下去，结果该设计师去做了3D图，我们搞不懂，平面方案都没确认，去做3D干嘛？设计师觉得很辛苦，但我们觉得没法再与他合作下去了，我们说东，他做西，在设计阶段就这样，到施工阶段问题就更大了。我们提出不能合作了，他也同意。说我们的设计费能退给我们，这是4月13日说的，以后就一直推说公司审核，直到今天5月6日。我们该怎么办？