工程合同保证金违约责任方是不可以要求退还的，合同保证金指的是签订合同的一种约定。保证金具有担保的作用。具体来说，保证金的作用根据签约目的或者一方当事人的请求而有所不同。签约、成约、证约、履约、违约、解约等等都可以保证金为媒介起担保作用。
无质量问题争议后，向建设方(收质保金单位)提交退还质保金的函就可以了。对了，同时还要附工程回访单，有物业或住户的签字才行。
二、工程质保金退还流程是怎么样的？
当满足返还的条件以后，由合同乙方向质量保修期管理部门提出返还申请书，并附下列资料复印件：工程竣工验收证明、附有合约部现场造价工程师签字的关于质保金约定的合同当页、付款申请、质量保证金退还审批表、财务决算单(第二联原件)以及发票复印件。质量保修期管理部门在质量保证金退还审批表上签署返还意见、金额后，交由质量保证金管理部门审核，最终确定本次返还金额、返还形式并通知财务部办理相关返还手续。
具体流程如下：
(一)建设单位向住建局质检部门提出申请
(二)经城区物业管理办公室签署退还意见并加盖章印返还至质监部门方可退还。
1、由物管科派人到小区，要求物业企业在小区内悬挂横幅。
2、在个单元门口张贴通知：
(三)公告期限内无反映问题的，由物业确认，物管科领导签字报综合科复核无异议后盖章返还至住建局质监部门。
(四)对存在反映问题的，由物管科统计整理后，责成开发建设单位进行维修，维修合格经反映业主签字、物业盖章确认报物管科按程序履行。
综合上面所说的，工程合同的保证金是需要在工程实施之前进行支付，其目的性就是为了保障到双方的权益，如果给予保证金的一方违约那么是不能要求退还这笔金额，如果收款方违约不仅要退还保证金，还需要承担相应的违约责任，所以，不同的情形作不同的处理。
