用工单位与被派遣劳动者之间构成的是，而非劳动合同关系。依照劳动合同法第三十九条的规定：劳动者有下列情形之一的，用人单位可以解除劳动合同：
(一)在试用期内被证明不符合录用条件的;
(二)严重违反用人单位的规章制度的;
(三)严重失职，营私舞弊，给用人单位的利益造成重大损害的;
(四)劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的;
(五)因本法第二十六条第一项规定的情形致使劳动合同无效的;
(六)被依法追究刑事责任的。
可见，用工单位退回被派遣劳动者只能是因为劳动者不符合录用条件或严重违纪违法，这样劳务派遣单位就可以依照劳动合同法的规定解除劳动合同。
劳动合同法将派遣关系中三方关系的解除情形纳入规定之中，有利于解除劳务派遣合同情形的法定化、规范化，有利于关系的理清及争议的处理，有利于构建、发展和谐、稳定的劳动关系，保护用人单位和劳动者的合法劳动权益。
