起诉离婚时结婚没多久并不代表一定要退回彩礼，退回彩礼有一定的条件限制。
《最高人民法院关于适用中华人民共和国民法典婚姻家庭编的解释(一)》
第五条 当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
(一)双方未办理结婚登记手续;
(二)双方办理结婚登记手续但确未共同生活;
(三)婚前给付并导致给付人生活困难。
适用前款第二项、第三项的规定，应当以双方离婚为条件。
1、原告起诉。
2、法院受理后将起诉书副本送达被告。
3、被告在十五日内提交答辩状,法院在五日内将答辩状副本送达原告如果被告不提交答辩状,不影响审理。
4、决定开庭审理的案件,法院在三日前通知当事人并公告。
5、法庭调查阶段包括:当事人陈述;告知证人的权利义务，证人作证，宣读未到庭的证人证言;出示书证、物证和视听资料;宣读鉴定结论;宣读勘验笔录。
6、法庭辩论包括:原告及其诉讼代理人发言;被告及其诉讼代理人答辩;第三人及其诉讼代理人发言或者答辩;互相辩论。 法庭辩论终结，由审判长按照原告、被告、第三人的先后顺序征询各方最后意见。
7、法庭辩论终结，应当依法作出判决。判决前能够调解的，还可以进行调解，调解不成的，应当及时判决。
8、判决宣告。
三、彩礼返还纠纷的起诉条件是什么?
《中华人民共和国民事诉讼法》
第一百一十九条 起诉条件
起诉必须符合下列条件：
(一)原告是与本案有直接利害关系的公民、法人和其他组织;
(二)有明确的被告;
(三)有具体的诉讼请求和事实、理由;
综上所述，若符合法定条件，男方在离婚时可以让女方退回彩礼，但每一起离婚案件的具体情况都不一样，类似于结婚以后短时间之内男方就有出轨、家暴、吸毒等不良行为，离婚一般不能让女方退彩礼。
