手机被扣押后退还回去的时间主要取决于手机与案件的关系以及案件的具体情况：
如果手机与案件无关
根据《刑事诉讼法》第一百四十一条、《公安机关办理刑事案件程序规定》第二百二十八条以及其他相关法律规定，公安机关应当在三日内解除扣押，并将手机退还给原主。
如果手机与案件有关
如果手机是作为证据被扣押，那么在案件侦查结束、不需要继续保留作为证据时，应当及时归还给原主人。但具体归还时间可能会因案件的复杂程度和调查取证的需要而有所不同。
对于行政案件，扣押物品的期限通常为三十日，但在案情重大、复杂的情况下，经公安机关负责人批准可以延长三十日。如果逾期不作出处理决定，公安机关应当将被扣押物品退还当事人，具体退还时间另行通知。
建议
及时联系公安机关：如果您的手机被扣押，建议您及时联系扣押机关，了解案件进展和手机返还的具体时间。
保留相关证据：在扣押过程中，确保保留所有相关证据和文件，以便在需要时能够证明手机与案件无关，从而加快返还进程。
咨询专业律师：如果您对扣押程序或手机返还时间有疑问，可以咨询专业律师，获取更详细的法律建议和帮助。