手机被海关调查后退回的时间主要取决于手机与案件的关系：
如果手机与案件无关：
根据《中华人民共和国刑事诉讼法》第一百四十五条的规定，公安机关应当在三日内解除对手机的扣押，并将其退还给当事人。
如果手机是案件的关键证据：
则手机可能在整个调查或审判过程中被持续扣押，直至案件结束。这可能包括刑事拘留期（一般为14至37日之间）或侦查羁押环节（普通情况下不得超过两个月）。
如果手机在案件审理阶段被认定为作案工具：
则手机可能会被依法没收，而不会退还给当事人。
综上所述，如果手机与案件无关，通常情况下手机会在三日内被退还。如果手机是案件的关键证据或作案工具，则可能会在案件审理结束后由法院决定是否退还。建议您及时与办案单位联系，确认手机的具体处理情况。