Creo que con solo la magnitud no podrías hacerlo necesitaras también ingresar el vector de fase pues recuerda que la FFT retorna valores complejos y si le sacas la magnitud también se le debe sacar el diagrama de fase pues o sino se perdería información, entonces para hacer la inversa deberías calcular con los vectores de magnitud y fase, un solo vector de números complejos y ese se los ingresas a la ifft y te dara la información en el tiempo sobre esa señal