Si, el camino son los layouts pero la verdad hace años que no los uso.
Hya layouts para organizacion automatica, redimencionamiento automatico, los dos combinados, organizacion manual etc... y hasta donde recuerdo puedes utilizar un layout diferente por panel para hacer mas flexible el asunto.