Hola...
Si cierras el Frame principal, tu aplicación se terminará.
Lo que puedes hacer es ocultarlo. Echa un vistazo al API de Java en java.sun.com. Supongo que con un JFrame.setVisible(false) te debería bastar. Usa esto cuando abras el nuevo frame y ten cuidado, porque la ventana estará ahí, aunque no la veas. Tendrás que hacerla visible en algún momento, o destruirla.
Un saludo.
Silverfox