Hola...
Cuando ejecutas un System.exit() estás saliendo del programa, lo que significa que la máquina virtual termina la ejecución, por eso se te cierra, no solo esa ventana, sino todas las demás. Para que no ocurra, tendrás que usar, bien la constante DISPOSE_ON_CLOSE, que destruye la ventana, bien HIDE_ON_CLOSE, que la hace invisible, pero que no la destruye, por lo que con setVisible(true) podrás mostrarla de nuevo tal y como el usuario la dejó.
Y para hacer que los items del ComboBox sean invisibles, lo mejor es quitarlos. Usa los métodos remove.
Un saludo.
Silverfox
PD: Para próximas ocasiones, por favor, quita el Bloq. Mays. Gracias.