Ese es el comportamiento normal del ide, si lo que quieres es que salga nu mensaje de error y luego cerrar la aplicación entonces en vez de hacer throw envias un MessaBox con el botón OK y una vez salgas de alli le das Application.Exit.
Otra opcion es que sigas lanzando ahi la excepción pero que la captures en otyro lado, en ese otro lado haces lo del MessageBox.