un punto exe sin instalacion previa.
Este tipo de portabilidad requiere que tu proyecto provea todas las librerías que necesita. De ese modo lo haces independiente.
Lo adecuado para el caso es que aplicación arranque desde Main, verifique si las librerías que utiliza tu proyecto están instaladas o no, si no están instaladas entonces las registras, si se registraron todas satisfactoriamente entonces arrancas la aplicación ...
Para saber que librerías necesita tu proyecto, lo mejor es hacer un empaquetado (utiliza el asistente de empaquetado que tiene vb), una vez hagas el empaquetado verás que hay un archivo que contiene la lista de las librerías y ficheros adicionales que pueda necesitar. Utiliza esa lista para localizar los ficheros e incluirlos en tu carpeta de distribución. Naturalmente el empaquetado, después de saber que necesitas, puedes eliminarlo.
Por último si tu programa utiliza algún tipo de salvaguarda de opciones y configuración del usuario, utiliza un fichero dentro de tu carpeta en vez de utilizar el registro como almacén, así además de portar el programa también es portable la configuración.