Lo q pasa es que a simple vista Access es menos pesado, porque la programacion con macros VBA esta en segundo plano para access. Access esta orientada a trabajar con BD's. En cambio esto no ocurre con vb .net.
Lo que yo haría en tu lugar es...
1.- fijarme el codigo que está ahora en .net . Tal vez al momento de migrar el codigo se esta llamando a un procedimiento o funcion por las puras.
2.- Correr la aplicacion en otra PC para descartar algunos problemas en tu maquina (poca memoria,etc)
3.- Eliminar codigo basura (comentarios , variables no usadas, procesos no usados,etc) en .net
