Hola cmc1476.
Así sin más puedes mostrar un icono pequeño en la primera columna del listview. También puedes mostrar una lista de iconos grandes estableciendo la propiedad View a 0 (lvwIcon).
Para mostrar una imagen en cada columna, supongo que tendrías que subclasificar el control... cosa muy enfarragosa con vb. Tal vez te compense usar algún otro componente que haya pululando por ahí (no sé si en este mismo foro alguien ofreció un link para obtener un control asín, busca a ver).
Como alternativa (aunque siempre dé rabia no conseguir las cosas como se pretenden) podrías mostrar la ruta en la columna y al hacer click sobre ella que se muestre la imagen en otro control image o picturebox.
Suerte.