Lo que podrias hacer es lo siguiente:
En le evento KeyDown del boton pones lo siguiente
Private Sub frmAbonosApartados_KeyDown(ByVal sender As Object, ByVal e As System.Windows.Forms.KeyEventArgs) Handles MyBase.KeyDown
If e.KeyCode = Keys.Enter Then
cont-=1
End If
End Sub
y en el evento click del boton le sumas uno.
Con eso evitariamos que se tomen en cuenta los eventos disparados con enter.
O bien utiliza el evento MouseDown el cual se produce cuando el puntero del mouse está sobre el control y se presiona un botón del mouse.
El controlador de eventos recibe un argumento de tipo MouseEventArgs que contiene datos relacionados con este evento.
Las siguientes propiedades de MouseEventArgs proporcionan información específica para el evento.
Propiedad Descripción
Button.- .Obtiene el botón del mouse que se presionó.
Clicks.- .Obtiene el número de veces que el botón del mouse se presionó y se soltó.
Delta.- .Obtiene un recuento con signo que indica el número de pasos de trinquete que ha girado la rueda del mouse. Un paso de trinquete es una muesca de la rueda del mouse.
X.- .Obtiene la coordenada x del mouse.
Y.- .Obtiene la coordenada y del mouse.
Tu dedices cual se te hace mejor, yo usaria la segunda
.