Para obtener el valor de la función tienes que pasarle los parámetros adecuadamente:
prueba con
nResp = MessageBox(hWnd, "Mensaje para la caja", "Título para el mensaje", MB_YESNO)
verás como obtienes 6 (vbYes) ó 7 (vbNo) dependiendo del botón seleccionado... Pero si no le pasas el parámetro MB_YESNO, no obtendrás el valor correctamente... Y claro está, en el módulo tendrás que haber definido Public Const MB_YESNO = &H4&
(Porque, a todo esto... supongo que estas preguntas se refieran al API MessageBox...)
Creo que ahora ya te vaya de pm... Saludos