Hola que tal:
Una forma podría ser, por medio del nombre de la ventana, viendo si el formulario ya esta creado, y si es asi no crearla.
for(int i = MDIChildCount-1; i >= 0; i--)
if (MDIChildren[i]->Caption == "NONAME1")
ShowMessage("No se puede abrir");
Hay gente que prefiere asignarle un Tag al formulario principal y consultar ese valor a la hora de crear una ventana hija.
Saludos Cordiales.