para, lo de la instancia, haces esto:
If App.PrevInstance Then
        MsgBox "La aplicación ya está abierta"
        End
    End If
para lo de MDI, para que una forma caiga dentro del padre, debe ser mdiChild, 
aesta forma le cambias la propiedad MDIChild a True. o lo puedes hacer por codigo como quieras.
espero que esto sea lo quieras saber...
saludos.