Hola.
La librería a utilizar depende mucho de a qué nivel vas a llegar con la calidad del juego. Si el aspecto gráfico no va a ser muy complejo (estilo Quake 3) te recomendaría que aprendieras OpenGL, ya que lo veo mucho más fácil de manejar. Ahora bien, si te vas a meter con efectos avanzados como pixel shaders, texturas volumétricas, etc, te diría que fueras hacia DierctX, ya que es más fácil lograr estos efectos en esta librería. En OpenGL igual se puede hacer, solo que te has de meter con las extensiones y sus especificaciones.
Así pues, depende de la calidad visual del juego y qué estilo de programación te guste (para que te hagas una idea de a dónde se puede llegar, Doom 3 se está haciendo con OpenGL y Half-Life 2 con DirectX, busca screenshots de estos juegos).
Por otro lado, según leí cuando Discreet lo anunció, GMax no es una librería gráfica, es una especie de 3dsmax recortado especializado en modelar, animar y texturizar objetos, niveles, personajes, etc de juegos. Con lo que tú has de cargar los modelos generados con GMax en tu juego y mostrarlos usando OpenGL, DirectX, o la librería que quieras.
Puedes consultar este link para una explicación más extensa:
Direct3D vs. OpenGL: Which API to Use When, Where, and WhyEspero que esto te sirva de orientación.
Un saludo.
Ruben3d
