Para poder exportar mallas con extension .x desde Max 5 (o otras versiones ahunque no sabria asegurarte cuales de ellas) debes usar un plugin de direct x para max (creo que antes debes compilarlo), tiene que estar en alguna de las carpetas de direct x.
Una vez tengas esto debes meter esta dll en la carpeta de plugins de 3D Max. Al abrir max, este reconocera automaticamente la dll y la cargara, ahora simplemente seleciona la malla y le das a file>export
y en la ventana que te se abrira, te vas a la ventana en cascada para seleccionar el formato y seleccionas el .x
Yo nunca e usado este formato, pero para empezar si no tienes mucha experiencia te recomiendo que uses el formato .ASE, si no tienes conocimientos sobre este formato o quieres que te ayude a hacer un importador de este formato... simplemente contesta este post