Hola
Para usar el tamaño de papel personalizado (Custom), debes checar primero si la impresora que estas usando lo soporta, en caso de ser afirmativo debes configurar la impresora (en propiedades de la impresora) para el tamaño de papel que quieres, si haciendo todo esto no te funciona, entonces no tengo ni idea.