lo haces como cuando creas cualquier funcion, para tu caso basta hacer una funcion que por ejemplo se llame "mifun.m" que tenga el siguiente codigo:
function y=mifun(x)
y=exp(n.^2);
y esa es toda la funcionn solo son 2 renglones, ahora en la propiedad "TransferFcn" de tu red pones 'mifun' y ya.
ahora de lo de mytf que mencionas, puedes teclear
>>type mytf
y aparecera el codigo de dicha funcion, este codigo lo puedes copiar y pegar en un archivo *.m el cual se llame "mytf.m", solo hasta el final del codigo viene la relacion que hay entre "a" y "n", entonces como tu dices basta con cambiarla a:
a=exp(n.^2)
y guardar cambios, igualmente en la propiedad "TransferFcn" de tu red ahora colocas: ' mytf '
espero que este bien y te sirva