A =str2num(get(handles.edit26,'String'));por esto (atención a los mensajes de error, normalmente ahí ves el problema):
B =str2num(get(handles.edit27,'String'));
C = A*B
set(handles.edit28, 'String',num2str©);
??? Error using ==> str2num
Requires string or character array input.
luego obtenerlos desde la propiedad 'String', lo que obtienes es una celda, úsala como string y sepárala con strtok, así puedes obtener cada uno de los elementos separados por espacios (u otro caracter).