Hola.
Lo primero que tienes que hacer es separar cada uno de los tres números en hexadecimal en una cadena (cada uno va de 00 a FF). Después usa este código para obtener cada uno de ellos:
char cadena[16]; // Aqui hay un número en hex.
int numero;
sscanf(cadena, "%x", &numero);
Tras esto tendrás, en la variable
numero, el número en formato entero.
NOTA: No sé si el número en hexadecimal a leer por scanf debe de empezar por '0x'. Si es así, añadeselo antes de hacer el sscanf.
Un saludo.
Ruben3d