Podrías ser mas especifico por favor, no entiendo muy bien.
Yo lo que mas o menos entiendo, es que tienes una foto, y deseas quitar algunos colores de ella????
Si es esto lo que quieres hacer, te invito a que lo hagas en el plano HSV, en este plano, tu puedes separar los diferentes planos, el H, S y el V, puedes definir varias constantes, dependiendo los colores que deses quitar, como por ejemplo el rojo, que su intervalo es el siguiente:
c = H(:,:,1)>0.92
En el plano H es donde puedes escoger los diferentes rangos de colores que puedes acotar.
Luego, puedes juntar de nuevos los planos, y verás que ya no aparecen los colores que tu deseabas quitar
Espero que esto es lo que deseas hacer, sino, no está demas que nos especifiques un poco mas, para ver si te podemos ayudar.
Exitos.