Hola escorcia.
Nunca hice tal cosa y no sabría decirte... pero puedes buscar información sobre el GDI y su api. Casi todas (o todas) las funciones las encontrarás en gdi32.dll.
No creo que sea muy complicado. Sé a ciencia cierta que el gdi proporciona funciones para hallar los colores más aproximados entre paletas.
Suerte.