Hola.
El método más utilizado para el procesamiento de imágenes es, tal y como te han comentado, las redes neuronales.
Otra cuestión clave es el pre-tratamiento de tu imágen mediante algoritmos de detección de bordes, resaltado, eliminación de ruido y otros tratamientos. En teoría, una red neuronal podría saltarse todos los pre-tratamientos, aunque, pero si usas otra forma de análisis, seguramente necesites alguno de ellos.
Algunas cosas que te pueden resultar útiles:
Algoritmo de Canny para detectar bordes
Algoritmo de Harris para detectar esquinas
Algoritmo de perfilado
Igualación de histograma
Como recomendación para procesamiento de imágenes:
ALGORITHMS FOR IMAGE PROCESSING AND COMPUTER VISION
AUTOR: PARKER, J.R
ISBN: 0-471-14056-2
COMPUTER VISION AND IMAGE PROCESSING
AUTOR: UMBAUGH, S
ISBN: 0-13-264599-8
IMAGE PROCESSING ANALYSIS AND MACHINE VISION
AUTOR: SONKA, M
ISBN: 0-534-95393-X
VISION POR COMPUTADOR: IMAGENES DIGITALES Y APLICACIONES
AUTOR: CRUZ, JESUS M. DE LA y PAJARES, GONZALO
ED: RA-MA
ISBN: 8478974725
INTELIGENCIA ARTIFICIAL E INGENIERIA DEL CONOCIMIENTO
AUTOR: PAJARES MARTINSANZ, GONZALO y SANTOS PEÑAS, MATILDE
ED: RA-MA
ISBN: 8478976760
Espero que te sirvan.
Suerte.
Silverfox