Estas trabajando con hilos? De esta forma podrias minimizar el consumo de procesador en el hilo correspondiente a la espera de datos y no sobrecargar la máquina. Ahora bien, al abrir el socket manejas algun protocolo?, porque quiza lo que pasa es que se te esta llenando la memoria de basura. Recibes alguna palabra o caracter de inicio en particular?