SoloCodigo

Buenas, tengo una consulta.

Tengo que procesar un archivo de texto de la manera mas rapida posible.
Actualmente los estaba procesando linea por linea (el texto tiene una estructura ya armada) con streamreader.readline.
Pero bueno al ser 1.300.000 lineas el proceso tarda bastante. Hay algun metodo para hacerlo mas rapido??
En otras oportunidades lo que hacia era poner todo el contenido en un string por ejemplo y procesar el string, pero con esta cantidad de registros me salen errores de memoria. (el txt ocupa 80mb)

Alguien tiene algun metodo mas rapido o algo para aconsejarme??

Saludos.

Si, lo que tengo que hacer es lo siguiente.
El archivo txt que menciono tiene un formato como el siguiente:

(y asi hasta pasar el millon de lineas)

Uno de los valores de cada linea (que estan separados por ";") representa un nro de cliente.
Por otro lado en una tabla en una base de datos tengo guardados los clientes que trabajan con la empresa en donde trabajo.
Entonces lo que yo tendria que hacer es leer en cada linea ese nro de cliente, fijarme (por medio de una consulta SQL) si ese cliente existe en la base de datos y si existe hago un INSERT a otra tabla con casi todos los valores que aparecen en esa linea. Eso y algunas cosas mas.

El problema que leer linea por linea directamente del archivo y hace muy lento el proceso. (en realidad porque son muchas lineas).
Aunque todavia no se bien como se haria, ¿podria ser una forma mas rapida cargando bloques del archivo a memoria (por ejemplo a un string) y procesar el string directamente?
Asi estoy leyendo el archivo


Otra cosa que puedo mejorar es que por cada linea hago un Select a la base de datos para ver si existe. Quiza podría dejar esos clientes de la base de datos en una lista o no se si se podra en un dataset y despues consuntarlos directamente de ahi, no se si sera eso mas rapido.

El codigo que uso para procesar cada lineas del archivo de texto debe tener unas 80 lineas. Si te interesa te lo puedo resumir y ponerlo, no lo hago realmente para no molestar tanto.

Espero que me este explicando bien...
Saludos y gracias!

buenisimo, con esto ya tengo cosas para ver.
Despues te comento como me va quedando.
Gracias!!

Bueno, considerando que el tema mas importante, como me mencionaste, eran las consultas a la base de datos resolvi hacer el proceso al reves.

En lugar de recorrer el archivo linea por linea y por cada una hacer el Select para ver si es un cliente valido decidi hacer lo contrario. Hice un select con todos los clientes de la empresa y tomaba cada uno y lo buscaba en el archivo txt (tanto la consulta como el archivo txt tienen los clientes en orden asi que el txt lo recorro una sola vez).
De esta manera cambio el millon y pico de select por 1 solo y asi bajó considerablemente el tiempo de 2 horas y media a, por ahora, 18 minutos.

Igualmente me quedan muchas cosas para optimizar como ser el tema de los insert, agruparlos y enviarlos todos juntos, o leer el archivo por bloques, etc.

Pero bueno esto ya fue de mucha ayuda, asi que gracias nuevamente!!

Saludos!