SoloCodigo

CLR: .Net / Mono / Boo / Otros CLR => C# => Mensaje iniciado por: lvcodemx en Martes 10 de Junio de 2014, 18:18

Título: Se puede ahorrar tiempo con varios hilos de actualizacion a MySQL?
Publicado por: lvcodemx en Martes 10 de Junio de 2014, 18:18

Hola, tengo un proceso que tiene realizar inserciones de datos a una tabla MySQL, poco más de 350,000 registros y esto le toma como 1 hora hacerlo. Esta cantidad de registros no será siempre solo la primera vez, pero a diario tendrá que cargar de 1000 a 2000 registros y quiero optimizar el tiempo.

Es posible que se ahorre tiempo de inserción sí creo varios hilos que estén insertando los registros simultáneamente?.

Título: Re:Se puede ahorrar tiempo con varios hilos de actualizacion a MySQL?
Publicado por: gabio2 en Miércoles 11 de Junio de 2014, 02:10

Puedes optimizarlo generando hilos por bloques, es decir si tienes 10 mil registros a insertar dividas en 2 hilos de a 5 mil y deberá ser más rápida la inserción.
Si tengo un tiempo te subo un ejemplo.

Saludos!

Título: Re:Se puede ahorrar tiempo con varios hilos de actualizacion a MySQL?
Publicado por: F_Tanori en Miércoles 11 de Junio de 2014, 14:37

hola, quizas puedas usar algo como "bulk"

http://dev.mysql.com/doc/refman/5.1/en/load-data.html
http://dev.mysql.com/doc/refman/5.5/en/optimizing-innodb-bulk-data-loading.html

Saludos

Título: Re:Se puede ahorrar tiempo con varios hilos de actualizacion a MySQL?
Publicado por: lvcodemx en Miércoles 11 de Junio de 2014, 17:53

Gracias por sus respuestas y creando 2 hilos trabajando simultáneamente insertando de 100 en 100 registros por comando insert se redujo drásticamente el tiempo a solo segundos.

Con esto ya me siento satisfecho con el tiempo de proceso.