SoloCodigo

Puedes abrir el archivo por cantidad de bytes con el método read(cantidad de bytes) ir leyendolo hasta alcanzar el final del fichero, con un ciclo lo podrías llevar hasta el final, algo así:
Ojala te sirva.
Chao

Hola!, les cuento cual es el problema...
Necesito procesar un archivo xml de 500 MB en python, leyendo en la web encontre que libxml2 era apto para cosas grandes. Pero no es asi... ya que en una maquina con 2 G no lo puede procesar, y en un cluster demora 6 horas, necesito urgente si alguien conoce que puedo usar para que no ocupe tanta memoria y para que termine rapido.
Gracias!

Yo tuve el mismo problema hace un tiempo atras, por lo tanto te voy a comentar mi experiencia.

Los archivos xml que tenia que procesar eran de alrededor de 200MB y cuando los procesaba me consumian mucha memoria.
Despues de investigar note que hay diferentes formas de parsear un xml. Seguramente lo que te esta ocurriendo es lo mismo que me ocurrio a mi, yo utilice DOM[1] para procesar el xml.
El problema es que DOM para procesar el archivo genera un modelo de objetos a partir del xml, por lo tanto en mi caso iba a utilizar mas de 200MB para poder armar el modelo en memoria.
Buscando ayuda encontre otra alternativa llamada SAX[2]. Este en vez de cargar todo en memoria utiliza una api event-driven, que llama metodos segun se abra o cierre un tag.
Por lo tanto SAX podria ser la solucion para tu problema. Aca pongo un ejemplo que es bastante auto explicativo, espero te sirva.



Saludos

nrm

[1] - http://en.wikipedia.org/wiki/Document_Object_Model
[2] - http://en.wikipedia.org/wiki/Simple_API_for_XML

Obviamente la respuesta de Edo no es valida, ya que hacer un parser de XML es un trabajo largo y dificil, y es aun mas dificil cuando tienes que leer bloques de bytes para formar los arboles.

Yo solo decía, la vaina es que lo dijé por que lo probé con un archivo de 700MB con el que tenía que trabajar y me funciono así, por eso hicé el ejemplo, no era XML era un simple archivo de texto; que bueno es aprender cosas nuevas

PD2: Edo, la memoria leida no deberia ser de 512, es muy poquito... deberia ser, al menos, 2Kb  

Era simplemente un ejemplo

Creo que con la info de NRM queda bien explicado.

Cita de: "su -"

El problema es que Python es un poco lento (mas lento que Perl, ya que Python no precompila el codigo como Perl lo hace) y todos los scripts en jeneral... en resumen, lo mejor seria usar C/C++

En esta pagina[1] tenes informacion sobre el tema de la compilacion de los modulos de python.
Si el problema es la performance se puede extender python utilizando C[2], solo para tener otra opcion.
Esta otra[3] tiene un benchmark sobre ambos lenguajes.

Saludos

nrm

[1] - http://docs.python.org/tut/node8.html#S ... 0000000000
[2] - http://www.python.org/doc/ext/intro.html
[3] - http://shootout.alioth.debian.org/gp4/python.php

Perdon por la demora...  
Link 1: Muy interesante, pero en Perl puede usar Inline::C, Inline::ASM, Inline::Python  
Link 2: Como en todos los lenguajes script (bueno, casi todos) y esto, en efecto es la solucion a muchos problemas de memoria.
Link 3: Muy malo.
Para empezar, usa perl 5.8.8 (Frebrero del 2006) y Python 2.5.1 (Abril 18 del 2007) lo cual no es justo   .
Ademas no vi los codigos que usan... asi que... ni modo.

Yo solo decía, la vaina es que lo dijé por que lo probé con un archivo de 700MB con el que tenía que trabajar y me funciono así, por eso hicé el ejemplo, no era XML era un simple archivo de texto; que bueno es aprender cosas nuevas

Bien, entiedo.
Yo hice lo mismo con perl 5.8.0, en BeOS R5  y con un archivo de 1.8 GB... el trabajo era partirlo en 3 partes (todas del mismo tamaño) y tomo unos 20 minutos y 41 segundos... usando un buffer de 1024 bytes (muy poco).