Programación Web y Scripting > Python
crawler http
F_Tanori:
--- Cita de: "Invisible" ---Entonces sí tendría propósitos específicos, cada vez que quisiera usar el crawler con un dominio tendría que hacerlo nuevo. Si quiero guardar mis mensajes privados de phpBB o los favoritos de yahoo bookmarks no quiero tener que hacer esta parte neuva, ni mirar una librería para manejar una api de un servicio que puede que ni exista (con facebook y twitter somos afortunados). El código de calidad es reusable.
hay muchos sitios que requieren hacer login para acceder a la información, sólo quiero poder hacer eso, creo que no es nada del otro mundo, no sé por qué me respondes con indirectas.
He puesto un código, que parece estar bien pero no funciona, sólo pido eso, que si alguien sabe por qué no funciona me lo diga... debería ser fácil para los expertos de aquí. Ahora incluso he conseguido acortarlo, una clase de 18 líneas no puede ser compleja.
--- Fin de la cita ---
Entiendo eso que dices del software de calidad, aunque la caracteristica es Reutilizacion
quizas es que tu español y el mio no es el mismo.
Si vuelves a leer veras que he dicho, como haz mencionado que es para facebook y twitter, entonces solo he confirmado que es para algo en especifico, y te he preguntado si no te servian las librerias que los propios sitios ofrecen (hay un signo de interrogacion).No tengo necesidad de contestar indirectas como tu dices, ya que no estoy jugando he dicho las cosas en serio. No entiendo porque te alteras.
Ni mucho menos he dicho que sea algo de otro mundo, ni me sorprende la tarea a realizar, me parece muy buena pero no de otro mundo o imposible.
y Pienso que si haces cosas como esta:
--- Código: Python ---sid = findall('type="hidden" name="sid" value="([^"]+)"', data)[0]
Parece que estas buscando un control del formulario web y en cada pagina se llaman diferente, asi que de todos modos se tendra que hacer la adaptacion a cada sitio, creo que seria complicado y al final tener que estar modificando tu metodo para cada pagina, y si le sumas que algunas paginas hacen login con flash, o con AJAX,CAPTCHAs,Timers,IP etc..
en mi opinion es dificil querer hacer algo tan general, lo quizas yo haria es agregar metodos segun el soporte de mi aplicacion, utilizando las Apis probadas y desarrolladas para cada proposito
--- Código: PHP --- loginFaceBook()loginTwitter()loginMySpace()
ya la mayoria de las redes sociales tiene informacion para developers (pues de eso se tratan las redes sociales de compartir)
yahoo tiene Developer Networks,muchas aplicaciones de google (como youtube) tienen GData (Google Data Protocol), MySpace tiene APIS (no se si ya funcione en GData) , pero esto es solo un ejemplo no tienes que tomarlo en otro sentido, entiendo lo que dices y tambien lo que tienes en mente, hacerlo para que funcione con cualquier pagina sin requerir nada especial
En fin...
Animo mucho exito :suerte:
Saludos
Invisible:
--- Cita de: "F_Tanori" ---y te he preguntado si no te servian las librerias que los propios sitios ofrecen
--- Fin de la cita ---
No, no me sirven, porque quiero poder ampliarlo para que tenga un propósito tan general como sea posible, por eso necesito que mi crawler sea capaz de hacer login.
--- Cita de: "F_Tanori" ---Ni mucho menos he dicho que sea algo de otro mundo, ni me sorprende la tarea a realizar, me parece muy buena pero no de otro mundo o imposible.
--- Fin de la cita ---
Si, es sencilla, ¿qué es lo que está mal?
--- Cita de: "F_Tanori" ---y Pienso que si haces cosas como esta:
--- Código: Python ---sid = findall('type="hidden" name="sid" value="([^"]+)"', data)[0]
Parece que estas buscando un control del formulario web y en cada pagina se llaman diferente, asi que de todos modos se tendra que hacer la adaptacion a cada sitio,
--- Fin de la cita ---
Date cuenta que eso está fuera de la clase, incluso son dos cajas de code distintas.
--- Cita de: "F_Tanori" ---creo que seria complicado y al final tener que estar modificando tu metodo para cada pagina,
--- Fin de la cita ---
No, la primera caja se va ampliando para que cada vez sirva para más cosas.
--- Cita de: "F_Tanori" ---y si le sumas que algunas paginas hacen login con flash, o con AJAX,CAPTCHAs,Timers,IP etc..
--- Fin de la cita ---
Por eso he empezado por una tan simple como un foro phpbb.
Mira que hay dos cajas de código.
F_Tanori:
--- Cita de: "Invisible" ---
--- Cita de: "F_Tanori" ---y te he preguntado si no te servian las librerias que los propios sitios ofrecen
--- Fin de la cita ---
No, no me sirven, porque quiero poder ampliarlo para que tenga un propósito tan general como sea posible, por eso necesito que mi crawler sea capaz de hacer login.
--- Fin de la cita ---
Exacto solo era una pregunta
--- Cita de: "Invisible" ---
--- Cita de: "F_Tanori" ---Ni mucho menos he dicho que sea algo de otro mundo, ni me sorprende la tarea a realizar, me parece muy buena pero no de otro mundo o imposible.
--- Fin de la cita ---
Si, es sencilla, ¿qué es lo que está mal?
--- Fin de la cita ---
No esta mal, al contario me parece muy buena.
--- Cita de: "Invisible" ---
--- Cita de: "F_Tanori" ---y Pienso que si haces cosas como esta:
--- Código: Python ---sid = findall('type="hidden" name="sid" value="([^"]+)"', data)[0]
Parece que estas buscando un control del formulario web y en cada pagina se llaman diferente, asi que de todos modos se tendra que hacer la adaptacion a cada sitio,
--- Fin de la cita ---
Date cuenta que eso está fuera de la clase, incluso son dos cajas de code distintas.
--- Fin de la cita ---
Lo entiendo, veo la clase, y la utilizacion no hay ningun problema en eso, pero al ser cadenas constantes, significa que tienes que colocarlo dependiendo del sitio, es decir no lo lo identificaria el bot. pero va esta bien como vas
--- Cita de: "Invisible" ---
--- Cita de: "F_Tanori" ---creo que seria complicado y al final tener que estar modificando tu metodo para cada pagina,
--- Fin de la cita ---
No, la primera caja se va ampliando para que cada vez sirva para más cosas.
--- Fin de la cita ---
--- Cita de: "Invisible" ---
--- Cita de: "F_Tanori" ---y si le sumas que algunas paginas hacen login con flash, o con AJAX,CAPTCHAs,Timers,IP etc..
--- Fin de la cita ---
Por eso he empezado por una tan simple como un foro phpbb.
--- Fin de la cita ---
Claro, eso lo veo y va bien
--- Cita de: "Invisible" ---Mira que hay dos cajas de código.
--- Fin de la cita ---
Eso lo he visto.
Invisible:
Entonces, ¿por qué no fucniona?
Aparentemente todo está bien, pero no consigo hacer login. Quería hacer login aquí antes de pasar a cosas más complicadas.
he visto que smf requiere sha1, tengo que probarlo, con yahoo ya ni me atrevo, twitter que tiene oauth y cosas más complicadas lo dejo para después.
Navegación
[*] Página Anterior
Ir a la versión completa