• Lunes 20 de Mayo de 2024, 17:40

Autor Tema:  Error En Python Con Google  (Leído 2234 veces)

joy

  • Nuevo Miembro
  • *
  • Mensajes: 14
    • Ver Perfil
Error En Python Con Google
« en: Martes 21 de Noviembre de 2006, 15:39 »
0
Cuando ya por fin creia tener solucionado mi problema me encuentro con un gran error.
lo que quiero hacer es esto paso por paso:

-Hacer una busqueda desde python para obtener las url-s de la web que contengan recetas de cocina.

-una vez tenga este documento, parsearlo para agrupar todas las url-s que salen en el y poder bajarmelas una a una, para sacar la informacion que yo quiero. lo de parsearlo lo voy a hacer usando la libreria sgmllib y mas concretamente usando el modulo SGMLparser.

pues bien empiezo con el primer paso y ... error
INCISO
 SIGO COMO MENSAJE ADJUNTO PORQUE ME DICE QUE NO TENGO PERMISO SUFICIENTES PARA INCLUIR LINKS EN MIS MENSAJES
El mensaje contiene 1 archivo adjunto. Debes ingresar o registrarte para poder verlo y descargarlo.

joy

  • Nuevo Miembro
  • *
  • Mensajes: 14
    • Ver Perfil
Re: Error En Python Con Google
« Respuesta #1 en: Martes 21 de Noviembre de 2006, 17:39 »
0
me voy a contesar a mi misma ya que por finlo he logrado, pero si teneis una forma mejor de hacerlo dicirmelo pues nunca esta de mas saber cosas nuevas.
bueno lo he conseguido de la siguiente manera

he buscado en el manual de python, y he encontrado el siguiente
ejemplo
Código: Text
  1.  
  2. import urllib2
  3. opener = urllib2.build_opener()
  4. opener.addheaders = [('User-agent', 'Mozilla/5.0')]
  5. opener.open('http://www.example.com/')
  6.  

lo he probado con google
Código: Text
  1.  
  2. import urllib2
  3. opener = urllib2.build_opener()
  4. opener.addheaders = [('User-agent', 'Internet explorer/6.0')]
  5. f=opener.open('http://www.google.es/seach?q=LO QUE BUSCO')
  6. t=f.read
  7. f.close()
  8. print t
  9.  
  10.  


en t tengo todas las direcciones web que ha obtenido google junto con un monton de codigo codigo html, por lo que tengo un trabajo duro de parsear informacion por delante!!!!

su -

  • Moderador
  • ******
  • Mensajes: 2349
    • Ver Perfil
Re: Error En Python Con Google
« Respuesta #2 en: Jueves 23 de Noviembre de 2006, 01:50 »
0
Hola joy, veo un gran error en tu codigo, tu robot no sigue reglas, no respeta a los servidores, lee esto por favor:
http://www.robotstxt.org
*******PELIGRO LEE ESTO!!*******

There is no place like 127.0.0.1

Conecto luego existo, no conecto luego insisto.

joy

  • Nuevo Miembro
  • *
  • Mensajes: 14
    • Ver Perfil
Re: Error En Python Con Google
« Respuesta #3 en: Lunes 27 de Noviembre de 2006, 18:36 »
0
lo siento pero no me he enterado de lo que me quieres decir!!!
He leido la pagina y no he sacado mucho en claro, lo que me quieres decir que es que no voy a obtener el codigo html que yo deseo de todos los sitios a los que acceda?????

bob esponja

  • Miembro MUY activo
  • ***
  • Mensajes: 411
    • Ver Perfil
    • http://marianoguerra.blogspot.com
Re: Error En Python Con Google
« Respuesta #4 en: Lunes 27 de Noviembre de 2006, 19:39 »
0

su -

  • Moderador
  • ******
  • Mensajes: 2349
    • Ver Perfil
Re: Error En Python Con Google
« Respuesta #5 en: Lunes 27 de Noviembre de 2006, 20:24 »
0
Lo que quiero decir es que eso es un robot y es claro que no usa regla alguna, la pagina que puse es.. mejor lee el FAQ:
http://www.robotstxt.org/wc/faq.html
*******PELIGRO LEE ESTO!!*******

There is no place like 127.0.0.1

Conecto luego existo, no conecto luego insisto.