Robots/parse_html_lxml.py

   1 """
   2     HTML Parser using lxml.html.
   3
   4     Written by Broytman. Copyright (C) 2010 PhiloSoft Design
   5 """
   6
   7 from lxml.html import parse
   8 from parse_html_util import HTMLParser
   9
  10
  11 def parse_html(filename, charset=None, log=None):
  12     html_tree = parse(filename)
  13
  14     if html_tree.getroot() is None:
  15         return None
  16
  17     title = html_tree.findtext('head/title')
  18     if title is None:
  19         title = html_tree.findtext('title')
  20         if title is None:
  21             return None
  22
  23     meta = html_tree.findall('head/meta')
  24     for m in meta:
  25         if m.get('http-equiv', '').lower() == 'content-type':
  26             meta_content = m.get("content")
  27             if meta_content:
  28                 try:
  29                     meta_charset = \
  30                         meta_content.lower().split('charset=')[1].split(';')[0]
  31                     break
  32                 except IndexError:
  33                     meta_charset = False
  34     else:
  35         meta_charset = False
  36
  37     if charset or meta_charset:
  38         title = title.encode(charset or meta_charset)
  39
  40     for m in meta:
  41         if m.get('http-equiv', '').lower() == 'refresh':
  42             refresh = m.get("content")
  43             break
  44     else:
  45         refresh = None
  46
  47     for link in html_tree.findall('head/link'):
  48         if link.get('rel', '').lower() in ('icon', 'shortcut icon'):
  49             icon = link.get("href")
  50             break
  51     else:
  52         icon = None
  53
  54     return HTMLParser(charset, meta_charset, title, refresh, icon)