Robots/parse_html_etreetidy.py

   1 """
   2     HTML Parser using ElementTree+TidyLib.
   3
   4     Written by Broytman. Copyright (C) 2010 PhiloSoft Design
   5 """
   6
   7 from elementtidy import TidyHTMLTreeBuilder
   8 from parse_html_util import HTMLParser
   9
  10
  11 def parse_html(filename, charset=None, log=None):
  12     try:
  13         html_tree = TidyHTMLTreeBuilder.parse(filename)
  14     except:
  15         return None
  16
  17     XHTML = "{http://www.w3.org/1999/xhtml}"
  18
  19     for elem in html_tree.getiterator():
  20         if elem.tag.startswith(XHTML):
  21             elem.tag = elem.tag[len(XHTML):]
  22
  23     title = html_tree.findtext('head/title')
  24     if title is None:
  25         return None
  26
  27     meta = html_tree.findall('head/meta')
  28     for m in meta:
  29         if m.get('http-equiv', '').lower() == 'content-type':
  30             meta_content = m.get("content")
  31             if meta_content:
  32                 try:
  33                     meta_charset = \
  34                         meta_content.lower().split('charset=')[1].split(';')[0]
  35                     break
  36                 except IndexError:
  37                     meta_charset = False
  38     else:
  39         meta_charset = False
  40
  41     if charset or meta_charset:
  42         title = title.encode(charset or meta_charset)
  43
  44     for m in meta:
  45         if m.get('http-equiv', '').lower() == 'refresh':
  46             refresh = m.get("content")
  47             break
  48     else:
  49         refresh = None
  50
  51     for link in html_tree.findall('head/link'):
  52         if link.get('rel', '').lower() in ('icon', 'shortcut icon'):
  53             icon = link.get("href")
  54             break
  55     else:
  56         icon = None
  57
  58     return HTMLParser(charset, meta_charset, title, refresh, icon)