parse_html/etreetidy.py

   1 """HTML Parser using ElementTree+TidyLib.
   2
   3 This file is a part of Bookmarks database and Internet robot.
   4 """
   5
   6 __version__ = "$Revision$"[11:-2]
   7 __revision__ = "$Id$"[5:-2]
   8 __date__ = "$Date$"[7:-2]
   9 __author__ = "Oleg Broytman <phd@phdru.name>"
  10 __copyright__ = "Copyright (C) 2010, 2011 PhiloSoft Design"
  11 __license__ = "GNU GPL"
  12
  13 __all__ = ['parse_html']
  14
  15
  16 from elementtidy import TidyHTMLTreeBuilder
  17 from .util import HTMLParser
  18
  19
  20 def parse_html(filename, charset=None, log=None):
  21     try:
  22         html_tree = TidyHTMLTreeBuilder.parse(filename)
  23     except:
  24         return None
  25
  26     XHTML = "{http://www.w3.org/1999/xhtml}"
  27
  28     for elem in html_tree.getiterator():
  29         if elem.tag.startswith(XHTML):
  30             elem.tag = elem.tag[len(XHTML):]
  31
  32     title = html_tree.findtext('head/title')
  33     if title is None:
  34         title = html_tree.findtext('title')
  35         if title is None:
  36             return None
  37
  38     meta = html_tree.findall('head/meta')
  39     for m in meta:
  40         if m.get('http-equiv', '').lower() == 'content-type':
  41             meta_content = m.get("content")
  42             if meta_content:
  43                 try:
  44                     meta_charset = \
  45                         meta_content.lower().split('charset=')[1].split(';')[0]
  46                     break
  47                 except IndexError:
  48                     meta_charset = False
  49     else:
  50         meta_charset = False
  51
  52     if charset or meta_charset:
  53         title = title.encode(charset or meta_charset)
  54
  55     for m in meta:
  56         if m.get('http-equiv', '').lower() == 'refresh':
  57             refresh = m.get("content")
  58             break
  59     else:
  60         refresh = None
  61
  62     for link in html_tree.findall('head/link'):
  63         if link.get('rel', '').lower() in ('icon', 'shortcut icon'):
  64             icon = link.get("href")
  65             break
  66     else:
  67         icon = None
  68
  69     return HTMLParser(charset, meta_charset, title, refresh, icon)