parse_html/bkmk_ph_etreetidy.py

   1 """HTML Parser using ElementTree+TidyLib.
   2
   3 This file is a part of Bookmarks database and Internet robot.
   4 """
   5
   6 __author__ = "Oleg Broytman <phd@phdru.name>"
   7 __copyright__ = "Copyright (C) 2010-2012 PhiloSoft Design"
   8 __license__ = "GNU GPL"
   9
  10 __all__ = ['parse_html']
  11
  12
  13 from elementtidy import TidyHTMLTreeBuilder
  14 from .bkmk_ph_util import HTMLParser
  15
  16
  17 def parse_html(filename, charset=None, log=None):
  18     try:
  19         html_tree = TidyHTMLTreeBuilder.parse(filename)
  20     except:
  21         return None
  22
  23     XHTML = "{http://www.w3.org/1999/xhtml}"
  24
  25     for elem in html_tree.getiterator():
  26         if elem.tag.startswith(XHTML):
  27             elem.tag = elem.tag[len(XHTML):]
  28
  29     title = html_tree.findtext('head/title')
  30     if title is None:
  31         title = html_tree.findtext('title')
  32
  33     meta = html_tree.findall('head/meta')
  34     for m in meta:
  35         if m.get('http-equiv', '').lower() == 'content-type':
  36             meta_content = m.get("content")
  37             if meta_content:
  38                 try:
  39                     meta_charset = \
  40                         meta_content.lower().split('charset=')[1].split(';')[0]
  41                     break
  42                 except IndexError:
  43                     meta_charset = False
  44     else:
  45         meta_charset = False
  46
  47     if title and (charset or meta_charset):
  48         title = title.encode(charset or meta_charset)
  49
  50     for m in meta:
  51         if m.get('http-equiv', '').lower() == 'refresh':
  52             refresh = m.get("content")
  53             break
  54     else:
  55         refresh = None
  56
  57     for link in html_tree.findall('head/link'):
  58         if link.get('rel', '').lower() in ('icon', 'shortcut icon'):
  59             icon = link.get("href")
  60             break
  61     else:
  62         icon = None
  63
  64     if (title is None) and (refresh is None) and (icon is None):
  65         return None
  66     return HTMLParser(charset, meta_charset, title, refresh, icon)