parse_html/bkmk_ph_etreetidy.py

   1 """HTML Parser using ElementTree+TidyLib.
   2
   3 This file is a part of Bookmarks database and Internet robot.
   4
   5 """
   6
   7 __author__ = "Oleg Broytman <phd@phdru.name>"
   8 __copyright__ = "Copyright (C) 2010-2023 PhiloSoft Design"
   9 __license__ = "GNU GPL"
  10
  11 __all__ = ['parse_html']
  12
  13
  14 from elementtidy import TidyHTMLTreeBuilder
  15 from .bkmk_ph_util import HTMLParser
  16
  17
  18 def parse_html(html_text, charset=None, log=None):
  19     if not html_text:
  20         return None
  21     try:
  22         html_tree = TidyHTMLTreeBuilder.parseString(html_text)
  23     except:
  24         return None
  25
  26     XHTML = "{http://www.w3.org/1999/xhtml}"
  27
  28     for elem in html_tree.getiterator():
  29         if elem.tag.startswith(XHTML):
  30             elem.tag = elem.tag[len(XHTML):]
  31
  32     title = html_tree.findtext('head/title')
  33     if title is None:
  34         title = html_tree.findtext('title')
  35
  36     meta = html_tree.findall('head/meta')
  37     for m in meta:
  38         if m.get('http-equiv', '').lower() == 'content-type':
  39             meta_content = m.get("content")
  40             if meta_content:
  41                 try:
  42                     meta_charset = \
  43                         meta_content.lower().split('charset=')[1].split(';')[0]
  44                     break
  45                 except IndexError:
  46                     meta_charset = False
  47         elif m.get('charset', ''):
  48             meta_charset = m.get('charset').lower()
  49             break
  50     else:
  51         meta_charset = False
  52
  53     #if title and (charset or meta_charset):
  54     #    title = title.encode(charset or meta_charset)
  55
  56     for m in meta:
  57         if m.get('http-equiv', '').lower() == 'refresh':
  58             refresh = m.get("content")
  59             break
  60     else:
  61         refresh = None
  62
  63     for link in html_tree.findall('head/link'):
  64         if link.get('rel', '').lower() in ('icon', 'shortcut icon'):
  65             icon = link.get("href")
  66             break
  67     else:
  68         icon = None
  69
  70     if (title is None) and (refresh is None) and (icon is None):
  71         return None
  72     return HTMLParser(charset, meta_charset, title, refresh, icon)