parse_html/bkmk_ph_lxml.py

   1 """HTML Parser using lxml.html
   2
   3 This file is a part of Bookmarks database and Internet robot.
   4 """
   5
   6 __author__ = "Oleg Broytman <phd@phdru.name>"
   7 __copyright__ = "Copyright (C) 2010-2013 PhiloSoft Design"
   8 __license__ = "GNU GPL"
   9
  10 __all__ = ['parse_html']
  11
  12
  13 from lxml.html import parse
  14 from .bkmk_ph_util import HTMLParser
  15
  16
  17 def parse_html(filename, charset=None, log=None):
  18     html_tree = parse(filename)
  19
  20     if html_tree.getroot() is None:
  21         return None
  22
  23     title = html_tree.findtext('head/title')
  24     if title is None:
  25         title = html_tree.findtext('title')
  26
  27     meta = html_tree.findall('head/meta')
  28     for m in meta:
  29         if m.get('http-equiv', '').lower() == 'content-type':
  30             meta_content = m.get("content")
  31             if meta_content:
  32                 try:
  33                     meta_charset = \
  34                         meta_content.lower().split('charset=')[1].split(';')[0]
  35                     break
  36                 except IndexError:
  37                     meta_charset = False
  38         elif m.get('charset', ''):
  39            meta_charset = m.get('charset').lower()
  40            break
  41     else:
  42         meta_charset = False
  43
  44     if title and (charset or meta_charset):
  45         title = title.encode(charset or meta_charset)
  46
  47     for m in meta:
  48         if m.get('http-equiv', '').lower() == 'refresh':
  49             refresh = m.get("content")
  50             break
  51     else:
  52         refresh = None
  53
  54     for link in html_tree.findall('head/link'):
  55         if link.get('rel', '').lower() in ('icon', 'shortcut icon'):
  56             icon = link.get("href")
  57             break
  58     else:
  59         icon = None
  60
  61     if (title is None) and (refresh is None) and (icon is None):
  62         return None
  63     return HTMLParser(charset, meta_charset, title, refresh, icon)