Robots/parse_html_beautifulsoup.py

   1 """
   2    HTML Parser using BeautifulSoup
   3
   4    Written by BroytMann. Copyright (C) 2007, 2008 PhiloSoft Design
   5 """
   6
   7 import re
   8 from sgmllib import SGMLParser, SGMLParseError
   9 from HTMLParser import HTMLParser
  10 from BeautifulSoup import BeautifulSoup, CData
  11
  12
  13 class BSoupParser(HTMLParser):
  14    def __init__(self, charset, meta, title, refresh, icon):
  15       object.__init__(self)
  16       self.charset = charset
  17       self.meta_charset = meta
  18       self.title = title
  19       self.refresh = refresh
  20       self.icon = icon
  21
  22
  23 # http://groups.google.com/group/beautifulsoup/browse_thread/thread/69093cb0d3a3cf63
  24 class BadDeclParser(BeautifulSoup):
  25     def parse_declaration(self, i):
  26          """Treat a bogus SGML declaration as raw data. Treat a CDATA
  27          declaration as a CData object."""
  28          j = None
  29          if self.rawdata[i:i+9] == '<![CDATA[':
  30               k = self.rawdata.find(']]>', i)
  31               if k == -1:
  32                   k = len(self.rawdata)
  33               data = self.rawdata[i+9:k]
  34               j = k+3
  35               self._toStringSubclass(data, CData)
  36          else:
  37              try:
  38                  j = SGMLParser.parse_declaration(self, i)
  39              except SGMLParseError:
  40                  # Could not parse the DOCTYPE declaration
  41                  # Try to just skip the actual declaration
  42                  match = re.search(r'<!DOCTYPE([^>]*?)>', self.rawdata[i:], re.MULTILINE)
  43                  if match:
  44                      toHandle = self.rawdata[i:match.end()]
  45                  else:
  46                      toHandle = self.rawdata[i:]
  47                  self.handle_data(toHandle)
  48                  j = i + len(toHandle)
  49          return j
  50
  51
  52 def parse_html(filename, charset=None, log=None):
  53    infile = open(filename, 'r')
  54    try:
  55       root = BadDeclParser(infile, fromEncoding=charset)
  56    except TypeError:
  57       if log: log("TypeError")
  58       return None
  59    finally:
  60       infile.close()
  61
  62    try:
  63       html = root.html
  64    except AttributeError:
  65       if log: log("No HTML in root")
  66       html = root
  67
  68    if html is None:
  69       html = root
  70
  71    try:
  72       head = html.head
  73    except AttributeError:
  74       if log: log("No HEAD in HTML")
  75       head = html
  76
  77    if head is None:
  78       head = html # Some sites put TITLE in HTML without HEAD
  79
  80    _charset = root.originalEncoding
  81    if _charset == "windows-1252": # Replace default
  82       _charset = DEFAULT_CHARSET
  83
  84    try:
  85       title = head.title.string.encode(_charset)
  86    except AttributeError:
  87       title = '' # HEAD but no TITLE
  88
  89    if (not title) and (head is not html):
  90       # Some sites put TITLE in HTML outside of HEAD
  91
  92       try:
  93          title = html.title.string.encode(_charset)
  94       except AttributeError:
  95          title = '' # no TITLE in HTML too
  96
  97    meta = head.find(_find_contenttype, recursive=False)
  98    if meta:
  99       try:
 100          __charset = meta.get("content").lower().split('charset=')[1].split(';')[0]
 101       except IndexError: # No charset in the META Content-Type
 102          meta_charset = False
 103       else:
 104          meta_charset = _charset == __charset
 105    else:
 106       meta_charset = False
 107
 108    meta = head.find(_find_refresh, recursive=False)
 109    if meta:
 110       refresh = meta.get("content")
 111    else:
 112       refresh = None
 113
 114    meta = head.find(_find_icon, recursive=False)
 115    if meta:
 116       icon = meta.get("href")
 117    else:
 118       icon = None
 119
 120    return BSoupParser(_charset, meta_charset, title, refresh, icon)
 121
 122 def _find_contenttype(Tag):
 123    return (Tag.name == "meta") and \
 124       (Tag.get("http-equiv", '').lower() == "content-type")
 125
 126 def _find_refresh(Tag):
 127    return (Tag.name == "meta") and \
 128       (Tag.get("http-equiv", '').lower() == "refresh")
 129
 130 def _find_icon(Tag):
 131    return (Tag.name == "link") and \
 132       (Tag.get("rel", '').lower() in ('icon', 'shortcut icon'))