]> git.phdru.name Git - bookmarks_db.git/blob - Robots/parse_html_beautifulsoup.py
Reparse the HTML if the charset was changed.
[bookmarks_db.git] / Robots / parse_html_beautifulsoup.py
1 """
2    HTML Parser using BeautifulSoup
3
4    Written by BroytMann. Copyright (C) 2007, 2008 PhiloSoft Design
5 """
6
7 import re
8 from sgmllib import SGMLParser, SGMLParseError
9 from HTMLParser import HTMLParser
10 from BeautifulSoup import BeautifulSoup, CData
11
12
13 class BSoupParser(HTMLParser):
14    def __init__(self, charset, meta, title, refresh, icon):
15       object.__init__(self)
16       self.charset = charset
17       self.meta_charset = meta
18       self.title = title
19       self.refresh = refresh
20       self.icon = icon
21
22
23 # http://groups.google.com/group/beautifulsoup/browse_thread/thread/69093cb0d3a3cf63
24 class BadDeclParser(BeautifulSoup):
25     def parse_declaration(self, i):
26          """Treat a bogus SGML declaration as raw data. Treat a CDATA
27          declaration as a CData object."""
28          j = None
29          if self.rawdata[i:i+9] == '<![CDATA[':
30               k = self.rawdata.find(']]>', i)
31               if k == -1:
32                   k = len(self.rawdata)
33               data = self.rawdata[i+9:k]
34               j = k+3
35               self._toStringSubclass(data, CData)
36          else:
37              try:
38                  j = SGMLParser.parse_declaration(self, i)
39              except SGMLParseError:
40                  # Could not parse the DOCTYPE declaration
41                  # Try to just skip the actual declaration
42                  match = re.search(r'<!DOCTYPE([^>]*?)>', self.rawdata[i:], re.MULTILINE)
43                  if match:
44                      toHandle = self.rawdata[i:match.end()]
45                  else:
46                      toHandle = self.rawdata[i:]
47                  self.handle_data(toHandle)
48                  j = i + len(toHandle)
49          return j
50
51
52 def _parse_html(filename, charset):
53    infile = open(filename, 'r')
54    try:
55       return BadDeclParser(infile, fromEncoding=charset)
56    except TypeError:
57       return None
58    finally:
59       infile.close()
60
61 def parse_html(filename, charset=None, log=None):
62    root = _parse_html(filename, charset)
63
64    _charset = root.originalEncoding
65    if _charset in ("ISO-8859-2", "windows-1252", "MacCyrillic"): # Replace default
66       _charset = DEFAULT_CHARSET
67       root = _parse_html(filename, _charset)
68
69    try:
70       html = root.html
71    except AttributeError:
72       if log: log("No HTML in root")
73       html = root
74
75    if html is None:
76       html = root
77
78    try:
79       head = html.head
80    except AttributeError:
81       if log: log("No HEAD in HTML")
82       head = html
83
84    if head is None:
85       head = html # Some sites put TITLE in HTML without HEAD
86
87    try:
88       title = head.title.string.encode(_charset)
89    except AttributeError:
90       title = '' # HEAD but no TITLE
91
92    if (not title) and (head is not html):
93       # Some sites put TITLE in HTML outside of HEAD
94
95       try:
96          title = html.title.string.encode(_charset)
97       except AttributeError:
98          title = '' # no TITLE in HTML too
99
100    meta = head.find(_find_contenttype, recursive=False)
101    if meta:
102       try:
103          __charset = meta.get("content").lower().split('charset=')[1].split(';')[0]
104       except IndexError: # No charset in the META Content-Type
105          meta_charset = False
106       else:
107          meta_charset = _charset == __charset
108    else:
109       meta_charset = False
110
111    meta = head.find(_find_refresh, recursive=False)
112    if meta:
113       refresh = meta.get("content")
114    else:
115       refresh = None
116
117    meta = head.find(_find_icon, recursive=False)
118    if meta:
119       icon = meta.get("href")
120    else:
121       icon = None
122
123    return BSoupParser(_charset, meta_charset, title, refresh, icon)
124
125 def _find_contenttype(Tag):
126    return (Tag.name == "meta") and \
127       (Tag.get("http-equiv", '').lower() == "content-type")
128
129 def _find_refresh(Tag):
130    return (Tag.name == "meta") and \
131       (Tag.get("http-equiv", '').lower() == "refresh")
132
133 def _find_icon(Tag):
134    return (Tag.name == "link") and \
135       (Tag.get("rel", '').lower() in ('icon', 'shortcut icon'))