]> git.phdru.name Git - bookmarks_db.git/commitdiff
Strip every line in title.
authorOleg Broytman <phd@phdru.name>
Thu, 27 Dec 2007 19:33:24 +0000 (19:33 +0000)
committerOleg Broytman <phd@phdru.name>
Thu, 27 Dec 2007 19:33:24 +0000 (19:33 +0000)
git-svn-id: file:///home/phd/archive/SVN/bookmarks_db/trunk@135 fdd5c36f-1aea-0310-aeeb-c58d7e2b6c23

Robots/parse_html.py

index 666c7071fd0072a8249b9e2bf8a0ba4cb4a6e3c6..d3870fa210b8c3bdeefdac3c45d05aa13ec6cc1a 100755 (executable)
@@ -87,7 +87,8 @@ def parse_html(filename, charset=None, log=None):
          if log: log("   unknown charset: `%s' or `%s'" % (parser.charset, current_charset))
 
    title = recode_entities(title, current_charset)
-   title = title.replace('\r', '').replace('\n', ' ').strip()
+   parts = [s.strip() for s in title.replace('\r', '').split('\n')]
+   title = ' '.join([s for s in parts if s])
    if log: log("   final title    : %s" % title)
    parser.title = title
    return parser