bkmk2db.py

   1 #! /usr/bin/env python
   2 """Convert Netscape Navigator's or Mozilla's bookmarks.html to a database
   3
   4 This file is a part of Bookmarks database and Internet robot.
   5 """
   6
   7 from __future__ import print_function
   8 import sys, os
   9 from getopt import getopt
  10 from bkmk_parser import BkmkParser
  11
  12
  13 __author__ = "Oleg Broytman <phd@phdru.name>"
  14 __copyright__ = "Copyright (C) 1997-2017 PhiloSoft Design"
  15 __license__ = "GNU GPL"
  16
  17
  18 def run():
  19     optlist, args = getopt(sys.argv[1:], "is")
  20
  21     show_pbar = True
  22     report_stats = 1
  23
  24     for _opt, _arg in optlist:
  25         if _opt == '-i':
  26             show_pbar = 0
  27         if _opt == '-s':
  28             report_stats = 0
  29     try:
  30         del _opt, _arg
  31     except NameError:
  32         pass
  33
  34     if args:
  35         if len(args) > 1:
  36             sys.stderr.write("bkmk2db: too many arguments\n")
  37             sys.stderr.write("Usage: bkmk2db [-is] bookmarks.html\n")
  38             sys.exit(1)
  39
  40         filename = args[0]
  41
  42     else:
  43         filename = 'bookmarks.html' # good name both for DOS (bookmark.htm) and UNIX
  44
  45
  46     if report_stats:
  47         from storage import storage_name
  48         sys.stdout.write("Converting %s to %s: " % (filename, storage_name))
  49         sys.stdout.flush()
  50
  51     if show_pbar:
  52         show_pbar = sys.stderr.isatty()
  53
  54     if show_pbar:
  55         try:
  56             from m_lib.pbar.tty_pbar import ttyProgressBar
  57         except ImportError:
  58             show_pbar = 0
  59
  60     if show_pbar:
  61         try:
  62             size = os.path.getsize(filename)
  63         except:
  64             print(filename, ": no such file")
  65             sys.exit(1)
  66
  67
  68     if show_pbar:
  69         pbar = ttyProgressBar(0, size)
  70         lng = 0
  71
  72         # This is for DOS - it counts CRLF, which len() counts as 1 char!
  73         if os.name == 'dos' or os.name == 'nt' :
  74             dos_add = 1
  75         else:
  76             dos_add = 0 # UNIX' and Mac's len() counts CR or LF correct
  77
  78
  79     infile = open(filename, 'r')
  80     parser = BkmkParser()
  81
  82     line_no = 0
  83     lng = 0
  84     ok = 1
  85
  86     for line in infile:
  87         if show_pbar:
  88             lng = lng + len(line) + dos_add
  89             pbar.display(lng)
  90
  91         #line = line.strip()
  92         line_no = line_no + 1
  93
  94         try:
  95             parser.feed(line)
  96         except:
  97             ok = 0
  98             break
  99
 100     try:
 101         parser.close()
 102     except:
 103         ok = 0
 104
 105     infile.close()
 106
 107     if show_pbar:
 108         del pbar
 109
 110     if report_stats:
 111         print("Ok")
 112         print(line_no, "lines proceed")
 113         print(parser.urls, "urls found")
 114         print(parser.objects, "objects created")
 115
 116     if ok:
 117         from storage import storage
 118         storage = storage()
 119         storage.store(parser.root_folder)
 120
 121     else:
 122         import traceback
 123         traceback.print_exc()
 124         sys.exit(1)
 125
 126
 127 if __name__ == '__main__':
 128     run()