check_dups.py

   1 #! /usr/bin/env python
   2 """Check duplicate URLs in the bookmarks database
   3
   4 This file is a part of Bookmarks database and Internet robot.
   5 """
   6
   7 from __future__ import print_function
   8 import sys
   9
  10
  11 __author__ = "Oleg Broytman <phd@phdru.name>"
  12 __copyright__ = "Copyright (C) 2000-2017 PhiloSoft Design"
  13 __license__ = "GNU GPL"
  14
  15
  16 log_file = None
  17
  18 def report_dup(href, object_no):
  19     s = "Duplicate URL: %s (first at rec. %d)" % (href, object_no)
  20
  21     if log_file:
  22         log_file.write("%s\n" % s)
  23     else:
  24         print(s)
  25
  26
  27 def run():
  28     from getopt import getopt
  29     optlist, args = getopt(sys.argv[1:], "sl:")
  30
  31     report_stats = 1
  32     global log_file
  33     log_filename = None
  34
  35     for _opt, _arg in optlist:
  36         if _opt == '-s':
  37             report_stats = 0
  38         if _opt == '-l':
  39             log_filename = _arg
  40     try:
  41         del _opt, _arg
  42     except NameError:
  43         pass
  44
  45     if report_stats:
  46         print("Broytman check_dups, Copyright (C) 2000-2017 PhiloSoft Design")
  47
  48     if args:
  49         sys.stderr.write("check_urls: too many arguments\n")
  50         sys.stderr.write("Usage: check_urls [-s] [-l logfile]\n")
  51         sys.exit(1)
  52
  53     if log_filename:
  54         log_file = open(log_filename, 'w')
  55
  56     from storage import storage
  57     storage = storage()
  58
  59     if report_stats:
  60         sys.stdout.write("Loading %s: " % storage.filename)
  61         sys.stdout.flush()
  62
  63     root_folder = storage.load()
  64     from bkmk_objects import make_linear
  65     make_linear(root_folder)
  66     objects = len(root_folder.linear)
  67
  68     if report_stats:
  69         print("Ok")
  70
  71
  72     dup_dict = {}
  73
  74     for object_no in range(objects):
  75         object = root_folder.linear[object_no]
  76
  77         if object.isBookmark:
  78             href = object.href
  79             if dup_dict.has_key(href):
  80                 report_dup(href, dup_dict[href])
  81             else:
  82                 dup_dict[href] = object_no
  83
  84
  85     if log_filename:
  86         log_file.close()
  87
  88     if report_stats:
  89         print("Ok")
  90         print(objects, "objects passed")
  91
  92
  93 if __name__ == '__main__':
  94     run()