doc/TODO

   1 HTML parser based on BeautifulSoup4. Bs3 for Python 2, bs4 for Py3.
   2
   3 Replace subproc.py with some IPC. Or update for Python 3.
   4
   5 Python 3.
   6
   7 Forbid external names to resolve to internal addresses (127.0.0.1, etc).
   8
   9 Configuration file to configure defaults - global defaults for the system
  10 and local defaults for subsystems.
  11
  12 Robot based on PycURL.
  13
  14 Robot based on Scrapy.
  15
  16 A program to publish bookmarks with icons.
  17
  18 Fetch description from <META name="description" content="..."> and store it in
  19 bookmark.description if the description is empty. (How to update old
  20 descriptions without replacing my own comments?)
  21
  22 Parse (or interpret) downloaded file and get javascript redirects.
  23
  24 More and better documentation.
  25
  26 Merge "writers" to storage managers.
  27 New storage managers: shelve, SQL, ZODB, MetaKit.
  28 More robots (URL checkers): threading, asyncore-based;
  29 robots that test many URLs in parallel.
  30
  31 Ruleset-based mechanisms to filter out what types of URLs to check: checking
  32 based on URL schema, host, port, path, filename, extension, etc.
  33
  34 Detailed reports on robot run - what's old, what's new, what has been moved,
  35 errors, etc.
  36 WWW-interface to the report.
  37
  38 Bigger database. Multiuser database. Robot should operates on a part of
  39 the DB.
  40 WWW-interface to the database. User should import/export/edit bookmarks,
  41 schedule robot run, etc.
  42
  43 A program to collect and check links from a site.