Build: Use Python 3

Version 5.7.0

Fix(bkmk_robot_base): Redraw progress bar after unhandled exception

Fix(bkmk_rmultirequests): Limit number of URLs to load into workers

Feat(bkmk_robot_base): Send our version in `X-User-Agent` header

Refactor: Move version from `setup.py` to `bkmk_objects.py`

Build: Install `setuptools` for `setup.py`

Feat(bkmk_raiohttp): Use siosocks for aioftp

Feat(bkmk_raiohttp): Use aiohttp-socks

Feat(Robots): Removed connect_timeout, added ftp_timeout

Fix(bkmk_raiohttp): Don't list FTP recursively

Feat(bkmk_rrequests): Use ftplib directly, without requests_ftp

Refactor(bkmk_raiohttp): Remove unused values

Refactor(bkmk_robot_base):

Chore(bkmk_parser): Fix year

Version 5.6.1: Minor fixes

Fix(bkmk_ph_lxml): Catch `ParserError`

Fix(bkmk_robot_base): Decode base64 bytes to unicode

Fix(bkmk_rrequests): Not all error codes have messages

Feat(Robots): Robot based on requests and concurrent.futures

Processes multiple URLs in parallel.

Feat: Dropped support for Python 2

Feat(Robots): Remove urllib-based robots

Style(Writers/bkmk_wflad): Rename loop variables

Refactor: Extract the common list of attributes; `copy_bkmk()`

Feat(check_urls): Separately report redirects

Feat(Robots): Stop the robot ASAP

Process bookmarks after the robot stopped. In the future
there will be robots that check multiple URLs in parallel
so bookmarks cannot be processed inside check loop
but can be queried after.

Style(Robots): Rename `check_url` to `check_bookmark`

Also rename `smart_get` to `get_url`.

Fix(bkmk-add): Stop the robot

Style(bkmk-add): Rename `_robot` -> `robot`

Feat(Robots): Do not return error from `check_url()`

Break the entire program with `Ctrl-C`.

Feat(bkmk_rrequests): Install socks dependency

Feat(bkmk_raiohttp): Use aioftp

Fix(Robots): Do not route ftp requests via http(s) proxy

socks5 proxies are ok.

Feat(Robots): Robot based on aiohttp

Feat(Writers/bkmk_whtml): Mark special folders

Feat: Delete `root_folder.linear` before storing

Fix(bkmk_robot_base): Convert environment parameters to integer

Feat(bkmk_robot_base) Cut long `data:` icon URLs for logs

Fix(bkmk_rcurl): IDNA-encode URLs

PycURL doesn't encode URLs itself
and requires URLs to be in ASCII encoding.

Refactor(Robots): Connect timeout

Version 5.4.0: Robot based on PycURL

Build: Add `devscripts`

Fix(bkmk_robot_base): Fix reporting proxy error

Feat(Robots): Update X-User-Agent header

Feat(Robots): Upgrade headers

Docs(bkmk_robot_base): List robots

Fix(bkmk_rrequests): Check `r is not None`

It seems `if r` is not enough --
`bool(r)` returns `False` in case there was an HTTP error.

Style(setup.py): Remove unused import

Feat(get_url): Parse args, save/print headers/body

Feat(robots): Report robot being used

Feat(bkmk_robot_base): Report error on getting icon

Feat(get_url): Print headers

Update docs

Fear(robots): Try robots from a list

Default list is curl,requests,forking.

Feat(Robots): Robot based on PycURL

Fix(bkmk_robot_base): Do not pass `localhost` via proxy

Feat(bkmk_rurllib): Use proxy

Style(bkmk_rurllib2): Remove unused import

Found by `flake8`.

Refactor(Robots): Move proxy handling to base class

This greatly simplifies robots.

Feat(Robots): Return HTTP status code

Docs(TODO): Robot(s) that test many URLs in parallel

Increase task priority.

Docs(TODO): Robot based on aiohttp

Add `setup.cfg` and `setup.py`

Mostly to list required and optional dependencies.

Fix(bkmk_db-venv): Do not exit

This is not a shell script, this is a sourced file.

Chore: Rename `bkmk-venv` to `bkmk_db-venv`

Chore(bkmk-venv): Rename `.venv` to `bkmk_db-venv`

Feat: Cleanup redirects

Remove verbiage.

Feat: Skip URLs that have '%s'

Fix: These are not errors, just duplicates

Build(Robots/bkmk_rrequests): Use HTTP(S) proxy instead of SOCKS5

Fix(Robot): Stop splitting and un-splitting URLs

Pass `bookmark.href` as is.

Fix(get_url): Remove excessive printing

`robot.get()` doesn't really fill the bookmarks,
`robot.check_url()` does but we don't call it here.

Rename `check_url.py` to `check_urls.py`

Rename `check_urls.py` to `check_urls_db.py`

Version 5.3.0

   Added get_url.py: a script to get one file from an URL.
   Renamed set-URLs -> set-urls.

Add `get_url.py`: a script to get one file from an URL

Rename set-URLs -> set-urls

Version 5.2.5

   Feat(Robots/bkmk_rrequests): Ignore all problems with certificates.
   Fix(Robots/bkmk_robot_base): Pass query part.

Fix(Robots/bkmk_robot_base): Pass query part

Feat(Robots/bkmk_rrequests): Ignore all problems with certificates

Drop SSL/TLS security to the lowest level.
I want to get the pages at all cost.
Unmatched names, expired certificates,
small DH values are less of a concern for me
comparing with DNS errors and connection timeouts.

Version 5.2.4: No need to re-check error 404 via proxy

Fix(Robots/bkmk_rrequests): Add forgotten spaces in log

Fix(Robots/bkmk_rrequests): No need to re-check error 404 via proxy

Version 5.2.3

Feat(Robots/bkmk_rrequests): Report 40x and 50x errors.
Fix HTML pasrer based on Bs4: Find "shortcut icon".

Feat(Robots/bkmk_rrequests): Report 40x and 50x errors

Feat(Robots/bkmk_rrequests): Change error message

Fix(parse_html/bkmk_ph_beautifulsoup4): Find "shortcut icon"

Bs4 splits attribute values. To fix it the value must be re-combined back.

Fix(Robots/bkmk_robot_base): Add forgotten spaces in log

Version 5.2.2

   Robots/bkmk_rrequests: Add request headers.
   Robots/bkmk_robot_base: Process "data:image/" icons.

Feat(Robots/bkmk_robot_base): Process "data:image/" icons

Feat(Robots/bkmk_rrequests): Add request headers

Refactor(Robots): Refactor request headers

Style(Robots/bkmk_rurllib_py3): Remove unused variable

Fix(Robots/bkmk_robot_base): Ignore unknown charset

There are sites that provide incorrect
(most probably misspelled) charset.

Fix(Robots/bkmk_robot_base): Add forgotten space in log

Perf(Rebobt/requests): Speedup second access

Use proxy immediately for hosts
for which we already know they require proxy.

Don't use proxy for hosts that aren't accessible even through proxy,
immediately return an error.

Refactor(Rebobt/requests)

Feat: For the robot based on requests allow to use a proxy

Feat: Robot based on requests

Feat(venv): Use `venv` if `virtualenv` is not available