Feat(Robots): Combined curl with curlmulti

The combined robot is named just curl.

Feat(Robots): Robot based on curl_multi

Processes multiple URLs in parallel using concurrent.futures (multithreaded).

Feat(aio): Combine `aiohttp` with `multiaio`

The combined robot is named just `aio`.

Refactor(Robots): Split `bkmk_rmultirequests` into `concurrent_futures` mix-in

Feat(bkmk_rmultirequests): Fix `concurrent_class` to `ProcessPoolExecutor`

Update docs

Fix(base): Fix reporting proxy error

Feat(Robots): Simplify `.get()`

Return data without processing,
let's `get_url()` process it in one place.

Refactor(bkmk_rcurl): Split off `CurlWrapper`

Will be used in multi-curl robot(s).

Refactor(Robots): Separate `headers` into `req_headers` and `resp_headers`

Refactor(bkmk_rmultiaio): Split off `multi_async_mixin`

Feat(bkmk_rcurl): Lower SSL security settings

Refactor(Robots): Pass headers instead of charset

Chore(Robots): Report "Checked: <URL>" but avoid duplicates

Robots that process multiple URLs in parallel report it themselves.

Chore(check_urls): Improve output

Refactor(Robots): `get`/`get_url` don't need `bookmark`, only charset

Fix(get_url): Adapt `get_url` to the new shiny async world

Refactor(bkmk_rmultirequests): Change parent to `robot_base`

`bkmk_rmultirequests` instantiates `bkmk_rrequests` in the workers
but itself doesn't really use anything from `bkmk_rrequests`,
so it can be just a base robot.

Docs: Fix forgotten docs

Feat(bkmk_raiohttp): Lower SSL cert validation strictness

Fix(robots.py): Fix robot name

Feat(Robots): Robot based on aiohttp, processes multiple URLs in parallel

Feat(Robots): Make all robots async

Split check_bookmark() into sync and async variants.

Refactor(Robots): Split off `multi_mixin`

Style(bkmk_rmultirequests): Renamed max_workers to max_urls

Refactor(Robots/base): Simplify `X-User-Agent`

Refactor(Robots): Rename `bkmk_robot_base.py` -> `base.py`

Build: Use Python 3

Version 5.7.0

Fix(bkmk_robot_base): Redraw progress bar after unhandled exception

Fix(bkmk_rmultirequests): Limit number of URLs to load into workers

Feat(bkmk_robot_base): Send our version in `X-User-Agent` header

Refactor: Move version from `setup.py` to `bkmk_objects.py`

Build: Install `setuptools` for `setup.py`

Feat(bkmk_raiohttp): Use siosocks for aioftp

Feat(bkmk_raiohttp): Use aiohttp-socks

Feat(Robots): Removed connect_timeout, added ftp_timeout

Fix(bkmk_raiohttp): Don't list FTP recursively

Feat(bkmk_rrequests): Use ftplib directly, without requests_ftp

Refactor(bkmk_raiohttp): Remove unused values

Refactor(bkmk_robot_base):

Chore(bkmk_parser): Fix year

Version 5.6.1: Minor fixes

Fix(bkmk_ph_lxml): Catch `ParserError`

Fix(bkmk_robot_base): Decode base64 bytes to unicode

Fix(bkmk_rrequests): Not all error codes have messages

Feat(Robots): Robot based on requests and concurrent.futures

Processes multiple URLs in parallel.

Feat: Dropped support for Python 2

Feat(Robots): Remove urllib-based robots

Style(Writers/bkmk_wflad): Rename loop variables

Refactor: Extract the common list of attributes; `copy_bkmk()`

Feat(check_urls): Separately report redirects

Feat(Robots): Stop the robot ASAP

Process bookmarks after the robot stopped. In the future
there will be robots that check multiple URLs in parallel
so bookmarks cannot be processed inside check loop
but can be queried after.

Style(Robots): Rename `check_url` to `check_bookmark`

Also rename `smart_get` to `get_url`.

Fix(bkmk-add): Stop the robot

Style(bkmk-add): Rename `_robot` -> `robot`

Feat(Robots): Do not return error from `check_url()`

Break the entire program with `Ctrl-C`.

Feat(bkmk_rrequests): Install socks dependency

Feat(bkmk_raiohttp): Use aioftp

Fix(Robots): Do not route ftp requests via http(s) proxy

socks5 proxies are ok.

Feat(Robots): Robot based on aiohttp

Feat(Writers/bkmk_whtml): Mark special folders

Feat: Delete `root_folder.linear` before storing

Fix(bkmk_robot_base): Convert environment parameters to integer

Feat(bkmk_robot_base) Cut long `data:` icon URLs for logs

Fix(bkmk_rcurl): IDNA-encode URLs

PycURL doesn't encode URLs itself
and requires URLs to be in ASCII encoding.

Refactor(Robots): Connect timeout

Version 5.4.0: Robot based on PycURL

Build: Add `devscripts`

Fix(bkmk_robot_base): Fix reporting proxy error

Feat(Robots): Update X-User-Agent header

Feat(Robots): Upgrade headers

Docs(bkmk_robot_base): List robots

Fix(bkmk_rrequests): Check `r is not None`

It seems `if r` is not enough --
`bool(r)` returns `False` in case there was an HTTP error.

Style(setup.py): Remove unused import

Feat(get_url): Parse args, save/print headers/body

Feat(robots): Report robot being used

Feat(bkmk_robot_base): Report error on getting icon

Feat(get_url): Print headers

Update docs

Fear(robots): Try robots from a list

Default list is curl,requests,forking.

Feat(Robots): Robot based on PycURL

Fix(bkmk_robot_base): Do not pass `localhost` via proxy

Feat(bkmk_rurllib): Use proxy

Style(bkmk_rurllib2): Remove unused import

Found by `flake8`.

Refactor(Robots): Move proxy handling to base class

This greatly simplifies robots.

Feat(Robots): Return HTTP status code

Docs(TODO): Robot(s) that test many URLs in parallel

Increase task priority.

Docs(TODO): Robot based on aiohttp

Add `setup.cfg` and `setup.py`

Mostly to list required and optional dependencies.

Fix(bkmk_db-venv): Do not exit

This is not a shell script, this is a sourced file.

Chore: Rename `bkmk-venv` to `bkmk_db-venv`

Chore(bkmk-venv): Rename `.venv` to `bkmk_db-venv`

Feat: Cleanup redirects

Remove verbiage.

Feat: Skip URLs that have '%s'

Fix: These are not errors, just duplicates

Build(Robots/bkmk_rrequests): Use HTTP(S) proxy instead of SOCKS5

Fix(Robot): Stop splitting and un-splitting URLs

Pass `bookmark.href` as is.

Fix(get_url): Remove excessive printing

`robot.get()` doesn't really fill the bookmarks,
`robot.check_url()` does but we don't call it here.

Rename `check_url.py` to `check_urls.py`