python: Better host pip options

pip by default will read system-wide and per-user configuration
files[1]. Setting PIP_CONFIG_FILE=/dev/null instructs pip to not read
any config files[2].

pip will spawn child processes of itself to do work, but not all options
are passed down to the child processes[3]. Setting global options as
environment variables[4] ensures they are passed down to any child
processes.

[1]: https://pip.pypa.io/en/stable/topics/configuration/#configuration-files
[2]: https://pip.pypa.io/en/stable/topics/configuration/#pip-config-file
[3]: https://github.com/pypa/pip/issues/9081#issue-733819665
[4]: https://pip.pypa.io/en/stable/topics/configuration/#environment-variables

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-hatch-fancy-pypi-readme: Add new host-only package

From the README:

hatch-fancy-pypi-readme is a Hatch metadata plugin for everyone who
cares about the first impression of their project’s PyPI landing page.
It allows you to define your PyPI project description in terms of
concatenated fragments that are based on static strings, files, and most
importantly: parts of files defined using cut-off points or regular
expressions.

Once you’ve assembled your readme, you can additionally run regular
expression-based substitutions over it. For instance to make relative
links absolute or to linkify users and issue numbers in your changelog.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-hatch-vcs: Add new host-only package

From the README:

This provides a plugin for Hatch that uses your preferred version
control system (like Git) to determine project versions.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-hatchling: Add new host-only package

From the README:

This is the extensible, standards compliant build backend used by Hatch.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-pluggy: Update to 1.0.0, add host build, add myself as maintainer

This also marks python3-pytest as BROKEN (for now) as the in-tree
version is not compatible with this version of pluggy.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-pathspec: Add new host-only package

From the README:

pathspec is a utility library for pattern matching of file paths. So far
this only includes Git's wildmatch pattern matching which itself is
derived from Rsync's wildmatch. Git uses wildmatch for its gitignore
files.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-editables: Add new host-only package

From the README:

A Python library for creating "editable wheels"

This library supports the building of wheels which, when installed, will
expose packages in a local directory on sys.path in "editable mode". In
other words, changes to the package source will be reflected in the
package visible to Python, without needing a reinstall.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-flit-scm: Add new host-only package

From the README:

A PEP 518 build backend that uses setuptools_scm to generate a version
file from your version control system, then flit_core to build the
package.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-poetry-core: Add new host-only package

From the README:

A PEP 517 build backend implementation developed for Poetry. This
project is intended to be a light weight, fully compliant,
self-contained package allowing PEP 517 compatible build frontends to
build Poetry managed projects.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-setuptools-scm: Add new host-only package

The host build replaces the use of the host pip requirements file. This
also updates the dependants of setuptools-scm to depend on the host
build.

This also removes the toml host pip requirements file as toml is not
used by any other package.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-typing-extensions: Add host build

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-cffi: Update to 1.15.1, add host build

The host build replaces the use of the host pip requirements file. This
also updates the dependants of cffi to depend on the host build.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-pycparser: Add host build

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-ply: Add host build

The host build replaces the use of the host pip requirements file. This
also updates the dependants of ply to depend on the host build.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-cython: Add new host-only package

The host build replaces the use of the host pip requirements file. This
also updates the dependants of Cython to depend on the host build.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-wheel: Add new host-only package

From the README:

This library is the reference implementation of the Python wheel
packaging standard, as defined in PEP 427.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-build: Add new host-only package

From the documentation:

A simple, correct PEP 517 build frontend.

build will invoke the PEP 517 hooks to build a distribution package. It
is a simple build tool and does not perform any dependency management.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-pyproject-hooks: Add new host-only package

From the README:

This is a low-level library for calling build-backends in
pyproject.toml-based project. It provides the basic functionality to
help write tooling that generates distribution files from Python
projects.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-tomli: Add new host-only package

From the README:

Tomli is a Python library for parsing TOML. Tomli is fully compatible
with TOML v1.0.0.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-packaging: Update to 23.0, add host build

This also adds myself as maintainer, and marks the target package as
BROKEN (for now) as the update requires proper support for
pyproject.toml-based builds.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-installer: Add host-only package

From the README:

This is a low-level library for installing a Python package from a wheel
distribution. It provides basic functionality and abstractions for
handling wheels and installing packages from wheels.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python-flit-core: Add host-only package

From the README:

This provides a PEP 517 build backend for packages using Flit. The only
public interface is the API specified by PEP 517, at flit_core.buildapi.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python: Add pyproject.toml-based builds for host Python packages

Using pip to install host packages with pyproject.toml-based (PEP 517)
builds is problematic:

* If build isolation is used, pip will create an isolated build
  environment, install any build dependencies for the requested package,
  then build the requested package.

  It does not appear currently possible to have pip install the build
  dependencies with hash-checking mode enabled[1].

* If build isolation is not used, any build dependencies must be
  installed in the build environment before invoking pip to build the
  requested package[2].

  This would require creating a package dependency resolution system to
  install build dependencies, and any dependencies of dependencies, in
  the correct order.

* It is very difficult to patch the packages installed by pip.

This adds a new include file (python3-host-build.mk) with recipes to
install host Python packages with pyproject.toml-based builds. This is
backwards-compatible with packages that require running setup.py.

Besides addressing the above issues (the OpenWrt build system already
resolves dependencies between packages, checks all source downloads
against known hashes, and supports patching packages), host packages
also:

* Capture package licensing and maintainer information
* Enable uscan checking for package updates/CVEs
* Are a known concept for OpenWrt packagers/developers

The existing functionality of using host pip to install packages will
remain for now, but should be considered deprecated and expected to be
removed in the future.

This also updates Py3Build/CheckHostPipVersionMatch for the case where
the host-pip-requirements directory does not exist or is empty.

[1]: https://pip.pypa.io/en/stable/user_guide/#changes-to-the-pip-dependency-resolver-in-20-3-2020
[2]: https://pip.pypa.io/en/stable/cli/pip_install/#cmdoption-no-build-isolation

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

python: Unset Python environment variables

This will prevent the user's environment variables from affecting host
Python, removing the need to manually override these variables.

It is also not necessary to set PYTHONPATH (when not working on target
Python packages) because the given directories are already included in
Python's search path by default.

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

Merge pull request #20700 from jefferyto/ci-autoremove

CI: Add --autoremove, ignore removal errors

Merge pull request #20693 from jefferyto/golang-1.20.2

golang: Update to 1.20.2, refresh patch

haproxy: update to v2.6.12

- Update haproxy PKG_VERSION and PKG_HASH
- See changes: http://git.haproxy.org/?p=haproxy-2.6.git;a=shortlog

Signed-off-by: Christian Lachner <gladiac@gmail.com>

Merge pull request #20729 from pprindeville/beanstalkd-update-1.13

beanstalkd: Update to 1.13

Merge pull request #20733 from pprindeville/perl-text-csv_xs-update-1.50

perl-text-csv_xs: Update to 1.50

Merge pull request #20732 from pprindeville/perl-cgi-update-4.56

perl-cgi: Update to 4.56

transmission-web-control: fix web interface files path

Transmission 4.0 web interface files changed from /web to /public_html

This fixes https://github.com/openwrt/packages/issues/20737

Signed-off-by: Mikhail Zhilkin <csharper2005@gmail.com>

Merge pull request #20725 from pprindeville/fix-indent-strongswan

strongswan: Fix indent for hw_offload, interface, priority

cni-plugins-nft: update to 1.0.12

Changelog:
 - docs: update install instructions
 - upgrade to go1.19

Signed-off-by: Oskari Rauta <oskari.rauta@gmail.com>

gummiboot: update to 48.1

 - disable man pages generation

Mostly bug fixes.

Full list of changes: https://cgit.freedesktop.org/gummiboot/log/

Signed-off-by: Oskari Rauta <oskari.rauta@gmail.com>

Merge pull request #20600 from oskarirauta/curl

curl: enable unix sockets by default

natmap: update to 20230322

Signed-off-by: Ray Wang <r@hev.cc>

sing-box: update to 1.2.1

Changelogs: https://github.com/SagerNet/sing-box/releases/tag/v1.2.1
Signed-off-by: Van Waholtz <brvphoenix@gmail.com>

yq: Update to 4.33.1

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

netbird: update to 0.14.5

Release Notes

Management

 - Introduce a new ACL engine based on Rego (Open Policy Agent) for firewall control
 - Personal access tokens generation as a first iteration toward public API release
 - Add Keycloak support as an IDP manager

Agent

 - Introduce a Firewall interface to apply granular access control (e.g., connection direction, port, or protocol level)
 - Make the agent run on Android (mobile support)

Changelog

 - Feat rego default policy
 - Don't drop Rules from file storage after migration to Policies
 - Add version info command to signal server
 - Feat firewall controller interface
 - Adding Personal Access Token generation
 - Exchange proxy mode via signal
 - Fix connstate indication
 - Mobile
 - PAT persistence
 - Add Keycloak Idp Manager
 - Adjustments for the change server flow
 - Disable peer expiration of peers added with setup keys
 - Add JWT middleware validation failure log

Signed-off-by: Oskari Rauta <oskari.rauta@gmail.com>

docker-compose: Update to version 2.17.2

Signed-off-by: Javier Marcet <javier@marcet.info>

Merge pull request #20708 from commodo/sudo

sudo: bump to verison 1.9.13p3

borgbackup: bump to 1.2.4

Signed-off-by: Julien Malik <julien.malik@paraiso.me>

borgbackup: add missing dependencies

The initial package submission was missing
some required and optional dependencies
due to lack of testing on a system without any python
related packages pre-installed.

Some optional but highly recommended dependencies
were discovered with the stdlib module as described in:
https://github.com/openwrt/packages/blob/392a68e24774294590abf9c08ea1832f2cee190d/lang/python/README.md

Fixes #20441

Signed-off-by: Julien Malik <julien.malik@paraiso.me>

perl-text-csv_xs: Update to 1.50

Signed-off-by: Philip Prindeville <philipp@redfish-solutions.com>

perl-cgi: Update to 4.56

Signed-off-by: Philip Prindeville <philipp@redfish-solutions.com>

beanstalkd: Update to 1.13

Signed-off-by: Philip Prindeville <philipp@redfish-solutions.com>

banip: update to 0.8.2-4

* fixed a race condition if the service is in a disabled state

Signed-off-by: Dirk Brenken <dev@brenken.org>

strongswan: simplify indentation

Allow passing multiple config lines with the same indent level.

Signed-off-by: Philip Prindeville <philipp@redfish-solutions.com>

strongswan: Fix indent for hw_offload, interface, priority

Signed-off-by: Philip Prindeville <philipp@redfish-solutions.com>

samba4: update to 4.18.0

Samba release history: https://www.samba.org/samba/history/samba-4.18.0.html

Signed-off-by: Andrew Sim <andrewsimz@gmail.com>

dnsproxy: Update to 0.48.2

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

xz: update to version 5.4.2

Update to 5.4.2  (keep in sync with xz in tools/)

Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

haproxy: update to v2.6.11

- Update haproxy PKG_VERSION and PKG_HASH
- This release includes a fix for an OOB write. The official notes
  do not list a CVE entry but I guess there is a chance for
  security implications
- See changes: http://git.haproxy.org/?p=haproxy-2.6.git;a=shortlog

Signed-off-by: Christian Lachner <gladiac@gmail.com>

syncthing: Update to 1.23.2

Fixed build with go 1.20

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

Merge pull request #20709 from akosiaris/collectd_fix_ltq-dsl_compilation

collectd: Fix ltq-dsl compilation errors

sing-box: update to 1.2.0

Changelogs: https://github.com/SagerNet/sing-box/releases/tag/v1.2.0
Signed-off-by: Van Waholtz <brvphoenix@gmail.com>

rust: fix build with glibc

Don't set musl-specific options/ldflags when using glibc.

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

rust: enable use of prebuilt llvm toolchain

llvm-bpf is not ready for generic usage, so use prebuilt llvm toolchain
provided by the rust project to speedup build (~1hour faster).

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

ripgrep: adapt new rust build standard

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

maturin: Update to 0.14.15

Fixed a build error:
> unresolved import `time::macros`

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

maturin: adapt new rust build standard

While at it, move maturin out of rust directory.

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

rust: refactor build helper

Added new RustBinPackage, RustBinHostBuild wrapper.
Added new RUST_PKG_FEATURES flag.
Moved CARGO_HOME to STAGING_DIR_HOSTPKG.
Overrode default Build/Compile and Host/Compile to Cargo build.

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

rust: remove useless target dependencies and configuration

They are for the target build which is not supported yet, drop them.

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

rust: remove useless tarball package

These tarball cannot be reused, so simply drop them.

Also move cargo config to a file instead of using echo command.

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

sudo: bump to verison 1.9.13p3

Signed-off-by: Alexandru Ardelean <alex@shruggie.ro>

collectd: Fix ltq-dsl compilation errors

Per

https://github.com/openwrt/packages/pull/19396#issuecomment-1480780893

prefix ltq-dsl-app with a @ character to fix the compilation issues
witnessed in PR #19396 and #20662

Signed-off-by: Alexandros Kosiaris <akosiaris@gmail.com>

banip: update to 0.8.2-3

* raise max. timeouts from 10 to 30 seconds to stabilize the autodetection on slow hardware
* made interface trigger action configurable, set 'ban_triggeraction' accordingly (default: 'start')
* made E-Mail notifications configurable to receive status E-Mais with every banIP run,
  set 'ban_mailnotification' accordingly (default: disabled)
* small fixes & optimizations
* readme update

Signed-off-by: Dirk Brenken <dev@brenken.org>

dnslookup: Update to 1.9.1

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

Merge pull request #20664 from mhei/fix-gensio-build-20604

gensio: fix python bindings build by using a pcre enabled host swig (fixes #20604)

CI: Add --autoremove, ignore removal errors

836b4e1c734f9705bfd8db0da0c04214c2647932 added
--force-removal-of-dependent-packages but it does not do what the commit
message says it does.

When package A depends on package B (package B is a dependency of
package A; package A is a dependent of package B), trying to remove
package B while package A is installed will result in an error. Adding
--force-removal-of-dependent-packages in this case will cause the
removal of package B and package A (package B's dependent).

But in the case of the CI testing step, it is package A that is being
installed and removed. Removing package A with
--force-removal-of-dependent-packages will not cause package B (package
A's dependency) to be removed.

This adds --autoremove to actually remove the package's dependencies.

This also ignores any errors returned by opkg remove as --autoremove can
sometimes falsely return an error[1].

[1]: https://github.com/openwrt/openwrt/issues/12241

Fixes: 836b4e1c734f ("github-ci: add --force-removal-of-dependent-packages")
Signed-off-by: Jeffery To <jeffery.to@gmail.com>

netbird: update to 0.14.4

Bug fixes & refactor
Fix: send remote agents updates when peer re-authenticates

Signed-off-by: Oskari Rauta <oskari.rauta@gmail.com>

node: bump to v18.15.0

Update to v18.15.0
Fixed bug using system-icu

Signed-off-by: Hirokazu MORIKAWA <morikw2@gmail.com>

adblock: update to 4.1.5-7

* fix cornercase issue with duplicate entries in black- and whitelist
* change cpbl source URL
* firewall redirects now blocks IPv4 and IPv6 (set family to "any")

Signed-off-by: Dirk Brenken <dev@brenken.org>

dnsproxy: Update to 0.48.1

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

yq: Update to 4.32.2

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

cloudflared: Update to 2023.3.1

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

v2raya: Update to 2.0.4

- Added TproxyNotSkipBr flag for OpenWrt.
- Removed all upstreamed patches.
- Removed deprecated option.
- Re-enable ipv6/nftables auto-detect.

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

golang: Update to 1.20.2, refresh patch

Includes fixes for:

* 1.20.1:
  * CVE-2022-41722: path/filepath: path traversal in filepath.Clean on
    Windows
  * CVE-2022-41723: net/http: avoid quadratic complexity in HPACK
    decoding
  * CVE-2022-41724: crypto/tls: large handshake records may cause panics
  * CVE-2022-41725: net/http, mime/multipart: denial of service from
    excessive resource consumption

* 1.20.2:
  * CVE-2023-24532: crypto/elliptic: specific unreduced P-256 scalars
    produce incorrect results

Signed-off-by: Jeffery To <jeffery.to@gmail.com>

haproxy: update to v2.6.10

- Update haproxy download URL and hash
- See changes: http://git.haproxy.org/?p=haproxy-2.6.git;a=shortlog

Signed-off-by: Christian Lachner <gladiac@gmail.com>

transmission: update to version 4.0.2

See release notes for more details:
https://github.com/transmission/transmission/releases/tag/4.0.2

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

open-vm-tools: update to 12.2.0

Signed-off-by: Oskari Rauta <oskari.rauta@gmail.com>

rpcsvc-proto: fix build with updated autotools

After recent autotools update, rpcsvc-proto no longer
compiles without autoreconf fixup because automake 1.15
is not found.

Signed-off-by: Oskari Rauta <oskari.rauta@gmail.com>

openssh: update to 9.3p1

Signed-off-by: Sibren Vasse <github@sibrenvasse.nl>

Merge pull request #20656 from pprindeville/strongwan-update-5.9.10

strongswan: Update to 5.9.10

rclone: Update to 1.62.2

Signed-off-by: Tianling Shen <cnsztl@immortalwrt.org>

git: update to 2.39.2

GITWEB_* variable values don't work as they should since 2.38, so let's
remove them and add a workaround. This issue was reported in
https://lore.kernel.org/git/80eb3972-4960-5727-ce86-acc3a4425fd4@nic.cz/T/#u

* refresh patches

Signed-off-by: Michal Vasilek <michal.vasilek@nic.cz>

Merge pull request #20665 from mhei/php8-update-8.2.3

php8: update to 8.2.3

libndpi: Update to 4.6

Signed-off-by: Toni Uhlig <matzeton@googlemail.com>

liburcu: update to version 0.14.0

Signed-off-by: Jan Hák <jan.hak@nic.cz>

udpspeeder: bump to 20230206.0

Signed-off-by: Toni Uhlig <matzeton@googlemail.com>

Merge pull request #20661 from jefferyto/golang-1.19.7

golang: Update to 1.19.7

gensio: move package into Python submenu

While at, fine-tune the description string slightly.

Signed-off-by: Michael Heimpold <mhei@heimpold.de>

gensio: fix build of Python binding (refs #20604)

We need the host build of swig only.

And the binding uses libgensiocpp - not the plain
C library, so fix the dependency.

Signed-off-by: Michael Heimpold <mhei@heimpold.de>

swig: enable pcre2 support (refs #20604)

Now since pcre2 provides a host build, let's use it.
This is required for e.g. gensio package to provide
python bindings.

Signed-off-by: Michael Heimpold <mhei@heimpold.de>

zerotier: do not allow executable stack

zerotier as default has executable stack.
[   11.343143] process '/usr/bin/zerotier-one' started with executable stack

executable stacks are not recommend, possibly provide a threat and there
seems to be no advantage of executable stack with zerotier-one - so let's
build it without instead.

Stack is executable on x86_64, but not on all archs, such as ramips.

Signed-off-by: Oskari Rauta <oskari.rauta@gmail.com>

libjpeg-turbo: enable static library

Allow build of libjpeg as a static library as well;
one is provided for libpng and possibly for other
formats as well.

Signed-off-by: Oskari Rauta <oskari.rauta@gmail.com>

pcre2: add host build (refs #20604)

This adds a host build which can be used later by tools,
e.g. swig - which in turn is used by gensio package to
provide python bindings.

While at, switch back from $(AUTORELEASE).

Signed-off-by: Michael Heimpold <mhei@heimpold.de>

php8: update to 8.2.3

This fixes:
    - CVE-2023-0567
    - CVE-2023-0568
    - CVE-2023-0662

Signed-off-by: Michael Heimpold <mhei@heimpold.de>

Merge pull request #20653 from mhei/mmc-utils-update

mmc-utils: update to latest upstream revision

snort3: update to 3.1.57.0

Upstream bump

Signed-off-by: John Audia <therealgraysky@proton.me>