phase1,phase2: implement round robin builds

Gather newest complete and not skipped build timestamps, reverse sort
them and use that as builder priority, so the newest built targets are
at the bottom.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker: master/worker: fix issue with latest stable sqlalchemy

Fixes following issue with sqlalchemy version 1.4.0 and too relaxed
dependecies `sqlalchemy>=1.2.0` in buildbot:

 Traceback (most recent call last):
   File "/usr/local/bin/buildbot", line 8, in <module>
     sys.exit(run())
     from buildbot.db import enginestrategy
   ...
   File "/usr/local/lib/python3.7/dist-packages/buildbot/db/enginestrategy.py", line 154, in <module>
     class BuildbotEngineStrategy(strategies.PlainEngineStrategy):
 AttributeError: module 'sqlalchemy.engine.strategies' has no attribute 'PlainEngineStrategy'

References: https://github.com/buildbot/buildbot/issues/5911
Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1,phase2: shuffle order of builds

It seems that once there are new commits, buildbot restarts building all
targets in alphabetical order. The current logic pretty much disables
the building of the alphabetically last targets, so until there is
proper solution just workaround it by randomly shuffling the builders
list.

References: https://github.com/buildbot/buildbot/issues/5193
Signed-off-by: Petr Štetiar <ynezz@true.cz>

Bump to latest Buildbot release 3.0.1

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: buildworker: disabled test temporarily

It seems to be getting stuck for some yet to be investigated reason.

References: https://gitlab.com/gitlab-com/gl-infra/production/-/issues/3925#note_528657831
Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: use private runner

Shared runners seems to be unreliable lately and private runner should
be more secure as well.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

buildworker: add Python2 package

Which is still needed for 19.07 builds.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker,worker: install gcc-mulitlib

From openwrt/docker[1]:

This is required for luajit, which is in packages feed.  While it works
fine for ARMv8 (tested by using Github Actions: aarch64_cortex-a53) and
x84_x64 (tested inside Docker container, it does not work for 32-bits
target and because of that we need to install gcc-multilib.

Luajit fails with the following output: (tested against target:
arm_cortex-a9+vfpv3-d16_musl_eabi inside Docker SDK image)

/usr/include/limits.h:26:10: fatal error: bits/libc-header-start.h: No
such file or directory #include <bits/libc-header-start.h>
^~~~~~~~~~~~~~~~~~~~~~~~~~

[1]: https://github.com/openwrt/docker/pull/74/commits/f9da188d53fd9809ca4911089611e1f42422d049

Signed-off-by: Paul Spooren <mail@aparcar.org>

buildworker: add swig package

The U-Boot build for more and more SoCs is using binman by default to
combine the images (SPL, U-Boot, ...). Binman is build from the U-Boot
project and it needs swig to build. We have multiple patches in OpenWrt
to remove this dependency from U-Boot, but it costs more and more time
to revert back to the old code. We have them in sunxi and rockchip
U-Boot, the Mediatek U-Boot build failed some time ago because of
missing swig in build bots.

In U-Boot 2021.01 the binman usage changed again, so it needs further
adaptations.

Building swig in OpenWrt tools will not be easy. We needs swig with
Python bindings and this version needs the Python development headers to
build.

References: https://lists.infradead.org/pipermail/openwrt-devel/2021-February/033654.html
Suggested-by: Hauke Mehrtens <hauke@hauke-m.de>
Signed-off-by: Petr Štetiar <ynezz@true.cz>

treewide: use worker term

[Placeholder for your politically correct commit description]

Suggested-by: Paul Spooren <mail@aparcar.org>
Signed-off-by: Petr Štetiar <ynezz@true.cz>

Bump to version 3.0.0

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: buildslave: fix Docker image tests

Refactoring leftover.

Fixes: 70883902ecf1 ("GitLab CI integration")
Signed-off-by: Petr Štetiar <ynezz@true.cz>

GitLab CI integration

For improved automation, further QA etc.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker: buildslave: make TLS working

It seems like twisted actually needs SSL in the connection string,
otherwise it will get stuck in the following endless loop:

 [buildbot_worker.pb.BotFactory#info] Starting factory <buildbot_worker.pb.BotFactory object at 0x7ff40f19e080>
 [twisted.application.internet.ClientService#info] Scheduling retry 1 to connect <twisted.internet.endpoints._WrapperEndpoint object at 0x7ff410352978> in 2.1271975799063436 seconds.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

builtmaster,phase1: add missing services dict

Fixes following error:

 2021-03-05 11:00:54+0000 [-] error while parsing config file:
 ...
        builtins.KeyError: 'services'

Signed-off-by: Petr Štetiar <ynezz@true.cz>

buildmaster: replace horizons with JanitorConfigurator

The old c['logHorizon'] way of configuring is not supported anymore, we
should use JanitorConfigurator. A new __Janitor builder will be created
to help keep an eye on the cleanup activities and for that we need
buildbot-worker package as well.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

buildmaster: fix permissions

Otherwise buildbot wouldn't be able to access config.ini or certs and thus fail
to start:

 2021-03-05 08:08:18+0000 [-] Loading configuration from '/phase1/master.cfg'
 2021-03-05 08:08:18+0000 [-] error while parsing config file:
 ...
 configparser.NoSectionError: No section: 'general'

Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker: fix Python cryptography build failure

It seems like recent Python cryptography package versions need Rust
compiler present for OpenSSL wrapper, which leads to following error:

 generating cffi module 'build/temp.linux-x86_64-3.7/_openssl.c'
 running build_rust
 ...
 error: Can not find Rust compiler

There is following note regarding this issue in the documentation:

 If you are on RHEL/CentOS/Fedora/Debian/Ubuntu or another distribution
 derived from the preceding list, then you should upgrade pip (in a
 virtual environment!) and attempt to install cryptography again before
 trying to install the Rust toolchain. These platforms will receive a
 binary wheel and require no compiler if you have an updated pip!

So fix this by recommended pip update.

References: https://cryptography.io/en/latest/installation.html#rust
Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1,2: fix missing tmp dir

Silence the missing tmp dir warning in the source.git.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker: make TLS working

Fixes following errors during setup:

 buildslave-phase2_1   | Failed to load application: name 'optionsForClientTLS' is not defined

 [-] while starting BuildMaster
 ...
 builtins.ModuleNotFoundError: No module named 'OpenSSL'

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1: make change links clickable

Adding a `revlink` allows to click on changes leading to the
git.openwrt.org commit package. This feature works automatically for
pages like GitHub, however requires this manual step for custom urls.

Signed-off-by: Paul Spooren <mail@aparcar.org>

docker,worker: install qemu-utils

To convert x86 images to VDI/VMDK the `qemu-img` tools is required,
which is part of Debians `qemu-utils` package. The goal is to remove the
ancient in-tree `qemu-img` version and replace it with a recent host
installed package.

Related: https://github.com/openwrt/openwrt/pull/3739/

Signed-off-by: Paul Spooren <mail@aparcar.org>
[rebased]
Signed-off-by: Petr Štetiar <ynezz@true.cz>

scripts: remove migrated dumpinfo.pl script

The script was moved over to openwrt.git and is called
`dump-target-info.pl`

Signed-off-by: Paul Spooren <mail@aparcar.org>
[fixed script path in the master build script]
Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker: alphabetical sorting of packages

So it's easier to follow.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker: update to 2.10.1

Removing the mixing with the testing as it seems, that it's not needed
anymore. We can easily just use buildbot from pip.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1: fix gitcheckout with corrupted .git

When the container running `git clone` is killed it will leave the .git
directory in unusable state which then leads in the following errors:

 if [ -d .git ]; then git checkout -f master; git branch --set-upstream-to origin/master; else exit 0; fi
 error: pathspec 'master' did not match any file(s) known to git.
 fatal: branch 'master' does not exist

Fix it by removing .git completely if this happens, otherwise it might
simply leave shared build directory in the unusable state.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1: dont include stderr output in stageroot variable

Otherwise it can result in strange error messages which are hard to
debug.

Ref: http://lists.openwrt.org/pipermail/openwrt-devel/2020-August/030826.html
Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase2: use full git history for reproducibility

The SOURCE_DATE_EPOCH variable is used to set reproducible time stamps
for built artifact. As packages get rebuild without changing, they
require individual epochs which are independent of the main tree. To
archive that the git log for each package source path is used.

This mechanism can only work if the full git history is available. Until
now only a shallow copy (--depth 1) would be cloned. With this commit
the `feeds.conf.default` is changed to use the full git repository.

Signed-off-by: Paul Spooren <mail@aparcar.org>
[do not modify feeds.conf.default]
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: add separate option for kmod repo embedding

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: treat "kmod_archive" as bool option

Fixes: 9ad60fa ("phase1: add config option to enable/disable kmod archive")
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

rsync.sh: set pipefail

to capture rsync failures when piped through pv

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: add config option to enable/disable kmod archive

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: add JSON merge step

The refactored JSON info files require a final merge step which sums up
all created JSON info files of a target into a single `profiles.json`
files.

This patch adds the extra step to run `make json_overview_image_info`
just before calculating the checksums so the `profiles.json` files is
signed as well.

Signed-off-by: Paul Spooren <mail@aparcar.org>
[allow the step to fail to satisfy 18.06 builders]
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

buildslave: update to Debian 10, introduce TLS support

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

docker: add example certificates

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

buildmaster: update to v2.4.1

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1, phase2: sort and move imports to the top of the file

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

scripts: cleanup.sh: adapt to buildbot v2 api

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1, phase2: implement force scheduler logic

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1, phase2: update master to Debian 10 / Buildbot 2.0.1

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

scripts: signall.sh store usign.key as usign.sec

The signall.sh script signs all files inside a tar via GPG and
signify-openbsd (similar to usign)e and attaches the signatures to the
same archive.

Using more recent versions of signify-openbsd requires a specific naming
schema for keys, private ending with .sec and public with .pub. This was
introduced at 763e1148f68f03cb2fa85d022500acf8c66af222[0].

This patch renames the stored key as usign.sec instead of usign.key. As
of the temporary nature of the key storing, this very unlikely breaks
any existing setups.

[0]: https://github.com/openbsd/src/commit/763e1148f68f03cb2fa85d022500acf8c66af222

Signed-off-by: Paul Spooren <mail@aparcar.org>
[adjusted commit subject]
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: make buildinfo failures "green"

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: allow buildinfo target to fail

Not all observed branches provide this target.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

add helper script to (re)build docker images

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: use buildinfo instead of prepare

Prepare target is used to compile tools and toolchain, however buildbot
only uses it to create the buildinfo files. This[0] PR splits prepare
and buildinfo allowing the buildbots to run the buildinfo creation only.

This should also fix the current issue with missing json info files:
prepare runs `target/compile` which removes all existing json info files
via `Device/Build`. Only `target/install` creates them via
`Device/Build/image`. However currently the buildbots run
`target/install` before (the second) `target/compile`.

[0]: https://github.com/openwrt/openwrt/pull/2492

Signed-off-by: Paul Spooren <mail@aparcar.org>

phase1: run prepare instead of diffconfig

This will not only create config.buildinfo as before, but also
version.buildinfo and feeds.buidinfo.

CC: Jo-Philipp Wich <jo@mein.io>
Signed-off-by: Paul Spooren <mail@aparcar.org>
[rename step from "prepare" to "buildinfo"]
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: fix copy-paste error in previous commit

Fixes: c17b550 ("phase2: sanitize SDK host command symlinks")
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: sanitize SDK host command symlinks

The SDK archive might contain symlinks like

  staging_dir/host/bin/gcc -> /builder/arc770_generic/ccache_cc.sh

which may result in host compile failures when a slave has been used
for both phase1 and phase2 builds.

Add a new step which purges such links when running the SDK until
buildroot is eventually fixed to not put suhc links into the archive
in the first place.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

scripts: cleanup.sh: skip directory symlinks

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

rsync: remove pid file if it already exists

If the rsync container was forcibly shut down, it may still contain
a stale pid file entry.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: implement work dir sharing

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

treewide: merge phase1 and phase2 cleanup procedures

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

scripts: signall.sh: use absolute paths when invoking gpg from find

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: disable slave side package signing

Since we do not expose secret using keys to buildslaves anymore,
we cannot sign the package indexes on the slave side either.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: enable shared work directory by default

Enable work directory sharing for any slave having a concurrent build limit
of one job.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: forcibly checkout branch

Pass the -f flag to git checkout in order to ensure that any potentially
existing local changes are overwritten.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: automatically setup shared work directory symlink

Until now, the shared work directory symlinks had to be provisioned
manually, this commits automates the setup when work directory sharing
is enabled for the slave.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: checkout configured branch

Also fixup the remote since the Git() step does not properly set
it in all cases.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

docker: buildslave: properly recreate slave if state dir already exists

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

docker: merge phase1 and phase2 configs into one file

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: move phase2 specific options into separate section

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: move phase1 specific options into separate section

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

docker: containerize master and slaves

Introduce docker builds for the buildmaster and slaves, and add
a docker-compose reference setup for quickly spinning up an
example build cluster.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

scripts: sha2pl: handle usign signatures as well

 - Also consider sha256sums.sig and Packages.sig files
 - Avoid operation on closed handle when remote list does not exist
 - Only add existing additional files to rsync list

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: use --contimeout parameter only for rsync daemon connections

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

treewide: rework signall.sh to read keys from config directly

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: prevent ccache/gcc exec recursion when cc_version is unset

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: allow overriding config.ini location with env var

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: allow overriding config.ini location with env var

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: move config.seed into config.ini

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: move cleanup.sh to shared script directory

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: move cleanup.sh to shared script directory

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

treewide: rename home_dir to work_dir

Also default to current directory.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

treewide: rework GPG signing

Specify the GPG signing key directly in config.ini and pass it via
environment variable to signall.sh.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: move usign handling to master

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: move usign handling to master

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

scripts: signall.sh: add using support

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

scripts: add usign secret to public key converter

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

treewide: untangle phase1 and phase2 masters

 - Move shared scripts into a common scripts/ directory
 - Move SSH Git clone key directly into the configuration
 - Update configuration examples

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: add further Git clone/pull safety guards

- Ensure that we're on a valid branch before invoking buildbot Git()
- Verify that we did end up on a proper branch or tag after clone/pull

Ref: http://lists.infradead.org/pipermail/openwrt-devel/2019-June/017809.html
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: fix GnuPG 2.x compatibility

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: add version suffix to faillogs directory

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: add ability to clone feeds via SSH

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: add ability to clone feeds via SSH

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: make feed update and install errors fatal

Do not continue building if the feed cloning failed.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: improve source archive uploading

Only upload source archives which have been updated sicne the begin
of the build.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: improve source archive uploading

Only upload source archives which have been updated sicne the begin
of the build.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: use a more reliable method to find the target version

Replace the slave name based target version detection by a more reliable
approach using SDK provided version information.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: honour version prefix when fetching sha256sums

This is requires for non-master builds which use a slightly different
directory layout on the rsync host.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: make feed update and install errors fatal

Do not continue building if the feed cloning failed.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: report disk usage at end of build

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: clear staged failure logs as well

This should prevent persistent slaves from re-uploading stale error logs.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: reset error log list on each build

The OpenWrt buildroot only ever appends to error.txt, but never clears it.

This causes slaves with persistent build environments to keep uploading
build logs of suceeding packages over and over, even if they've long been
fixed already.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: build toolchain without ccache

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: rework MakeEnv()

Always set CCC and CCXX since ./staging_dir/host/bin/{gcc,g++} might be
symlinked to the ccache wrapper which uses $CCC / $CCXX to refer to the
actual compiler, even when we intend to invoke the build without ccache.

While being at it, shuffle the code around somewhat to reduce some
redundancy and to make the function a bit shorter.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: fix disk size reporting command

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: use ccache wrappers for all HOSTCC/HOSTCXX uses

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: correct PATH order for ccachestat

prefer host-wide first

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: report both buildir and homedir disk usage

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: regroup common rsync options

"-4 -v --timeout=120 --contimeout=20"

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>