phase1: abort early if current builder does not apply

Some builders (target/subtarget) may only apply to particular branches,
but are nevertheless defined for all branches. Detect such case early,
stop the build but do not mark it FAILURE.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: make populateTargets() branch aware

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: make GetNextBuild() branch aware

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: use single var for rsync_bin_defopts and rsync_src_defopts

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: use branch config in factory

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: rsync_src_url is always set

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: prepare to parse branches

This commit breaks config

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: Git() no need to specify branch

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: replace 'repo_branch' with 'branch' prop in factory

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: refactor populateTargets()

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: move target enumeration to function

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: reorder/regroup globals

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: fix option parsing typo for 'ul_lock'

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove 'cleanup' worker option (always set)

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove 'shared_wd' worker option (always set)

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove dead code due to shared_wd=1

shared_wd is always set, the conditional on these bits were thus always
the same resulting in dead code.

Remove 'expire' config option which is no longer needed.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove now redundant 'njobs' (== 'nprocs') property

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: max_builds and shared_wd are always set to 1

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: rework GetNumJobs()

Ensure we never end up with "0".
Set a build property step with the computed concurrency level, so that
this information is available in build status.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove GetCCache()

ccache_command is set from "which ccache" which is either empty or
contains "ccache". Use a simple interpolation instead.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove unused IsNoTaggingRequested()

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: deduplicate 'git' step

method renderers are supported now.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove dead step CleanTargetMap

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove GetCC()/GetCXX()

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove GetCwd()

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: buildfactory: remove deadcode

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove checkBuiltin deadcode

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove unused variables

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: cleanup ini accessors

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: fix leading whitespace

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove unused 'kmod_repository'

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove unused 'git_ssh'

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove unused 'cc_version'

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove unused 'other_builds'

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

Revert "phase1: remove renderable locks: not supported in 0.8.9"

This commit re-enables the network locks that were first introduced in
in 0edb49341 ("phase1: provide upload/download locking"), but which were
disabled in 1e1a32607 as they weren't supported by the buildbot version
used at the time.

The use and benefits of this system is described in 0edb49341.

This reverts commit 1e1a326074018542c4a6f14ffe12984fa9c8a192.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

Create README.md

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: disable container pushing during pull request builds

Seems like we need to find a different workflow for container
pre-testing.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: fix ghcr.io container pushing

Attempt to fix following:

 #11 ERROR: denied: permission_denied: The requested installation does not exist.
 ------
  > pushing ghcr.io/ynezz/buildworker-v3.5.0:master with docker:
 ------
 ERROR: denied: permission_denied: The requested installation does not exist.
 Error: buildx failed with: ERROR: denied: permission_denied: The requested installation does not exist.

References: https://github.com/openwrt/buildbot/actions/runs/4971701948/jobs/8899889081#step:9:191
Signed-off-by: Petr Štetiar <ynezz@true.cz>

Introduce GitHub actions

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase2: fix just another byte/string inconsistencies

 File "/phase2/master.cfg", line 203, in parse_feed_entry
   if parts[0].startswith("src-git"):
 builtins.TypeError: startswith first arg must be bytes or a tuple of bytes, not str

Fixes: f3fcdbec877e ("phase2: fix obsolete assumption about feed methods")
Signed-off-by: Petr Štetiar <ynezz@true.cz>

Bump to latest Buildbot release 3.5.0

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase2: handle missing change sources

In commit f3fcdbec877e ("phase2: fix obsolete assumption about feed
methods") we've fixed stuck buildmaster for master/phase2 builds, but
the issue wasn't obvious at first sight and some digging was necessary.
So lets make it obvious if/when it happens next time.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase2: fix obsolete assumption about feed methods

In commit 7fae1e5677e9 ("feeds: use git-src-full to allow Git
versioning") there was `src-git` method of shallow clone replaced with
`src-git-full` and this has caused issue with GitPoller configuration as
it only assumed, that only `src-git` method is going to be used for feed
updates. Fix currently stuck buildbot master by allowing usage of both
Git update methods.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

Bump to latest Buildbot release 3.4.1

Signed-off-by: Petr Štetiar <ynezz@true.cz>

Bump to latest Buildbot release 3.4.0

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: docker: deploy automatically only on default branch and tags

In commit fecd899e8189 ("docker: deploy only manually and on
master/tags") we've introduced manual deployment of the Docker images,
but this is unneeded additional manual step, so rather prefer automatic
deployment. While at it, convert to usage of `rules:` as `only:` is
deprecated and `rules:` are preferred.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker: install `mkisofs` to worker container

x86 targets allow the creation of ISO images, however this is not
possible because the `mkisofs` is missing. Install it.

Signed-off-by: Paul Spooren <mail@aparcar.org>

docker: sort installed packages alphabetically

Signed-off-by: Paul Spooren <mail@aparcar.org>

docker: deploy only manually and on master/tags

Unmerged branches shouldn't be deployed as "latest" image, only tags and
`master` branches should.

It is still possible to use containers from tested branches since they
are uploaded to the container registry using their *commit slug*.

Signed-off-by: Paul Spooren <mail@aparcar.org>

phase1,phase2: improve round robin builds

There seems to be some issue with database updates, where database
updates are asynchronous and thus the status update of the previous
build (complete_at DB column) might take little bit longer, then
preparation of the next/current build.

This is issue during job prioritization as this might result in the
build of the same builder twice in a row, for example:

 2021-06-22 02:42:54+0000 [-]  <Build mipsel_24kc number:95 results:success>: build finished
 2021-06-22 02:42:55+0000 [-] prioritizeBuilders:          mipsel_24kc complete_at: 2021-06-21 20:17:14+00:00
 2021-06-22 03:14:30+0000 [-] prioritizeBuilders:          mipsel_24kc complete_at: 2021-06-22 02:42:54+00:00

Build finishes at 02:42:54, scheduler then asks for next build at
02:42:55, but the build still has the old complete_at timestamp
2021-06-21 20:17:14 instead of the correct one 2021-06-22 02:42:54, thus
scheduling the build of oldest mipsel_24kc builder one more time.

This is so far very promising workaround attempt which checks latest
builder complete_at in builds table which seems to be updated faster,
thus using greater complete_at value seems to work for now.

References: https://github.com/buildbot/buildbot/issues/4592#issuecomment-801163587
Signed-off-by: Petr Štetiar <ynezz@true.cz>

Bump to latest Buildbot release 3.2.0

Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker,worker: install libelf-dev, libdw-dev

The libelf-dev is a previous requirement to support STACK_VALIDATION
during kernel builds (x86/64). Building kernels with BTF debug
information requires both this and libdw-dev be installed.

Signed-off-by: Tony Ambardar <itugrok@yahoo.com>

buildworker: provide OpenWrt version in description

So it's clear to anyone which version is actually deployed.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

buildmaster: provide OpenWrt version in About section

So it's clear to anyone which version is actually deployed.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1,phase2: add file space usage reporting

Add `du` step so it's clear how much space was used by the build.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1, phase2: exclude temporary source files from sourceupload step

When the dl/ directory is shared with several workers, there can be
temporary "*.hash" and "*.dl" files being created by other workers.
These files should be excluded from the sourceupload step, otherwise it
can cause a failure when rsync tries to read them.

See for example:

  https://buildbot.openwrt.org/master/packages/#/builders/14/builds/18/steps/39/logs/stdio

Signed-off-by: Baptiste Jonglez <git@bitsofnetworks.org>

phase1, phase2: don't mark the build failed if a non-critical step fails

Some steps are informative or optional (haltOnFailure=False), so it makes
no sense to mark the whole build as failed if such a step fails.

Depending on the case, we either mark the build as "warning"
(warnOnFailure=True) or as successful (warnOnFailure=False).

Signed-off-by: Baptiste Jonglez <git@bitsofnetworks.org>

phase1,phase2: fix reconfig command by creating twistd.pid

Currently it's not possible to reconfig buildmaster as twistd.pid is
missing so fix it by creating one manually.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

buildmaster: add some OpenWrt branding

 Welcome to OpenWrt buildbot

Signed-off-by: Petr Štetiar <ynezz@true.cz>

Bump to latest Buildbot release 3.0.2

Signed-off-by: Petr Štetiar <ynezz@true.cz>

Revert "docker: master/worker: fix issue with latest stable sqlalchemy"

This reverts commit 1d17927e74896df84208da090c80c2d1791d5fe6 as the
issue got fixed in Buildbot version 3.0.2

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1,phase2: implement round robin builds

Gather newest complete and not skipped build timestamps, reverse sort
them and use that as builder priority, so the newest built targets are
at the bottom.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker: master/worker: fix issue with latest stable sqlalchemy

Fixes following issue with sqlalchemy version 1.4.0 and too relaxed
dependecies `sqlalchemy>=1.2.0` in buildbot:

 Traceback (most recent call last):
   File "/usr/local/bin/buildbot", line 8, in <module>
     sys.exit(run())
     from buildbot.db import enginestrategy
   ...
   File "/usr/local/lib/python3.7/dist-packages/buildbot/db/enginestrategy.py", line 154, in <module>
     class BuildbotEngineStrategy(strategies.PlainEngineStrategy):
 AttributeError: module 'sqlalchemy.engine.strategies' has no attribute 'PlainEngineStrategy'

References: https://github.com/buildbot/buildbot/issues/5911
Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1,phase2: shuffle order of builds

It seems that once there are new commits, buildbot restarts building all
targets in alphabetical order. The current logic pretty much disables
the building of the alphabetically last targets, so until there is
proper solution just workaround it by randomly shuffling the builders
list.

References: https://github.com/buildbot/buildbot/issues/5193
Signed-off-by: Petr Štetiar <ynezz@true.cz>

Bump to latest Buildbot release 3.0.1

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: buildworker: disabled test temporarily

It seems to be getting stuck for some yet to be investigated reason.

References: https://gitlab.com/gitlab-com/gl-infra/production/-/issues/3925#note_528657831
Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: use private runner

Shared runners seems to be unreliable lately and private runner should
be more secure as well.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

buildworker: add Python2 package

Which is still needed for 19.07 builds.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker,worker: install gcc-mulitlib

From openwrt/docker[1]:

This is required for luajit, which is in packages feed.  While it works
fine for ARMv8 (tested by using Github Actions: aarch64_cortex-a53) and
x84_x64 (tested inside Docker container, it does not work for 32-bits
target and because of that we need to install gcc-multilib.

Luajit fails with the following output: (tested against target:
arm_cortex-a9+vfpv3-d16_musl_eabi inside Docker SDK image)

/usr/include/limits.h:26:10: fatal error: bits/libc-header-start.h: No
such file or directory #include <bits/libc-header-start.h>
^~~~~~~~~~~~~~~~~~~~~~~~~~

[1]: https://github.com/openwrt/docker/pull/74/commits/f9da188d53fd9809ca4911089611e1f42422d049

Signed-off-by: Paul Spooren <mail@aparcar.org>

buildworker: add swig package

The U-Boot build for more and more SoCs is using binman by default to
combine the images (SPL, U-Boot, ...). Binman is build from the U-Boot
project and it needs swig to build. We have multiple patches in OpenWrt
to remove this dependency from U-Boot, but it costs more and more time
to revert back to the old code. We have them in sunxi and rockchip
U-Boot, the Mediatek U-Boot build failed some time ago because of
missing swig in build bots.

In U-Boot 2021.01 the binman usage changed again, so it needs further
adaptations.

Building swig in OpenWrt tools will not be easy. We needs swig with
Python bindings and this version needs the Python development headers to
build.

References: https://lists.infradead.org/pipermail/openwrt-devel/2021-February/033654.html
Suggested-by: Hauke Mehrtens <hauke@hauke-m.de>
Signed-off-by: Petr Štetiar <ynezz@true.cz>

treewide: use worker term

[Placeholder for your politically correct commit description]

Suggested-by: Paul Spooren <mail@aparcar.org>
Signed-off-by: Petr Štetiar <ynezz@true.cz>

Bump to version 3.0.0

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: buildslave: fix Docker image tests

Refactoring leftover.

Fixes: 70883902ecf1 ("GitLab CI integration")
Signed-off-by: Petr Štetiar <ynezz@true.cz>

GitLab CI integration

For improved automation, further QA etc.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker: buildslave: make TLS working

It seems like twisted actually needs SSL in the connection string,
otherwise it will get stuck in the following endless loop:

 [buildbot_worker.pb.BotFactory#info] Starting factory <buildbot_worker.pb.BotFactory object at 0x7ff40f19e080>
 [twisted.application.internet.ClientService#info] Scheduling retry 1 to connect <twisted.internet.endpoints._WrapperEndpoint object at 0x7ff410352978> in 2.1271975799063436 seconds.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

builtmaster,phase1: add missing services dict

Fixes following error:

 2021-03-05 11:00:54+0000 [-] error while parsing config file:
 ...
        builtins.KeyError: 'services'

Signed-off-by: Petr Štetiar <ynezz@true.cz>

buildmaster: replace horizons with JanitorConfigurator

The old c['logHorizon'] way of configuring is not supported anymore, we
should use JanitorConfigurator. A new __Janitor builder will be created
to help keep an eye on the cleanup activities and for that we need
buildbot-worker package as well.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

buildmaster: fix permissions

Otherwise buildbot wouldn't be able to access config.ini or certs and thus fail
to start:

 2021-03-05 08:08:18+0000 [-] Loading configuration from '/phase1/master.cfg'
 2021-03-05 08:08:18+0000 [-] error while parsing config file:
 ...
 configparser.NoSectionError: No section: 'general'

Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker: fix Python cryptography build failure

It seems like recent Python cryptography package versions need Rust
compiler present for OpenSSL wrapper, which leads to following error:

 generating cffi module 'build/temp.linux-x86_64-3.7/_openssl.c'
 running build_rust
 ...
 error: Can not find Rust compiler

There is following note regarding this issue in the documentation:

 If you are on RHEL/CentOS/Fedora/Debian/Ubuntu or another distribution
 derived from the preceding list, then you should upgrade pip (in a
 virtual environment!) and attempt to install cryptography again before
 trying to install the Rust toolchain. These platforms will receive a
 binary wheel and require no compiler if you have an updated pip!

So fix this by recommended pip update.

References: https://cryptography.io/en/latest/installation.html#rust
Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1,2: fix missing tmp dir

Silence the missing tmp dir warning in the source.git.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker: make TLS working

Fixes following errors during setup:

 buildslave-phase2_1   | Failed to load application: name 'optionsForClientTLS' is not defined

 [-] while starting BuildMaster
 ...
 builtins.ModuleNotFoundError: No module named 'OpenSSL'

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1: make change links clickable

Adding a `revlink` allows to click on changes leading to the
git.openwrt.org commit package. This feature works automatically for
pages like GitHub, however requires this manual step for custom urls.

Signed-off-by: Paul Spooren <mail@aparcar.org>

docker,worker: install qemu-utils

To convert x86 images to VDI/VMDK the `qemu-img` tools is required,
which is part of Debians `qemu-utils` package. The goal is to remove the
ancient in-tree `qemu-img` version and replace it with a recent host
installed package.

Related: https://github.com/openwrt/openwrt/pull/3739/

Signed-off-by: Paul Spooren <mail@aparcar.org>
[rebased]
Signed-off-by: Petr Štetiar <ynezz@true.cz>

scripts: remove migrated dumpinfo.pl script

The script was moved over to openwrt.git and is called
`dump-target-info.pl`

Signed-off-by: Paul Spooren <mail@aparcar.org>
[fixed script path in the master build script]
Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker: alphabetical sorting of packages

So it's easier to follow.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker: update to 2.10.1

Removing the mixing with the testing as it seems, that it's not needed
anymore. We can easily just use buildbot from pip.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1: fix gitcheckout with corrupted .git

When the container running `git clone` is killed it will leave the .git
directory in unusable state which then leads in the following errors:

 if [ -d .git ]; then git checkout -f master; git branch --set-upstream-to origin/master; else exit 0; fi
 error: pathspec 'master' did not match any file(s) known to git.
 fatal: branch 'master' does not exist

Fix it by removing .git completely if this happens, otherwise it might
simply leave shared build directory in the unusable state.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1: dont include stderr output in stageroot variable

Otherwise it can result in strange error messages which are hard to
debug.

Ref: http://lists.openwrt.org/pipermail/openwrt-devel/2020-August/030826.html
Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase2: use full git history for reproducibility

The SOURCE_DATE_EPOCH variable is used to set reproducible time stamps
for built artifact. As packages get rebuild without changing, they
require individual epochs which are independent of the main tree. To
archive that the git log for each package source path is used.

This mechanism can only work if the full git history is available. Until
now only a shallow copy (--depth 1) would be cloned. With this commit
the `feeds.conf.default` is changed to use the full git repository.

Signed-off-by: Paul Spooren <mail@aparcar.org>
[do not modify feeds.conf.default]
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: add separate option for kmod repo embedding

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: treat "kmod_archive" as bool option

Fixes: 9ad60fa ("phase1: add config option to enable/disable kmod archive")
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

rsync.sh: set pipefail

to capture rsync failures when piped through pv

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: add config option to enable/disable kmod archive

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: add JSON merge step

The refactored JSON info files require a final merge step which sums up
all created JSON info files of a target into a single `profiles.json`
files.

This patch adds the extra step to run `make json_overview_image_info`
just before calculating the checksums so the `profiles.json` files is
signed as well.

Signed-off-by: Paul Spooren <mail@aparcar.org>
[allow the step to fail to satisfy 18.06 builders]
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

buildslave: update to Debian 10, introduce TLS support

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

docker: add example certificates

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

buildmaster: update to v2.4.1

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1, phase2: sort and move imports to the top of the file

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

scripts: cleanup.sh: adapt to buildbot v2 api

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1, phase2: implement force scheduler logic

Signed-off-by: Jo-Philipp Wich <jo@mein.io>