docker,worker: install pyelftools

UBoot version of at least 2023.07.02 that use binman also have a dependency of pyelftools on the build host.

Signed-off-by: Ben Whitten <BWhitten@users.noreply.github.com>
Signed-off-by: Petr Štetiar <ynezz@true.cz> [whitespace fix]

phase1: workaround dlprune recursive directory removal

Workarounds following issue:

 find: cannot delete ‘dl/ath10k-ct-firmware-2020-11-08’: Directory not empty

References: #13
Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1: prepareFactory: use variables instead of list index

Thus make the code more readable.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1: populateTargets: log branch name as well

So the progress is more verbose.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1: do not leak targets between branches

Robert noticed, that after rename of `ipq807x` target in main branch to
`qualcommax/ipq807x` subtarget, that buildbot is trying to build this
new `qualcommax/ipq807x` subtarget on `openwrt-23.05` branch as well.

Thibaut later explained, that this is by design, his initial idea was to
find exhaustive list of all targets and let the `checkarch` step do the
final triaging.

I find this approach confusing, because if the subtarget is not present
in that branch, we shouldn't have builder for it configured as well.
Furthermore wasting roughly 5 minutes of precious buildworker time to
checkout all feeds and then just find out, that we're not going to use
those seems suboptimal as well.

So lets fix it by using builders for targets as present in respective
branches.

Fixes: #14
Reported-by: Robert Marko <robimarko@gmail.com>
Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1: reformat with black

Making everything consistent, more readable, CI guarded.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1: dlprune: fix cannot delete ‘dl/’: Not a directory

dlprune currently fails with following error:

 find: cannot delete ‘dl/’: Not a directory

Initial idea was to delete only stuff under download directory and not
the download directory itself, so lets adjust the find command
accordingly.

Fixes: 68b20ed67b5e ("phase1: prune unused files from dl/")
Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1: satisfy getver.sh requirements

scripts/getver.sh requires upstream branch tracking to correctly compute
revision number. Buildbot Git() step does not set branch tracking as it
checks out individual commits and then reset the target branch to it, so
in order for getver.sh to work, this workaround forcefully sets the
upstream branch.

This fixes malformed version code in filenames as observed on
openwrt-23.05:

r23001+3-38c150612c
instead of:
r23004-7f0db09513

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: cleanup redundant steps

These 3 rm steps are unnecessary since these folders are already cleaned
by the Git() step. Thus reduce clutter in already pretty busy Factory.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: workaround gitverify 1st build failures on fresh workers

Currently every 1st build on ephemeral build worker results in the
failure of the `gitverify` build step as the stock buildbot Git() build
step for some reasons just clones the Git repository into detached HEAD
state.

On the 2nd build using the same build worker Git() checkouts the branch
and thus makes `gitverify` step happy and the builds then continues
normally.

This needs to be fixed properly, either by adjusting the `gitverify`
check or adding suitable `mode` into Git() build step, but this needs
more time and testing.

So for now, lets simply workaround that issue by running Git() step two
times.

References: #5
Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker,worker: install g++-multilib

From [openwrt/docker@5484951][1] (GitHub PR [#89][2]):

Node fails to cross-compile from a 64-bit build machine to 32-bit host
with the following error:

```
  In file included from /usr/include/c++/8/memory:62,
  from ../deps/v8/src/libplatform/default-foreground-task-runner.h:8,
  from ../deps/v8/src/libplatform/default-foreground-task-runner.cc:5:
  /usr/include/c++/8/bits/stl_algobase.h:59:10: fatal error: bits/c++config.h:
    No such file or directory
  #include <bits/c++config.h>
          ^~~~~~~~~~~~~~~~~~
  compilation terminated.
```

On Debian, `g++-multilib` can be installed to fix this.

[1]: https://gitlab.com/openwrt/docker/-/commit/54849510d7802028b94757051cca6d004a9ca1d1
[2]: https://github.com/openwrt/docker/pull/89

Fixes: https://github.com/openwrt/packages/issues/18476
Fixes: https://forum.openwrt.org/t/why-arent-the-node-and-node-npm-packages-available-on-arm-cortex-a9-vfpv3-d16-in-22-03-2/142722
Signed-off-by: Alois Klink <alois@aloisklink.com>

ci: add basic config checking with ruff

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1: actually make rsync -4 configurable

54e80d5ce introduced an interpolate bug that would evaluate an empty
string as being part of the arguments passed to rsync, resulting in a
failure as rsync interprets that empty string as a source.

This commit fixes this by instead appending '4' to regular shortopts
when necessary.

Fixes: 54e80d5ce
Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>
Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1: perform kmodupload only when needed

Fixes: 909e899
Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>
Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1: fix crash on exception during Git update

Fixes following exception:

 2023-05-15 14:08:56+0000 [-] <Build master_apm821xx/nand number:1 results:success> build got exception when running step Git(name='git', repourl='https://git.openwrt.org/openwrt/openwrt.git', mode='full', method='fresh', locks=renderer(<function NetLockDl at 0x7f5d33351ee0>), haltOnFailure=True)
 2023-05-15 14:08:56+0000 [-] Unhandled Error
Traceback (most recent call last):
  File "/usr/local/lib/python3.9/dist-packages/twisted/internet/defer.py", line 1792, in gotResult
    _inlineCallbacks(r, gen, status, context)
  File "/usr/local/lib/python3.9/dist-packages/twisted/internet/defer.py", line 1693, in _inlineCallbacks
    result = context.run(
  File "/usr/local/lib/python3.9/dist-packages/twisted/python/failure.py", line 518, in throwExceptionIntoGenerator
    return g.throw(self.type, self.value, self.tb)
  File "/usr/local/lib/python3.9/dist-packages/buildbot/process/build.py", line 576, in _start_next_step_impl
    log.err(e)
--- <exception caught here> ---
  File "/usr/local/lib/python3.9/dist-packages/buildbot/process/build.py", line 562, in _start_next_step_impl
    results = yield step.startStep(self.conn)
builtins.KeyError: None

as None is valid property value, but cant be used as dict index.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: allow pushing of containers during pull requests

Make it possible to push containers in pull requests in private forks,
so the container can be actually runtime tested before merging the
changes.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

buildworker,buildmaster: bump Debian to version 11

Debian 10 LTS support ends on 6/2024, so it makes no sense to use it as
a base for 23.05 release, so lets switch to Debian 11 which should've
LTS support till 6/2026.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

Bump buildbot version to latest stable release 3.8.0

Signed-off-by: Petr Štetiar <ynezz@true.cz>

buildmaster: fix unpinned buildbot package version

It seems, that current pip3 install pinning doesnt work properly as it
can result in the following package versions installation:

 buildbot-3.6.1 buildbot-console-view-3.5.0 buildbot-grid-view-3.5.0
 buildbot-waterfall-view-3.5.0 buildbot-worker-3.5.0 buildbot-www-3.5.0

So lets pin the buildbot package itself to BUILDBOT_VERSION as well.

References: https://gitlab.com/openwrt/buildbot/-/jobs/3324049571#L1158
Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase1: make 'rsync -4' worker-configurable

We set '-4' in rsync_defopts, asking rsync to "prefer" ipv4 whenever
possible on _all_ workers. This was historically done because some
workers had flaky ipv6 connectivity, however in the future the reverse
may be true, with worker having worse networking over ipv4 than ipv6.

This change introduces an 'rsync_ipv4' worker configuration option:
when set to a true value, the old rsync behavior (adding '-4') is used,
when unset or set to false, the extra rsync argument is not used.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: call host ccache in stats

We do not use the staging_dir ccache on buildbots (config seed contains
CONFIG_CCACHE=n), only the host tool if present.
Also only execute this step if 'ccache_command' is set.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: tag builders with their intended branch name

This helps sorting them in waterfall and builders views.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: documentation update

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: allow restricting builders to tag builds only

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: refactor worker parsing

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: disable debug messages

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: prioritize builders by branch order

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: switch to separate builders per branch per target

This will simplify reporting and ensure consistent build statistics.
It will also simplify prioritizing builders by branch.

This also introduces a single "trigger" scheduler that will handle all
trigger requests for each branch/target combination, speeding up the
forcing of builds.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: fix ForceBuild validation logic

We shouldn't use the local GitPoller repo to find the commit hash of a
tag, since this repo may not yet have been updated at the time the new
tag value is fetched from the remote repo.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: run ForceBuilder on local worker

There is no reason to send this over the network to some remote worker,
incurring latency for a purely housekeeping task that should be done on
the buildmaster host.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: prune unused files from dl/

Remove files that haven't been accessed in >15 days from dl/

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: workers are running a single build

Worker lock on dl/ is now unnecessary

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: Fix the force scheduler process

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: always front-run the 00_force_build builder

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: fix ForceScheduler

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: don't log env on statistics steps

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: consistent step styling

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: gitcheckout workaround is no longer needed

And it has adverse effects (slows/breaks Git step).

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: move shared dl to same folder as shared-workdir

The previous command moved it to $HOME/dl, which could pollute the user's
home folder during test runs. This brings the "shared dl" folder in line
with the shared workdir folder, all within buildbot folder hierarchy.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: perform rsync steps only if configured

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: adjust steps descriptions

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: hide/skip ccache steps if not available

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: FlattenList doesn't work on renderables

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: update config.ini.example

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: populateConfig(): quiet git clone

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: make scheduler and changesource branch-aware

The ForcedScheduler for tags still needs work

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: branch-aware signall.sh

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

scripts/signall.sh: make branch aware

This commit is a NO-OP if signall.sh is called with a single argument,
as is currently done, and will allow fetching branch-specific signing
credentials if a branch name is passed as second argument.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: abort early if current builder does not apply

Some builders (target/subtarget) may only apply to particular branches,
but are nevertheless defined for all branches. Detect such case early,
stop the build but do not mark it FAILURE.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: make populateTargets() branch aware

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: make GetNextBuild() branch aware

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: use single var for rsync_bin_defopts and rsync_src_defopts

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: use branch config in factory

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: rsync_src_url is always set

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: prepare to parse branches

This commit breaks config

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: Git() no need to specify branch

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: replace 'repo_branch' with 'branch' prop in factory

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: refactor populateTargets()

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: move target enumeration to function

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: reorder/regroup globals

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: fix option parsing typo for 'ul_lock'

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove 'cleanup' worker option (always set)

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove 'shared_wd' worker option (always set)

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove dead code due to shared_wd=1

shared_wd is always set, the conditional on these bits were thus always
the same resulting in dead code.

Remove 'expire' config option which is no longer needed.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove now redundant 'njobs' (== 'nprocs') property

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: max_builds and shared_wd are always set to 1

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: rework GetNumJobs()

Ensure we never end up with "0".
Set a build property step with the computed concurrency level, so that
this information is available in build status.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove GetCCache()

ccache_command is set from "which ccache" which is either empty or
contains "ccache". Use a simple interpolation instead.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove unused IsNoTaggingRequested()

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: deduplicate 'git' step

method renderers are supported now.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove dead step CleanTargetMap

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove GetCC()/GetCXX()

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove GetCwd()

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: buildfactory: remove deadcode

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove checkBuiltin deadcode

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove unused variables

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: cleanup ini accessors

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: fix leading whitespace

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove unused 'kmod_repository'

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove unused 'git_ssh'

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove unused 'cc_version'

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

phase1: remove unused 'other_builds'

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

Revert "phase1: remove renderable locks: not supported in 0.8.9"

This commit re-enables the network locks that were first introduced in
in 0edb49341 ("phase1: provide upload/download locking"), but which were
disabled in 1e1a32607 as they weren't supported by the buildbot version
used at the time.

The use and benefits of this system is described in 0edb49341.

This reverts commit 1e1a326074018542c4a6f14ffe12984fa9c8a192.

Signed-off-by: Thibaut VARÈNE <hacks@slashdirt.org>

Create README.md

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: disable container pushing during pull request builds

Seems like we need to find a different workflow for container
pre-testing.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: fix ghcr.io container pushing

Attempt to fix following:

 #11 ERROR: denied: permission_denied: The requested installation does not exist.
 ------
  > pushing ghcr.io/ynezz/buildworker-v3.5.0:master with docker:
 ------
 ERROR: denied: permission_denied: The requested installation does not exist.
 Error: buildx failed with: ERROR: denied: permission_denied: The requested installation does not exist.

References: https://github.com/openwrt/buildbot/actions/runs/4971701948/jobs/8899889081#step:9:191
Signed-off-by: Petr Štetiar <ynezz@true.cz>

Introduce GitHub actions

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase2: fix just another byte/string inconsistencies

 File "/phase2/master.cfg", line 203, in parse_feed_entry
   if parts[0].startswith("src-git"):
 builtins.TypeError: startswith first arg must be bytes or a tuple of bytes, not str

Fixes: f3fcdbec877e ("phase2: fix obsolete assumption about feed methods")
Signed-off-by: Petr Štetiar <ynezz@true.cz>

Bump to latest Buildbot release 3.5.0

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase2: handle missing change sources

In commit f3fcdbec877e ("phase2: fix obsolete assumption about feed
methods") we've fixed stuck buildmaster for master/phase2 builds, but
the issue wasn't obvious at first sight and some digging was necessary.
So lets make it obvious if/when it happens next time.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

phase2: fix obsolete assumption about feed methods

In commit 7fae1e5677e9 ("feeds: use git-src-full to allow Git
versioning") there was `src-git` method of shallow clone replaced with
`src-git-full` and this has caused issue with GitPoller configuration as
it only assumed, that only `src-git` method is going to be used for feed
updates. Fix currently stuck buildbot master by allowing usage of both
Git update methods.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

Bump to latest Buildbot release 3.4.1

Signed-off-by: Petr Štetiar <ynezz@true.cz>

Bump to latest Buildbot release 3.4.0

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: docker: deploy automatically only on default branch and tags

In commit fecd899e8189 ("docker: deploy only manually and on
master/tags") we've introduced manual deployment of the Docker images,
but this is unneeded additional manual step, so rather prefer automatic
deployment. While at it, convert to usage of `rules:` as `only:` is
deprecated and `rules:` are preferred.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker: install `mkisofs` to worker container

x86 targets allow the creation of ISO images, however this is not
possible because the `mkisofs` is missing. Install it.

Signed-off-by: Paul Spooren <mail@aparcar.org>

docker: sort installed packages alphabetically

Signed-off-by: Paul Spooren <mail@aparcar.org>

docker: deploy only manually and on master/tags

Unmerged branches shouldn't be deployed as "latest" image, only tags and
`master` branches should.

It is still possible to use containers from tested branches since they
are uploaded to the container registry using their *commit slug*.

Signed-off-by: Paul Spooren <mail@aparcar.org>

phase1,phase2: improve round robin builds

There seems to be some issue with database updates, where database
updates are asynchronous and thus the status update of the previous
build (complete_at DB column) might take little bit longer, then
preparation of the next/current build.

This is issue during job prioritization as this might result in the
build of the same builder twice in a row, for example:

 2021-06-22 02:42:54+0000 [-]  <Build mipsel_24kc number:95 results:success>: build finished
 2021-06-22 02:42:55+0000 [-] prioritizeBuilders:          mipsel_24kc complete_at: 2021-06-21 20:17:14+00:00
 2021-06-22 03:14:30+0000 [-] prioritizeBuilders:          mipsel_24kc complete_at: 2021-06-22 02:42:54+00:00

Build finishes at 02:42:54, scheduler then asks for next build at
02:42:55, but the build still has the old complete_at timestamp
2021-06-21 20:17:14 instead of the correct one 2021-06-22 02:42:54, thus
scheduling the build of oldest mipsel_24kc builder one more time.

This is so far very promising workaround attempt which checks latest
builder complete_at in builds table which seems to be updated faster,
thus using greater complete_at value seems to work for now.

References: https://github.com/buildbot/buildbot/issues/4592#issuecomment-801163587
Signed-off-by: Petr Štetiar <ynezz@true.cz>

Bump to latest Buildbot release 3.2.0

Signed-off-by: Petr Štetiar <ynezz@true.cz>

docker,worker: install libelf-dev, libdw-dev

The libelf-dev is a previous requirement to support STACK_VALIDATION
during kernel builds (x86/64). Building kernels with BTF debug
information requires both this and libdw-dev be installed.

Signed-off-by: Tony Ambardar <itugrok@yahoo.com>