logd: add support for subscribing to the log object

Provides easier access to log messages

Signed-off-by: Felix Fietkau <nbd@nbd.name>

kmodloader: fix GCC fanalyzer warnings

memory leaks and missing NULL checks.

Signed-off-by: Rosen Penev <rosenp@gmail.com>

kmodloader: fix bad realloc usage

Both cppcheck and gcc's -fanalyzer complain here that realloc is being
used improperly.

Signed-off-by: Rosen Penev <rosenp@gmail.com>

kmodloader: fix compilation warning with not checking return of asprintf

Fix the following compilation warning:

kmodloader.c: In function 'main_loader':
kmodloader.c:1027:41: error: ignoring return value of 'asprintf' declared with attribute 'warn_unused_result' [-Werror=unused-result]
make[1]: *** [package/Makefile:116: package/system/ubox/compile] Error 1
 1027 |                                         asprintf(&m->opts, "%s %s", prev, opts);
      |                                         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

While at it rework the function to not duplicate too much code with the
error handling.

Signed-off-by: Christian Marangi <ansuelsmth@gmail.com>

kmodloader: support loading module options and blacklist from /etc/modules.conf

This has the same format as /etc/modules.d on a regular linux system

Signed-off-by: Felix Fietkau <nbd@nbd.name>

logread: fix erroneous message "Logread connected to" with udp

When streaming the syslog messages via udp, the socket connection
always succeeds by definition, but it can still fail to send. In such
case, the syslog keep repeating the following two messages:

    failed to send log data to ip:port via udp
    Logread connected to ip:port

With this change, only one initial message "Logread connected to..." is
logged.

Also fixed capital letter for "failed to send" message.

Signed-off-by: Giovanni Giacobbi <giovanni@giacobbi.net>
Signed-off-by: Daniel Golle <daniel@makrotopia.org> (string de-duplication)

logd: fix privilege dropping order

Fixes: 41664054b8b1 ("logd: fix ignored return values in set{gid,uid}")
Signed-off-by: Giovanni Giacobbi <giovanni@giacobbi.net>

logd: fix ignored return values in set{gid,uid}

Ubuntu 18.05 with gcc-7.5 yields following error:

 ubox/log/logd.c:263:3: error: ignoring return value of ‘setuid’, declared with attribute warn_unused_result [-Werror=unused-result]
   setuid(p->pw_uid);
   ^~~~~~~~~~~~~~~~~
 ubox/log/logd.c:264:3: error: ignoring return value of ‘setgid’, declared with attribute warn_unused_result [-Werror=unused-result]
   setgid(p->pw_gid);
   ^~~~~~~~~~~~~~~~~

Fixes: 9ef886819dd4 ("logd: self-degrade to 'logd' user after opening pipes")
Signed-off-by: Petr Štetiar <ynezz@true.cz>

logd: self-degrade to 'logd' user after opening pipes

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

kmodloader: added -a arg to modprobe

-a treats all non-op trailing arguments as module names
and attempts to load all of them. This behaviour mirrors the behaviour
of the respective -a in /tools/modprobe.c from https://git.kernel.org.

This is primarily to satiate the multiple modules passed by
docker/libnetwork.

Signed-off-by: Gerard Ryan <G.M0N3Y.2503@gmail.com>

kmodloader: print an error when no kernel module dir can be found

Do not just silently fail when kernel modules are nowhere to be
found. This is essential for diagnosing mismatched kernel version
failures.

Signed-off-by: Paul Fertser <fercerpav@gmail.com>

logread: add option to filter for facilities

This adds filtering options for facilities as follows:
    -z <facility> handle only messages with given facility (0-23), repeatable
    -Z <facility> ignore messages with given facility (0-23), repeatable

With that
* 'logread -z 2 -z 16' will display all MAIL and LOCAL0 messages, while
* 'logread -Z 2 -Z 16' will display all but MAIL and LOCAL0 messages

Signed-off-by: Zefir Kurtisi <zefir.kurtisi@neratec.com>

kmodloader: added -v arg to modeprobe

This is primarily to satiate the usage by docker/libnetwork.

Signed-off-by: Gerard Ryan <G.M0N3Y.2503@gmail.com>

kmodloader: Increase path array size to make it always fit

When DEF_MOD_PATH (10 bytes), s (max 255 bytes) and ver.release (max 64
bytes) are all written into path, 256 bytes will not fit, increase the
available size. All given sizes are given without terminating NULL byte
and we add one byte to store the NULL byte.

GCC 9.1 warns about this condition and we treat warnings as errors in
ubox.

Reported-by: Joseph Benden <joe@benden.us>
Signed-off-by: Hauke Mehrtens <hauke@hauke-m.de>

kmodloader: fix and optimize loading of failed modules

1) Restore functionality which was lost in commit 876c7f5b.
   Again at boot time kmodloader can load all modules (/etc/modules.d/*)
   even if dependency information is completely missing.
   This functionality is important in case of hidden dependency (not symbol dependency).
   For example, in kernel 4.4.60 is hidden dependency between nf_nat_ipv6 and nf_conntrack_ipv6.
   We can't load nf_nat_ipv6 before nf_conntrack_ipv6 and modinfo do not show this dependency.
   Two sequential load attempts of nf_nat_ipv6 may not be enough (in my case it's definitely not enough).
   nf_nat_ipv4 has a similar problem.

2) Reduce count of attempts to load failed modules.
   Now kmodloader try to load failed modules after all others are loaded.

main_loader: Count of failed and successful attempts to load nf_nat_ipv6.ko (kernel 4.4.60) depend on ubox version:
   COMMIT        FAILED      SUCCESSFUL     TOTAL
   128bc35f      53          1              54
   876c7f5b      2           0              2
   this          1           1              2

Signed-off-by: Pavel Merzlyakov <pavel.merzlyakov@gmail.com>
Acked-by: Jo-Philipp Wich <jo@mein.io>

kmodloader: increase module name length

Otherwise modules with long names, e.g. lttng (>32 chars) can't be loaded.

Signed-off-by: Sergiy Kibrik <sakib@darkstar.site>

kmodloader: load_modprobe: abort after 2 attempts

The loop in load_modprobe causes dmesg to be flooded with errors when a
module fails to load; e.g.:
- gpio-nct5104d: Unsupported device 0xffff (246 times on x86 in Qemu)
- jitterentropy: Initialization failed with host not compliant with
  requirements: 2 (229 times on brcm2708/bcm2708)

On brcm2708/bcm2708 this also causes vmalloc allocation failures with
kernel 4.14 when running headless. If kmod-drm-vc4 and
kmod-video-bcm2835 are included in the image, they will be loaded before
brcmfmac, and brcmfmac will fail to load:

kmodloader: vmalloc: allocation failure: 249856 bytes,
mode:0x14000c0(GFP_KERNEL), nodemask=(null)

Break the loop after 2 failed attempts to fix these issues.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>
Signed-off-by: Stijn Tintel <stijn@linux-ipv6.be>

logread: fix reconnect logd logic

Signed-off-by: John Crispin <john@phrozen.org>

logrea: move the code setting up the request blob out of the main loop

Signed-off-by: John Crispin <john@phrozen.org>

logread: move output connection setup code out of main loop

Signed-off-by: John Crispin <john@phrozen.org>

logread: cleanup pid file handling

Signed-off-by: John Crispin <john@phrozen.org>

ubox: Replace strerror(errno) with %m format.

Saves 872 bytes on Ubuntu 16.04. No change in functionality.

Signed-off-by: Rosen Penev <rosenp@gmail.com>

ubox: Remove unnecessary memset calls.

Change to calloc instead. Less verbose.

Signed-off-by: Rosen Penev <rosenp@gmail.com>

logd: move stripping of newlines to log_add()

Signed-off-by: Felix Fietkau <nbd@nbd.name>

logread: fix line buffer size

Signed-off-by: Felix Fietkau <nbd@nbd.name>

logread: remove leftover debug code

Signed-off-by: Felix Fietkau <nbd@nbd.name>

logd: enforce line length limit for ubus based log messages as well

Signed-off-by: Felix Fietkau <nbd@nbd.name>

logread: use oneshot mode without -f, wait for logd to close

Fixes a race condition in dealing with larger amounts of log data

Signed-off-by: Felix Fietkau <nbd@nbd.name>

logd: implement oneshot mode for stream log read

This will terminate the connection after all log messages have been
sent. Useful for logread without follow

Signed-off-by: Felix Fietkau <nbd@nbd.name>

logread: terminate after EOF

Signed-off-by: Felix Fietkau <nbd@nbd.name>

logd: only create pipe in stream mode

Signed-off-by: Felix Fietkau <nbd@nbd.name>

logd: use uloop instead of ustream_fd for syslog

Using a stream buffer for a datagram socket makes no sense. This change
fixes dealing with line buffer truncation on large incoming messages

Signed-off-by: Felix Fietkau <nbd@nbd.name>

log/syslog: Add missing static to two structs.

On x86, binary size goes down by 16 bytes.

Signed-off-by: Rosen Penev <rosenp@gmail.com>

ubox: Replace { 0 } with {}.

The latter is more compatible with older GCC versions like 4.9. Additionally, initializing with { 0 } produces a warning that only the first field was initialized.

Signed-off-by: Rosen Penev <rosenp@gmail.com>

kmodloader: log error message in case of out of memory

Log "out of memory" error message in case of OOM

Signed-off-by: Hans Dedecker <dedeckeh@gmail.com>

kmodloader: lift restriction on module alias info

kmodloader has a restriction of storing only 32 aliases for a given
module; as modules can have easily more than 32 aliases let's remove
the restriction by using a dynamic allocation mechanism when retrieving
the aliases.
While at it also check the get_module_info return value setting an error
code in case NULL is returned.

Signed-off-by: Hans Dedecker <dedeckeh@gmail.com>

kmodloader: fix possible segfaults

Signed-off-by: Hans Dedecker <dedeckeh@gmail.com>

kmodloader: fix endianess check

Use __BYTE_ORDER macro to check system endianess as the macro's
__LITTLE_ENDIAN, __BIG_ENDIAN are defined irrespective of the
sytem endianess leading to an endianess check failure on big
endian systems.

Signed-off-by: Hans Dedecker <dedeckeh@gmail.com>
Acked-by: John Crispin <john@phrozen.org>

kmodloader: Check module endian before loading

If we manage to accidentally get a module installed that does not match
the system endianess (there is currently nothing preventing that in
OpenWrt/LEDE) we will hit a segmentation fault when doing this:

sh = (Elf32_Shdr *) (map + e->e_shoff);

because e->e_shoff will be wrongly encoded and this most likely will
result in an invalid offset to de-reference from.

Update elf_find_section() to check that the build time endianess of
kmodloader matches that of the module, otherwise nothing would work
really.

Signed-off-by: Florian Fainelli <f.fainelli@gmail.com>

kmodloader/get_module_info: initialized aliases to make it more clean

Even when the callee looks onto the length is a good idea to zero
the points.

Found-by: Coverity Scan #1412541
Signed-off-by: Alexander Couzens <lynxis@fe80.eu>

kmodloader: insmod: fix a memoryleak in error case

Found-by: Coverity Scan #1412469
Signed-off-by: Alexander Couzens <lynxis@fe80.eu>

kmodloader/get_module_name: null-terminate the string

Found-by: Coverity Scan #1412291
Signed-off-by: Alexander Couzens <lynxis@fe80.eu>

syslog: remove unnecessary sizeof struct between messages

The next message needs to be written after the data of current message.
This was adding "sizeof(struct log_head)" bytes between messages.

Signed-off-by: Dan Bugnar <danutbug@gmail.com>

kmodloader: modprobe: return 0 for loaded modules

This is the default behaviour with modprobe from kmod package [1] unless
it is explicitly told that the module is to be loaded for --first-time

 [1] http://www.kernel.org/pub/linux/utils/kernel/kmod/

Fixes FS#433

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

kmodloader: don't store aliases info in struct module

This also fixes FS#544 as the possible address alignment issue should
now disappear

function                                             old     new   delta
alloc_module                                         398     245    -153
------------------------------------------------------------------------------
(add/remove: 0/0 grow/shrink: 0/1 up/down: 0/-153)           Total: -153 bytes

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

cmake: fix typo

Fixes: fce9382b4b99 ("cmake: Check for getrandom system call")
Signed-off-by: Felix Fietkau <nbd@nbd.name>

kmodloader: fix not being able to find some modules

kmodloader is using slightly different criteria for ordering the AVL tree
versus what it uses to traverse it.  This sometimes results in not being
able to find some modules.

Reference: https://bugs.lede-project.org/index.php?do=details&task_id=443

Signed-off-by: Nathan Hintz <nlhintz@hotmail.com>

cmake: Check for getrandom system call

In case we are building against a kernel that is too old and does not
support SYS_getrandom, error out with a message indicating so.

Signed-off-by: Florian Fainelli <f.fainelli@gmail.com>

kmodloader: support '-q' quiet option

The kernel opportunistically attempts to load modules in advanced with
'predicted' module names.  Often these modules don't exist and hence
kmodloader produces lots of logfile noise.  The kernel commandline to
modprobe from kworker proceses is '-q -- modulename' where '-q' means
quiet. Support suppressing that noise.

Signed-off-by: Kevin Darbyshire-Bryant <kevin@darbyshire-bryant.me.uk>

ubox: Add an option for more accurate timestamps in log

Systemwide timestamps for syslog messages with ms accuracy are usefull
for debugging timing problems.

Signed-off-by: Wojciech Dubowik <Wojciech.Dubowik@neratec.com>

kmodloader: make insert_module() idempotent

To fix spurious error messages in the following situation

 1. scan loaded modules
 2. load wireguard.ko and the module itself will request xt_hashlimit to
    be loaded
 3. xt_hashlimit is still in PROBE state here so we also try to load it,
    but init_module() returns EEXIST

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

kmodloader: add module alias awareness

To achieve this, the following changes are made

 - scan module folders before scaning loaded modules
 - struct module was splited into struct module_node for the avl tree
   and struct module for storing actual info about modules

The other minor fix is that module.opts is now freed in free_modules()
when appliable

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

kmodloader: fix out-of-bound access when parsing .modinfo

Fixes output of "modinfo nf_conntrack_ipv4"

    module:         /lib/modules/4.4.40/nf_conntrack_ipv4.ko
    license:        GPL
    alias:          ip_conntrack
    alias:          nf_conntrack-2
    depends:        nf_conntrack,nf_defrag_ipv4
    src:            %pI4 dst=%pI4

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

kmodloader: modprobe: skip possible command line arguments

The kernel may invocate user mode modprobe with the following scheme

    modprobe -q -- <module_name>

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

kmodloader: log to kmsg when loading directories of modules

syslog may not be ready yet before PREINIT

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

kmodloader: remove redundant glob wildcard char

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

ubox: Initialize conditionally uninitialized variabled

fixes false positive warning from "-Wconditional-uninitialized in clang"

Signed-off by: Rosen Penev <rosenp@gmail.com>

ubox: Fix some memory leaks

Avoids leaking memory when exiting early.

Signed-off by: Rosen <rosenp@gmail.com>

kmodloader: Fix typo in error message

Signed-off-by: Florian Fainelli <f.fainelli@gmail.com>

logd: put non-streamed log entries into one result message

Signed-off-by: Felix Fietkau <nbd@nbd.name>

ubox/logd: free ubus context on exit

Signed-off-by: Alexandru Ardelean <ardeleanalex@gmail.com>

ubox/logd: free regex's on log_shutdown() call

Signed-off-by: Alexandru Ardelean <ardeleanalex@gmail.com>

logd: fix default initialization of line count

Signed-off-by: Felix Fietkau <nbd@nbd.name>

logd: add support for sending log messages as replies

Useful for JSON-RPC access via uhttpd

Signed-off-by: Felix Fietkau <nbd@nbd.name>

add getrandom to .gitignore

Signed-off-by: Felix Fietkau <nbd@nbd.name>

getrandom: fix indentation, add missing return statement

Signed-off-by: Felix Fietkau <nbd@nbd.name>

fix segfault in kmodloader when no modules path was present

Signed-off-by: John Crispin <john@phrozen.org>

validate: fix datatype handling of default values

Properly handle the datatype of default values when the corresponding uci
value is unset. Also consolidate the three default value code branches into
a single one.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

kmodloader: fix lsmod depends output

Without this patch only the first dependency is shown, with this patch
all module dependencies are show.

Signed-off-by: Hauke Mehrtens <hauke@hauke-m.de>

cmake: Find uci header file

Add a CMake FIND_PATH and INCLUDE_DIRECTORIES searching for uci.h. Some
external toolchains which do not include standard locations would fail
to find the header otherwise.

Signed-off-by: Florian Fainelli <f.fainelli@gmail.com>

getrandom: add helper for getrandom() syscall

getrandom() was introduced in version 3.17 of the Linux kernel.
By default getrandom() block until /dev/urandom pool has been initialized
and then read from it.
Read buffer is 256 bytes so getrandom() calls always succeed.

First usage will be to save a seed for /dev/urandom.

Signed-off-by: Etienne CHAMPETIER <champetier.etienne@gmail.com>

kmodloader: fix NULL pointer deref in case m->depends is missing

Observed on an invalid module

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

kmodloader: clean up memory mapping and fix fd leaks in error handling

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

kmodloader: fix open() error handling

Fixes kmodloader on systems without stdio and prevents fd leaks in case
descriptor zero is opened.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

logread: ensure that the len < sizeof(struct blob_attr) check runs before trying to access the data

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

fix gcc format security error

Signed-off-by: Hauke Mehrtens <hauke@hauke-m.de>

log: allow filtering messages with a regexp pattern

This allows printing/streaming/writing messages matching a specified
basic regular expression only.

Signed-off-by: Rafał Miłecki <zajec5@gmail.com>

logd: optimize notify function

No need to construct every time the same blob_buf for each client in the list.

Signed-off-by: Luka Perkov <luka@openwrt.org>

log: make valgrind less complain by freeing allocated memory

Signed-off-by: Luka Perkov <luka@openwrt.org>

log: fix whitespaces

Signed-off-by: Luka Perkov <luka@openwrt.org>

log: remove unused callbacks

Signed-off-by: Luka Perkov <luka@openwrt.org>

logread: add support for non-transparent-framing for Syslog over TCP

https://tools.ietf.org/html/rfc6587#section-3.4.2
the idea is to add \n or \0 as message trailer so it's easier
to find message end

v2: simplify, use \n by default, with optional \0

Signed-off-by: Etienne CHAMPETIER <champetier.etienne@gmail.com>

properly handle return codes

Signed-off-by: John Crispin <blogic@openwrt.org>

properly handle return code of pipe() syscall

Signed-off-by: John Crispin <blogic@openwrt.org>

syslog: use appropriate levels for logging

Signed-off-by: Christian Mehlis <christian@m3hlis.de>

kmodloader: initialize module folders in insmod

Fixes a segmentation fault in 'insmod' operation mode, due to uninitialized
path list.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

kmodloader: convert to ulog() api

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

kmodloader: search kmods relative to LD_LIBRARY_PATH

When LD_LIBRARY_PATH is set, then scan for kmods in each directory pointed to
by it. This is mainly useful for early boot invocations of kmodloader, e.g.
during the extroot setup phase.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

hw_detect replaces this old code

Signed-off-by: John Crispin <blogic@openwrt.org>

Use different loglevels

Ubox logs various messages during OpenWRT boot which are not
very interesting, such as the number of iterations made. This
fix implements several loglevels for debug/info/error so that
more useful messages are shown.

Signed-off-by: Michel Stam <m.stam@fugro.nl>

RFC 3164 compliant remote logging

When logread daemon send a syslog message to another host, time, severity and facility are cut off.

The message contains only text. This patch adds time, severity and facility in the message as described in the RFC 3164.

Signed-off-by: Belkov Max <belkov-max@mail.ru>

ubox: exit(1) in logd if registering log object with ubus fails

Signed-off-by: Alexandru Ardelean <ardeleanalex@gmail.com>

validate: return error on failed validation

In the procd script (/lib/functions/procd.sh) uci_validate_section is in charge
of validating the uci config files. The uci_validate_section function checks
return code of validate_data tool; without this change in case of invalid
config values the function is not able to catch errors.

Signed-off-by: Luka Perkov <luka@openwrt.org>

validate: add missing yes/no boolean values

Signed-off-by: Luka Perkov <luka@openwrt.org>

validate: add valid bool types enabled/disabled

They are already supported in config_get_bool function found in OpenWrt
base-package.

Signed-off-by: Luka Perkov <luka@openwrt.org>

validate: fix indentation

Signed-off-by: Luka Perkov <luka@openwrt.org>

kmodloader: force size argument for syscall to unsigned long to fix issues with musl

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubox: only link libraries that are actually used

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

log: remove superflous client_close call

Signed-off-by: John Crispin <blogic@openwrt.org>

mount_root/block: these tools were moved to the fstools repo

Signed-off-by: John Crispin <blogic@openwrt.org>