libubus: define _GNU_SOURCE, needed for O_CLOEXEC

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix build error in examples/server

This fixes build warning:
/ubus.git/examples/server.c: In function 'test_hello_reply':
/ubus.git/examples/server.c:69:6: error: ignoring return value of 'pipe', declared with attribute warn_unused_result [-Werror=unused-result]

Signed-off-by: Zefir Kurtisi <zefir.kurtisi@neratec.com>

libubus: replace __init with __constructor

__init has a naming collision with C++ and prevents ubus_common.h
from being included. Instead, use __constructor as defined from
libubox.

Signed-off-by: Zefir Kurtisi <zefir.kurtisi@neratec.com>

libubus: restore uloop_cancelled on timeout

Context: 1 loop with a single ubus_invoke() that times out calls
uloop_end() which ends the loop, and thus ends the application.

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: preserve the received message buffer for incoming invoke calls

Set ctx->msgbuf.data to NULL during the call. If ctx->msgbuf is needed
during the call, a new buffer will be allocated. If not,
ctx->msgbuf.data is restored to the previous value afterwards

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: rework buffer allocation code

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: remove ubus_msghdr_data() by passing in the right data structure pointer

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: use calloc_a for queued msgs to reduce the number of allocations

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix a small memleak in ubus_register_event_handler()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix msgbuf reduction logic during receive

Signed-off-by: Alexandru Ardelean <aa@ocedo.com>
Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: mark ubus socket with close-on-exec

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: use explicit type name in ubus_msghdr_data instead of typeof()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: move ubus_msghdr_data to libubus-internal.h

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubus: add count test to validate large message sizes

Client creates a string "1 2 3 ... 10000 ...", sends it to the server
along with the maximum number in the string.

Server creates another string like the client sent.

It validates it and, returns strcmp()'s result.

This is loop-ed every 2 seconds.

libubus: fix ubus_invoke() to return err in case ubus_start_request() fails

Seems the UBUS_MAX_MSGLEN is ignored by ubus_invoke(),
and then segfault happens.

This issue is present before this set of patches.

ubusd: replace ubusd_msg_unshare() with ubus_msg_new() to prevent invalid free-ing

The realloc is problematic mostly with large packets, as the pointer changes
so what eventually gets free'd is invalid.
Note that ub ptr param in the  call will be passed on to a ubus_msg_free(),
right after ubus_msg_ref() finishes.

This bug stayed hidden the same way as the bug in libubus writev_retry().
Since the write/sendmsg function can send about ~200k the ubus_msg_enqueue()
call does not get triggered.

libubus: fix writev_retry() function when writing large packets

Seems this bug stayed hidden for a while, because the write/sendmsg function
can send up to ~200k in one send, so it looked at first why there was
some data mismatch.

libubus: add logic to reduce msgbuf data size after 16 small messages

ubus: increase message size limit and make it configurable at build-time

libubus: refactor ubus_context msgbuf data to be dynamically allocated

libubus: fix deferring invoke processing for non-uloop usage

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: always defer processing incoming invoke/unsubscribe/notify if there is a request pending

This fixes recursion problems on config reload in netifd and simplifies
application handling of requests

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

cli: implement wait_for

Allows waiting for one or more objects to appear
Returns instantly if objects are already present

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

lua: forward return codes from lua to ubus

Signed-off-by: Steven Barth <cyrus@openwrt.org>
Tested-by: Luka Perkov <luka@openwrt.org>

libubus: add support for defining a policy mask

This allows sharing a policy array across methods, but masking out
unused entries for individual methods.

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubusd: fix processing object method signatures

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: do not use uloop_run() inside ubus_complete_request

Avoid unrelated uloop callbacks by using poll() on the ubus fd instead.

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus-internal: use the __hidden definition from libubox

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: close file descriptor after passing it in the status msg

Simplifies handling of non-deferred requests

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubus: Fix imbalance in lua stack push/pop of values.

The lua getglobal and rawgeti both push a value onto the lua stack,
but they weren't being removed by the ubus_method_handler function,
thus corrupting the lua stack.

In case the specified method wasn't a function, the stack was also
corrupted as the method name remained on the stack.

Signed-off-by: Karl Vogel <karl.vogel@gmail.com>

examples/client: receive data from the passed file descriptor

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

examples/server: send a file descriptor as part of the request to the "hello" method

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: implement file descriptor passing support

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubusd: implement protocol support for passing file descriptors as part of request completion msgs from objects to clients

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

lua: allow methods with no arguments

In C it is possible to have methods without arguments (UBUS_METHOD_NOARG).
Enable support for the same calls in Lua too.

This commit also fixes segfault which can be caused by passing non-table type
where table is expected. The lua_gettablelen() function is called after we have
made sure we are dealing with a table in the first place.

Signed-off-by: Luka Perkov <luka@openwrt.org>

lua: fix whitespaces and typo

Signed-off-by: Luka Perkov <luka@openwrt.org>

add auto (re)connect logic to libubus

Signed-off-by: John Crispin <blogic@openwrt.org>

add Lua bindings for ubus events

It mostly mimick the style of the existing code.

With it and the ubox Lua bindings, you can now send ubus events
through Lua or listen for events (you can register for multiple events
at the same time).

Signed-off-by: Jeff Remy <jeff.remy@gmail.com>

libubus: pull the variable length data array out of struct ubus_msghdr to fix builds with clang

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubusd: use umask of 0177 for now to prevent a world- and group-writable unix socket

libubus: Check if remove callback exists before call it

When process unsubscribes then remove callback is called. But it
can be NULL if not defined, so we should check it before we call it.

Signed-off-by: Lukasz Baj <l.baj@radytek.com>

libubus: detect read/write errors and set the eof flag, even if uloop is not used as main event loop

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix publishing objects after reconnect

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

Add a return value to make compiler silent.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Fix the condition for stopping the writev_retry.

All iov's were sent only after the last were sent (iov_len == 0). We
could have 'cur_len == 0' if the sent iov's were sent wholly but not all
iov's were sent (how about all but the last).

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

libubus: fix logic inversion for cancelling requests

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

cli: use the new json-c library name

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix deadlock in recursive synchronous ubus requests

When synchronous request completion loops are running, the innermost
loop can receive events that can unblock the outer loops, however the
loop clears uloop_cancelled (which is set by the request completion).

This causes the event loop to continue running even while a completion
loop has already been unblocked.

Fix this by not clearing uloop_cancelled for inner loops

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix crash on reconnect with objects that have no type

Signed-off-by: John Crispin <blogic@openwrt.org>

libubus: fix passing the return code of the subscriber callback to the notifier

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix synchronous ubus_notify without waiting for a timeout

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: add ubus_unregister_subscriber wrapper

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: add UBUS_METHOD_NOARG

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

add systemd support

This adds basic systemd support, incl. socket activation.
If systemd build is disabled, there won't be any sign of it neither
during build nor after.
If systemd build is enabled (default), but systemd is not available,
no systemd stuff is installed, so there is no impact whatsoever.

make UBUS_UNIX_SOCKET configurable via cmake

this is mainly useful to have a single location to read the setting
from, when it is used multiple times at build time (which it will in a
following patch) :)

add INCLUDE_DIRECTORIES to subdirectories

make building examples an option

build: remove install prefix override

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

lua: pass u64 blob type as double to Lua

libubus: free internal blob_buf memory when freeing an ubus context

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

examples: disable the message on the server example, measure the notify latency on the client example

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix data type of request sequence counter. fixes hang after ~64K requests

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix uninitialized variable warning

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

examples: use blocking notify

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: implement notify handling

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix segfaults on request timeouts

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubusd: implement notify forwarding with status reporting

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: check if subscriber cb is non-NULL before calling it

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: do not send a status reply if UBUS_ATTR_NO_REPLY is set

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: add UBUS_ATTR_NO_REPLY and add policy for UBUS_ATTR_ACTIVE

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

move ubus_start_request to libubus-req.c

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: remove accidentally committed unused header file

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: refactor code, move request handling to libubus-req.c

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: reduce code duplication and add stack depth protection for unsubscribe/notify callbacks

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

remove the "method" argument for object subscription

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubus: add notification for subscribers present/gone

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

watch add/remove -> subscribe/unsubscribe:

rename the ADD_WATCH/REMOVE_WATCH messages to SUBSCRIBE/UNSUBSCRIBE and change
the message format and libubus API in preparation for adding object notifications

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubusd: use avl_strcmp

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix stack space init for processing requests

Fixes client timeouts on invoke on some platforms

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: split out some code into separate source files

examples: split client/server code

move example to examples/

lua: remove a superfluous lua_pop() when checking table style

lua: fix ubus_lua_format_blob_is_array() to not leave garbage on the stack

add deferred reply to the ubus server example

add support for deferring a reply to a method invoke call

lua: propagate incoming message to method callback inside the lua context

Signed-off-by: John Crispin <blogic@openwrt.org>

cli: add array and table types to method signature dump

add lua binding test scripts

Signed-off-by: John Crispin <blogic@openwrt.org>

lua: add support for registering methods

Signed-off-by: John Crispin <blogic@openwrt.org>

lua: add uloop support

lua: allow building the lua binding with vanilla lua

Signed-off-by: John Crispin <blogic@openwrt.org>

libubus: fix multiple inclusions of libubus.h

libubus: add support for reconnecting (and re-publishing objects)

enable -Wmissing-declarations

lua: add a prototype for luaopen_ubus so that -Wmissing-declarations can be enabled

make a few functions static

ubus-example: use object notification, add a simple client mode

ubusd: add support for watching objects to get notified when they go away

ubusd: allow registration of anonymous objects with type