uci/file: replace mktemp() with mkstemp()

mktemp is unsafe to use as well as deprecated by POSIX.1-2008. uClibc-ng
optionally does not include it when SuSv3 legacy functions are disabled.

Signed-off-by: Maxim Gorbachyov <maxim.gorbachyov@gmail.com>
Signed-off-by: Rosen Penev <rosenp@gmail.com>

uci: fix options list of section after type change

A section can store its name in the same memory region as the section
(after the actual section object). The object is then reallocated when the
type is later changed via an uci_set. But the original address of the
section is (indirectly) stored in the section list, the object and the
object list (HEAD) of this section.

But only the section list was fixed in commit 4fb6a564b8ee ("clean up
uci_set") after the realloc finished. Traversing the object list or
accessing the section pointer caused heap-use-after-free errors.

Reported-by: Charlemagne Lasse <charlemagnelasse@gmail.com>
Fixes: 4fb6a564b8ee ("clean up uci_set")
Signed-off-by: Sven Eckelmann <sven@narfation.org>

delta: fix parsing malformed delta lines

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

uci: fix a potential use-after-free in uci_set()

When calling uci_set() to update an option, if ptr->o != NULL and
ptr->option == NULL, then uci_expand_ptr() will set ptr->option to
ptr->o->e.name (or the caller could set ptr->option to that value). In
this case, the option will be freed just before calling
uci_alloc_option() with ptr->option, which was just freed.

Signed-off-by: Jordan Miner <jminer7@gmail.com>
Signed-off-by: Hans Dedecker <dedeckeh@gmail.com>

list: only record ordering deltas if element position changed

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

cmake: Fix cli shared linking against ubox

The 'ubox' library used in 'cli' target is not using the output of the
'find_library' command. This is a problem when the 'ubox' library is not
located on the standard system library locations.

Use the CMake variable 'ubox', output of 'find_library' call that points
to the library found on the system, instead of hardcoding the library's
name to 'ubox'.

Signed-off-by: Andre Castro <andre.castro.sw@gmail.com>

lua: additionally return name when looking up sections

Return the resolved name in addition to the type when looking up sections
through `get()` - for example a `cursor:get("firewall", "@rule[0]")` will
now return two values in the form ("rule", "cfg0a92bd") instead of only
the type name.

This is mainly useful to resolve extended section names without having to
reimplement the section count logic in Lua code.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

lua: support extended section notation

Wrap uci_lookup_ptr() to enable extended section format lookups
when the passed section literal is in "@" notation.

This allows calls in the form `cursor:get("conf", "@stype[0]", "opt")`
which is useful to resolve options in numerically indexed anonymous
sections.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

list: remove unncessary increment of n_section (FS#1182)

The package n_section counter is already incremented in uci_alloc_section;
so no need to increment it again in uci_fixup_section.

Signed-off-by: Hans Dedecker <dedeckeh@gmail.com>

file: remove unnecessary uci_fixup_section calls

This makes it clear uci_fixup_section only needs to be called in
uci_add_section when an unnamed section is added.

Before it was a bit misleading when walking through the code seeing
uci_fixup_section being called in uci_parse_config and uci_import.
When uci config is parsed via these functions uci_add_section is
eventually called which in the end constructs a name for an unnamed
section.

Signed-off-by: Hans Dedecker <dedeckeh@gmail.com>

Add bitfield_set function from libubox.

The bitfield functions and macros where removed from libubox. Add the
bitfield_set function which is used by uci, and prefix it with uci_.

Signed-off-by: Stijn Tintel <stijn@linux-ipv6.be>

file: remove redundant NULL check on return value of uci_realloc()

Because the check will be done by uci_realloc itself.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

build: fix BUILD_STATIC

- Build libuci.a in addition to libuci.so
 - Build uci cli utitlity statically if BUILD_STATIC is enabled

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Fix skipping directories in uci_list_config_files

Don't create a hole in the array of configs if there's a directory. Such
a hole would be mistaken for the end of the array.

Signed-off-by: Michal 'vorner' Vaner <michal.vaner@nic.cz>

Revert "mandatory anonymous section identifier"

This reverts commits:
df72af474075 "mandatory anonymous section identifier"
2eb9c097e392 "cli: remove now-defunct UCI_FLAG_EXPORT_NAME support"
fe45f97302cb "test: adjust for auto-naming anonymous sections"

After some discussion we came to the conclusion that we need a different
fix.

Signed-off-by: Felix Fietkau <nbd@nbd.name>

uci/lua: add explicit close() method

This allows a caller to explicitly free the cursor as soon as it is
no longer needed instead of having to wait for the garbage collector.

Signed-off-by: Dirk Feytons <dirk.feytons@gmail.com>

uci/lua: add list_configs() function

Returns an array with all the available configs.

Signed-off-by: Dirk Feytons <dirk.feytons@gmail.com>

test: adjust for auto-naming anonymous sections

Signed-off-by: Felix Fietkau <nbd@nbd.name>

cli: remove now-defunct UCI_FLAG_EXPORT_NAME support

Preserve command line switches for compatibility reasons

Signed-off-by: Felix Fietkau <nbd@nbd.name>

mandatory anonymous section identifier

This change makes sure there are no more anonymous (unnamed) sections
in configuration files. Previously it was optional and now the choice
is being removed.

All sections will have generated identifiers. This is important because
anonymous sections will be simpler to manipulate.

Signed-off-by: Antonio Paunovic <antonio.paunovic@sartura.hr>
Signed-off-by: Luka Perkov <luka.perkov@sartura.hr>

projects/uci: lua: use built in pkg-config support for alternatives

Different distributions have different names for the lua 5.1 package.
Use cmake's built in pkg-config support to search for the first one,
rather than running it explicitly and searching for a single version.

Signed-off-by: Karl Palsson <karlp@remake.is>

file: write through symlinks on uci commit

The rename() syscall operates on the destination path directly, therfore
resolve the real path before doing the rename to not clobber the destination
in case it is a symlink pointing to another file.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

cmake: Add ubox library and include dir lookup

Otherwise cmake uses files from system which sometimes isn't wanted, ie.
for testing.

Signed-off-by: Petr Å tetiar <ynezz@true.cz>

cli: fix uci show output for anonymous sections (#21781)

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

file: raise parse error on conflicting section types in strict mode

If strict mode is enabled and we're parsing a config file with multiple
sections of the same name but different types, then raise a parse error
to notify the user that the subsequent section declaration would shadow
all prior ones of the same name.

The error would be triggered by a config like that:

  config typeA example
    option test 1

  config typeB example
    option test 2

In such a case, libuci will raise this error:

  uci: Parse error (section of different type overwrites prior section with same name) at line 4, byte 23

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

file: defer checking the tmpfile until it is actually needed.

Avoids creating useless entries in the kernel dentry cache

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

remove list.h

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

lua: remove pointless double check of autoload flag

In e2b1433b the autoload param went from being an enumerated type to a
simple boolean.  Drop the pointless double check of this flag.

Signed-off-by: Karl Palsson <karlp@remake.is>
Signed-off-by: Felix Fietkau <nbd@openwrt.org>

lua: fix invocation of foreach() with nil type and implicit self

The check for nil on the 2nd argument misses the offset in order to skip over
implicit self which results in
  `bad argument #2 to 'foreach' (string expected, got nil)`
when invoking `uci.cursor():foreach("test", nil, function(s) end)`.

The same call works fine when using dot instead of colon notation.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

file: remove unnecessary sync() call

It can be too expensive during filesystem initialization, and it is not
required for atomic handling of config changes.
If the write gets interrupted, the config file will always contain
either the new state or the old state

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

tests: add test case for parsing long option values.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

file.c: lift the 4096 bytes line length limit.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

delta: catch error when parsing delta line.

Reported by sarumpaet [1]

 [1] uci fails to handle long values properly,
     https://github.com/openwrt/packages/issues/1231

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

cli: suppress printing error messages when -q is specified.

 - Introduce cli_error() for printing local errors.
 - Convert existing fprintf(stderr, ) and perror() to cli_error().
 - N.B. error messages will still be printed if they occured before -q
   flag was parsed.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

uci: properly close input before exit

Signed-off-by: Hans Dedecker <dedeckeh@gmail.com>

file: reset parsing position on starting over a newline.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

tests: add test coverage for comment lines within batch commands.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

delta: fix adding new savedir.

Newly added savedir should be at the last position while
uci_add_delta_path() will add it to the position second to the last.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

tests: add test coverage for uci export with -P option.

 - With "uci -P xxx/ export", changes in "xxx/" should be applied last.
 - With "uci -p xxx/ commit", changes in "xxx/" should be applied before
   ctx->savedir.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Fix delta path handling.

 - Make ctx->savedir sit at the end of ctx->delta_path.
 - Add notes to uci_set_savedir() and uci_add_delta_path() to document
   the behaviour changes.

tests: add test cases for -P and -p options.

lua: restore return value of require('uci') to module table.

Before commit "b121dd lua: add lua 5.2 compatibility changes", the
module table was filled by luaL_register() which would leave the table
at the top of the stack.  But in current code the module table will be
popped by lua_setglobal() causing the return value defaulting to boolean
value true.

Also fix the return value of luaopen_uci() to 1 to indicate the number
of return value on stack.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

cli: fix return value of package_cmd().

It's a bug revealed by commit 446e774 "cli: properly unload package
before quit".  The current code would exit with value 1 even if
uci_export() succceeded.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

testenv: test for exit status of "uci export".

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Add a few notes on the return value of uci_lookup_ptr().

While at it, use UCI_OK instead of literal integer 0 for return value of
uci_lookup_ptr().

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

cli: enhance "uci show" command on nonexistent sections and options.

When doing "uci show network.nilsection", the current behaviour is that
uci will emit a error message complaining "Entry not found", then
continue to show all content of the package network itself.  This is
couter-intuition.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

cli: properly unload package before quit.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

tests: add test cases for showing nonexistent section and option.

Also fix the false error message about absence of uci-static.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

lua: add lua 5.2 compatibility changes

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

allow "-" in package names

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

delta: fix outputing of delta entries occupying multiple lines.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

delta: use a table for converting between UCI_CMD_XXX and prefixes.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

delta: preprocess delta line with uci_parse_argument().

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

delta: add a simple duplication check when adding delta path.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

cli: fix printing option values occupying multiple lines.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

tests: add test coverage for uci list related commands.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

tests: add test coverage for `uci revert' command.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

tests: add test coverage for `uci batch' command.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

tests: add more test coverage for `uci show' command.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

tests: remove straying echo in 020_get.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

file: fix error string about "unterminated XXX".

 - Remove unreachable call to uci_parse_error().
 - Fix false claim of unterminated double quote to single quote.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

file: fix EOF check.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

file: fix use-after-free bug.

Currently, it's possible that pointers returned by next_arg() could be
invalidated by another call to next_arg() due to uci_realloc().

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Fix memory leaks found by using valgrind on test cases.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Fix a few style issues.

 - Remove deprecated uci-static and ucimap-example from .gitignore.
 - Minor code formatting fix.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

fix a few formatting issues

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

tests: use uci instead of uci-static

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

Add test coverage for multi-line option value.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Use offset into parser buffer to avoid potential heap overflow.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Sync ref test result with current implementation.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Drop test cases for deprecated ucimap-example.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Preserve original permissions when rewriting config files on commit

Patch provided by Patrick Grimm <patrick@lunatiki.de>

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

uci: fix Lua finding

If ${LUAPATH} is not quoted and Lua is not provided, then following
error occurs:

"NOT" "No such file or directory" "EQUAL" "0" "OR" "EQUAL" ""

Signed-off-by: Yegor Yefremov <yegorslists@googlemail.com>

fix `uci import` with not yet existing packages

uci_file_commit() tries to open and lock a package file (e.g.
/etc/config/system)
before writing into. When the package file doesn't exist, uci fails with
'Entry not found'.

blob: add support for u64

uci_blob: add an element to uci_blob_param_list to allow the tracking of validation info

Signed-off-by: John Crispin <blogic@openwrt.org>

blob: use BLOBMSG_TYPE_STRING as a fallback type for arrays if no type was specified

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

remove ucimap-example, as ucimap is deprecated

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blob: allow values to be added to blobmsg using multiple different types, but suppress duplicates

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ucimap: get rid of duplicate initialization warnings

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

parse: remove a check that is always true (due to unsigned data type)

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

file: add missing return code check for mktemp()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

file: fix memleak on mktemp() errors

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

style: fix whitespace errors

Signed-off-by: Luka Perkov <luka@openwrt.org>

style: free(NULL) is perfectly valid so we can drop some checks

Signed-off-by: Luka Perkov <luka@openwrt.org>

file: make uci commits atomic

Avoids issues with UBIFS file system.

http://www.linux-mtd.infradead.org/faq/ubifs.html#L_atomic_change

Signed-off-by: Luka Perkov <luka@openwrt.org>
Reported-by: Tim Harvey <tharvey@gateworks.com>

uci_delete: check ptr->o and its type before checking ptr->value

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

uci: fix excessive reorder delta entry duplication

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blob: add uci<->blob conversion library code

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

util: fix compile error

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

lua: emit a proper deletion when setting an existing list to a new list with only a single item

uci: Fix uci_delete() when ptr->value is empty string

After fix for deleting list elements by index this function was
broken and didn't allow to invoke from command line:
uci set some.fancy.list=''
i.e. list wasn't cleared

Signed-off-by: Krzysztof Kuźnik <k.kuznik@avsystem.com>

uci: copy permisions of /etc/config/ files for temp files

Hi

Using uci as a non root user i can get network configuration but not network state (for exemple).
The idea of this patch is to copy permission from config file, or if it doesn't exist use UCI_FILEMODE / UCI_DIRMODE

Tested on tplink wr1043nd. (you have to remove some mkdir from /etc/init.d/boot to fully see this patch work)
If you apply this patch (or a modified version), please also backport to AA

Signed-off-by: Etienne CHAMPETIER <etienne.champetier@free.fr>
openwrt-devel mailing list
openwrt-devel@lists.openwrt.org
https://lists.openwrt.org/mailman/listinfo/openwrt-devel

Change delta encoding of list deletions

When encoding list_del commands in delta files, '_' is used as prefix but this
breaks any command operating on files starting with an underscore since the
command prefix becomes indistinguishable from the filename.

The regression was introduced with ec8cbbbe0f20e67cbd3bd471b9ac55ceacaef7b8.

Avoid this problem by using '~' as command prefix for list deletions.

Add multiple free for each call to lookup_args()

This memory leak can be reproduced using a tight loop to uci:get() a config.

lua -e 'require("posix"); require("uci");
function getconf()
   local tmp, uc = uci.cursor();
   tmp = uc:get("system", "ntp", "enable_server");
end;

while 1
do
   for i=0,1000 do getconf() end;
   print("gc");
   print(collectgarbage("count"));
   collectgarbage();
   print(collectgarbage("count"));
   print("sleep 1");
   posix.sleep(1);
end'

uci: libuci leaking memory on non-existent config file

In file file.c function uci_file_load() allocates memory for filename.
When uci_open_stream() failed with exception this memory was never freed.
This patch makes call to uci_open_stream() wrapped in exception handling
inside uci_file_load() where filename is freed.

Signed-off-by: Krzysztof Kuznik <k.kuznik@avsystem.com>

ignore trailing carriage returns in file parser

add main directory to include path

build: remove install prefix override

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

get rid of -rdynamic on link

Signed-off-by: Felix Fietkau <nbd@openwrt.org>