libfstools: fix foreachdir() to pass dir with a trailing slash

Commit cc63723d886fd ("overlay: use lstat rather than stat and make sure
there are no trailing spaces") changed behavior of foreachdir() breaking
some callbacks. Before that modification all callbacks were getting
directory with a trailing slash. Above commit started removing them.

This broke handle_whiteout() which doesn't work at all since then. It
constructs file paths incorrectly: slash is missing between directory
and a file name. It seems noone noticed it for years because this issue
got hidden by switch2jffs() which also handles whiteouts with its system
command "cp -a" call.

Fix that regression by setting trailing slash back - right after calling
lstat(). Also to keep code simple just skip all entries that aren't
directories. This keeps conditions for removing/setting trailing slash
trivial. A side effect is not calling callbacks for files which is a
free bonus optimization.

Fixes: cc63723d886fd ("overlay: use lstat rather than stat and make sure there are no trailing spaces")
Signed-off-by: Rafał Miłecki <rafal@milecki.pl>
Acked-by: John Crispin <john@phrozen.org>
(cherry picked from commit 79721f0376974859f39699a2237dbfa691233523)

libfstools: support file paths longer than 255 chars

Alloc globdir buffer dynamically and simply use realloc when needed.
This fixes e.g. segmentation fault in jffs2reset due to an infinite
recurrency when dealing with longs paths.

Signed-off-by: Rafał Miłecki <rafal@milecki.pl>

libfstools: fix matching device name

compare strlen()+1 characters to make sure we match the trailing \0 as
well. Otherwise things get fishy when using lvm2, see this example:

/dev/mapper/data: UUID="xxxxxx-xxxx-xxxx-xxxx-xxxx-xxxx-xxxxxx" MOUNT="/mnt" TYPE="LVM2_member"
/dev/mapper/data-fs: UUID="xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx" LABEL="xxxxxxxx" VERSION="1.0" MOUNT="/mnt" TYPE="ext4"

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

fstools: use -Wno-format-truncation instead of -Wno-error=format-truncation

Fixes build error with older gcc

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: fix multiple volume_identify usages with the same volume

This fixes e.g. factory-flashed startup issue with jffs2 on ubi overlay

Commit ba019965 ("libfstools: accept volume as argument in most calls")
broke startup for factory-flashed jffs2 on ubi systems, causing substantial
slowdown in factory environments.

When starting up with a factory-flashed jffs2 on ubi system, the "rootfs_data"
volume contains a deadcode marker. In the start phase, mount_root then mounts a
tmpfs overlay, and postpones remounting of the jffs2 overlay until the done
phase of the startup.

The refactoring in ba019965 eliminated an unneeded call to volume_find() when
done() called jffs2_switch(). Unfortunately the refactoring did not take into
account that volume_identify() does not function correctly when called twice in
a row on the same struct volume when using an mtd driver.

mtd_volume_identify() uses mtd_volume_load() to open an fd to the mtd device
and reads a potential deadcode marker from the fd. The first time this works,
and FS_DEADCODE is returned.

When volume_identify() is called a second time however, mtd_volume_load()
notices that we already have an open fd, does nothing further and returns 0
without resetting the file offset to 0. mtd_volume_identify() now reads past
the deadcode marker and now returns FS_JFFS2 if the mtd device is a UBIVOLUME.

jffs2_switch() then handles the wrong case, either pulling the root out from
under user-space in Chaos Calmer, or indefinitely sticking to a tmpfs overlay
in later OpenWRT builds.

Signed-off-by: Pieter Smith <pieter.smith@philips.com>
Signed-off-by: Rafał Miłecki <rafal@milecki.pl>

build: disable the format-truncation warning error to fix gcc 7 build errors

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: silence mkfs.{ext4,f2fs}

Reduce noise during firstboot when creating overlay fs on block
rootdisk devices.

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

libfstools: add basic documentation of mount functions

Signed-off-by: Rafał Miłecki <rafal@milecki.pl>
Acked-by: John Crispin <john@phrozen.org>

add missing includes

On glibc 2.25, sys/sysmacros.h needs to be included for makedev, major
and minor.

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: Check return values for fread and system

libfstools/rootdisk.c: In function 'rootdisk_volume_identify':
libfstools/rootdisk.c:172:7: error: ignoring return value of 'fread', declared with attribute warn_unused_result [-Werror=unused-result]
  fread(&magic, sizeof(magic), 1, f);
       ^
libfstools/rootdisk.c:179:7: error: ignoring return value of 'fread', declared with attribute warn_unused_result [-Werror=unused-result]
  fread(&magic, sizeof(magic), 1, f);
       ^
libfstools/rootdisk.c: In function 'rootdisk_volume_init':
libfstools/rootdisk.c:268:9: error: ignoring return value of 'system', declared with attribute warn_unused_result [-Werror=unused-result]
   system(str);
         ^
cc1: all warnings being treated as errors

Signed-off-by: Florian Fainelli <f.fainelli@gmail.com>

fstools: added f2fs to block

added code to block so it can recognize and operate the filesystem checker of f2fs
added f2fs to the filesystem whitelist of block so it can mount it on
/overlay at boot.

Signed-off-by: Alberto Bursi <alberto.bursi@outlook.it>

block: fall back to external mount helper

If the mount(2) syscall fails with ENOENT, attempt to mount the filesystem
using an external "/sbin/mount.$fstype" command.

This allows filesystems which do not have direct kernel support, like fuse-
or network filesystems.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

block: fix error reporting

The current block code wrongly reported the return value of the mount() and
umount2() syscalls, which is always -1 in case the call failed.

Use errno and strerror(errno) instead to propagate the correct error code to
the user.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

libblkid-tiny: remove unused name member

The "name" member of struct blkid_struct_probe is not used anywhere anymore
so remove it from the definition to save some stack and heap space.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

probe: stop handling name property

In the full liblkid there is no tag called "NAME" and the name value reported
by libblkid-tiny was just the kind of uuid passed to blkid_probe_set_uuid_as().

Strip any handling of this property to allow removing it from libblkid-tiny.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

block: remove handling of name property

There is no concept of a "NAME" property within libblkid, the value previously
used was the name parameter of blkid_probe_set_uuid_as() which does not denote
the file system name, but the kind of UUID to store.

Since the value never makes sense, stop using it when reporting block
information.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

libblkid-tiny: fix SquashFS version detection on different endian systems

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

libblkid-tiny: avoid setting phantom UUIDs

When blkid_probe_set_uuid_as() is invoked with a non-NULL name parameter
then the name parameter denotes the kind of UUID (like "EXT_JOURNAL") not
the name of the file system.

Only copy the UUID value to the probe uuid member if the given name is
either NULL or "UUID".

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

probe: add full libblkid support

Attempt to dlopen() libblkid.so at runtime and use it for proping
filesystems if available.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

block: add probe abstraction layer

Add an abstraction layer which separates block.c from libblkid-tiny implementation
details in order to prepare support for optionally using the full libblkid.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

libfstools: properly label ext4 overlay

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: also probe loop devices

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: include mountpoint in info output

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

libfstools: gather mountpoints from /proc/self/mountinfo

This allows identifying /dev/root by its major:minor number which
are part of /proc/self/mountinfo but aren't contained in /proc/mounts.
Also fix jffs2reset when using an ext4 overlay by adding it to the
list of filesystems allowed if the root_only parameter of
find_mount_point is set.

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

libfstools: add rootdisk overlay volume support

Uses either ext4 or f2fs, depending on the overlay volume size

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: replace hardcoded mentions of jffs2 in a few places

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: add ext4 filesystem type

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: add f2fs filesystem type and simplify fs type code

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: use container_of for volume private data

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: call volume_init() before accessing v->blk

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: remove obsolete enum

Signed-off-by: Felix Fietkau <nbd@nbd.name>

fix logic bug inside extroot uuid verification code

Signed-off-by: John Crispin <john@phrozen.org>

libfstools: "lowerdir" variable name in fopivot

Hi all!

In fopivot in libfstools variable name "lowerdir" is confusing and
doesn't make any sense.
There is a patch renaming that var to "mount_options".

fix return code of overlay_mount_fs

Signed-off-by: John Crispin <john@phrozen.org>

block: best-effort in find_mount_point

Don't immediatly fail if block device cannot be stat'ed.

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: get mountpoints from /proc/self/mountinfo

Instead of using two different implementations reading /proc/mounts
and /proc/self/mountinfo, gather all information on mountpoints from
/proc/self/mountinfo.
While at it, tokenize mountinfo inline instead of using strtok_r
because it's hard to tell whether strtok_r allocated new memory or
merely returns a pointer to the (last) token. This might later on be
relevant once we want to free that memory...
Tokenizing mountinfo using strchr inline works without allocating any
new memory by scanning and re-writing the string returned by gets().
As a result, the returned string needs to be duplicated to be safe for
use even after the fclose().

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: print mountpoint if already mounted

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: also check /proc/self/mountinfo to find mountpoint

Matching only the device name doesn't always work, e.g. in case of
/dev/root. Thus also check the device(minor,major) which can be scraped
from /proc/self/mountinfo.

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: don't truncate mountpoint path

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: allow block info /dev/ubi?_?

Allow querying /dev/ubi?_? devices though they are not block devices.

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: avoid ubi{,block} duplicates

Skip ubi?_? device if ubiblock?_? is present.

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: fix ubi?_? glob pattern

The glob pattern intended for ubi?_? devices was matching
ubiblock?_? devices as well. Change the glob to actually return only
ubi devices.

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

cmake: Link against libjson-c

block uses libblob_msgjson which requires us to link against libjson-c.
Some external toolchains would be failing to find that library unless
specified explicitly.

Signed-off-by: Florian Fainelli <f.fainelli@gmail.com>

cmake: Find libubox/ulog.h

Add a CMake FIND_PATH and INCLUDE_DIRECTORIES searching for
libubox/ulog.h.  Some external toolchains which do not include standard
locations would fail to find the header otherwise.

Signed-off-by: Florian Fainelli <f.fainelli@gmail.com>

block.c: Add ability to mount with ACL and XATTR support

Some users will want to use OpenWrt/LEDE devices as NAS
devices and have full POSIX ACL and user_xattr support
(along with other possible use cases), therefore add
support to mount with POSIX ACLs and/or user XATTR
support.

Signed-off-by: Daniel Dickinson <lede@daniel.thecshore.com>

block.c: Use <linux/fs.h> instead of defining mount flags ourselves

Let's use the cannonical source of mount flags instead of
defining the flags ourselves.

Signed-off-by: Daniel Dickinson <lede@daniel.thecshore.com>

block.c: Add support for checking vfat filesystems

vfat is a common filesystem which users may want to mount on an
OpenWrt/LEDE device, so support peforming filesystem checks
before mount for vfat.

Signed-off-by: Daniel Dickinson <lede@daniel.thecshore.com>

block.c: Make static string a const char * instead char *

There is no reason for e2fsck string to be altered, and the
only places where is used take const char * as parameters
so make e2fsck a const char *.

Signed-off-by: Daniel Dickinson <lede@daniel.thecshore.com>

mount_root: check for preinit sentinel file

Signed-off-by: John Crispin <john@phrozen.org>

Revert "mount_root: code failed in failsafe"

This reverts commit 09f8e0097fe1370700658542e7bda831c31de4bf.

Revert "fstools: support for ext4fs overlay"

This reverts commit bf4f08af9b8fe991216023a906182744eb1e4645.

this patch was breaking devices that have a normal ext4 rootfs

Signed-off-by: John Crispin <john@phrozen.org>

mount_root: code failed in failsafe

the code checks if we are in PREINIT before mounting root.
change this to check if root is actually mounted.
this is a regression caused by ssh login during failsafe.

Signed-off-by: John Crispin <john@phrozen.org>

snapshot: md5sum return codes are not properly handled

Signed-off-by: John Crispin <john@phrozen.org>

block: add remount paramter

Signed-off-by: John Crispin <john@phrozen.org>

fstools: support for ext4fs overlay

This change will enables eMMC (ext4 fs) boot support, when we try to boot
from eMMC card then it will read partition names from
/sys/block/mmcblkX/mmcblkXY/uevent
file and will mount the rootfs_data partition as ext4fs overlay.

Signed-off-by: Ram Chandra Jangir <rjangi@codeaurora.org>

block: respect mount flags for /overlay

Instead of hardcoding no-flags in the mount syscall, use the user configured
values, this is useful when mounting external overlays with "sync" or "ro"
flags.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

fstools: check existing filesystem state before writing the new one

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

fstools: allow to stack another overlay on top of existing one

`mount_root ram' will pivot existing root to ram even if it was
overlayfs already. Useful when playing with new configurations
as it allows to preserve existing/stable configuration.

Signed-off-by: Roman Yeryomin <roman@advem.lv>

fix gcc format security error.

Signed-off-by: Hauke Mehrtens <hauke@hauke-m.de>

libblkid-tiny: Add F2FS support

Signed-off-by: Martin Blumenstingl <martin.blumenstingl@googlemail.com>

libblkid-tiny: Update the code from util-linux's libblkid

This updates the relevant source files to util-linux changeset
4419ffb9eff5801fdbd385a4a6199b3877f802ad.

Signed-off-by: Martin Blumenstingl <martin.blumenstingl@googlemail.com>

overlay: use lstat rather than stat and make sure there are no trailing spaces

with this patch even uclibc wont deleted symlinked folders

Signed-off-by: John Crispin <blogic@openwrt.org>

make jffs2reset not iterate over symlinked folders

Signed-off-by: John Crispin <blogic@openwrt.org>

jffs2reset: add a -r (reboot) option to jffs2reset

Signed-off-by: John Crispin <blogic@openwrt.org>

mount_root: use symlink instead of xattr to store initialization state

xattr seems to be unreliable with jffs2

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

jffs2reset: use jffs2_mark if rootfs_data isn't mounted

Erasing all rootfs_data blocks may cause some problems with partition
identification. It won't contain MAGIC, but will be successfully mounted
with delayed blocks marking. This may be really confusing when user
reboots before JFFS2 finishes its blocks management. During the next
boot rootfs_data will be a valid partition (possibly with data) but
libblkid won't detect it.
Also adjust message in jffs2_mark to make more sense when used together
with jffs2_reset.

Signed-off-by: Rafał Miłecki <zajec5@gmail.com>

jffs2reset: avoid code duplication in jffs2_reset and jffs2_mark

Signed-off-by: Rafał Miłecki <zajec5@gmail.com>

block: reject mount sections with relative targets

Specifying relative target paths leads to undefined results and confuses
users. Explicitely reject relative paths with a warning instead of doing
random stuff.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

make sure to also scan for leading and ending " when looking for mtd devices

Signed-off-by: John Crispin <blogic@openwrt.org>

properly handle return codes

Signed-off-by: John Crispin <blogic@openwrt.org>

mount_root: keep track of overlay initialization state (via xattr)

Remove all files (except sysupgrade.tgz) if /etc/init.d/done was not called

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

overlay: call volume_init() before mount

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

overlay: create a common function for deleting all overlay data (optionally excluding sysupgrade.tgz)

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

switch to _DEFAULT_SOURCE for modern glibc compat

Signed-off-by: Jeff Waugh <jdub@bethesignal.org>

mount_root: better log messages for ram overlay cases

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

libfstools: clarify message when switching to internal overlay

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

libfstools: make mtd_volume_identify() less chatty

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

libfstools: remove dead source file

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

libfstools: convert to ulog() api

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

ubi: convert to ulog() api

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

snapshot: convert to ulog() api

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

jffs2reset: convert to ulog() api

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

mount_root: convert to ulog() api

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

block: convert to ulog() api

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

block: don't declare find_root_dev with UBIFS_EXTROOT

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

libfstools: extroot: simplify kmodloader invocation

Now that kmodloader supports LD_LIBRARY_PATH and ignores argv[2] we can
remove the extra argument and save one intermediate pointer.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

libfstools: extroot: rework libdir and block tool discovery

Account for new upper/ directory component in recent overlayfs versions.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

block: improve extroot error reporting

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

block: rework config loading

Account for the new upper/ directory component in recent overlayfs version.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

block: add support for logging to dmesg

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

block: support finding root device by mount point

When checking extroot, fall back to using stat(/) to determine the root
device node if no rootfs MTD partition can be found, e.g. on systems using
an ext4 root filesystem.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

block: extroot: remove unneeded rootfs tests

The code testing for a "rootfs" MTD partition serves no actual purpose and
the test results are not used either. On top of that it prevents working
extroot on non-MTD systems, so drop the code.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

block: support builtin fstab config

Fall back to /etc/config/fstab if the file on the overlay cannot be loaded.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

libfstools: extroot: support builtin block

Fix regression introduced with migration to fs-tools.

The old ubox based exroot did a fall back to /sbin/block if $cfg/sbin/block
did not exist.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

mount_root: try extroot even without mtd volume

This is a precondition for supporting external overlays on ext4 root fs.
Also rename volume pointer variables for better clarity.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

jffs2reset: fix recursive file/directory removal

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libblkid-tiny: add btrfs probe info

This only adds the magic for btrfs to show btrfs volumes in
block detect.

In order to properly support btrfs with more than one device and avoid
trying to mount the same device group once for each instance we have to
make sure that only one device per group will be mounted (btrfs then
automatically detects all other devices of the group).
For unmounting, the opposite should be applied: umount if called for
any of the devices in a mounted device group, unmount the filesystem.

Signed-off-by: Daniel Golle <daniel@makrotopia.org>
Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libfstools: ubi: rework reading volumes

UBI volume IDs don't have to be contiguous, this may happen if there
were few and the not last one was removed. In such case we may have
e.g. ubi0_0, ubi0_2.
It means we can't simply read value from "volumes_count" and iterate
from 0 to the count - 1.

This patch rewrites ubi_part_match to read whole directory and look
for ubi%d_%d entries in it.

Signed-off-by: Rafał Miłecki <zajec5@gmail.com>

libfstools: ubi: avoid crash in volume finding function

In case /sys/devices/virtual/ubi/ubi?/ubi?_?/name doesn't exist volname
will be NULL and calling strlen for NULL isn't a good idea.

Signed-off-by: Rafał Miłecki <zajec5@gmail.com>

libfstools: fix find_mount to return device path

So far we were returning mount point which doesn't make sense for a
function that already takes mount point as an argument.

Signed-off-by: Rafał Miłecki <zajec5@gmail.com>