libfstools: move mount points when switching to JFFS2

Switching from "tmpfs" to "jffs2" happens after JFFS2 formatting is
done. During that time user can use filesystem (thanks to RAM) and the
role of switch2jffs() is to copy all changes to the JFFS2 overlay
partition.

What wasn't handled so far was moving mount points. User can create
custom mounts, cp command won't copy them and umounting "tmpfs" will
cause these mounts to go away. To preserve them switch2jffs() has to
find all custom mount points and move them to the new filesystem.

Signed-off-by: Rafał Miłecki <rafal@milecki.pl>
Acked-by: John Crispin <john@phrozen.org>

libfstools: add "const" to char pointer arguments in mount_move()

That function never modifies these strings so it can/should use consts.
It makes it a bit more flexible as now callers can also pass consts.

Signed-off-by: Rafał Miłecki <rafal@milecki.pl>
Acked-by: John Crispin <john@phrozen.org>

libfstools: fix foreachdir() to pass dir with a trailing slash

Commit cc63723d886fd ("overlay: use lstat rather than stat and make sure
there are no trailing spaces") changed behavior of foreachdir() breaking
some callbacks. Before that modification all callbacks were getting
directory with a trailing slash. Above commit started removing them.

This broke handle_whiteout() which doesn't work at all since then. It
constructs file paths incorrectly: slash is missing between directory
and a file name. It seems noone noticed it for years because this issue
got hidden by switch2jffs() which also handles whiteouts with its system
command "cp -a" call.

Fix that regression by setting trailing slash back - right after calling
lstat(). Also to keep code simple just skip all entries that aren't
directories. This keeps conditions for removing/setting trailing slash
trivial. A side effect is not calling callbacks for files which is a
free bonus optimization.

Fixes: cc63723d886fd ("overlay: use lstat rather than stat and make sure there are no trailing spaces")
Signed-off-by: Rafał Miłecki <rafal@milecki.pl>
Acked-by: John Crispin <john@phrozen.org>

strip trailing spaces from vfat labels

Signed-off-by: John Crispin <john@phrozen.org>

fix vfat volume label

the libblkid copies len+1 bytes causing a buffer overrun.

Signed-off-by: John Crispin <john@phrozen.org>

block: support /dev/nvme* nodes

Add glob for NVM Express SSD device nodes to support systems with
such PCIe SSDs.

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

overlay: fix compilation with glibc

glibc fails with:
warn_unused_result [-Wunused-result]
   system("cp -a /tmp/root/upper/* / 2>/dev/null");

Regression intoroduced with 11efbf3b90f031ce634fc38cad07a4aef2985777
Reported here:
https://www.mail-archive.com/lede-dev@lists.infradead.org/msg10502.html

Signed-off-by: Roman Yeryomin <roman@advem.lv>
Acked-by: Florian Fainelli <f.fainelli@gmail.com>

libfstools: optimize building directory string for glob

glob should handle paths like /foo/bar//* so we probably don't need this
extra check & code.

Signed-off-by: Rafał Miłecki <rafal@milecki.pl>

libfstools: support file paths longer than 255 chars

Alloc globdir buffer dynamically and simply use realloc when needed.
This fixes e.g. segmentation fault in jffs2reset due to an infinite
recurrency when dealing with longs paths.

Signed-off-by: Rafał Miłecki <rafal@milecki.pl>

overlay: fix race condition when switching to jffs2

There is a race between `cp -a /tmp/root/* /rom/overlay` from
libfstools/overlay.c and a process creating new file(s) before
pivot(/rom, /mnt) occured.
That is a process can create a file and it will not be copied.

To workaround this, do additional copy after jffs2 is ready.
This doesn't completely solve the problem but since there
was no other fix provided since original RFC [1], it is better
than nothiing.

[1] https://www.mail-archive.com/openwrt-devel@lists.openwrt.org/msg38218.html

Signed-off-by: Roman Yeryomin <roman@advem.lv>

libblkid-tiny: add support for NTFS superblock

Its copied from the util-linux project and its libblkid. Call to the
blkid_probe_set_utf8label was commented out due to libblkid-tiny not
supporting it yet.

Signed-off-by: Rafał Miłecki <rafal@milecki.pl>
Acked-by: John Crispin <john@phrozen.org>

fstools: Replace strerror(errno) with %m format.

Saves 1472 bytes under glibc. No other difference.

Signed-off-by: Rosen Penev <rosenp@gmail.com>

libblkid-tiny: add support for UBI superblock

Detecting UBI superblock may be useful for tools wanting to simplify or
automate attaching UBI. Please note it's not directly related to the
ubifs support which is just a filesystem working on top of UBI volume.

This patch adds simple code reading UBI version and unique number and
setting it in the blkid_probe.

Signed-off-by: Rafał Miłecki <rafal@milecki.pl>

fstools: add btrfs support

Signed-off-by: Robert Young <yayooo@gmail.com>

block: support /dev/xvd* nodes

Xen provides paravirtualized block devices which most often appear as
/dev/xvd*. This patch adds this pattern to those known to the block
utilitiy. These devices require a kernel compiled with the xen-blkfront
driver.

Signed-off-by: W. Michael Petullo <mike@flyn.org>

libfstools: fix matching device name

compare strlen()+1 characters to make sure we match the trailing \0 as
well. Otherwise things get fishy when using lvm2, see this example:

/dev/mapper/data: UUID="xxxxxx-xxxx-xxxx-xxxx-xxxx-xxxx-xxxxxx" MOUNT="/mnt" TYPE="LVM2_member"
/dev/mapper/data-fs: UUID="xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx" LABEL="xxxxxxxx" VERSION="1.0" MOUNT="/mnt" TYPE="ext4"

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

fstools: use -Wno-format-truncation instead of -Wno-error=format-truncation

Fixes build error with older gcc

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: fix multiple volume_identify usages with the same volume

This fixes e.g. factory-flashed startup issue with jffs2 on ubi overlay

Commit ba019965 ("libfstools: accept volume as argument in most calls")
broke startup for factory-flashed jffs2 on ubi systems, causing substantial
slowdown in factory environments.

When starting up with a factory-flashed jffs2 on ubi system, the "rootfs_data"
volume contains a deadcode marker. In the start phase, mount_root then mounts a
tmpfs overlay, and postpones remounting of the jffs2 overlay until the done
phase of the startup.

The refactoring in ba019965 eliminated an unneeded call to volume_find() when
done() called jffs2_switch(). Unfortunately the refactoring did not take into
account that volume_identify() does not function correctly when called twice in
a row on the same struct volume when using an mtd driver.

mtd_volume_identify() uses mtd_volume_load() to open an fd to the mtd device
and reads a potential deadcode marker from the fd. The first time this works,
and FS_DEADCODE is returned.

When volume_identify() is called a second time however, mtd_volume_load()
notices that we already have an open fd, does nothing further and returns 0
without resetting the file offset to 0. mtd_volume_identify() now reads past
the deadcode marker and now returns FS_JFFS2 if the mtd device is a UBIVOLUME.

jffs2_switch() then handles the wrong case, either pulling the root out from
under user-space in Chaos Calmer, or indefinitely sticking to a tmpfs overlay
in later OpenWRT builds.

Signed-off-by: Pieter Smith <pieter.smith@philips.com>
Signed-off-by: Rafał Miłecki <rafal@milecki.pl>

build: disable the format-truncation warning error to fix gcc 7 build errors

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: silence mkfs.{ext4,f2fs}

Reduce noise during firstboot when creating overlay fs on block
rootdisk devices.

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

cmake: Make blockd link against libjson-c

Similar to commit 35aa20c51995 ("cmake: Link against libjson-c"), blockd
uses libblob_msg which needs libjson-c.

Fixes: 98bbb5a068d6 ("blockd: add automounting support")
Signed-off-by: Florian Fainelli <f.fainelli@gmail.com>

libfstools: add basic documentation of mount functions

Signed-off-by: Rafał Miłecki <rafal@milecki.pl>
Acked-by: John Crispin <john@phrozen.org>

blockd: add automounting support

Signed-off-by: John Crispin <john@phrozen.org>

add missing includes

On glibc 2.25, sys/sysmacros.h needs to be included for makedev, major
and minor.

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: Check return values for fread and system

libfstools/rootdisk.c: In function 'rootdisk_volume_identify':
libfstools/rootdisk.c:172:7: error: ignoring return value of 'fread', declared with attribute warn_unused_result [-Werror=unused-result]
  fread(&magic, sizeof(magic), 1, f);
       ^
libfstools/rootdisk.c:179:7: error: ignoring return value of 'fread', declared with attribute warn_unused_result [-Werror=unused-result]
  fread(&magic, sizeof(magic), 1, f);
       ^
libfstools/rootdisk.c: In function 'rootdisk_volume_init':
libfstools/rootdisk.c:268:9: error: ignoring return value of 'system', declared with attribute warn_unused_result [-Werror=unused-result]
   system(str);
         ^
cc1: all warnings being treated as errors

Signed-off-by: Florian Fainelli <f.fainelli@gmail.com>

fstools: added f2fs to block

added code to block so it can recognize and operate the filesystem checker of f2fs
added f2fs to the filesystem whitelist of block so it can mount it on
/overlay at boot.

Signed-off-by: Alberto Bursi <alberto.bursi@outlook.it>

block: fall back to external mount helper

If the mount(2) syscall fails with ENOENT, attempt to mount the filesystem
using an external "/sbin/mount.$fstype" command.

This allows filesystems which do not have direct kernel support, like fuse-
or network filesystems.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

block: fix error reporting

The current block code wrongly reported the return value of the mount() and
umount2() syscalls, which is always -1 in case the call failed.

Use errno and strerror(errno) instead to propagate the correct error code to
the user.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

libblkid-tiny: remove unused name member

The "name" member of struct blkid_struct_probe is not used anywhere anymore
so remove it from the definition to save some stack and heap space.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

probe: stop handling name property

In the full liblkid there is no tag called "NAME" and the name value reported
by libblkid-tiny was just the kind of uuid passed to blkid_probe_set_uuid_as().

Strip any handling of this property to allow removing it from libblkid-tiny.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

block: remove handling of name property

There is no concept of a "NAME" property within libblkid, the value previously
used was the name parameter of blkid_probe_set_uuid_as() which does not denote
the file system name, but the kind of UUID to store.

Since the value never makes sense, stop using it when reporting block
information.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

libblkid-tiny: fix SquashFS version detection on different endian systems

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

libblkid-tiny: avoid setting phantom UUIDs

When blkid_probe_set_uuid_as() is invoked with a non-NULL name parameter
then the name parameter denotes the kind of UUID (like "EXT_JOURNAL") not
the name of the file system.

Only copy the UUID value to the probe uuid member if the given name is
either NULL or "UUID".

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

probe: add full libblkid support

Attempt to dlopen() libblkid.so at runtime and use it for proping
filesystems if available.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

block: add probe abstraction layer

Add an abstraction layer which separates block.c from libblkid-tiny implementation
details in order to prepare support for optionally using the full libblkid.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

libfstools: properly label ext4 overlay

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: also probe loop devices

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: include mountpoint in info output

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

libfstools: gather mountpoints from /proc/self/mountinfo

This allows identifying /dev/root by its major:minor number which
are part of /proc/self/mountinfo but aren't contained in /proc/mounts.
Also fix jffs2reset when using an ext4 overlay by adding it to the
list of filesystems allowed if the root_only parameter of
find_mount_point is set.

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

libfstools: add rootdisk overlay volume support

Uses either ext4 or f2fs, depending on the overlay volume size

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: replace hardcoded mentions of jffs2 in a few places

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: add ext4 filesystem type

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: add f2fs filesystem type and simplify fs type code

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: use container_of for volume private data

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: call volume_init() before accessing v->blk

Signed-off-by: Felix Fietkau <nbd@nbd.name>

libfstools: remove obsolete enum

Signed-off-by: Felix Fietkau <nbd@nbd.name>

fix logic bug inside extroot uuid verification code

Signed-off-by: John Crispin <john@phrozen.org>

libfstools: "lowerdir" variable name in fopivot

Hi all!

In fopivot in libfstools variable name "lowerdir" is confusing and
doesn't make any sense.
There is a patch renaming that var to "mount_options".

fix return code of overlay_mount_fs

Signed-off-by: John Crispin <john@phrozen.org>

block: best-effort in find_mount_point

Don't immediatly fail if block device cannot be stat'ed.

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: get mountpoints from /proc/self/mountinfo

Instead of using two different implementations reading /proc/mounts
and /proc/self/mountinfo, gather all information on mountpoints from
/proc/self/mountinfo.
While at it, tokenize mountinfo inline instead of using strtok_r
because it's hard to tell whether strtok_r allocated new memory or
merely returns a pointer to the (last) token. This might later on be
relevant once we want to free that memory...
Tokenizing mountinfo using strchr inline works without allocating any
new memory by scanning and re-writing the string returned by gets().
As a result, the returned string needs to be duplicated to be safe for
use even after the fclose().

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: print mountpoint if already mounted

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: also check /proc/self/mountinfo to find mountpoint

Matching only the device name doesn't always work, e.g. in case of
/dev/root. Thus also check the device(minor,major) which can be scraped
from /proc/self/mountinfo.

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: don't truncate mountpoint path

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: allow block info /dev/ubi?_?

Allow querying /dev/ubi?_? devices though they are not block devices.

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: avoid ubi{,block} duplicates

Skip ubi?_? device if ubiblock?_? is present.

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

block: fix ubi?_? glob pattern

The glob pattern intended for ubi?_? devices was matching
ubiblock?_? devices as well. Change the glob to actually return only
ubi devices.

Signed-off-by: Daniel Golle <daniel@makrotopia.org>

cmake: Link against libjson-c

block uses libblob_msgjson which requires us to link against libjson-c.
Some external toolchains would be failing to find that library unless
specified explicitly.

Signed-off-by: Florian Fainelli <f.fainelli@gmail.com>

cmake: Find libubox/ulog.h

Add a CMake FIND_PATH and INCLUDE_DIRECTORIES searching for
libubox/ulog.h.  Some external toolchains which do not include standard
locations would fail to find the header otherwise.

Signed-off-by: Florian Fainelli <f.fainelli@gmail.com>

block.c: Add ability to mount with ACL and XATTR support

Some users will want to use OpenWrt/LEDE devices as NAS
devices and have full POSIX ACL and user_xattr support
(along with other possible use cases), therefore add
support to mount with POSIX ACLs and/or user XATTR
support.

Signed-off-by: Daniel Dickinson <lede@daniel.thecshore.com>

block.c: Use <linux/fs.h> instead of defining mount flags ourselves

Let's use the cannonical source of mount flags instead of
defining the flags ourselves.

Signed-off-by: Daniel Dickinson <lede@daniel.thecshore.com>

block.c: Add support for checking vfat filesystems

vfat is a common filesystem which users may want to mount on an
OpenWrt/LEDE device, so support peforming filesystem checks
before mount for vfat.

Signed-off-by: Daniel Dickinson <lede@daniel.thecshore.com>

block.c: Make static string a const char * instead char *

There is no reason for e2fsck string to be altered, and the
only places where is used take const char * as parameters
so make e2fsck a const char *.

Signed-off-by: Daniel Dickinson <lede@daniel.thecshore.com>

mount_root: check for preinit sentinel file

Signed-off-by: John Crispin <john@phrozen.org>

Revert "mount_root: code failed in failsafe"

This reverts commit 09f8e0097fe1370700658542e7bda831c31de4bf.

Revert "fstools: support for ext4fs overlay"

This reverts commit bf4f08af9b8fe991216023a906182744eb1e4645.

this patch was breaking devices that have a normal ext4 rootfs

Signed-off-by: John Crispin <john@phrozen.org>

mount_root: code failed in failsafe

the code checks if we are in PREINIT before mounting root.
change this to check if root is actually mounted.
this is a regression caused by ssh login during failsafe.

Signed-off-by: John Crispin <john@phrozen.org>

snapshot: md5sum return codes are not properly handled

Signed-off-by: John Crispin <john@phrozen.org>

block: add remount paramter

Signed-off-by: John Crispin <john@phrozen.org>

fstools: support for ext4fs overlay

This change will enables eMMC (ext4 fs) boot support, when we try to boot
from eMMC card then it will read partition names from
/sys/block/mmcblkX/mmcblkXY/uevent
file and will mount the rootfs_data partition as ext4fs overlay.

Signed-off-by: Ram Chandra Jangir <rjangi@codeaurora.org>

block: respect mount flags for /overlay

Instead of hardcoding no-flags in the mount syscall, use the user configured
values, this is useful when mounting external overlays with "sync" or "ro"
flags.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

fstools: check existing filesystem state before writing the new one

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

fstools: allow to stack another overlay on top of existing one

`mount_root ram' will pivot existing root to ram even if it was
overlayfs already. Useful when playing with new configurations
as it allows to preserve existing/stable configuration.

Signed-off-by: Roman Yeryomin <roman@advem.lv>

fix gcc format security error.

Signed-off-by: Hauke Mehrtens <hauke@hauke-m.de>

libblkid-tiny: Add F2FS support

Signed-off-by: Martin Blumenstingl <martin.blumenstingl@googlemail.com>

libblkid-tiny: Update the code from util-linux's libblkid

This updates the relevant source files to util-linux changeset
4419ffb9eff5801fdbd385a4a6199b3877f802ad.

Signed-off-by: Martin Blumenstingl <martin.blumenstingl@googlemail.com>

overlay: use lstat rather than stat and make sure there are no trailing spaces

with this patch even uclibc wont deleted symlinked folders

Signed-off-by: John Crispin <blogic@openwrt.org>

make jffs2reset not iterate over symlinked folders

Signed-off-by: John Crispin <blogic@openwrt.org>

jffs2reset: add a -r (reboot) option to jffs2reset

Signed-off-by: John Crispin <blogic@openwrt.org>

mount_root: use symlink instead of xattr to store initialization state

xattr seems to be unreliable with jffs2

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

jffs2reset: use jffs2_mark if rootfs_data isn't mounted

Erasing all rootfs_data blocks may cause some problems with partition
identification. It won't contain MAGIC, but will be successfully mounted
with delayed blocks marking. This may be really confusing when user
reboots before JFFS2 finishes its blocks management. During the next
boot rootfs_data will be a valid partition (possibly with data) but
libblkid won't detect it.
Also adjust message in jffs2_mark to make more sense when used together
with jffs2_reset.

Signed-off-by: Rafał Miłecki <zajec5@gmail.com>

jffs2reset: avoid code duplication in jffs2_reset and jffs2_mark

Signed-off-by: Rafał Miłecki <zajec5@gmail.com>

block: reject mount sections with relative targets

Specifying relative target paths leads to undefined results and confuses
users. Explicitely reject relative paths with a warning instead of doing
random stuff.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

make sure to also scan for leading and ending " when looking for mtd devices

Signed-off-by: John Crispin <blogic@openwrt.org>

properly handle return codes

Signed-off-by: John Crispin <blogic@openwrt.org>

mount_root: keep track of overlay initialization state (via xattr)

Remove all files (except sysupgrade.tgz) if /etc/init.d/done was not called

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

overlay: call volume_init() before mount

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

overlay: create a common function for deleting all overlay data (optionally excluding sysupgrade.tgz)

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

switch to _DEFAULT_SOURCE for modern glibc compat

Signed-off-by: Jeff Waugh <jdub@bethesignal.org>

mount_root: better log messages for ram overlay cases

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

libfstools: clarify message when switching to internal overlay

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

libfstools: make mtd_volume_identify() less chatty

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

libfstools: remove dead source file

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

libfstools: convert to ulog() api

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

ubi: convert to ulog() api

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

snapshot: convert to ulog() api

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

jffs2reset: convert to ulog() api

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

mount_root: convert to ulog() api

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

block: convert to ulog() api

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

block: don't declare find_root_dev with UBIFS_EXTROOT

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>