Merge pull request #1796 from TDT-AG/pr/20180515-luci-app-mwan3-add-param

luci-app-mwan3: add new config options and fix

luci-app-mwan3: add quality check options

Add new quality_check feature

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

luci-app-mwan3: add dependecy to size option

This option is only valid if track-method is set to "ping".

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

Merge pull request #1794 from dibdot/adblock

luci-app-adblock: sync with adblock 3.5.2

luci-app-adblock: sync with adblock 3.5.2

* archive sub-categories (shalla & ut_capitole) are now configurable
  via LuCI CBI template
* small bugfixes & enhancements

Signed-off-by: Dirk Brenken <dev@brenken.org>

luci-base: harden cookie sysauth=

A simple scan of the code indicates that currently no code in the repo
is accessing the sysauth= cookie

Closes openwrt/luci#1555

Signed-off-by: Florian Eckert <fe@dev.tdt.de>
Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Merge pull request #1786 from musashino205/l10n/pagekite-add-ja

luci-app-pagekitec: add Japanese translation

Merge pull request #1787 from TDT-AG/pr/20180509-net-mwan3-fixes

luci-app-mwan3: fixes

Merge pull request #1791 from dibdot/travelmate

luci-app-travelmate: fix Interface Wizard

luci-app-travelmate: fix Interface Wizard

* make sure to update the nw & fw entries only once

Signed-off-by: Dirk Brenken <dev@brenken.org>

Merge pull request #1789 from ldir-EDB0/miniupdpdtweak

luci-app-upnp: change leasefile location hint

luci-app-upnp: change leasefile location hint

Change default leasefile hint from /var/log/upnp.leases to
/var/run/miniupnpd.leases

Signed-off-by: Kevin Darbyshire-Bryant <ldir@darbyshire-bryant.me.uk>

luci-app-mwan3: pin diag ping command to interface device

If the physical device is not set in the diag_command then the ping will
always use the route with the lowest metric from the default routing
table.
To fix this add the physical device of the logical interface to the ping
command.

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

luci-app-mwan3: honor dynamic interface to get gateway ip

If a logical interface setup and adds in the protocol handler a dynamic
interface then the gateway is configured in the dynamic interface and the
setting up logical interface does not have a gateway specified.
To fix this check first if a dynamic interface is present and use this
gateway ip if found and if no dynamich interface is set then check for a
gateway in the logical interface.

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

Merge pull request #1780 from dibdot/adblock

luci-app-adblock: support new workflow

luci-app-adblock: support new workflow

* adapt Adblock to support the new cbi apply workflow
* tested successfully with old & new workflow

Signed-off-by: Dirk Brenken <dev@brenken.org>

Merge pull request #1777 from dibdot/travelmate

luci-app-travelmate: support new workflow

Merge pull request #1785 from EricLuehrsen/unbound_luci

luci-app-unbound: clean up tab presentation

luci-app-travelmate: support new workflow & re-ordering fix

* Remove SimpleForm stuff from Interface Wizard
* adapt Travelmate to support new cbi apply workflow
* fix station re-odering
* tested successfully with old & new workflow

Signed-off-by: Dirk Brenken <dev@brenken.org>

luci-app-pagekitec: add Japanese translation

Added Japanese translations.

Signed-off-by: INAGAKI Hiroshi <musashino.open@gmail.com>

luci-app-unbound: clean up tab presentation

Some of the options in the tabs were not placed in
optimal groups. Add tabs for DHCP and start triggers.

Signed-off-by: Eric Luehrsen <ericluehrsen@hotmail.com>

luci-app-commands: fix link generation

Fixes openwrt/luci##824

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

luci-mod-freifunk: fix redirect url

location.hostname lacks port info

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

luci-app-firewall: redirect to overview page on zone details save

This fixes an inconsistency because on the interface configuration if
you press Save&Apply it will go back to overview page.  It is also the
case with "Firewall - Traffic Rules" details.  On firewall zone it only
goes back to firewall zone-detail. Same behaviour on all pages is a good
user experience.

Signed-off-by: Florian Eckert <Eckert.Florian@googlemail.com>
Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

luci-mod-admin-full: use fs.glob instead nixio.fs.glob

It's how the module was named when "require"d and used by other code in
the same function

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

luci-mod-admin-full: no menu entry for leds if "/sys/class/leds" is empty

Signed-off-by: Florian Eckert <fe@dev.tdt.de>
Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

luci-mod-admin-full: change supports_reset() test for factory reset

The check "supports_reset" only covers /proc/mtd partitions. If we have
this the commands checks for names like ubi or rootfs_data. If this is
found the system is possible for a factory reset.  But on x86 the
situation is different.  We have no /proc/mtd partitions because this
system do not use a bare metall flash.

To solve this issue check if we have an overlay and if so we could do a
factory reset. This could be applied for system which uses bare metal
flash and system which uses FTL or harddisks.

Jffs2reset is the current command used for factory reset.  It will try
to find volume "rootfs_data" and if it's mounted will delete all files
under directory /overlay

luci-mod-admin-mini also has check for reset available, but we leave it
alone for now as it uses "mtd -r erase rootfs_data"

Signed-off-by: Florian Eckert <fe@dev.tdt.de>
Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

luci-app-openvpn: add license tag

Add missing license tag.  File headers of the application indicate so

Signed-off-by: Florian Eckert <fe@dev.tdt.de>
Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

luci-base: reload log on uci system change

If log configuration get changed in uci system no new values are applied
until reboot. Add /etc/init.d/log reload to exec option will solve this
issue.

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

luci-proto-ppp: add translation to ipv6 handling

If there is no translation set, then on material theme the dropdown
selection displaced. To fix this add an translation to this dropdown.

The commit also changes source code whitespace shifting.

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

luci-base: fix i18n de typo for rc.local

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

luci-mod-rpc: more auth/login fixes, expose further libraries

The previous attempt to fix authentication broke login functionality so
rework the code once again, this time with referencing helper functions
directly via the controller scope.

Furthermore, properly expose luci.sys.wifi.getiwinfo() and luci.ip.

For getiwinfo(), the RPC wrapped function accepts one further optional
parameter specifying the operation to invoke on the iwinfo instance.
If no operation is specified, a summary object containing all info
without country and scan list is returned.

Example to obtain iwinfo summary object:
  curl --cookie sysauth=... \
       --data '{"method": "wifi.getiwinfo", "params": ["wlan0"]}' \
"http://192.168.1.1/cgi-bin/luci/rpc/sys"

Example to obtain iwinfo scan list:
  curl --cookie sysauth=... \
       --data '{"method": "wifi.getiwinfo", "params": ["wlan0", "scanlist"]}' \
"http://192.168.1.1/cgi-bin/luci/rpc/sys"

The exposed luci.ip class uses a similar approach to allow invoking
instance methods on cidr objects. The new(), IPv4(), IPv6() and MAC()
constructors accept two further optional arguments, with the first
specifying the instance method to invoke and the second the value to
pass to the instance method.

Example to get list of IPv4 neighbours (ARP entries):
  curl --cookie sysauth=... \
       --data '{"method": "neighbors", "params": [{"family": 4}]}' \
"http://192.168.1.1/cgi-bin/luci/rpc/ip"

Example to add 100 hosts to a network address:
  curl --cookie sysauth=... \
       --data '{"method": "IPv4", "params": ["192.168.0.1", "255.255.255.0", "add", 1000]}' \
"http://192.168.1.1/cgi-bin/luci/rpc/ip"

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-upnp: sync translations

Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

luci-base: xhr.js: fix timeout setting with IE 11

Internet Explorer 11 requires the timeout to be applied after the open()
call, otherwise an invlaid state exception will be raised

Fixes aa6c97154 ("luci-base: extend xhr.js")
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-mod-rpc: fix authentication via query string parameter

Localize the `authenticatior()` and `session_retrieve()` functions into the
`index()` function scope so that they're retained when extracting the
function into the dispatcher bytecode cache.

Also allow access to the global scope since upvalues do not work reliably
due to the out-of-context byte code caching of index functions.

Fixes https://github.com/openwrt/luci/issues/1300#issuecomment-381352765
Fixes feefc600e ("luci-mod-rpc: rework authentication and session handling")
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Merge pull request #1778 from ldir-EDB0/igdv2

luci-app-upnp: support igdv1 run time flag

luci-base: support hiding the "Back to Overview" button in cbi maps

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Revert "luci-base: support hiding the "Back to Overview" button in cbi maps"

This reverts commit 52cf265c9d12537d5f37043350328d30ca11bab4.

I accidentally committed unrelated changes.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: support hiding the "Back to Overview" button in cbi maps

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-upnp: support igdv1 run time flag

Signed-off-by: Kevin Darbyshire-Bryant <ldir@darbyshire-bryant.me.uk>

Merge pull request #1776 from lamego/fix-indentifies-typo

Fixing small typo

Fixing small typo

indentifies > identifies

Merge pull request #1775 from musashino205/l10n/base-upd-ja

luci-base: update Japanese translation

luci-base: update Japanese translation

Updated Japanese translations.

Signed-off-by: INAGAKI Hiroshi <musashino.open@gmail.com>

luci-mod-admin-full: canonicalize configured static lease MAC

When reading the configured mac address of the static lease, filter it
through luci.ip.checkmac() to canonicalize and uppercase the value for
mapping it against the combo box host hints.

Fixes #1772.
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: sync translations

Synchronized translations with sources.

Signed-off-by: INAGAKI Hiroshi <musashino.open@gmail.com>

Merge pull request #1705 from Mushoz/add-igmp-snooping

luci-mod-admin-full: add igmp snooping option

luci-app-statistics: convert init script to procd

Convert init script to procd format in order to register reload triggers
on /etc/config/luci_statistics.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Merge pull request #1690 from karlp/pagekite

luci-app-pagekitec: new package

documentation: regenerate documents from current code base

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-ddns: fix typo: CRTL should be CTRL

Reference to https://github.com/openwrt/luci/pull/1756
cherry picked from commit d9cd43fee1d9e0b01c91e569820ba83120d8840b

Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

Merge pull request #1767 from SvenRoederer/patch-2

luci-mod-freifunk: align spacing

luci-base: extend xhr.js

Add timeout options to get() and post() and introduce XHR.stop() to support
stopping a poll operation.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

themes: fix CSS class of uci change indicator

The previous commit incorrectly added a new class attribute without
considering existing ones.

Fixes 736d8fee4 ("themes: add common class to uci change indicator")
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

themes: add common class to uci change indicator

Add a common CSS class name to the change indicator and modify the openwrt.org
theme to hide it when no changes are present, similar to all other themes.

This is needed for upcoming uci apply handling changes to be able to auto-hide
the indicator without page reload after an apply.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: add simple CORS handling to luci.dispatcher

Support a new boolean property `cors` which - if set to true - causes the
dispatcher to positively answer CORS OPTIONS requests after authentication
without actually running the dispatching target.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: handle bodies of non-POST requests as well

Decode the HTTP message bodies of any request carrying a Content-Length
header, not just those in POST requests.

This allows handling parameters in other methods, OPTIONS in particular.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-mod-freifunk: align spacing

remove some tailing tabs and an empty line in OSMLatLon.htm

Signed-off-by: Sven Roederer <devel-sven@geroedel.de>

Merge pull request #1766 from musashino205/l10n/dcp-upd-ja

luci-app-dnscrypt-proxy: update Japanese translation

Merge pull request #1765 from musashino205/l10n/base-upd-ja

luci-base: update japanese translation

luci-base: update japanese translation

Updated japanese translations.

Signed-off-by: INAGAKI Hiroshi <musashino.open@gmail.com>

luci-app-dnscrypt-proxy: update Japanese translation

Updated Japanese translations.

Signed-off-by: INAGAKI Hiroshi <musashino.open@gmail.com>

luci-base: additionally return error code strings in luci.util.ubus()

Add a 3rd return value to luci.util.ubus() containing the string value
of the error return value.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: ensure that file upload values have length

Ensure that the (table) length of a file upload value has nonzero length
by initializing the first table index with the file name.

This fixes tests in the form

    x = luci.http.formvalue(...)
    if x and #x > 0 then ... end

Fixes #1763.
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Merge pull request #1759 from pmelange/feature_remove_nameserver_213_73_91_35

Removed retired nameserver 213.73.91.35 from the Freifunk profiles

Removed retired nameserver 213.73.91.35 from the Freifunk profiles
See issue openwrt/luci#1757

Signed-off-by: Perry Melange <isprotejesvalkata@gmail.com>

luci-base: decode plus signs in x-www-form-urlencoded POST data

Depends on 5ef51b2ab ("lucihttp: update to latest HEAD").
Fixes #1755.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

lucihttp: update to latest HEAD

ccc685e lua: expose LH_URLDECODE_PLUS flag in Lua library

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: ship rpcd uci access ACL

Ship an ACL definition for granting full read/write access to uci
configuration files via ubus rpc. This is a precondition for enabling
uci session isolation later on.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-lxc: fix syntax error in previous commit

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-lxc: various changes

1) Modify dependencies

Add dependencies required for to be able use containers created from
"images.linuxcontainers.org". Several of them require "lxc-attach" for set
password so to be able login. None of them has SSH preinstalled so
"lxc-console" is required to be able login and install SSH, for example.

Remove dependency "xz", it seems incompatible with LXC_BUSYBOX_OPTIONS when
both are enabled happens a build crash.

2) Change container image repository

The repository "virtualwrt.org/containers/" seems to not work, I have change
it by the official LXC container image repository.

3) Translate the arch

Translate the local uname architecture to a valid "images.linuxcontainers.org"
arch. Only tested with the platform "mvebu" (armv7l -> armhf).

4) Other minor fixes

Use same server to list images and download the image.
Disable GPG check when listing images.

Reported-by: "Admin Localnet <localnet@users.noreply.github.com>"
[Squashed commits, cleaned up whitespace, refactor arch mapping, escape url
 setting, use system wide ubus helper, use uci model library]

Closes: #1422
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

lucihttp: update to latest HEAD

c7c9c66 src: extend multipart parser test program
5071efb testcases: add multipart parsing edge cases
689e3d0 lib: multipart-parser: fix various edge cases

Fixes #1754.
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: properly handle repeated POST parameters

Restore the old luci.http behaviour of converting repeated POST params into
single tables holding all values instead of letting each repeated parameter
overwrite the value of the preceeding one.

Fixes, among other things, the handling of CBI dynamic list values.

Fixes #1752
Fixes 59dea0230 ("luci-base: switch to lucihttp based POST data processing")
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: implement session handling in luci.model.uci

Introduce luci.model.uci.set_session_id() and luci.model.uci.get_session_id()
to set and get the effective session ID respectively.

When a session ID is set, it is sent as `ubus_rpc_session` attribute to rpcd,
causing it to use per-session change directories, isolating LuCI changes from
the global system uci state.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: drop dependency on libuci-lua

LuCI itself now uses ubus calls to interact with uci configuration while
the remaining direct libuci-lua users have been updated to either depend
on the binding library or to use luci.model.uci.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

freifunk-common: explicitely depend on libuci-lua

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

lucihttp: update to latest HEAD

8617997 lib: cast size_t values in printf() to prevent compielr warnings

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

libs: move http.protocol.{date,mime,conditionals} to luci-lib-httpprotoutils

Also adjust the dependencies of components depending on these classes and
flatten the namespace from luci.http.protocol.* to luci.http.*

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: fold luci.http.protocol into luci.http

With only the decoder routines remaining in luci.http.protocol, it makes no
sense to keep the low level protocol class around, so fold the remaining code
into the central luci.http class.

Also adjust the few direct users of luci.http.protocol accordingly.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: refactor luci.http

 - Rewrite getcookie() to use liblucihttp header value parsing
 - Rewrite setfilehandler() to use local variables and have cleaner code
 - Fix build_querystring() to actually *en*code the given params

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: drop luci.util.dtable()

The dtable() function has no user in the entire LuCI repo, so drop it.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Revert "luci-base: add urldecode() and urlencode() C implementations"

This reverts commit ad7dc4a4928e77ae142d0fe040f9e9e64b530e82.

Since we're using liblucihttp now, that library is the appropriate place to
add such decoding helper functions.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: switch to lucihttp based POST data processing

Use the liblucihttp provided multipart and x-www-urlencoded body parsers
and drop the old Lua parsing code.

The C based data parsers are way faster than their old Lua counterparts
while producing less string garbage and more correct results.

While refactoring the luci.http.protocol code, also drop unused functions
and dead code, heavily reducing the module size.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: switch to lucihttp.urldecode() and lucihttp.urlencode()

Drop the Lua implementation in luci.http.protocol and use the optimized C
variants of liblucihttp instead.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

lucihttp: update to latest HEAD

b7470d1 lua: back out early when instantiating parser with bad boundary
e1b1b1f testcases: remove stray .swp file
b46a6ca utils: introduce new LH_URLDECODE_PLUS flag

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Merge pull request #1750 from sotux/i18n_zh_cn

luci-base: zh_CN: update Simplified Chinese translation

luci-base: zh_CN: update Simplified Chinese translation

Signed-off-by: Zheng Qian <sotux82@gmail.com>

contrib: package liblucihttp

Package liblucihttp, a utility library providing HTTP parsing and data
decoding helpers.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-openvpn: properly parse low PIDs

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Merge pull request #1744 from dibdot/mwan-fix

luci-app-mwan3: bugfix

luci-app-mwan3: bugfix

* two more luci.model.uci fixes for #1743

Signed-off-by: Dirk Brenken <dev@brenken.org>

i18n: sync translations, cleanup

* sync translations
* clean-up old strings from adblock

Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

Merge pull request #1742 from fantom-x/dhcp_cachesize_max

luci-mod-admin-full: limit dns cachesize to 10000

luci-base: fix rendering of 404 HTML error template

This 404 error template rendering has been broken for a long time due to bad
function environment level in luci.template when invoking the rendering from
the toplevel dispatcher context.

Fix this issue by adding a local function indirection, essentially adding an
additional stack frame.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: error404: do not access request env directly

Instead of attempting to access the request environment directly (which does
not work anyway using the CGI SGI), use the already sanitized
dispatcher.context.request property to print out the not found url.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: don't propagate null bytes in path information

It is possible to inject unescaped markup using a double encoded null byte
via PATH_INFO on certain leaf nodes.

Since there is no legitimate reason to handle null bytes in any part of the
requested url, simply skip over such bytes when parsing the PATH_INFO value.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: add urldecode() and urlencode() C implementations

The C implementations of urlencode and urldecode are considerably faster
than their current Lua counterparts.

On an AMD Geode system, the C variant is up to ten times faster when
decoding strings and up to four times faster when encoding them.

The functions are also designed to only allocate new strings when any
actual changes are required, otherwise they reuse the existing input
strings, reducing the overal memory usage somewhat.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-mod-admin-full: limit dns cachesize to 10000

The value of cachesize is hardcoded to 10000 in
dnsmasq-2.79/src/option.c to 10000 max

    case 'c':  /* --cache-size */
      {
        int size;

        if (!atoi_check(arg, &size))
          ret_err(gen_err);
        else
          {
            /* zero is OK, and means no caching. */

            if (size < 0)
              size = 0;
            else if (size > 10000)
              size = 10000;

            daemon->cachesize = size;
          }
        break;
      }

Tested on Netgear R7800
Signed-off-by: Marc Benoit <marcb62185@gmail.com>

Merge pull request #1741 from dibdot/mwan-fix

luci-app-mwan3: bugfix

luci-mod-admin-full: allow setting dns cachesize

In the case of more powerful routers the default
cachesize value == 150 is too small and can easily
be extended to 1,000's and 10,000's of entries.
It makes sense to make it easy configurable.

Tested on Netgear R7800

Signed-off-by: Marc Benoit <marcb62185@gmail.com>
Fix whitespace, edit the proposed help text.
Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>