main: fix spurious premature parse aborts in array mode

When reading newline separated JSON (array mode), continue parsing even
if the JSON tokener signals success, as another object might follow.

Fixes: FS#3683
Fixes: openwrt#8703
Fixes: openwrt#11649
Fixes: openwrt#12344
Fixes: 8614470 ("main: implement array mode")
Signed-off-by: Jo-Philipp Wich <jo@mein.io>

jsonfilter: drop legacy json-c support

The cmake logic is wrong (E.G. PKG_CHECK_FOR_MODULES fails unless all
modules are found), and the legacy libjson.so name is also used by the
other libjson (for example [1]) which provides an incompatible API,
so just drop it.

Backported from libubox cbf80de7f4df61960f386cb01a899cf4228d38f3

[1] http://sourceforge.net/projects/libjson/

Signed-off-by: Sergey Ponomarev <stokito@gmail.com>
[ wrapped commit description to 75 char limit ]
Signed-off-by: Christian Marangi <ansuelsmth@gmail.com>

implement POSIX regexp support

Introduce a new operator `~` and new `/.../eis` regular expression syntax.

This allows filtering by regular expression, e.g.

   jsonfilter -s '[ "foo", "bar", "baz" ]' -e '$[@ ~ /^b/]'

... would yield the values `bar` and `baz`.

Possible regular expression modifiers are:

  - `e` ... enable extended POSIX regular expressions
  - `i` ... perform case insensitive matches
  - `s` ... let ranges and `.` match the newline character

A regular expression literal may occur on the left or the right side of
the `~` operator, but not on both.

In case neither side of the `~` operator is a regular expression, the right
side will be treated as regular expression pattern. Non-string values are
converted to their string representation before performing matching.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

lexer: fix encoding 7 bit escape sequences

A misplaced paren caused escape sequences in the ranges \x00..\x7f,
\u0000..\u007f and \0..\177 to get improperly encoded into the
string buffer.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

main: implement array mode

Implement a new option "-a" which turns on array mode, meaning that
the program will attempt to parse multiple consecutive JSON objects
from the source data and merge them into a JSON array.

This is mainly useful for operating on JSON log files with one object
per line.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

remove obsolete /opt/local include/lib directories on mac os x

Signed-off-by: Felix Fietkau <nbd@nbd.name>

remove --gc-sections for mac os x builds

Signed-off-by: Felix Fietkau <nbd@nbd.name>

cmake: Find libubox/list.h header file

Add a CMake FIND_PATH and INCLUDE_DIRECTORIES searching for
libubox/list.h.  Some external toolchains which do not include standard
locations would fail to find the header otherwise.

Signed-off-by: Florian Fainelli <f.fainelli@gmail.com>

treewide: replace jow@openwrt.org with jo@mein.io

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

cli: properly format 64bit values

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

parser: allow root path specifications

All a patch specification to be just '@' or '$' - this is mainly useful when
exporting the keys of the toplevel object to the shell.

Example:

    $ echo '{ "abc": 1, "def": 2 }' | jsonpath -e 'keys=@'
    export keys='abc'\ 'def';

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

main: Add basic help output

Add basic usage text to the binary and print it when invoked with -h
or with no arguments at all.

Signed-off-by: Karl Palsson <karlp@remake.is>
Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

matcher: fix segfault with subscript on non-array element

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

contrib: add ParseTrace prototype to parser skeleton

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

cli: prevent segfault if input file failed to open

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

cli: implement limit flag

The new "-l" flag allows limiting the number of results getting printed.
This is useful for expressions which match many items when only the first
is desired.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

matcher.c: properly handle negative array indizes

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

cli: add a flag to specify arbritary field separators

This is useful to join values with a specified char instead of the
default space.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

Improve error reporting

Keep track of the exact location the error occured in and switch
the internal error description from a dynamic string buffer to an
integer which either holds negative values for lexer errors or
positives values for grammer violations.

In case of grammer violations the "error_code" member will hold
a bitfield describing the expected tokens.

Also rework the error messages emitted by the cli to be more
precise.

Examples:

$ jsonfilter -s '{}' -e '@.foo bar'
Syntax error: Expecting End of file
In expression @.foo bar
Near here ----------^

$ jsonfilter -s '{}' -e '@.foo\bar'
Syntax error: Unexpected character
In expression @.foo\bar
Near here ---------^

$ jsonfilter -s '{}' -e '@.foo..bar'
Syntax error: Expecting Label or '*'
In expression @.foo..bar
Near here ----------^

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

cli: minor whitespace fix

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

Switch to sqlite3's lemon parser generator.

This commit drops the flex + bison code in favor to a hand-written
lexer and a new grammar file in lemon syntax.

The change results in a much smaller binary and easier to maintain
code. Code required to build and maintain the AST has been split
off into the ast.c and ast.h files.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

build: use -ffunction-sections and --gc-sections

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

cli: supress printing "null" in non-export mode, output strings unescaped

Update copyright

parser: fix error reporting

lexer, parser, matcher: extend grammar to allow comma separated keys/indexes as more readable alternative to or expressions

cli: gather all found items through a callback function

matcher: add user callback and support implicit index/key compares

- introduced callback argument in jp_match() which is invoked for each found json item
- when chaining strings or numbers in or expressions, implicitely match them against the current key

lexer: accept single quoted string literals

parser: fix order of declarations

cli: implemnt -s flag to pass json source as string argument

cli: additional flags and cleanup

* add -q flag to suppress error messages
* add -t flag to test type of result
* clean up exit codes to indicate success;
- 0 if all -t and -e expression yielded a result
- 1 if at least one -t or -e expression didn't match
- 125 when failed to open input file
- 126 when failed to parse json input
- 127 when the farser fails due to oom

parser: change exitcode in case of oom errors

Amend gitignore

Add gitignore file

eliminate global variables and use a private parser/lexer state

cmake: let generated lexer.c, parser.c depend on their respective source files, clean generated headers

Remove generated files

Initial commit