devel: add git tracker helper script

This allows creating a git tree based on the backport
output automatically, to track an upstream kernel tree.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

gentree: remove pointless code

There's no need to join a path with nothing ...

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

gentree: make lib directory a python module

That will make it easier to use gentree and/or git
helpers from other scripts.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

build: add defconfig files

This enables users to more easily select the driver that
they need, and us to ship default configurations that we
prefer for that driver. Add iwlwifi as the first example.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

build: add simple 'install' target

This really just installs the modules, everything else
is still missing.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

build: fix defconfig usage

The make target vs. filename got confusing and the
invocation of the conf program was wrong as well;
fix both issues.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

build: read KLIB variable

Some scripts may rely on setting KLIB rather than
KLIB_BUILD, particularly for an install target,
so read that variable.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

gentree: make output configurable

It might not always have to go to stdout, so make
a function to print it and use that.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

gentree: fix return code

The recent shuffling broke the return value, return it.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

Revert "fix compat dependencies"

This reverts commit 4f321aefd84259e8f44ff9d080ffdf7ac41290c4.

That didn't work if the symbol isn't defined at all ...

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix compat dependencies

Apparently "depends on !FOO" will be OK if FOO=m,
which isn't what we want, so make it FOO = n.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

correct crc8 include file

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

explain Kconfig recipe better, adjust existing code

The Kconfig recipes for backporting need a bit more
explanation, add that. Also adjust the existing ones.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

correct makefile/kconfig mangling

Due to reordering the steps, the makefile and kconfig
mangling needs to be changed a bit, make it more robust.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

gentree: change to make external use possible

Change the scripting a bit to make it possible to
import the gentree script as a module to call it.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

ckmake: parallelise even allyesconfig/allnoconfig

There are two C files to build in there :-)

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

hard-code list of backport files

This avoids accidentally copying files that are in the
local, possibly dirty, working directory.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix EWMA backport

If backporting to a kernel that already has it, the
symbol mangling shouldn't be done ...

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add more .PHONY

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

some makefile cleanups

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

allow defconfig to work

This allows shipping a 'defconfig' file in the output and
then just "make" works, taking the config from there and
setting everything else to the default.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

ckmake: default to just building compat

but add --allyesconfig option

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

build fw loader only for kernel 2.6.32 and lower

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix the previous commit ...

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add compat testing option

Add the BACKPORT_USERSEL_BUILD_ALL option that selects
all the backported stuff drivers would otherwise have.
This allows testing all the backported code without
compiling all drivers.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add comments, small fixes

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

compat: backport poll_requested_events() and poll_does_not_wait()

The main thing for the backport was the poll_table key and qproc
fields renames. We only enable this for kernels > 2.6.31 given that
these old fields only exist as of that kernel and this is currently
only used by video drivers which are only supported as of v3.2.

mcgrof@frijol ~/linux-next (git::master)$ git describe --contains 626cf236
v3.4-rc1~109^2~52

commit 626cf236608505d376e4799adb4f7eb00a8594af
Author: Hans Verkuil <hans.verkuil@cisco.com>
Date:   Fri Mar 23 15:02:27 2012 -0700

    poll: add poll_requested_events() and poll_does_not_wait() functions

    In some cases the poll() implementation in a driver has to do different
    things depending on the events the caller wants to poll for.  An example
    is when a driver needs to start a DMA engine if the caller polls for
    POLLIN, but doesn't want to do that if POLLIN is not requested but instead
    only POLLOUT or POLLPRI is requested.  This is something that can happen
    in the video4linux subsystem among others.

    Unfortunately, the current epoll/poll/select implementation doesn't
    provide that information reliably.  The poll_table_struct does have it: it
    has a key field with the event mask.  But once a poll() call matches one
    or more bits of that mask any following poll() calls are passed a NULL
    poll_table pointer.

    Also, the eventpoll implementation always left the key field at ~0 instead
    of using the requested events mask.

    This was changed in eventpoll.c so the key field now contains the actual
    events that should be polled for as set by the caller.

    The solution to the NULL poll_table pointer is to set the qproc field to
    NULL in poll_table once poll() matches the events, not the poll_table
    pointer itself.  That way drivers can obtain the mask through a new
    poll_requested_events inline.

    The poll_table_struct can still be NULL since some kernel code calls it
    internally (netfs_state_poll() in ./drivers/staging/pohmelfs/netfs.h).  In
    that case poll_requested_events() returns ~0 (i.e.  all events).

    Very rarely drivers might want to know whether poll_wait will actually
    wait.  If another earlier file descriptor in the set already matched the
    events the caller wanted to wait for, then the kernel will return from the
    select() call without waiting.  This might be useful information in order
    to avoid doing expensive work.

    A new helper function poll_does_not_wait() is added that drivers can use
    to detect this situation.  This is now used in sock_poll_wait() in
    include/net/sock.h.  This was the only place in the kernel that needed
    this information.

    Drivers should no longer access any of the poll_table internals, but use
    the poll_requested_events() and poll_does_not_wait() access functions
    instead.  In order to enforce that the poll_table fields are now prepended
    with an underscore and a comment was added warning against using them
    directly.

    This required a change in unix_dgram_poll() in unix/af_unix.c which used
    the key field to get the requested events.  It's been replaced by a call
    to poll_requested_events().

    For qproc it was especially important to change its name since the
    behavior of that field changes with this patch since this function pointer
    can now be NULL when that wasn't possible in the past.

    Any driver accessing the qproc or key fields directly will now fail to compile.

    Some notes regarding the correctness of this patch: the driver's poll()
    function is called with a 'struct poll_table_struct *wait' argument.  This
    pointer may or may not be NULL, drivers can never rely on it being one or
    the other as that depends on whether or not an earlier file descriptor in
    the select()'s fdset matched the requested events.

    There are only three things a driver can do with the wait argument:

    1) obtain the key field:

        events = wait ? wait->key : ~0;

       This will still work although it should be replaced with the new
       poll_requested_events() function (which does exactly the same).
       This will now even work better, since wait is no longer set to NULL
       unnecessarily.

    2) use the qproc callback. This could be deadly since qproc can now be
       NULL. Renaming qproc should prevent this from happening. There are no
       kernel drivers that actually access this callback directly, BTW.

    3) test whether wait == NULL to determine whether poll would return without
       waiting. This is no longer sufficient as the correct test is now
       wait == NULL || wait->_qproc == NULL.

       However, the worst that can happen here is a slight performance hit in
       the case where wait != NULL and wait->_qproc == NULL. In that case the
       driver will assume that poll_wait() will actually add the fd to the set
       of waiting file descriptors. Of course, poll_wait() will not do that
       since it tests for wait->_qproc. This will not break anything, though.

       There is only one place in the whole kernel where this happens
       (sock_poll_wait() in include/net/sock.h) and that code will be replaced
       by a call to poll_does_not_wait() in the next patch.

       Note that even if wait->_qproc != NULL drivers cannot rely on poll_wait()
       actually waiting. The next file descriptor from the set might match the
       event mask and thus any possible waits will never happen.

Signed-off-by: Hans Verkuil <hans.verkuil@cisco.com>
Reviewed-by: Jonathan Corbet <corbet@lwn.net>
Reviewed-by: Al Viro <viro@zeniv.linux.org.uk>
Cc: Davide Libenzi <davidel@xmailserver.org>
Signed-off-by: Hans de Goede <hdegoede@redhat.com>
Cc: Mauro Carvalho Chehab <mchehab@infradead.org>
Cc: David Miller <davem@davemloft.net>
Cc: Eric Dumazet <eric.dumazet@gmail.com>
Signed-off-by: Andrew Morton <akpm@linux-foundation.org>
Signed-off-by: Linus Torvalds <torvalds@linux-foundation.org>
Signed-off-by: Luis R. Rodriguez <mcgrof@do-not-panic.com>

compat: backport memweight()

mcgrof@frijol ~/linux-next (git::master)$ git describe --contains 639b9e34
v3.6-rc1~41^2~73

commit 639b9e34f15e4b2c30068a4e4485586af0cdf709
Author: Akinobu Mita <akinobu.mita@gmail.com>
Date:   Mon Jul 30 14:40:55 2012 -0700

    string: introduce memweight()

    memweight() is the function that counts the total number of bits set in
    memory area.  Unlike bitmap_weight(), memweight() takes pointer and size
    in bytes to specify a memory area which does not need to be aligned to
    long-word boundary.

    [akpm@linux-foundation.org: rename `w' to `ret']
Signed-off-by: Akinobu Mita <akinobu.mita@gmail.com>
Cc: Anders Larsen <al@alarsen.net>
Cc: Alasdair Kergon <agk@redhat.com>
Cc: Laurent Pinchart <laurent.pinchart@ideasonboard.com>
Cc: Mark Fasheh <mfasheh@suse.com>
Cc: Joel Becker <jlbec@evilplan.org>
Cc: Jan Kara <jack@suse.cz>
Cc: Andreas Dilger <adilger.kernel@dilger.ca>
Cc: "Theodore Ts'o" <tytso@mit.edu>
Cc: Matthew Wilcox <matthew@wil.cx>
Cc: Mauro Carvalho Chehab <mchehab@infradead.org>
Cc: Tony Luck <tony.luck@gmail.com>
Signed-off-by: Andrew Morton <akpm@linux-foundation.org>
Signed-off-by: Linus Torvalds <torvalds@linux-foundation.org>
Signed-off-by: Luis R. Rodriguez <mcgrof@do-not-panic.com>

backport ETH_P_802_3_MIN

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add the ability to include ALX

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

do post-processing after applying patches

Otherwise some patches might not apply, and anything
added in patches to the Kconfig won't work correctly.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add ethernet back

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add ability to read source files from git

Instead of having to have a checked-out kernel tree the
script can now read the files from a git revision when
passed the --git-revision <rev> argument. In this case
the kerneldir is taken as the git tree to use.

This helps when generating for multiple different trees.

Note that due to the need to invoke git many times this
is considerably slower than copying from a checkout. If
taking into account the time to create the checkout it's
still faster though.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

remove copy sanity check

If you get this wrong, it will error out while copying anyway.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

rename compat dir to backport

Then we can also move all the plumbing/ stuff into it.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

restore RHEL 6 configuration selections

This was trickier in the previous compat, but I think
this restores the required options for RHEL6.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

remove forgotten commented out line

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add own EXPERT Kconfig

Otherwise it depends on the kernel's configuration
which doesn't make all that much sense.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

adjust/fix ckmake

 * adjust to make allyesconfig ; make, it is necessary
   to pass KCONFIG_ALLCONFIG to "make allyesconfig"
 * don't use shell, build command ourselves
 * remove pointless ignore pattern with \

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add ckmake back under devel/ dir

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

change rfkill backport for RFKILL_TYPE_FM

RFKILL_TYPE_FM was only added in kernel 2.6.33.

Maybe we should just always add rfkill?

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix rfkill backport version

The API changes were only done in kernel 2.6.32.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix tracing backport

For kernels that didn't have correct tracing, it was broken.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

disable unused-but-set-variable warning

This warning happens all the time ...

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

allow multiple kernel version dependencies

I've been adding a bunch of dependencies that
override earlier ones but could be removed, so
make it more maintainable by allowing multiple
to be listed.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

disable BT_HIDP on kernels below 2.6.33

Only 2.6.33 introduced HID_QUIRK_NO_INIT_REPORTS, and
we don't backport that right now.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

make RFKILL_REGULATOR depend on 3.0

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

disable BCMA_DRIVER_GPIO until 3.0

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

make Bluetooth depend on 2.6.29

AMP code requires crypto shash, which was only added in
2.6.29.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add kernel version dependency for BCMA/SSB GPIO

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

always use included rfkill

This isn't really desirable, but for now fixes build on
some kernels.

What we really should do is rename all the rfkill to be
backport symbols, and use it only on kernels that didn't
have a usable rfkill. OTOH, on new kernels one may want
to use a backported rfkill if the base configuration
doesn't include it?

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

correct makefile for cordic/crc8

I allowed these to be modules by themselves, so they
need to be in the makefile as obj-$(...).

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add rt2x00 LED dependency

We don't carry a patch to disable uses of blink_set() in
the LED API, so rt2x00 LED support must depend on 2.6.25.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add LIBIPW_DEBUG 2.6.25 dependency

due to proc_create()

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

disable codel on 2.6.24

It doesn't build there, the old commentry said it was
due to the qdisc API but it also doesn't build because
of is_vmalloc_addr().

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix COMPAT_USB_URB_THREAD_FIX option

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

properly add SSB and BCMA

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add some non-verbose output

Now that it prints nothing at all, it's eery, add back some output :)

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add kernel version dependencies

Some drivers/subsystems/... can only build on certain newer
kernels, or were never tested elsewhere. Insert their version
dependencies into the output Kconfig.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

suppress patching output (unless in verbose mode)

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add dependencies file

This will be used to modify the Kconfig that we get to
make some things depend on certain kernel versions.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add a few compile time checks

Do a few sanity checks at compile time.

Actually it would be possible to do them at Kconfig time
and simply disable mac80211/cfg80211, but that wouldn't
be very discoverable, and it's a corner case anyway.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

properly backport EWMA functions

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

simplify and correct backported FW loader

The backported loader is selected by drivers
needing it, unless the in-kernel one is used,
so there's no need to provide the functions
for when it isn't built.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

copy rfkill header

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix backported fw loader

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix bluetooth ifdef

The recent kconfig shuffle broke this.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add ath5k tracing fix

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add kernel license/maintainers file to output

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add ssb/bcma includes

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

update .config before generating autoconf header

Otherwise, an invalid configuration file might be
used to generation the C configuration.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add brcm80211 makefile patch

The simple parser doesn't understand the variable
indirection (yet) and right now it's simpler and
faster to patch the makefiles rather than improve
the parser.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix --refresh option

The refresh option was only able to correctly handle
patch files that change a single file, fix this.

It's still desirable to have few changes per file,
but when a single patch makes sense for changes to
multiple files in a single driver.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

allow backported drivers to select backport options

This allows to have, for example, CRC8 still selected
by drivers (modified to BACKPORT_CRC8) and then build
the CRC8 code only conditionally on not having it in
the base kernel and being required by a driver.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

don't include Kconfig file that doesn't exist

The correct location is already included anyway.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

enable all wireless/bluetooth drivers

Pretty much like the old compat ...

However, ath5k doesn't build due to tracing, but I haven't
found the bug yet.

Also, brcm80211 make system is a big mess and doesn't quite
work right with the simple makefile parser here.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add BACKPORT_BT_SOCK_CREATE_NEEDS_KERN config symbol

Also need to rename it in the patch.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

ignore patch files ending with ~

These are typically editor backup files.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

allow renaming while copying

This will be useful for the rfkill backport.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add Bluetooth Kconfig/Makefile stuff

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add rfkill

This doesn't really work yet though ...

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

apply patches more robustly

Treat each directory with only files as a patchdir.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

apply patches correctly

Not all patch dirs hold an INFO file, so don't require it.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

rename patch files to .patch

They can be named after the C files they apply to,
but they should still be named .patch.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

move orig/rej file removal

This needs to be after each patch.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add -a git commit to catch deleted files in debug

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

use BACKPORT_PWD variable in makefiles

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

disable impossible symbols

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

split kconfig symbol list

The regular expression engine only supports a limited
number of groups, so split the kconfig symbol list
into chunks of 50 for the mangling.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add --refresh option

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

make debug snapshots per applied patchset

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

remove tracing patches

These are causing issues and it seems like the
current approach should work even without them.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

remove orig/rej files after patching

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

apply patches when creating the output

Apply all the patches that are needed according
to the first file in each ... currently all the
patches are split up by file though.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

remove unused os.getcwd()

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

remove some unneeded patches

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

copy needed includes

Copy the necessary include files for the different
components, without them obviously nothing builds.

This necessitated using an own copytree() implementation
that doesn't error when a target directory already exists.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

remove Kconfig.kernel

It's generated at build time later, no need to copy an
empty file into the output directory.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

comment copy-list

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add "config WIRELESS"

This is needed as we don't copy net/Kconfig and that
has the symbol. It's OK to specify a symbol twice in
Kconfig files so this works even when the base kernel
already has the option enabled.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>