gentree: add ability to create automatic backports

Instead of manually copying code like HDMI and dma-buf,
add the ability to just specify such backports in the
Kconfig file for compat. This will then always update
to the lastest code as well.

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

gentree: fix rename bug in --git-revision option

The --git-revision option didn't handle file/dir renames
correctly, fix that.

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

kconfig lib: make tree walking a generator

Instead of building the list in memory first, just
use a generator.

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

rediff patches against next-20130404

With the previous two patches, next-20130404 passes ckmake --allyesconfig.

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

backport a define for SOCK_SELECT_ERR_QUEUE

This is a bit tricky, but it works because adding 14 to
SOCK_QUEUE_SHRUNK will always reach a bit that can't be
set on older kernels anyway.

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

backport PDE_DATA for Bluetooth in linux-next

This backports "procfs: new helper - PDE_DATA(inode)".

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

gentree: fix file copying bug

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

git tracker: handle temporary failures better

If there are multiple commits in the source kernel, one
of which causes backporting failures (ie. patches don't
apply), and a subsequent one fixes it, the output is
very confusing because it skips the failing commit.

Change the script to generate a combination commit in
this case that contains the shortlog of all the commits
inbetween that were broken.

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

git tracker: rename 'prefail' to 'last-success'

That's more obvious ...

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

git tracker: override committer/author in commits

For commits generated by the git tracker, the committer
should always be set to the script, and for those that
are "meta commits" (like failures or backport updates)
the author should also be set to it.

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

doc: clarify why symbol renaming is needed

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

more symbol fixup needed for latest RHEL6.3 kernels

These changes will allow compat.ko to load properly on the latest released
RHEL6.3 errata kernels.

Reported here: https://bugzilla.kernel.org/show_bug.cgi?id=55971

Signed-off-by: Andy Gospodarek <andy@greyhouse.net>
Signed-off-by: Johannes Berg <johannes.berg@intel.com>

fixup error when LINUX_BACKPORT macro was added

Commit a05e783cb8853210628bd1f2bd82d17dd004c9d1 did not properly
backport the symbols for:

schedule_delayed_work
schedule_delayed_work_on

as it left the 'compat' string there when adding the LINUX_BACKPORT
symbol.  This resulted in these two not getting redefined and kernels
with these backported resulted in duplicate symbols when trying to load
compat.ko.

Signed-off-by: Andy Gospodarek <andy@greyhouse.net>
Signed-off-by: Johannes Berg <johannes.berg@intel.com>

build system: handle int Kconfig options in autoconf header

Add a line of shell script code to handle int Kconfig
options when creating the autoconf header.

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

refresh patches against next-20130328

The patches were last refreshed against that same tree,
so the only change is that now we have -p in there, which
results in changes like this (only):

-@@ -1593,7 +1593,7 @@
+@@ -1593,7 +1593,7 @@ static int nl80211_dump_wiphy(struct sk_

This makes the patches more readable.

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

gentree: add -p option to diff when refreshing patches

This generally makes patches more readable to humans
and has no impact on the tools.

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

gentree: fix describe version bug

With the --git-revision option, that revision needs
to be used for the output version, not 'HEAD'.

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

add some kconfig/make system documentation

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

git tracker: don't chdir, remove verbose argument

Signed-off-by: Johannes Berg <johannes.berg@intel.com>

gitignore: add more build artifacts

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

git tracker: allow creating defconfig symlink

This makes it possible to do just 'make' in the output
tree, rather than having to configure first.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

kconfig: add --as-needed

18:07 < *thierryE> It's seems that for my ld version, parameters order matters
18:07 < *thierryE> Yep
18:07 < *thierryE> mconf: LDFLAGS = -Wl,--no-as-needed -lncurses
18:08 < johill> so just add the -Wl,--no-as-needed ?
18:08 < *thierryE> Yes
18:08 < *thierryE> --as-needed is enabled by default for some config

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add more stuff to output .gitignore

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add kconfig binaries to output .gitignore

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

git tracker: override versions file

Otherwise it keeps changing.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

gentree: fix bug in version file writing

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

git lib: suppress messages from shortlog

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

git-tracker: fix small bug

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add .gitignore to output directory

When using the git-tracker, this is very useful.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

devel: add git tracker helper script

This allows creating a git tree based on the backport
output automatically, to track an upstream kernel tree.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

gentree: remove pointless code

There's no need to join a path with nothing ...

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

gentree: make lib directory a python module

That will make it easier to use gentree and/or git
helpers from other scripts.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

build: add defconfig files

This enables users to more easily select the driver that
they need, and us to ship default configurations that we
prefer for that driver. Add iwlwifi as the first example.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

build: add simple 'install' target

This really just installs the modules, everything else
is still missing.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

build: fix defconfig usage

The make target vs. filename got confusing and the
invocation of the conf program was wrong as well;
fix both issues.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

build: read KLIB variable

Some scripts may rely on setting KLIB rather than
KLIB_BUILD, particularly for an install target,
so read that variable.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

gentree: make output configurable

It might not always have to go to stdout, so make
a function to print it and use that.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

gentree: fix return code

The recent shuffling broke the return value, return it.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

Revert "fix compat dependencies"

This reverts commit 4f321aefd84259e8f44ff9d080ffdf7ac41290c4.

That didn't work if the symbol isn't defined at all ...

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix compat dependencies

Apparently "depends on !FOO" will be OK if FOO=m,
which isn't what we want, so make it FOO = n.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

correct crc8 include file

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

explain Kconfig recipe better, adjust existing code

The Kconfig recipes for backporting need a bit more
explanation, add that. Also adjust the existing ones.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

correct makefile/kconfig mangling

Due to reordering the steps, the makefile and kconfig
mangling needs to be changed a bit, make it more robust.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

gentree: change to make external use possible

Change the scripting a bit to make it possible to
import the gentree script as a module to call it.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

ckmake: parallelise even allyesconfig/allnoconfig

There are two C files to build in there :-)

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

hard-code list of backport files

This avoids accidentally copying files that are in the
local, possibly dirty, working directory.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix EWMA backport

If backporting to a kernel that already has it, the
symbol mangling shouldn't be done ...

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add more .PHONY

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

some makefile cleanups

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

allow defconfig to work

This allows shipping a 'defconfig' file in the output and
then just "make" works, taking the config from there and
setting everything else to the default.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

ckmake: default to just building compat

but add --allyesconfig option

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

build fw loader only for kernel 2.6.32 and lower

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix the previous commit ...

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add compat testing option

Add the BACKPORT_USERSEL_BUILD_ALL option that selects
all the backported stuff drivers would otherwise have.
This allows testing all the backported code without
compiling all drivers.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add comments, small fixes

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

compat: backport poll_requested_events() and poll_does_not_wait()

The main thing for the backport was the poll_table key and qproc
fields renames. We only enable this for kernels > 2.6.31 given that
these old fields only exist as of that kernel and this is currently
only used by video drivers which are only supported as of v3.2.

mcgrof@frijol ~/linux-next (git::master)$ git describe --contains 626cf236
v3.4-rc1~109^2~52

commit 626cf236608505d376e4799adb4f7eb00a8594af
Author: Hans Verkuil <hans.verkuil@cisco.com>
Date:   Fri Mar 23 15:02:27 2012 -0700

    poll: add poll_requested_events() and poll_does_not_wait() functions

    In some cases the poll() implementation in a driver has to do different
    things depending on the events the caller wants to poll for.  An example
    is when a driver needs to start a DMA engine if the caller polls for
    POLLIN, but doesn't want to do that if POLLIN is not requested but instead
    only POLLOUT or POLLPRI is requested.  This is something that can happen
    in the video4linux subsystem among others.

    Unfortunately, the current epoll/poll/select implementation doesn't
    provide that information reliably.  The poll_table_struct does have it: it
    has a key field with the event mask.  But once a poll() call matches one
    or more bits of that mask any following poll() calls are passed a NULL
    poll_table pointer.

    Also, the eventpoll implementation always left the key field at ~0 instead
    of using the requested events mask.

    This was changed in eventpoll.c so the key field now contains the actual
    events that should be polled for as set by the caller.

    The solution to the NULL poll_table pointer is to set the qproc field to
    NULL in poll_table once poll() matches the events, not the poll_table
    pointer itself.  That way drivers can obtain the mask through a new
    poll_requested_events inline.

    The poll_table_struct can still be NULL since some kernel code calls it
    internally (netfs_state_poll() in ./drivers/staging/pohmelfs/netfs.h).  In
    that case poll_requested_events() returns ~0 (i.e.  all events).

    Very rarely drivers might want to know whether poll_wait will actually
    wait.  If another earlier file descriptor in the set already matched the
    events the caller wanted to wait for, then the kernel will return from the
    select() call without waiting.  This might be useful information in order
    to avoid doing expensive work.

    A new helper function poll_does_not_wait() is added that drivers can use
    to detect this situation.  This is now used in sock_poll_wait() in
    include/net/sock.h.  This was the only place in the kernel that needed
    this information.

    Drivers should no longer access any of the poll_table internals, but use
    the poll_requested_events() and poll_does_not_wait() access functions
    instead.  In order to enforce that the poll_table fields are now prepended
    with an underscore and a comment was added warning against using them
    directly.

    This required a change in unix_dgram_poll() in unix/af_unix.c which used
    the key field to get the requested events.  It's been replaced by a call
    to poll_requested_events().

    For qproc it was especially important to change its name since the
    behavior of that field changes with this patch since this function pointer
    can now be NULL when that wasn't possible in the past.

    Any driver accessing the qproc or key fields directly will now fail to compile.

    Some notes regarding the correctness of this patch: the driver's poll()
    function is called with a 'struct poll_table_struct *wait' argument.  This
    pointer may or may not be NULL, drivers can never rely on it being one or
    the other as that depends on whether or not an earlier file descriptor in
    the select()'s fdset matched the requested events.

    There are only three things a driver can do with the wait argument:

    1) obtain the key field:

        events = wait ? wait->key : ~0;

       This will still work although it should be replaced with the new
       poll_requested_events() function (which does exactly the same).
       This will now even work better, since wait is no longer set to NULL
       unnecessarily.

    2) use the qproc callback. This could be deadly since qproc can now be
       NULL. Renaming qproc should prevent this from happening. There are no
       kernel drivers that actually access this callback directly, BTW.

    3) test whether wait == NULL to determine whether poll would return without
       waiting. This is no longer sufficient as the correct test is now
       wait == NULL || wait->_qproc == NULL.

       However, the worst that can happen here is a slight performance hit in
       the case where wait != NULL and wait->_qproc == NULL. In that case the
       driver will assume that poll_wait() will actually add the fd to the set
       of waiting file descriptors. Of course, poll_wait() will not do that
       since it tests for wait->_qproc. This will not break anything, though.

       There is only one place in the whole kernel where this happens
       (sock_poll_wait() in include/net/sock.h) and that code will be replaced
       by a call to poll_does_not_wait() in the next patch.

       Note that even if wait->_qproc != NULL drivers cannot rely on poll_wait()
       actually waiting. The next file descriptor from the set might match the
       event mask and thus any possible waits will never happen.

Signed-off-by: Hans Verkuil <hans.verkuil@cisco.com>
Reviewed-by: Jonathan Corbet <corbet@lwn.net>
Reviewed-by: Al Viro <viro@zeniv.linux.org.uk>
Cc: Davide Libenzi <davidel@xmailserver.org>
Signed-off-by: Hans de Goede <hdegoede@redhat.com>
Cc: Mauro Carvalho Chehab <mchehab@infradead.org>
Cc: David Miller <davem@davemloft.net>
Cc: Eric Dumazet <eric.dumazet@gmail.com>
Signed-off-by: Andrew Morton <akpm@linux-foundation.org>
Signed-off-by: Linus Torvalds <torvalds@linux-foundation.org>
Signed-off-by: Luis R. Rodriguez <mcgrof@do-not-panic.com>

compat: backport memweight()

mcgrof@frijol ~/linux-next (git::master)$ git describe --contains 639b9e34
v3.6-rc1~41^2~73

commit 639b9e34f15e4b2c30068a4e4485586af0cdf709
Author: Akinobu Mita <akinobu.mita@gmail.com>
Date:   Mon Jul 30 14:40:55 2012 -0700

    string: introduce memweight()

    memweight() is the function that counts the total number of bits set in
    memory area.  Unlike bitmap_weight(), memweight() takes pointer and size
    in bytes to specify a memory area which does not need to be aligned to
    long-word boundary.

    [akpm@linux-foundation.org: rename `w' to `ret']
Signed-off-by: Akinobu Mita <akinobu.mita@gmail.com>
Cc: Anders Larsen <al@alarsen.net>
Cc: Alasdair Kergon <agk@redhat.com>
Cc: Laurent Pinchart <laurent.pinchart@ideasonboard.com>
Cc: Mark Fasheh <mfasheh@suse.com>
Cc: Joel Becker <jlbec@evilplan.org>
Cc: Jan Kara <jack@suse.cz>
Cc: Andreas Dilger <adilger.kernel@dilger.ca>
Cc: "Theodore Ts'o" <tytso@mit.edu>
Cc: Matthew Wilcox <matthew@wil.cx>
Cc: Mauro Carvalho Chehab <mchehab@infradead.org>
Cc: Tony Luck <tony.luck@gmail.com>
Signed-off-by: Andrew Morton <akpm@linux-foundation.org>
Signed-off-by: Linus Torvalds <torvalds@linux-foundation.org>
Signed-off-by: Luis R. Rodriguez <mcgrof@do-not-panic.com>

backport ETH_P_802_3_MIN

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add the ability to include ALX

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

do post-processing after applying patches

Otherwise some patches might not apply, and anything
added in patches to the Kconfig won't work correctly.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add ethernet back

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add ability to read source files from git

Instead of having to have a checked-out kernel tree the
script can now read the files from a git revision when
passed the --git-revision <rev> argument. In this case
the kerneldir is taken as the git tree to use.

This helps when generating for multiple different trees.

Note that due to the need to invoke git many times this
is considerably slower than copying from a checkout. If
taking into account the time to create the checkout it's
still faster though.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

remove copy sanity check

If you get this wrong, it will error out while copying anyway.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

rename compat dir to backport

Then we can also move all the plumbing/ stuff into it.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

restore RHEL 6 configuration selections

This was trickier in the previous compat, but I think
this restores the required options for RHEL6.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

remove forgotten commented out line

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add own EXPERT Kconfig

Otherwise it depends on the kernel's configuration
which doesn't make all that much sense.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

adjust/fix ckmake

 * adjust to make allyesconfig ; make, it is necessary
   to pass KCONFIG_ALLCONFIG to "make allyesconfig"
 * don't use shell, build command ourselves
 * remove pointless ignore pattern with \

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add ckmake back under devel/ dir

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

change rfkill backport for RFKILL_TYPE_FM

RFKILL_TYPE_FM was only added in kernel 2.6.33.

Maybe we should just always add rfkill?

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix rfkill backport version

The API changes were only done in kernel 2.6.32.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix tracing backport

For kernels that didn't have correct tracing, it was broken.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

disable unused-but-set-variable warning

This warning happens all the time ...

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

allow multiple kernel version dependencies

I've been adding a bunch of dependencies that
override earlier ones but could be removed, so
make it more maintainable by allowing multiple
to be listed.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

disable BT_HIDP on kernels below 2.6.33

Only 2.6.33 introduced HID_QUIRK_NO_INIT_REPORTS, and
we don't backport that right now.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

make RFKILL_REGULATOR depend on 3.0

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

disable BCMA_DRIVER_GPIO until 3.0

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

make Bluetooth depend on 2.6.29

AMP code requires crypto shash, which was only added in
2.6.29.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add kernel version dependency for BCMA/SSB GPIO

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

always use included rfkill

This isn't really desirable, but for now fixes build on
some kernels.

What we really should do is rename all the rfkill to be
backport symbols, and use it only on kernels that didn't
have a usable rfkill. OTOH, on new kernels one may want
to use a backported rfkill if the base configuration
doesn't include it?

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

correct makefile for cordic/crc8

I allowed these to be modules by themselves, so they
need to be in the makefile as obj-$(...).

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add rt2x00 LED dependency

We don't carry a patch to disable uses of blink_set() in
the LED API, so rt2x00 LED support must depend on 2.6.25.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add LIBIPW_DEBUG 2.6.25 dependency

due to proc_create()

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

disable codel on 2.6.24

It doesn't build there, the old commentry said it was
due to the qdisc API but it also doesn't build because
of is_vmalloc_addr().

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix COMPAT_USB_URB_THREAD_FIX option

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

properly add SSB and BCMA

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add some non-verbose output

Now that it prints nothing at all, it's eery, add back some output :)

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add kernel version dependencies

Some drivers/subsystems/... can only build on certain newer
kernels, or were never tested elsewhere. Insert their version
dependencies into the output Kconfig.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

suppress patching output (unless in verbose mode)

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add dependencies file

This will be used to modify the Kconfig that we get to
make some things depend on certain kernel versions.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add a few compile time checks

Do a few sanity checks at compile time.

Actually it would be possible to do them at Kconfig time
and simply disable mac80211/cfg80211, but that wouldn't
be very discoverable, and it's a corner case anyway.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

properly backport EWMA functions

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

simplify and correct backported FW loader

The backported loader is selected by drivers
needing it, unless the in-kernel one is used,
so there's no need to provide the functions
for when it isn't built.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

copy rfkill header

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix backported fw loader

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

fix bluetooth ifdef

The recent kconfig shuffle broke this.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add ath5k tracing fix

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add kernel license/maintainers file to output

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

add ssb/bcma includes

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>

update .config before generating autoconf header

Otherwise, an invalid configuration file might be
used to generation the C configuration.

Signed-off-by: Johannes Berg <johannes@sipsolutions.net>