rhashtable: use cmpxchg() in nested_table_alloc()
authorNeilBrown <neilb@suse.com>
Mon, 1 Apr 2019 23:07:45 +0000 (10:07 +1100)
committerDavid S. Miller <davem@davemloft.net>
Mon, 8 Apr 2019 02:12:12 +0000 (19:12 -0700)
nested_table_alloc() relies on the fact that there is
at most one spinlock allocated for every slot in the top
level nested table, so it is not possible for two threads
to try to allocate the same table at the same time.

This assumption is a little fragile (it is not explicit) and is
unnecessary as cmpxchg() can be used instead.

A future patch will replace the spinlocks by per-bucket bitlocks,
and then we won't be able to protect the slot pointer with a spinlock.

So replace rcu_assign_pointer() with cmpxchg() - which has equivalent
barrier properties.
If it the cmp fails, free the table that was just allocated.

Signed-off-by: NeilBrown <neilb@suse.com>
Signed-off-by: David S. Miller <davem@davemloft.net>
lib/rhashtable.c

index 811d51b7cb86a2eb7e21e6c81525da0648eac509..6c4f5c8e9baa6ef85bd7e690f0b30c9ea7ad0f4b 100644 (file)
@@ -131,9 +131,11 @@ static union nested_table *nested_table_alloc(struct rhashtable *ht,
                        INIT_RHT_NULLS_HEAD(ntbl[i].bucket);
        }
 
-       rcu_assign_pointer(*prev, ntbl);
-
-       return ntbl;
+       if (cmpxchg(prev, NULL, ntbl) == NULL)
+               return ntbl;
+       /* Raced with another thread. */
+       kfree(ntbl);
+       return rcu_dereference(*prev);
 }
 
 static struct bucket_table *nested_bucket_table_alloc(struct rhashtable *ht,