mm: adaptive hash table scaling
authorPavel Tatashin <pasha.tatashin@oracle.com>
Thu, 6 Jul 2017 22:39:14 +0000 (15:39 -0700)
committerLinus Torvalds <torvalds@linux-foundation.org>
Thu, 6 Jul 2017 23:24:33 +0000 (16:24 -0700)
commit9017217b6f45e9045b2621b02cbc5605a566b803
tree7b3c5a784df699bce9ada4f741605c1098c5d868
parent3d375d78593cd5daeead34ed3279c4ff63dd04f2
mm: adaptive hash table scaling

Allow hash tables to scale with memory but at slower pace, when
HASH_ADAPT is provided every time memory quadruples the sizes of hash
tables will only double instead of quadrupling as well.  This algorithm
starts working only when memory size reaches a certain point, currently
set to 64G.

This is example of dentry hash table size, before and after four various
memory configurations:

MEMORY    SCALE  HASH_SIZE
old new old new
    8G  13  13      8M      8M
   16G  13  13     16M     16M
   32G  13  13     32M     32M
   64G  13  13     64M     64M
  128G  13  14    128M     64M
  256G  13  14    256M    128M
  512G  13  15    512M    128M
 1024G  13  15   1024M    256M
 2048G  13  16   2048M    256M
 4096G  13  16   4096M    512M
 8192G  13  17   8192M    512M
16384G  13  17  16384M   1024M
32768G  13  18  32768M   1024M
65536G  13  18  65536M   2048M

The effect of this change on runtime is undetectable as filesystem
growth is not proportional to machine memory size as is currently
assumed.  The change effects only large memory machine.  Additional
tuning might be needed, but that can be done by the clients of the
kmem_cache_create interface, not the generic cache allocator itself.

The adaptive hashing is disabled on 32 bit systems to avoid confusion of
whether base should be different for smaller systems, and to avoid
overflows.

[mhocko@suse.com: drop HASH_ADAPT]
Link: http://lkml.kernel.org/r/20170509094607.GG6481@dhcp22.suse.cz
[pasha.tatashin@oracle.com: UL -> ULL fix]
Link: http://lkml.kernel.org/r/1495300013-653283-2-git-send-email-pasha.tatashin@oracle.com
[pasha.tatashin@oracle.com: disable adaptive hash on 32 bit systems]
Link: http://lkml.kernel.org/r/1495469329-755807-2-git-send-email-pasha.tatashin@oracle.com
Link: http://lkml.kernel.org/r/1488432825-92126-5-git-send-email-pasha.tatashin@oracle.com
Signed-off-by: Pavel Tatashin <pasha.tatashin@oracle.com>
Signed-off-by: Michal Hocko <mhocko@suse.com>
Acked-by: Michal Hocko <mhocko@suse.com>
Cc: David Miller <davem@davemloft.net>
Cc: Al Viro <viro@zeniv.linux.org.uk>
Cc: Babu Moger <babu.moger@oracle.com>
Signed-off-by: Andrew Morton <akpm@linux-foundation.org>
Signed-off-by: Linus Torvalds <torvalds@linux-foundation.org>
mm/page_alloc.c