bpf: in bpf_skb_adjust_room avoid copy in tx fast path
authorWillem de Bruijn <willemb@google.com>
Fri, 22 Mar 2019 18:32:48 +0000 (14:32 -0400)
committerAlexei Starovoitov <ast@kernel.org>
Fri, 22 Mar 2019 20:52:44 +0000 (13:52 -0700)
commit908adce6465394ea4a09c144507a40848e1d7db5
tree66de746db63360ef93f6903622771305168f53c0
parentf6827526279d75f0b1c1605b1bf560024bd7696f
bpf: in bpf_skb_adjust_room avoid copy in tx fast path

bpf_skb_adjust_room calls skb_cow on grow.

This expensive operation can be avoided in the fast path when the only
other clone has released the header. This is the common case for TCP,
where one headerless clone is kept on the retransmit queue.

It is safe to do so even when touching the gso fields in skb_shinfo.
Regular tunnel encap with iptunnel_handle_offloads takes the same
optimization.

The tcp stack unclones in the unlikely case that it accesses these
fields through headerless clones packets on the retransmit queue (see
__tcp_retransmit_skb).

If any other clones are present, e.g., from packet sockets,
skb_cow_head returns the same value as skb_cow().

Signed-off-by: Willem de Bruijn <willemb@google.com>
Signed-off-by: Alexei Starovoitov <ast@kernel.org>
net/core/filter.c