| /include/net/ |
| A D | netmem.h | 198 return __netmem_to_page(netmem); in netmem_to_page()
203 if (netmem_is_net_iov(netmem)) in netmem_to_net_iov()
236 if (netmem_is_net_iov(netmem)) in netmem_ref_count()
244 if (netmem_is_net_iov(netmem)) in netmem_pfn_trace()
337 if (netmem_is_net_iov(netmem)) in netmem_is_pref_nid()
346 if (netmem_is_net_iov(netmem)) in netmem_compound_head()
347 return netmem; in netmem_compound_head()
370 if (netmem_is_net_iov(netmem)) in netmem_address()
373 return __netmem_address(netmem); in netmem_address()
385 if (netmem_is_net_iov(netmem)) in netmem_is_pfmemalloc()
[all …]
|
| A D | xdp.h | 169 void xdp_return_frag(netmem_ref netmem, const struct xdp_buff *xdp);
190 static inline bool __xdp_buff_add_frag(struct xdp_buff *xdp, netmem_ref netmem, in __xdp_buff_add_frag() argument
211 if (try_coalesce && netmem == skb_frag_netmem(prev) && in __xdp_buff_add_frag()
215 xdp_return_frag(netmem, xdp); in __xdp_buff_add_frag()
220 __skb_fill_netmem_desc_noacc(sinfo, nr_frags++, netmem, in __xdp_buff_add_frag()
244 static inline bool xdp_buff_add_frag(struct xdp_buff *xdp, netmem_ref netmem, in xdp_buff_add_frag() argument
247 if (!__xdp_buff_add_frag(xdp, netmem, offset, size, truesize, true)) in xdp_buff_add_frag()
250 if (unlikely(netmem_is_pfmemalloc(netmem))) in xdp_buff_add_frag()
409 void __xdp_return(netmem_ref netmem, enum xdp_mem_type mem_type,
|
| /include/trace/events/ |
| A D | page_pool.h | 45 netmem_ref netmem, u32 release),
47 TP_ARGS(pool, netmem, release),
51 __field(unsigned long, netmem)
58 __entry->netmem = (__force unsigned long)netmem;
60 __entry->pfn = netmem_pfn_trace(netmem);
64 __entry->pool, (void *)__entry->netmem,
71 netmem_ref netmem, u32 hold),
73 TP_ARGS(pool, netmem, hold),
77 __field(unsigned long, netmem)
84 __entry->netmem = (__force unsigned long)netmem;
[all …]
|
| /include/net/page_pool/ |
| A D | helpers.h | 123 netmem_ref netmem; in page_pool_alloc_netmem() local
132 if (unlikely(!netmem)) in page_pool_alloc_netmem()
144 return netmem; in page_pool_alloc_netmem()
328 return page_pool_unref_netmem(netmem, 1) == 0; in page_pool_unref_and_test()
332 netmem_ref netmem, in page_pool_put_netmem() argument
340 if (!page_pool_unref_and_test(netmem)) in page_pool_put_netmem()
370 netmem_ref netmem, in page_pool_put_full_netmem() argument
406 netmem_ref netmem) in page_pool_recycle_direct_netmem() argument
408 page_pool_put_full_netmem(pool, netmem, true); in page_pool_recycle_direct_netmem()
430 dma_addr_t ret = netmem_get_dma_addr(netmem); in page_pool_get_dma_addr_netmem()
[all …]
|
| A D | memory_provider.h | 14 bool (*release_netmem)(struct page_pool *pool, netmem_ref netmem);
46 netmem_ref netmem) in net_mp_netmem_place_in_cache() argument
48 pool->alloc.cache[pool->alloc.count++] = netmem; in net_mp_netmem_place_in_cache()
|
| A D | types.h | 94 void (*init_callback)(netmem_ref netmem, void *arg);
291 void page_pool_put_unrefed_netmem(struct page_pool *pool, netmem_ref netmem,
|
| /include/linux/ |
| A D | skbuff_ref.h | 35 bool napi_pp_put_page(netmem_ref netmem);
37 static inline void skb_page_unref(netmem_ref netmem, bool recycle) in skb_page_unref() argument
40 if (recycle && napi_pp_put_page(netmem)) in skb_page_unref()
43 put_netmem(netmem); in skb_page_unref()
|
| A D | skbuff.h | 362 netmem_ref netmem; member
2504 netmem_ref netmem, int off, in skb_frag_fill_netmem_desc() argument
2507 frag->netmem = netmem; in skb_frag_fill_netmem_desc()
2520 int i, netmem_ref netmem, in __skb_fill_netmem_desc_noacc() argument
2568 if (netmem_is_net_iov(netmem)) { in __skb_fill_netmem_desc()
2573 page = netmem_to_page(netmem); in __skb_fill_netmem_desc()
3618 return netmem_is_net_iov(frag->netmem); in skb_frag_is_net_iov()
3648 return netmem_to_page(frag->netmem); in skb_frag_page()
3659 return frag->netmem; in skb_frag_netmem()
3712 fragto->netmem = fragfrom->netmem; in skb_frag_page_copy()
[all …]
|
| /include/net/libeth/ |
| A D | rx.h | 45 netmem_ref netmem; member
109 buf->netmem = page_pool_dev_alloc_netmem(fq->pp, &buf->offset, in libeth_rx_alloc()
111 if (unlikely(!buf->netmem)) in libeth_rx_alloc()
114 return page_pool_get_dma_addr_netmem(buf->netmem) + buf->offset + in libeth_rx_alloc()
118 void libeth_rx_recycle_slow(netmem_ref netmem);
134 netmem_ref netmem = fqe->netmem; in libeth_rx_sync_for_cpu() local
141 libeth_rx_recycle_slow(netmem); in libeth_rx_sync_for_cpu()
145 page_pool_dma_sync_netmem_for_cpu(netmem_get_pp(netmem), netmem, in libeth_rx_sync_for_cpu()
|
| A D | xdp.h | 721 netmem_ref netmem; in libeth_xdp_tx_fill_buf() local
732 netmem = skb_frag_netmem(frag); in libeth_xdp_tx_fill_buf()
734 .addr = page_pool_get_dma_addr_netmem(netmem) + in libeth_xdp_tx_fill_buf()
740 dma_sync_single_for_device(__netmem_get_pp(netmem)->p.dev, desc.addr, in libeth_xdp_tx_fill_buf()
1225 netmem_ref netmem = virt_to_netmem(data); in libeth_xdp_return_va() local
1227 page_pool_put_full_netmem(__netmem_get_pp(netmem), netmem, napi); in libeth_xdp_return_va()
1234 netmem_ref netmem = skb_frag_netmem(&sinfo->frags[i]); in libeth_xdp_return_frags() local
1236 page_pool_put_full_netmem(netmem_get_pp(netmem), netmem, napi); in libeth_xdp_return_frags()
1283 const struct page *page = __netmem_to_page(fqe->netmem); in libeth_xdp_prepare_buff()
|