Searched refs:netmem (Results 1 – 11 of 11) sorted by relevance
| /net/core/ |
| A D | page_pool.c | 414 netmem = 0; in page_pool_refill_alloc_cache()
425 return netmem; in page_pool_refill_alloc_cache()
442 return netmem; in __page_pool_get_cached()
595 netmem = 0; in __page_pool_alloc_netmems_slow()
599 return netmem; in __page_pool_alloc_netmems_slow()
611 if (netmem) in page_pool_alloc_netmems()
867 netmem = __page_pool_put_page(pool, netmem, dma_sync_size, in page_pool_put_unrefed_netmem()
869 if (netmem && !page_pool_recycle_in_ring(pool, netmem)) { in page_pool_put_unrefed_netmem()
969 netmem = __page_pool_put_page(pool, netmem, -1, in page_pool_put_netmem_bulk()
972 if (netmem) in page_pool_put_netmem_bulk()
[all …]
|
| A D | netmem_priv.h | 13 __netmem_clear_lsb(netmem)->pp_magic |= pp_magic; in netmem_or_pp_magic()
16 static inline void netmem_clear_pp_magic(netmem_ref netmem) in netmem_clear_pp_magic() argument
20 __netmem_clear_lsb(netmem)->pp_magic = 0; in netmem_clear_pp_magic()
23 static inline bool netmem_is_pp(netmem_ref netmem) in netmem_is_pp() argument
30 __netmem_clear_lsb(netmem)->pp = pool; in netmem_set_pp()
33 static inline void netmem_set_dma_addr(netmem_ref netmem, in netmem_set_dma_addr() argument
36 __netmem_clear_lsb(netmem)->dma_addr = dma_addr; in netmem_set_dma_addr()
43 if (WARN_ON_ONCE(netmem_is_net_iov(netmem))) in netmem_get_dma_index()
46 magic = __netmem_clear_lsb(netmem)->pp_magic; in netmem_get_dma_index()
56 if (WARN_ON_ONCE(netmem_is_net_iov(netmem))) in netmem_set_dma_index()
[all …]
|
| A D | page_pool_priv.h | 19 page_pool_set_dma_addr_netmem(netmem_ref netmem, dma_addr_t addr) in page_pool_set_dma_addr_netmem() argument
22 netmem_set_dma_addr(netmem, addr >> PAGE_SHIFT); in page_pool_set_dma_addr_netmem()
27 return addr != (dma_addr_t)netmem_get_dma_addr(netmem) in page_pool_set_dma_addr_netmem()
31 netmem_set_dma_addr(netmem, addr); in page_pool_set_dma_addr_netmem()
41 void page_pool_set_pp_info(struct page_pool *pool, netmem_ref netmem);
42 void page_pool_clear_pp_info(netmem_ref netmem);
47 netmem_ref netmem) in page_pool_set_pp_info() argument
50 static inline void page_pool_clear_pp_info(netmem_ref netmem) in page_pool_clear_pp_info() argument
|
| A D | devmem.c | 419 netmem_ref netmem; in mp_dmabuf_devmem_alloc_netmems() local
425 netmem = net_iov_to_netmem(niov); in mp_dmabuf_devmem_alloc_netmems()
427 page_pool_set_pp_info(pool, netmem); in mp_dmabuf_devmem_alloc_netmems()
430 trace_page_pool_state_hold(pool, netmem, pool->pages_state_hold_cnt); in mp_dmabuf_devmem_alloc_netmems()
431 return netmem; in mp_dmabuf_devmem_alloc_netmems()
441 bool mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page() argument
443 long refcount = atomic_long_read(netmem_get_pp_ref_count_ref(netmem)); in mp_dmabuf_devmem_release_page()
445 if (WARN_ON_ONCE(!netmem_is_net_iov(netmem))) in mp_dmabuf_devmem_release_page()
451 page_pool_clear_pp_info(netmem); in mp_dmabuf_devmem_release_page()
453 net_devmem_free_dmabuf(netmem_to_net_iov(netmem)); in mp_dmabuf_devmem_release_page()
|
| A D | mp_dmabuf_devmem.h | 20 bool mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem);
38 mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page() argument
|
| A D | xdp.c | 433 void __xdp_return(netmem_ref netmem, enum xdp_mem_type mem_type, in __xdp_return() argument
438 netmem = netmem_compound_head(netmem); in __xdp_return()
444 page_pool_put_full_netmem(netmem_get_pp(netmem), netmem, in __xdp_return()
448 page_frag_free(__netmem_address(netmem)); in __xdp_return()
451 put_page(__netmem_to_page(netmem)); in __xdp_return()
543 void xdp_return_frag(netmem_ref netmem, const struct xdp_buff *xdp) in xdp_return_frag() argument
545 __xdp_return(netmem, xdp->rxq->mem.type, true, NULL); in xdp_return_frag()
|
| A D | skbuff.c | 123 offsetof(skb_frag_t, netmem));
992 netmem = netmem_compound_head(netmem); in napi_pp_put_page()
994 if (unlikely(!netmem_is_pp(netmem))) in napi_pp_put_page()
997 page_pool_put_full_netmem(netmem_get_pp(netmem), netmem, false); in napi_pp_put_page()
7345 void get_netmem(netmem_ref netmem) in get_netmem() argument
7349 if (netmem_is_net_iov(netmem)) { in get_netmem()
7350 niov = netmem_to_net_iov(netmem); in get_netmem()
7355 get_page(netmem_to_page(netmem)); in get_netmem()
7359 void put_netmem(netmem_ref netmem) in put_netmem() argument
7363 if (netmem_is_net_iov(netmem)) { in put_netmem()
[all …]
|
| A D | sock.c | 1109 netmem_ref netmem = (__force netmem_ref)__xa_erase( in sock_devmem_dontneed() local
1112 if (!netmem || WARN_ON_ONCE(!netmem_is_net_iov(netmem))) in sock_devmem_dontneed()
1115 netmems[netmem_num++] = netmem; in sock_devmem_dontneed()
|
| /net/xfrm/ |
| A D | trace_iptfs.h | 54 ? page_address(netmem_to_page(skb_shinfo(skb)->frags[0].netmem))
|
| /net/bpf/ |
| A D | test_run.c | 130 static void xdp_test_run_init_page(netmem_ref netmem, void *arg) in xdp_test_run_init_page() argument
133 phys_to_virt(page_to_phys(netmem_to_page(netmem))); in xdp_test_run_init_page()
|
| /net/ipv4/ |
| A D | tcp_ipv4.c | 2540 void *netmem; local
2542 xa_for_each(&sk->sk_user_frags, index, netmem)
2543 WARN_ON_ONCE(!napi_pp_put_page((__force netmem_ref)netmem));
|
Completed in 41 milliseconds