Home
last modified time | relevance | path

Searched refs:netmem_ref (Results 1 – 16 of 16) sorted by relevance

/linux/include/net/
A Dnetmem.h68 typedef unsigned long __bitwise netmem_ref; typedef
70 static inline bool netmem_is_net_iov(const netmem_ref netmem) in netmem_is_net_iov()
78 static inline struct page *netmem_to_page(netmem_ref netmem) in netmem_to_page()
96 static inline netmem_ref net_iov_to_netmem(struct net_iov *niov) in net_iov_to_netmem()
98 return (__force netmem_ref)((unsigned long)niov | NET_IOV); in net_iov_to_netmem()
101 static inline netmem_ref page_to_netmem(struct page *page) in page_to_netmem()
103 return (__force netmem_ref)page; in page_to_netmem()
106 static inline int netmem_ref_count(netmem_ref netmem) in netmem_ref_count()
117 static inline unsigned long netmem_pfn_trace(netmem_ref netmem) in netmem_pfn_trace()
152 static inline netmem_ref netmem_compound_head(netmem_ref netmem) in netmem_compound_head()
[all …]
/linux/net/core/
A Dpage_pool.c373 netmem_ref netmem; in page_pool_refill_alloc_cache()
425 netmem_ref netmem; in __page_pool_get_cached()
440 netmem_ref netmem, in __page_pool_dma_sync_for_device()
454 netmem_ref netmem, in page_pool_dma_sync_for_device()
524 netmem_ref netmem; in __page_pool_alloc_pages_slow()
579 netmem_ref netmem; in page_pool_alloc_netmem()
649 netmem_ref netmem) in __page_pool_release_page_dma()
907 netmem_ref netmem) in page_pool_drain_frag()
992 netmem_ref netmem; in page_pool_empty_ring()
1023 netmem_ref netmem; in page_pool_empty_alloc_cache_once()
[all …]
A Dnetmem_priv.h6 static inline unsigned long netmem_get_pp_magic(netmem_ref netmem) in netmem_get_pp_magic()
11 static inline void netmem_or_pp_magic(netmem_ref netmem, unsigned long pp_magic) in netmem_or_pp_magic()
16 static inline void netmem_clear_pp_magic(netmem_ref netmem) in netmem_clear_pp_magic()
21 static inline void netmem_set_pp(netmem_ref netmem, struct page_pool *pool) in netmem_set_pp()
26 static inline void netmem_set_dma_addr(netmem_ref netmem, in netmem_set_dma_addr()
A Dpage_pool_priv.h17 page_pool_set_dma_addr_netmem(netmem_ref netmem, dma_addr_t addr) in page_pool_set_dma_addr_netmem()
39 void page_pool_set_pp_info(struct page_pool *pool, netmem_ref netmem);
40 void page_pool_clear_pp_info(netmem_ref netmem);
45 netmem_ref netmem) in page_pool_set_pp_info()
48 static inline void page_pool_clear_pp_info(netmem_ref netmem) in page_pool_clear_pp_info()
A Dmp_dmabuf_devmem.h16 netmem_ref mp_dmabuf_devmem_alloc_netmems(struct page_pool *pool, gfp_t gfp);
20 bool mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem);
27 static inline netmem_ref
38 mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page()
A Ddevmem.c347 netmem_ref mp_dmabuf_devmem_alloc_netmems(struct page_pool *pool, gfp_t gfp) in mp_dmabuf_devmem_alloc_netmems()
351 netmem_ref netmem; in mp_dmabuf_devmem_alloc_netmems()
373 bool mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page()
A Dsock.c1069 netmem_ref netmems[16]; in sock_devmem_dontneed()
1094 netmem_ref netmem = (__force netmem_ref)__xa_erase( in sock_devmem_dontneed()
A Dskbuff.c879 void skb_add_rx_frag_netmem(struct sk_buff *skb, int i, netmem_ref netmem, in skb_add_rx_frag_netmem()
924 static bool is_pp_netmem(netmem_ref netmem) in is_pp_netmem()
1022 bool napi_pp_put_page(netmem_ref netmem) in napi_pp_put_page()
1063 netmem_ref head_netmem; in skb_pp_frag_ref()
/linux/include/net/page_pool/
A Dtypes.h54 netmem_ref cache[PP_ALLOC_CACHE_SIZE];
90 void (*init_callback)(netmem_ref netmem, void *arg);
174 netmem_ref frag_page;
245 netmem_ref page_pool_alloc_netmem(struct page_pool *pool, gfp_t gfp);
248 netmem_ref page_pool_alloc_frag_netmem(struct page_pool *pool,
281 void page_pool_put_unrefed_netmem(struct page_pool *pool, netmem_ref netmem,
A Dhelpers.h217 static inline void page_pool_fragment_netmem(netmem_ref netmem, long nr) in page_pool_fragment_netmem()
245 static inline long page_pool_unref_netmem(netmem_ref netmem, long nr) in page_pool_unref_netmem()
295 static inline void page_pool_ref_netmem(netmem_ref netmem) in page_pool_ref_netmem()
305 static inline bool page_pool_is_last_ref(netmem_ref netmem) in page_pool_is_last_ref()
312 netmem_ref netmem, in page_pool_put_netmem()
350 netmem_ref netmem, in page_pool_put_full_netmem()
402 static inline dma_addr_t page_pool_get_dma_addr_netmem(netmem_ref netmem) in page_pool_get_dma_addr_netmem()
/linux/include/linux/
A Dskbuff_ref.h35 bool napi_pp_put_page(netmem_ref netmem);
37 static inline void skb_page_unref(netmem_ref netmem, bool recycle) in skb_page_unref()
A Dskbuff.h362 netmem_ref netmem;
2491 netmem_ref netmem, int off, in skb_frag_fill_netmem_desc()
2507 int i, netmem_ref netmem, in __skb_fill_netmem_desc_noacc()
2549 netmem_ref netmem, int off, int size) in __skb_fill_netmem_desc()
2578 netmem_ref netmem, int off, int size) in skb_fill_netmem_desc()
2625 void skb_add_rx_frag_netmem(struct sk_buff *skb, int i, netmem_ref netmem,
3584 static inline netmem_ref skb_frag_netmem(const skb_frag_t *frag) in skb_frag_netmem()
/linux/include/trace/events/
A Dpage_pool.h45 netmem_ref netmem, u32 release),
71 netmem_ref netmem, u32 hold),
/linux/net/bpf/
A Dtest_run.c130 static void xdp_test_run_init_page(netmem_ref netmem, void *arg) in xdp_test_run_init_page()
/linux/net/ipv4/
A Dtcp_ipv4.c2523 WARN_ON_ONCE(!napi_pp_put_page((__force netmem_ref)netmem));
A Dtcp.c2339 netmem_ref netmems[MAX_SKB_FRAGS];

Completed in 64 milliseconds