Home
last modified time | relevance | path

Searched refs:pud_t (Results 1 – 25 of 221) sorted by relevance

123456789

/linux/arch/riscv/include/asm/
A Dpgtable-64.h56 } pud_t; typedef
59 #define __pud(x) ((pud_t) { (x) })
175 static inline int pud_present(pud_t pud) in pud_present()
180 static inline int pud_none(pud_t pud) in pud_none()
185 static inline int pud_bad(pud_t pud) in pud_bad()
191 static inline bool pud_leaf(pud_t pud) in pud_leaf()
196 static inline int pud_user(pud_t pud) in pud_user()
201 static inline void set_pud(pud_t *pudp, pud_t pud) in set_pud()
281 set_pud((pud_t *)p4dp, (pud_t){ p4d_val(p4d) }); in set_p4d()
329 return (pud_t *)pud_pgtable((pud_t) { p4d_val(p4d) }); in p4d_pgtable()
[all …]
/linux/arch/x86/include/asm/
A Dpgtable.h366 static inline pud_t pud_mkspecial(pud_t pud) in pud_mkspecial()
654 static inline pud_t pud_mkold(pud_t pud) in pud_mkold()
659 static inline pud_t pud_mkclean(pud_t pud) in pud_mkclean()
664 static inline pud_t pud_wrprotect(pud_t pud) in pud_wrprotect()
676 static inline pud_t pud_mkdirty(pud_t pud) in pud_mkdirty()
683 static inline pud_t pud_mkdevmap(pud_t pud) in pud_mkdevmap()
688 static inline pud_t pud_mkhuge(pud_t pud) in pud_mkhuge()
693 static inline pud_t pud_mkyoung(pud_t pud) in pud_mkyoung()
698 static inline pud_t pud_mkwrite(pud_t pud) in pud_mkwrite()
814 static inline pud_t pud_mkinvalid(pud_t pud) in pud_mkinvalid()
[all …]
A Dpgtable_64.h21 extern pud_t level3_kernel_pgt[512];
22 extern pud_t level3_ident_pgt[512];
63 void set_pte_vaddr_pud(pud_t *pud_page, unsigned long vaddr, pte_t new_pte);
117 static inline void native_set_pud(pud_t *pudp, pud_t pud) in native_set_pud()
122 static inline void native_pud_clear(pud_t *pud) in native_pud_clear()
127 static inline pud_t native_pudp_get_and_clear(pud_t *xp) in native_pudp_get_and_clear()
135 pud_t ret = *xp; in native_pudp_get_and_clear()
A Dpgtable-2level.h25 static inline void native_set_pud(pud_t *pudp, pud_t pud) in native_set_pud()
39 static inline void native_pud_clear(pud_t *pudp) in native_pud_clear()
68 static inline pud_t native_pudp_get_and_clear(pud_t *xp) in native_pudp_get_and_clear()
A Dpgalloc.h97 extern void pud_populate(struct mm_struct *mm, pud_t *pudp, pmd_t *pmd);
99 static inline void pud_populate(struct mm_struct *mm, pud_t *pud, pmd_t *pmd) in pud_populate()
105 static inline void pud_populate_safe(struct mm_struct *mm, pud_t *pud, pmd_t *pmd) in pud_populate_safe()
113 static inline void p4d_populate(struct mm_struct *mm, p4d_t *p4d, pud_t *pud) in p4d_populate()
119 static inline void p4d_populate_safe(struct mm_struct *mm, p4d_t *p4d, pud_t *pud) in p4d_populate_safe()
125 extern void ___pud_free_tlb(struct mmu_gather *tlb, pud_t *pud);
127 static inline void __pud_free_tlb(struct mmu_gather *tlb, pud_t *pud, in __pud_free_tlb()
A Dpgtable-3level.h53 static inline void native_set_pud(pud_t *pudp, pud_t pud) in native_set_pud()
81 static inline void native_pud_clear(pud_t *pudp) in native_pud_clear()
85 static inline void pud_clear(pud_t *pudp) in pud_clear()
113 static inline pud_t native_pudp_get_and_clear(pud_t *pudp) in native_pudp_get_and_clear()
/linux/include/asm-generic/
A Dpgtable-nopud.h16 typedef struct { p4d_t p4d; } pud_t; typedef
40 #define set_p4d(p4dptr, p4dval) set_pud((pud_t *)(p4dptr), (pud_t) { p4dval })
42 static inline pud_t *pud_offset(p4d_t *p4d, unsigned long address) in pud_offset()
44 return (pud_t *)p4d; in pud_offset()
49 #define __pud(x) ((pud_t) { __p4d(x) })
51 #define p4d_page(p4d) (pud_page((pud_t){ p4d }))
52 #define p4d_pgtable(p4d) ((pud_t *)(pud_pgtable((pud_t){ p4d })))
A Dpgtable-nopmd.h18 typedef struct { pud_t pud; } pmd_t;
30 static inline int pud_none(pud_t pud) { return 0; } in pud_none()
31 static inline int pud_bad(pud_t pud) { return 0; } in pud_bad()
32 static inline int pud_present(pud_t pud) { return 1; } in pud_present()
33 static inline int pud_user(pud_t pud) { return 0; } in pud_user()
34 static inline int pud_leaf(pud_t pud) { return 0; } in pud_leaf()
35 static inline void pud_clear(pud_t *pud) { } in pud_clear()
46 static inline pmd_t * pmd_offset(pud_t * pud, unsigned long address) in pmd_offset()
/linux/include/linux/
A Dpage_table_check.h19 void __page_table_check_pud_clear(struct mm_struct *mm, pud_t pud);
23 void __page_table_check_pud_set(struct mm_struct *mm, pud_t *pudp, pud_t pud);
60 static inline void page_table_check_pud_clear(struct mm_struct *mm, pud_t pud) in page_table_check_pud_clear()
86 static inline void page_table_check_pud_set(struct mm_struct *mm, pud_t *pudp, in page_table_check_pud_set()
87 pud_t pud) in page_table_check_pud_set()
123 static inline void page_table_check_pud_clear(struct mm_struct *mm, pud_t pud) in page_table_check_pud_clear()
137 static inline void page_table_check_pud_set(struct mm_struct *mm, pud_t *pudp, in page_table_check_pud_set()
138 pud_t pud) in page_table_check_pud_set()
A Dpgtable.h295 pud_t entry, int dirty);
306 pud_t entry, int dirty) in pudp_set_access_flags()
329 static inline pud_t pudp_get(pud_t *pudp) in pudp_get()
618 pud_t *pudp) in pudp_huge_get_and_clear()
620 pud_t pud = *pudp; in pudp_huge_get_and_clear()
807 pud_t *pudp);
902 pud_t old_pud = *pudp; in pudp_set_wrprotect()
1038 static inline int pud_same(pud_t pud_a, pud_t pud_b) in pud_same()
1237 void pud_clear_bad(pud_t *);
1646 pud_t pudval = READ_ONCE(*pud); in pud_trans_unstable()
[all …]
A Dhuge_mm.h17 pud_t *dst_pud, pud_t *src_pud, unsigned long addr,
21 void huge_pud_set_accessed(struct vm_fault *vmf, pud_t orig_pud);
23 static inline void huge_pud_set_accessed(struct vm_fault *vmf, pud_t orig_pud) in huge_pud_set_accessed()
33 int zap_huge_pud(struct mmu_gather *tlb, struct vm_area_struct *vma, pud_t *pud,
389 void __split_huge_pud(struct vm_area_struct *vma, pud_t *pud,
394 pud_t *pudp, unsigned long addr, pgprot_t newprot,
399 pud_t *pudp, unsigned long addr, pgprot_t newprot, in change_huge_pud()
405 pud_t *____pud = (__pud); \
435 static inline spinlock_t *pud_trans_huge_lock(pud_t *pud, in pud_trans_huge_lock()
596 static inline spinlock_t *pud_trans_huge_lock(pud_t *pud, in pud_trans_huge_lock()
[all …]
/linux/arch/powerpc/include/asm/book3s/64/
A Dradix.h138 #define RADIX_PUD_TABLE_SIZE (sizeof(pud_t) << RADIX_PUD_INDEX_SIZE)
248 static inline int radix__pud_bad(pud_t pud) in radix__pud_bad()
253 static inline int radix__pud_same(pud_t pud_a, pud_t pud_b) in radix__pud_same()
275 static inline int radix__pud_trans_huge(pud_t pud) in radix__pud_trans_huge()
280 static inline pud_t radix__pud_mkhuge(pud_t pud) in radix__pud_mkhuge()
289 pud_t *pudp, unsigned long clr,
298 pud_t radix__pudp_huge_get_and_clear(struct mm_struct *mm,
299 unsigned long addr, pud_t *pudp);
323 static inline pud_t radix__pud_mkdevmap(pud_t pud) in radix__pud_mkdevmap()
A Dpgtable.h918 static inline int pud_bad(pud_t pud) in pud_bad()
1101 extern pud_t pud_modify(pud_t pud, pgprot_t newprot);
1105 pud_t *pudp, pud_t pud);
1189 pud_t *pudp) in pudp_set_wrprotect()
1236 static inline int pud_same(pud_t pud_a, pud_t pud_b) in pud_same()
1251 static inline pud_t __pud_mkhuge(pud_t pud) in __pud_mkhuge()
1274 static inline pud_t pud_mkhuge(pud_t pud) in pud_mkhuge()
1293 pud_t entry, int dirty);
1339 pud_t *pudp, int full);
1363 pud_t *pudp);
[all …]
A Dpgalloc.h88 static inline void p4d_populate(struct mm_struct *mm, p4d_t *pgd, pud_t *pud) in p4d_populate()
93 static inline pud_t *pud_alloc_one(struct mm_struct *mm, unsigned long addr) in pud_alloc_one()
95 pud_t *pud; in pud_alloc_one()
110 static inline void __pud_free(pud_t *pud) in __pud_free()
126 static inline void pud_free(struct mm_struct *mm, pud_t *pud) in pud_free()
131 static inline void pud_populate(struct mm_struct *mm, pud_t *pud, pmd_t *pmd) in pud_populate()
136 static inline void __pud_free_tlb(struct mmu_gather *tlb, pud_t *pud, in __pud_free_tlb()
/linux/arch/mips/include/asm/
A Dpgtable-64.h127 #define PTRS_PER_PUD ((PAGE_SIZE << PUD_TABLE_ORDER) / sizeof(pud_t))
175 typedef struct { unsigned long pud; } pud_t; typedef
177 #define __pud(x) ((pud_t) { (x) })
179 extern pud_t invalid_pud_table[PTRS_PER_PUD];
207 static inline pud_t *p4d_pgtable(p4d_t p4d) in p4d_pgtable()
209 return (pud_t *)p4d_val(p4d); in p4d_pgtable()
278 static inline int pud_none(pud_t pud) in pud_none()
283 static inline int pud_bad(pud_t pud) in pud_bad()
288 static inline int pud_present(pud_t pud) in pud_present()
293 static inline void pud_clear(pud_t *pudp) in pud_clear()
[all …]
/linux/arch/arm/include/asm/
A Dpgtable-2level.h185 static inline int pud_none(pud_t pud) in pud_none()
190 static inline int pud_bad(pud_t pud) in pud_bad()
195 static inline int pud_present(pud_t pud) in pud_present()
200 static inline void pud_clear(pud_t *pudp) in pud_clear()
204 static inline void set_pud(pud_t *pudp, pud_t pud) in set_pud()
208 static inline pmd_t *pmd_offset(pud_t *pud, unsigned long addr) in pmd_offset()
/linux/arch/powerpc/mm/book3s64/
A Dpgtable.c69 pud_t *pudp, pud_t entry, int dirty) in pudp_set_access_flags()
96 unsigned long address, pud_t *pudp) in pudp_test_and_clear_young()
123 pud_t *pudp, pud_t pud) in set_pud_at()
179 pud_t pudp_invalidate(struct vm_area_struct *vma, unsigned long address, in pudp_invalidate()
180 pud_t *pudp) in pudp_invalidate()
208 pud_t pudp_huge_get_and_clear_full(struct vm_area_struct *vma, in pudp_huge_get_and_clear_full()
209 unsigned long addr, pud_t *pudp, int full) in pudp_huge_get_and_clear_full()
211 pud_t pud; in pudp_huge_get_and_clear_full()
232 static pud_t pud_set_protbits(pud_t pud, pgprot_t pgprot) in pud_set_protbits()
251 pud_t pfn_pud(unsigned long pfn, pgprot_t pgprot) in pfn_pud()
[all …]
/linux/mm/kasan/
A Dinit.c57 static inline bool kasan_pmd_table(pud_t pud) in kasan_pmd_table()
62 static inline bool kasan_pmd_table(pud_t pud) in kasan_pmd_table()
155 pud_t *pud = pud_offset(p4d, addr); in zero_pud_populate()
203 pud_t *pud; in zero_p4d_populate()
218 pud_t *p; in zero_p4d_populate()
255 pud_t *pud; in kasan_populate_early_shadow()
313 static void kasan_free_pmd(pmd_t *pmd_start, pud_t *pud) in kasan_free_pmd()
328 static void kasan_free_pud(pud_t *pud_start, p4d_t *p4d) in kasan_free_pud()
330 pud_t *pud; in kasan_free_pud()
339 pud_free(&init_mm, (pud_t *)page_to_virt(p4d_page(*p4d))); in kasan_free_pud()
[all …]
/linux/arch/riscv/mm/
A Dpgtable.c45 pud_t *pud_offset(p4d_t *p4d, unsigned long address) in pud_offset()
50 return (pud_t *)p4d; in pud_offset()
72 int pud_set_huge(pud_t *pud, phys_addr_t phys, pgprot_t prot) in pud_set_huge()
74 pud_t new_pud = pfn_pud(__phys_to_pfn(phys), prot); in pud_set_huge()
80 int pud_clear_huge(pud_t *pud) in pud_clear_huge()
88 int pud_free_pmd_page(pud_t *pud, unsigned long addr) in pud_free_pmd_page()
/linux/arch/x86/mm/
A Dident_map.c14 static void free_pmd(struct x86_mapping_info *info, pud_t *pud) in free_pmd()
34 pud_t *pud = pud_offset(p4d, 0); in free_pud()
94 static int ident_pud_init(struct x86_mapping_info *info, pud_t *pud_page, in ident_pud_init()
100 pud_t *pud = pud_page + pud_index(addr); in ident_pud_init()
125 pud_t pudval; in ident_pud_init()
155 pud_t *pud; in ident_p4d_init()
169 pud = (pud_t *)info->alloc_pgt_page(info->context); in ident_p4d_init()
227 pud_t *pud = pud_offset(p4d, 0); in kernel_ident_mapping_init()
/linux/arch/powerpc/include/asm/
A Dpgtable-be-types.h37 typedef struct { __be64 pud; } pud_t; typedef
38 #define __pud(x) ((pud_t) { cpu_to_be64(x) })
39 #define __pud_raw(x) ((pud_t) { (x) })
40 static inline unsigned long pud_val(pud_t x) in pud_val()
45 static inline __be64 pud_raw(pud_t x) in pud_raw()
/linux/arch/s390/include/asm/
A Dpgtable.h578 static inline pud_t clear_pud_bit(pud_t pud, pgprot_t prot) in clear_pud_bit()
583 static inline pud_t set_pud_bit(pud_t pud, pgprot_t prot) in set_pud_bit()
780 static inline int pud_bad(pud_t pud) in pud_bad()
986 static inline void set_pud(pud_t *pudp, pud_t pud) in set_pud()
1508 return (pud_t *) p4dp; in pud_offset_lockless()
1518 static inline pmd_t *pmd_offset_lockless(pud_t *pudp, pud_t pud, unsigned long address) in pmd_offset_lockless()
1580 static inline pud_t pud_wrprotect(pud_t pud) in pud_wrprotect()
1586 static inline pud_t pud_mkwrite(pud_t pud) in pud_mkwrite()
1594 static inline pud_t pud_mkclean(pud_t pud) in pud_mkclean()
1600 static inline pud_t pud_mkdirty(pud_t pud) in pud_mkdirty()
[all …]
/linux/arch/arm64/mm/
A Dkasan_init.c76 static pmd_t *__init kasan_pmd_offset(pud_t *pudp, unsigned long addr, int node, in kasan_pmd_offset()
89 static pud_t *__init kasan_pud_offset(p4d_t *p4dp, unsigned long addr, int node, in kasan_pud_offset()
132 static void __init kasan_pmd_populate(pud_t *pudp, unsigned long addr, in kasan_pmd_populate()
148 pud_t *pudp = kasan_pud_offset(p4dp, addr, node, early); in kasan_pud_populate()
256 static void __init clone_next_level(u64 addr, pgd_t *tmp_pg_dir, pud_t *pud) in clone_next_level()
260 pud_t *pudp = (pud_t *)__phys_to_kimg(__pgd_to_phys(pgd)); in clone_next_level()
284 pud_t *pudp = (pud_t *)__phys_to_kimg(__pgd_to_phys(pgd)); in clear_next_level()
286 memset(&pudp[start], 0, (end - start) * sizeof(pud_t)); in clear_next_level()
302 static pud_t pud[2][PTRS_PER_PUD] __initdata __aligned(PAGE_SIZE); in kasan_init_shadow()
/linux/arch/powerpc/include/asm/nohash/64/
A Dpgtable.h109 static inline void pud_set(pud_t *pudp, unsigned long val) in pud_set()
114 static inline void pud_clear(pud_t *pudp) in pud_clear()
124 static inline pmd_t *pud_pgtable(pud_t pud) in pud_pgtable()
129 extern struct page *pud_page(pud_t pud);
131 static inline pte_t pud_pte(pud_t pud) in pud_pte()
136 static inline pud_t pte_pud(pte_t pte) in pte_pud()
A Dpgalloc.h18 static inline void p4d_populate(struct mm_struct *mm, p4d_t *p4d, pud_t *pud) in p4d_populate()
23 static inline pud_t *pud_alloc_one(struct mm_struct *mm, unsigned long addr) in pud_alloc_one()
29 static inline void pud_free(struct mm_struct *mm, pud_t *pud) in pud_free()
34 static inline void pud_populate(struct mm_struct *mm, pud_t *pud, pmd_t *pmd) in pud_populate()

Completed in 68 milliseconds

123456789