Lines Matching refs:pud
89 # define set_pud(pudp, pud) native_set_pud(pudp, pud) argument
93 #define pud_clear(pud) native_pud_clear(pud) argument
137 static inline pud_t pud_set_flags(pud_t pud, pudval_t set) in pud_set_flags() argument
139 pudval_t v = native_pud_val(pud); in pud_set_flags()
144 static inline pud_t pud_clear_flags(pud_t pud, pudval_t clear) in pud_clear_flags() argument
146 pudval_t v = native_pud_val(pud); in pud_clear_flags()
195 static inline bool pud_dirty(pud_t pud) in pud_dirty() argument
197 return pud_flags(pud) & _PAGE_DIRTY_BITS; in pud_dirty()
200 static inline int pud_young(pud_t pud) in pud_young() argument
202 return pud_flags(pud) & _PAGE_ACCESSED; in pud_young()
205 static inline bool pud_shstk(pud_t pud) in pud_shstk() argument
208 (pud_flags(pud) & (_PAGE_RW | _PAGE_DIRTY | _PAGE_PSE)) == in pud_shstk()
232 static inline int pud_write(pud_t pud) in pud_write() argument
234 return pud_flags(pud) & _PAGE_RW; in pud_write()
278 static inline unsigned long pud_pfn(pud_t pud) in pud_pfn() argument
280 phys_addr_t pfn = pud_val(pud); in pud_pfn()
282 return (pfn & pud_pfn_mask(pud)) >> PAGE_SHIFT; in pud_pfn()
318 static inline int pud_trans_huge(pud_t pud) in pud_trans_huge() argument
320 return (pud_val(pud) & (_PAGE_PSE|_PAGE_DEVMAP)) == _PAGE_PSE; in pud_trans_huge()
337 static inline int pud_devmap(pud_t pud) in pud_devmap() argument
339 return !!(pud_val(pud) & _PAGE_DEVMAP); in pud_devmap()
342 static inline int pud_devmap(pud_t pud) in pud_devmap() argument
361 static inline bool pud_special(pud_t pud) in pud_special() argument
363 return pud_flags(pud) & _PAGE_SPECIAL; in pud_special()
366 static inline pud_t pud_mkspecial(pud_t pud) in pud_mkspecial() argument
368 return pud_set_flags(pud, _PAGE_SPECIAL); in pud_mkspecial()
637 static inline pud_t pud_mksaveddirty(pud_t pud) in pud_mksaveddirty() argument
639 pudval_t v = native_pud_val(pud); in pud_mksaveddirty()
646 static inline pud_t pud_clear_saveddirty(pud_t pud) in pud_clear_saveddirty() argument
648 pudval_t v = native_pud_val(pud); in pud_clear_saveddirty()
654 static inline pud_t pud_mkold(pud_t pud) in pud_mkold() argument
656 return pud_clear_flags(pud, _PAGE_ACCESSED); in pud_mkold()
659 static inline pud_t pud_mkclean(pud_t pud) in pud_mkclean() argument
661 return pud_clear_flags(pud, _PAGE_DIRTY_BITS); in pud_mkclean()
664 static inline pud_t pud_wrprotect(pud_t pud) in pud_wrprotect() argument
666 pud = pud_clear_flags(pud, _PAGE_RW); in pud_wrprotect()
673 return pud_mksaveddirty(pud); in pud_wrprotect()
676 static inline pud_t pud_mkdirty(pud_t pud) in pud_mkdirty() argument
678 pud = pud_set_flags(pud, _PAGE_DIRTY | _PAGE_SOFT_DIRTY); in pud_mkdirty()
680 return pud_mksaveddirty(pud); in pud_mkdirty()
683 static inline pud_t pud_mkdevmap(pud_t pud) in pud_mkdevmap() argument
685 return pud_set_flags(pud, _PAGE_DEVMAP); in pud_mkdevmap()
688 static inline pud_t pud_mkhuge(pud_t pud) in pud_mkhuge() argument
690 return pud_set_flags(pud, _PAGE_PSE); in pud_mkhuge()
693 static inline pud_t pud_mkyoung(pud_t pud) in pud_mkyoung() argument
695 return pud_set_flags(pud, _PAGE_ACCESSED); in pud_mkyoung()
698 static inline pud_t pud_mkwrite(pud_t pud) in pud_mkwrite() argument
700 pud = pud_set_flags(pud, _PAGE_RW); in pud_mkwrite()
702 return pud_clear_saveddirty(pud); in pud_mkwrite()
716 static inline int pud_soft_dirty(pud_t pud) in pud_soft_dirty() argument
718 return pud_flags(pud) & _PAGE_SOFT_DIRTY; in pud_soft_dirty()
731 static inline pud_t pud_mksoft_dirty(pud_t pud) in pud_mksoft_dirty() argument
733 return pud_set_flags(pud, _PAGE_SOFT_DIRTY); in pud_mksoft_dirty()
746 static inline pud_t pud_clear_soft_dirty(pud_t pud) in pud_clear_soft_dirty() argument
748 return pud_clear_flags(pud, _PAGE_SOFT_DIRTY); in pud_clear_soft_dirty()
814 static inline pud_t pud_mkinvalid(pud_t pud) in pud_mkinvalid() argument
816 return pfn_pud(pud_pfn(pud), in pud_mkinvalid()
817 __pgprot(pud_flags(pud) & ~(_PAGE_PRESENT|_PAGE_PROTNONE))); in pud_mkinvalid()
878 static inline pud_t pud_modify(pud_t pud, pgprot_t newprot) in pud_modify() argument
880 pudval_t val = pud_val(pud), oldval = val; in pud_modify()
1111 static inline int pud_none(pud_t pud) in pud_none() argument
1113 return (native_pud_val(pud) & ~(_PAGE_KNL_ERRATUM_MASK)) == 0; in pud_none()
1116 static inline int pud_present(pud_t pud) in pud_present() argument
1118 return pud_flags(pud) & _PAGE_PRESENT; in pud_present()
1121 static inline pmd_t *pud_pgtable(pud_t pud) in pud_pgtable() argument
1123 return (pmd_t *)__va(pud_val(pud) & pud_pfn_mask(pud)); in pud_pgtable()
1130 #define pud_page(pud) pfn_to_page(pud_pfn(pud)) argument
1133 static inline bool pud_leaf(pud_t pud) in pud_leaf() argument
1135 return pud_val(pud) & _PAGE_PSE; in pud_leaf()
1138 static inline int pud_bad(pud_t pud) in pud_bad() argument
1140 return (pud_flags(pud) & ~(_KERNPG_TABLE | _PAGE_USER)) != 0; in pud_bad()
1288 pud_t *pudp, pud_t pud) in set_pud_at() argument
1290 page_table_check_pud_set(mm, pudp, pud); in set_pud_at()
1291 native_set_pud(pudp, pud); in set_pud_at()
1399 pud_t pud = native_pudp_get_and_clear(pudp); in pudp_huge_get_and_clear() local
1401 page_table_check_pud_clear(mm, pud); in pudp_huge_get_and_clear()
1403 return pud; in pudp_huge_get_and_clear()
1441 unsigned long address, pud_t *pudp, pud_t pud) in pudp_establish()
1443 page_table_check_pud_set(vma->vm_mm, pudp, pud); in pudp_establish()
1445 return xchg(pudp, pud); in pudp_establish()
1448 WRITE_ONCE(*pudp, pud); in pudp_establish()
1581 unsigned long addr, pud_t *pud) in update_mmu_cache_pud() argument
1723 static inline bool pud_access_permitted(pud_t pud, bool write) in pud_access_permitted() argument
1725 return __pte_access_permitted(pud_val(pud), write); in pud_access_permitted()
1743 void arch_check_zapped_pud(struct vm_area_struct *vma, pud_t pud);
1764 static inline bool pud_user_accessible_page(pud_t pud) in pud_user_accessible_page() argument
1766 return pud_leaf(pud) && (pud_val(pud) & _PAGE_PRESENT) && (pud_val(pud) & _PAGE_USER); in pud_user_accessible_page()