Lines Matching refs:__pte
249 u64 __pte, __npte; in alloc_pte() local
252 __pte = *pte; in alloc_pte()
253 pte_level = PM_PTE_LEVEL(__pte); in alloc_pte()
259 if (IOMMU_PTE_PRESENT(__pte) && in alloc_pte()
271 cmpxchg64(&lpte[i], __pte, 0ULL); in alloc_pte()
277 if (!IOMMU_PTE_PRESENT(__pte) || in alloc_pte()
287 if (cmpxchg64(pte, __pte, __npte) != __pte) in alloc_pte()
289 else if (IOMMU_PTE_PRESENT(__pte)) in alloc_pte()
301 pte = IOMMU_PTE_PAGE(__pte); in alloc_pte()
397 u64 __pte, *pte; in iommu_v1_map_page() local
421 __pte = PAGE_SIZE_PTE(__sme_set(paddr), size); in iommu_v1_map_page()
422 __pte |= PM_LEVEL_ENC(7) | IOMMU_PTE_PR | IOMMU_PTE_FC; in iommu_v1_map_page()
424 __pte = __sme_set(paddr) | IOMMU_PTE_PR | IOMMU_PTE_FC; in iommu_v1_map_page()
427 __pte |= IOMMU_PTE_IR; in iommu_v1_map_page()
429 __pte |= IOMMU_PTE_IW; in iommu_v1_map_page()
432 pte[i] = __pte; in iommu_v1_map_page()
494 u64 *pte, __pte; in iommu_v1_iova_to_phys() local
502 __pte = __sme_clr(*pte & PM_ADDR_MASK); in iommu_v1_iova_to_phys()
504 return (__pte & ~offset_mask) | (iova & offset_mask); in iommu_v1_iova_to_phys()