Lines Matching refs:src_pte
1020 static inline bool is_pte_pages_stable(pte_t *dst_pte, pte_t *src_pte, in is_pte_pages_stable() argument
1024 return pte_same(ptep_get(src_pte), orig_src_pte) && in is_pte_pages_stable()
1033 pte_t *dst_pte, pte_t *src_pte, in move_present_pte() argument
1043 if (!is_pte_pages_stable(dst_pte, src_pte, orig_dst_pte, orig_src_pte, in move_present_pte()
1055 orig_src_pte = ptep_clear_flush(src_vma, src_addr, src_pte); in move_present_pte()
1058 set_pte_at(mm, src_addr, src_pte, orig_src_pte); in move_present_pte()
1083 pte_t *dst_pte, pte_t *src_pte, in move_swap_pte() argument
1101 if (!is_pte_pages_stable(dst_pte, src_pte, orig_dst_pte, orig_src_pte, in move_swap_pte()
1136 orig_src_pte = ptep_get_and_clear(mm, src_addr, src_pte); in move_swap_pte()
1150 pte_t *dst_pte, pte_t *src_pte, in move_zeropage_pte() argument
1158 if (!is_pte_pages_stable(dst_pte, src_pte, orig_dst_pte, orig_src_pte, in move_zeropage_pte()
1166 ptep_clear_flush(src_vma, src_addr, src_pte); in move_zeropage_pte()
1190 pte_t *src_pte = NULL; in move_pages_pte() local
1224 src_pte = pte_offset_map_rw_nolock(mm, src_pmd, src_addr, &dummy_pmdval, in move_pages_pte()
1233 if (unlikely(!src_pte)) { in move_pages_pte()
1254 orig_src_pte = ptep_get(src_pte); in move_pages_pte()
1273 dst_addr, src_addr, dst_pte, src_pte, in move_pages_pte()
1293 if (!pte_same(orig_src_pte, ptep_get(src_pte))) { in move_pages_pte()
1326 pte_unmap(src_pte); in move_pages_pte()
1328 src_pte = dst_pte = NULL; in move_pages_pte()
1343 pte_unmap(src_pte); in move_pages_pte()
1345 src_pte = dst_pte = NULL; in move_pages_pte()
1369 pte_unmap(src_pte); in move_pages_pte()
1371 src_pte = dst_pte = NULL; in move_pages_pte()
1379 dst_addr, src_addr, dst_pte, src_pte, in move_pages_pte()
1388 pte_unmap(src_pte); in move_pages_pte()
1390 src_pte = dst_pte = NULL; in move_pages_pte()
1432 pte_unmap(src_pte); in move_pages_pte()
1434 src_pte = dst_pte = NULL; in move_pages_pte()
1442 err = move_swap_pte(mm, dst_vma, dst_addr, src_addr, dst_pte, src_pte, in move_pages_pte()
1458 if (src_pte) in move_pages_pte()
1459 pte_unmap(src_pte); in move_pages_pte()