Lines Matching refs:src_folio
1037 struct folio *src_folio) in move_present_pte() argument
1048 if (folio_test_large(src_folio) || in move_present_pte()
1049 folio_maybe_dma_pinned(src_folio) || in move_present_pte()
1050 !PageAnonExclusive(&src_folio->page)) { in move_present_pte()
1057 if (folio_maybe_dma_pinned(src_folio)) { in move_present_pte()
1063 folio_move_anon_rmap(src_folio, dst_vma); in move_present_pte()
1064 src_folio->index = linear_page_index(dst_vma, dst_addr); in move_present_pte()
1066 orig_dst_pte = folio_mk_pte(src_folio, dst_vma->vm_page_prot); in move_present_pte()
1087 struct folio *src_folio, in move_swap_pte() argument
1095 if (src_folio && unlikely(!folio_test_swapcache(src_folio) || in move_swap_pte()
1096 entry.val != src_folio->swap.val)) in move_swap_pte()
1112 if (src_folio) { in move_swap_pte()
1113 folio_move_anon_rmap(src_folio, dst_vma); in move_swap_pte()
1114 src_folio->index = linear_page_index(dst_vma, dst_addr); in move_swap_pte()
1194 struct folio *src_folio = NULL; in move_pages_pte() local
1265 if (src_folio && unlikely(!pte_same(src_folio_pte, orig_src_pte))) { in move_pages_pte()
1284 if (!src_folio) { in move_pages_pte()
1321 src_folio = folio; in move_pages_pte()
1330 folio_lock(src_folio); in move_pages_pte()
1334 if (WARN_ON_ONCE(!folio_test_anon(src_folio))) { in move_pages_pte()
1341 if (folio_test_large(src_folio)) { in move_pages_pte()
1346 err = split_folio(src_folio); in move_pages_pte()
1350 folio_unlock(src_folio); in move_pages_pte()
1351 folio_put(src_folio); in move_pages_pte()
1352 src_folio = NULL; in move_pages_pte()
1362 src_anon_vma = folio_get_anon_vma(src_folio); in move_pages_pte()
1381 dst_pmdval, dst_ptl, src_ptl, src_folio); in move_pages_pte()
1420 if (!src_folio) in move_pages_pte()
1429 src_folio = folio; in move_pages_pte()
1431 if (!folio_trylock(src_folio)) { in move_pages_pte()
1438 folio_lock(src_folio); in move_pages_pte()
1444 dst_ptl, src_ptl, src_folio, si, entry); in move_pages_pte()
1452 if (src_folio) { in move_pages_pte()
1453 folio_unlock(src_folio); in move_pages_pte()
1454 folio_put(src_folio); in move_pages_pte()