| /third_party/ulib/jemalloc/src/ |
| A D | jemalloc.c | 609 ret = arena_get(tsd_tsdn(tsd), in arena_choose_hard()
1501 arena_prof_promote(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), ret), in imalloc_sample()
1647 prof_malloc(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), allocation), in imalloc_body()
1672 assert(usize == isalloc(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), in imalloc_body()
1879 arena_prof_promote(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), p), p, in irealloc_prof_sample()
2008 tsdn = tsd_tsdn(tsd); in je_realloc()
2346 usize = isalloc(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), in je_rallocx()
2759 ctl_prefork(tsd_tsdn(tsd)); in jemalloc_prefork()
2761 prof_prefork0(tsd_tsdn(tsd)); in jemalloc_prefork()
2785 prof_prefork1(tsd_tsdn(tsd)); in jemalloc_prefork()
[all …]
|
| A D | prof.c | 299 prof_idump(tsd_tsdn(tsd)); in prof_leave()
301 prof_gdump(tsd_tsdn(tsd)); in prof_leave()
590 idalloctm(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), gctx), gctx, in prof_gctx_try_destroy()
700 idalloctm(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), tctx), tctx, in prof_tctx_destroy()
730 idalloctm(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), gctx.v), in prof_lookup_global()
810 idalloctm(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), ret.v), in prof_lookup()
1230 idalloctm(tsd_tsdn(tsd), in prof_gctx_finish()
1888 idalloctm(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), tdata), tdata, in prof_tdata_init_impl()
1947 idalloctm(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), in prof_tdata_destroy_locked()
1951 idalloctm(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), tdata), tdata, NULL, in prof_tdata_destroy_locked()
[all …]
|
| A D | tcache.c | 108 if (arena_prof_accum(tsd_tsdn(tsd), arena, in tcache_bin_flush_small()
110 prof_idump(tsd_tsdn(tsd)); in tcache_bin_flush_small()
114 malloc_mutex_lock(tsd_tsdn(tsd), &bin->lock); in tcache_bin_flush_small()
127 extent = iealloc(tsd_tsdn(tsd), ptr); in tcache_bin_flush_small()
151 malloc_mutex_lock(tsd_tsdn(tsd), &bin->lock); in tcache_bin_flush_small()
207 extent = iealloc(tsd_tsdn(tsd), ptr); in tcache_bin_flush_large()
209 large_dalloc_junked_locked(tsd_tsdn(tsd), in tcache_bin_flush_large()
224 prof_idump(tsd_tsdn(tsd)); in tcache_bin_flush_large()
304 return (tcache_create(tsd_tsdn(tsd), arena)); in tcache_get_hard()
376 prof_idump(tsd_tsdn(tsd)); in tcache_destroy()
[all …]
|
| A D | ckh.c | 274 tab = (ckhc_t *)ipallocztm(tsd_tsdn(tsd), usize, CACHELINE, in ckh_grow()
287 idalloctm(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), tab), in ckh_grow()
293 idalloctm(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), ckh->tab), in ckh_grow()
320 tab = (ckhc_t *)ipallocztm(tsd_tsdn(tsd), usize, CACHELINE, true, NULL, in ckh_shrink()
336 idalloctm(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), tab), tab, NULL, in ckh_shrink()
345 idalloctm(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), ckh->tab), ckh->tab, in ckh_shrink()
399 ckh->tab = (ckhc_t *)ipallocztm(tsd_tsdn(tsd), usize, CACHELINE, true, in ckh_new()
428 idalloctm(tsd_tsdn(tsd), iealloc(tsd_tsdn(tsd), ckh->tab), ckh->tab, in ckh_delete()
|
| A D | ctl.c | 1262 malloc_mutex_lock(tsd_tsdn(tsd), &ctl_mtx); in CTL_RO_NL_GEN()
1265 ctl_refresh(tsd_tsdn(tsd)); in CTL_RO_NL_GEN()
1487 malloc_mutex_lock(tsd_tsdn(tsd), &ctl_mtx); in tcache_create_ctl()
1556 tsdn_t *tsdn = tsd_tsdn(tsd); in arena_i_initialized_ctl()
1719 arena_purge(tsd_tsdn(tsd), arena, true); in arena_i_destroy_ctl()
1746 malloc_mutex_lock(tsd_tsdn(tsd), &ctl_mtx); in arena_i_dss_ctl()
1842 malloc_mutex_lock(tsd_tsdn(tsd), &ctl_mtx); in arena_i_extent_hooks_ctl()
1902 malloc_mutex_lock(tsd_tsdn(tsd), &ctl_mtx); in arenas_narenas_ctl()
1977 malloc_mutex_lock(tsd_tsdn(tsd), &ctl_mtx); in arenas_create_ctl()
2039 oldval = prof_active_get(tsd_tsdn(tsd)); in prof_active_ctl()
[all …]
|
| A D | arena.c | 832 usize = isalloc(tsd_tsdn(tsd), extent, ptr); in arena_reset()
836 large_dalloc(tsd_tsdn(tsd), extent); in arena_reset()
844 malloc_mutex_lock(tsd_tsdn(tsd), &arena->lock); in arena_reset()
850 malloc_mutex_lock(tsd_tsdn(tsd), &bin->lock); in arena_reset()
855 arena_slab_dalloc(tsd_tsdn(tsd), arena, slab); in arena_reset()
856 malloc_mutex_lock(tsd_tsdn(tsd), &bin->lock); in arena_reset()
861 arena_slab_dalloc(tsd_tsdn(tsd), arena, slab); in arena_reset()
862 malloc_mutex_lock(tsd_tsdn(tsd), &bin->lock); in arena_reset()
869 arena_slab_dalloc(tsd_tsdn(tsd), arena, slab); in arena_reset()
870 malloc_mutex_lock(tsd_tsdn(tsd), &bin->lock); in arena_reset()
[all …]
|
| A D | witness.c | 97 witness_assert_lockless(tsd_tsdn(tsd)); in witnesses_cleanup()
|
| /third_party/ulib/jemalloc/include/jemalloc/internal/ |
| A D | prof_inlines.h | 183 assert(usize == isalloc(tsd_tsdn(tsd), extent, ptr)); in prof_realloc()
202 prof_malloc_sample_object(tsd_tsdn(tsd), extent, ptr, usize, in prof_realloc()
205 prof_tctx_set(tsd_tsdn(tsd), extent, ptr, usize, in prof_realloc()
214 prof_tctx_reset(tsd_tsdn(tsd), extent, ptr, tctx); in prof_realloc()
216 assert((uintptr_t)prof_tctx_get(tsd_tsdn(tsd), extent, ptr) == in prof_realloc()
235 prof_tctx_t *tctx = prof_tctx_get(tsd_tsdn(tsd), extent, ptr); in prof_free()
238 assert(usize == isalloc(tsd_tsdn(tsd), extent, ptr)); in prof_free()
|
| A D | tcache_inlines.h | 144 ret = tcache_alloc_small_hard(tsd_tsdn(tsd), arena, tcache, in tcache_alloc_small()
157 assert(tcache_salloc(tsd_tsdn(tsd), ret) == usize); in tcache_alloc_small()
205 ret = large_malloc(tsd_tsdn(tsd), arena, s2u(size), zero); in tcache_alloc_large()
246 assert(tcache_salloc(tsd_tsdn(tsd), ptr) <= SMALL_MAXCLASS); in tcache_dalloc_small()
272 assert(tcache_salloc(tsd_tsdn(tsd), ptr) > SMALL_MAXCLASS); in tcache_dalloc_large()
273 assert(tcache_salloc(tsd_tsdn(tsd), ptr) <= tcache_maxclass); in tcache_dalloc_large()
298 elm->tcache = tcache_create(tsd_tsdn(tsd), arena_choose(tsd, in tcaches_get()
|
| A D | tsd_inlines.h | 9 tsdn_t *tsd_tsdn(tsd_t *tsd);
58 tsd_tsdn(tsd_t *tsd) in tsd_tsdn() function
97 return (tsd_tsdn(tsd_fetch_impl(false))); in tsdn_fetch()
|
| A D | jemalloc_internal.h | 1007 return (iallocztm(tsd_tsdn(tsd), size, ind, zero, tcache_get(tsd, true), in ialloc()
1042 return (ipallocztm(tsd_tsdn(tsd), usize, alignment, zero, in ipalloc()
1088 idalloctm(tsd_tsdn(tsd), extent, ptr, tcache_get(tsd, false), false, in idalloc()
1157 return (iralloct(tsd_tsdn(tsd), extent, ptr, oldsize, size, alignment, in iralloc()
|
| A D | private_symbols.txt | 541 tsd_tsdn
|
| A D | jemalloc_internal.h.in | 1005 return (iallocztm(tsd_tsdn(tsd), size, ind, zero, tcache_get(tsd, true),
1040 return (ipallocztm(tsd_tsdn(tsd), usize, alignment, zero,
1086 idalloctm(tsd_tsdn(tsd), extent, ptr, tcache_get(tsd, false), false,
1155 return (iralloct(tsd_tsdn(tsd), extent, ptr, oldsize, size, alignment,
|
| A D | private_namespace.h | 541 #define tsd_tsdn JEMALLOC_N(tsd_tsdn) macro
|
| A D | private_unnamespace.h | 541 #undef tsd_tsdn
|