1 // SPDX-License-Identifier: GPL-2.0-or-later
2 /*
3  * Copyright 2020, Jordan Niethe, IBM Corporation.
4  *
5  * This file contains low level CPU setup functions.
6  * Originally written in assembly by Benjamin Herrenschmidt & various other
7  * authors.
8  */
9 
10 #include <asm/reg.h>
11 #include <asm/synch.h>
12 #include <linux/bitops.h>
13 #include <asm/cputable.h>
14 #include <asm/cpu_setup.h>
15 
16 /* Disable CPU_FTR_HVMODE and return false if MSR:HV is not set */
init_hvmode_206(struct cpu_spec * t)17 static bool init_hvmode_206(struct cpu_spec *t)
18 {
19 	u64 msr;
20 
21 	msr = mfmsr();
22 	if (msr & MSR_HV)
23 		return true;
24 
25 	t->cpu_features &= ~(CPU_FTR_HVMODE | CPU_FTR_P9_TM_HV_ASSIST);
26 	return false;
27 }
28 
init_LPCR_ISA300(u64 lpcr,u64 lpes)29 static void init_LPCR_ISA300(u64 lpcr, u64 lpes)
30 {
31 	/* POWER9 has no VRMASD */
32 	lpcr |= (lpes << LPCR_LPES_SH) & LPCR_LPES;
33 	lpcr |= LPCR_PECE0|LPCR_PECE1|LPCR_PECE2;
34 	lpcr |= (4ull << LPCR_DPFD_SH) & LPCR_DPFD;
35 	lpcr &= ~LPCR_HDICE;	/* clear HDICE */
36 	lpcr |= (4ull << LPCR_VC_SH);
37 	mtspr(SPRN_LPCR, lpcr);
38 	isync();
39 }
40 
41 /*
42  * Setup a sane LPCR:
43  *   Called with initial LPCR and desired LPES 2-bit value
44  *
45  *   LPES = 0b01 (HSRR0/1 used for 0x500)
46  *   PECE = 0b111
47  *   DPFD = 4
48  *   HDICE = 0
49  *   VC = 0b100 (VPM0=1, VPM1=0, ISL=0)
50  *   VRMASD = 0b10000 (L=1, LP=00)
51  *
52  * Other bits untouched for now
53  */
init_LPCR_ISA206(u64 lpcr,u64 lpes)54 static void init_LPCR_ISA206(u64 lpcr, u64 lpes)
55 {
56 	lpcr |= (0x10ull << LPCR_VRMASD_SH) & LPCR_VRMASD;
57 	init_LPCR_ISA300(lpcr, lpes);
58 }
59 
init_FSCR(void)60 static void init_FSCR(void)
61 {
62 	u64 fscr;
63 
64 	fscr = mfspr(SPRN_FSCR);
65 	fscr |= FSCR_TAR|FSCR_EBB;
66 	mtspr(SPRN_FSCR, fscr);
67 }
68 
init_FSCR_power9(void)69 static void init_FSCR_power9(void)
70 {
71 	u64 fscr;
72 
73 	fscr = mfspr(SPRN_FSCR);
74 	fscr |= FSCR_SCV;
75 	mtspr(SPRN_FSCR, fscr);
76 	init_FSCR();
77 }
78 
init_FSCR_power10(void)79 static void init_FSCR_power10(void)
80 {
81 	u64 fscr;
82 
83 	fscr = mfspr(SPRN_FSCR);
84 	fscr |= FSCR_PREFIX;
85 	mtspr(SPRN_FSCR, fscr);
86 	init_FSCR_power9();
87 }
88 
init_HFSCR(void)89 static void init_HFSCR(void)
90 {
91 	u64 hfscr;
92 
93 	hfscr = mfspr(SPRN_HFSCR);
94 	hfscr |= HFSCR_TAR|HFSCR_TM|HFSCR_BHRB|HFSCR_PM|HFSCR_DSCR|\
95 		 HFSCR_VECVSX|HFSCR_FP|HFSCR_EBB|HFSCR_MSGP;
96 	mtspr(SPRN_HFSCR, hfscr);
97 }
98 
init_PMU_HV(void)99 static void init_PMU_HV(void)
100 {
101 	mtspr(SPRN_MMCRC, 0);
102 }
103 
init_PMU_HV_ISA207(void)104 static void init_PMU_HV_ISA207(void)
105 {
106 	mtspr(SPRN_MMCRH, 0);
107 }
108 
init_PMU(void)109 static void init_PMU(void)
110 {
111 	mtspr(SPRN_MMCRA, 0);
112 	mtspr(SPRN_MMCR0, MMCR0_FC);
113 	mtspr(SPRN_MMCR1, 0);
114 	mtspr(SPRN_MMCR2, 0);
115 }
116 
init_PMU_ISA207(void)117 static void init_PMU_ISA207(void)
118 {
119 	mtspr(SPRN_MMCRS, 0);
120 }
121 
init_PMU_ISA31(void)122 static void init_PMU_ISA31(void)
123 {
124 	mtspr(SPRN_MMCR3, 0);
125 	mtspr(SPRN_MMCRA, MMCRA_BHRB_DISABLE);
126 	mtspr(SPRN_MMCR0, MMCR0_FC | MMCR0_PMCCEXT);
127 }
128 
129 /*
130  * Note that we can be called twice of pseudo-PVRs.
131  * The parameter offset is not used.
132  */
133 
__setup_cpu_power7(unsigned long offset,struct cpu_spec * t)134 void __setup_cpu_power7(unsigned long offset, struct cpu_spec *t)
135 {
136 	if (!init_hvmode_206(t))
137 		return;
138 
139 	mtspr(SPRN_LPID, 0);
140 	mtspr(SPRN_AMOR, ~0);
141 	mtspr(SPRN_PCR, PCR_MASK);
142 	init_LPCR_ISA206(mfspr(SPRN_LPCR), LPCR_LPES1 >> LPCR_LPES_SH);
143 }
144 
__restore_cpu_power7(void)145 void __restore_cpu_power7(void)
146 {
147 	u64 msr;
148 
149 	msr = mfmsr();
150 	if (!(msr & MSR_HV))
151 		return;
152 
153 	mtspr(SPRN_LPID, 0);
154 	mtspr(SPRN_AMOR, ~0);
155 	mtspr(SPRN_PCR, PCR_MASK);
156 	init_LPCR_ISA206(mfspr(SPRN_LPCR), LPCR_LPES1 >> LPCR_LPES_SH);
157 }
158 
__setup_cpu_power8(unsigned long offset,struct cpu_spec * t)159 void __setup_cpu_power8(unsigned long offset, struct cpu_spec *t)
160 {
161 	init_FSCR();
162 	init_PMU();
163 	init_PMU_ISA207();
164 
165 	if (!init_hvmode_206(t))
166 		return;
167 
168 	mtspr(SPRN_LPID, 0);
169 	mtspr(SPRN_AMOR, ~0);
170 	mtspr(SPRN_PCR, PCR_MASK);
171 	init_LPCR_ISA206(mfspr(SPRN_LPCR) | LPCR_PECEDH, 0); /* LPES = 0 */
172 	init_HFSCR();
173 	init_PMU_HV();
174 	init_PMU_HV_ISA207();
175 }
176 
__restore_cpu_power8(void)177 void __restore_cpu_power8(void)
178 {
179 	u64 msr;
180 
181 	init_FSCR();
182 	init_PMU();
183 	init_PMU_ISA207();
184 
185 	msr = mfmsr();
186 	if (!(msr & MSR_HV))
187 		return;
188 
189 	mtspr(SPRN_LPID, 0);
190 	mtspr(SPRN_AMOR, ~0);
191 	mtspr(SPRN_PCR, PCR_MASK);
192 	init_LPCR_ISA206(mfspr(SPRN_LPCR) | LPCR_PECEDH, 0); /* LPES = 0 */
193 	init_HFSCR();
194 	init_PMU_HV();
195 	init_PMU_HV_ISA207();
196 }
197 
__setup_cpu_power9(unsigned long offset,struct cpu_spec * t)198 void __setup_cpu_power9(unsigned long offset, struct cpu_spec *t)
199 {
200 	init_FSCR_power9();
201 	init_PMU();
202 
203 	if (!init_hvmode_206(t))
204 		return;
205 
206 	mtspr(SPRN_PSSCR, 0);
207 	mtspr(SPRN_LPID, 0);
208 	mtspr(SPRN_PID, 0);
209 	mtspr(SPRN_AMOR, ~0);
210 	mtspr(SPRN_PCR, PCR_MASK);
211 	init_LPCR_ISA300((mfspr(SPRN_LPCR) | LPCR_PECEDH | LPCR_PECE_HVEE |\
212 			 LPCR_HVICE | LPCR_HEIC) & ~(LPCR_UPRT | LPCR_HR), 0);
213 	init_HFSCR();
214 	init_PMU_HV();
215 }
216 
__restore_cpu_power9(void)217 void __restore_cpu_power9(void)
218 {
219 	u64 msr;
220 
221 	init_FSCR_power9();
222 	init_PMU();
223 
224 	msr = mfmsr();
225 	if (!(msr & MSR_HV))
226 		return;
227 
228 	mtspr(SPRN_PSSCR, 0);
229 	mtspr(SPRN_LPID, 0);
230 	mtspr(SPRN_PID, 0);
231 	mtspr(SPRN_AMOR, ~0);
232 	mtspr(SPRN_PCR, PCR_MASK);
233 	init_LPCR_ISA300((mfspr(SPRN_LPCR) | LPCR_PECEDH | LPCR_PECE_HVEE |\
234 			 LPCR_HVICE | LPCR_HEIC) & ~(LPCR_UPRT | LPCR_HR), 0);
235 	init_HFSCR();
236 	init_PMU_HV();
237 }
238 
__setup_cpu_power10(unsigned long offset,struct cpu_spec * t)239 void __setup_cpu_power10(unsigned long offset, struct cpu_spec *t)
240 {
241 	init_FSCR_power10();
242 	init_PMU();
243 	init_PMU_ISA31();
244 
245 	if (!init_hvmode_206(t))
246 		return;
247 
248 	mtspr(SPRN_PSSCR, 0);
249 	mtspr(SPRN_LPID, 0);
250 	mtspr(SPRN_PID, 0);
251 	mtspr(SPRN_AMOR, ~0);
252 	mtspr(SPRN_PCR, PCR_MASK);
253 	init_LPCR_ISA300((mfspr(SPRN_LPCR) | LPCR_PECEDH | LPCR_PECE_HVEE |\
254 			 LPCR_HVICE | LPCR_HEIC) & ~(LPCR_UPRT | LPCR_HR), 0);
255 	init_HFSCR();
256 	init_PMU_HV();
257 }
258 
__restore_cpu_power10(void)259 void __restore_cpu_power10(void)
260 {
261 	u64 msr;
262 
263 	init_FSCR_power10();
264 	init_PMU();
265 	init_PMU_ISA31();
266 
267 	msr = mfmsr();
268 	if (!(msr & MSR_HV))
269 		return;
270 
271 	mtspr(SPRN_PSSCR, 0);
272 	mtspr(SPRN_LPID, 0);
273 	mtspr(SPRN_PID, 0);
274 	mtspr(SPRN_AMOR, ~0);
275 	mtspr(SPRN_PCR, PCR_MASK);
276 	init_LPCR_ISA300((mfspr(SPRN_LPCR) | LPCR_PECEDH | LPCR_PECE_HVEE |\
277 			 LPCR_HVICE | LPCR_HEIC) & ~(LPCR_UPRT | LPCR_HR), 0);
278 	init_HFSCR();
279 	init_PMU_HV();
280 }
281