arch/sparc/kernel/fpu_traps.S

   1         /* This is trivial with the new code... */
   2         .globl          do_fpdis
   3         .type           do_fpdis,#function
   4 do_fpdis:
   5         sethi           %hi(TSTATE_PEF), %g4
   6         rdpr            %tstate, %g5
   7         andcc           %g5, %g4, %g0
   8         be,pt           %xcc, 1f
   9          nop
  10         rd              %fprs, %g5
  11         andcc           %g5, FPRS_FEF, %g0
  12         be,pt           %xcc, 1f
  13          nop
  14
  15         /* Legal state when DCR_IFPOE is set in Cheetah %dcr. */
  16         sethi           %hi(109f), %g7
  17         ba,pt           %xcc, etrap
  18 109:     or             %g7, %lo(109b), %g7
  19         add             %g0, %g0, %g0
  20         ba,a,pt         %xcc, rtrap
  21
  22 1:      TRAP_LOAD_THREAD_REG(%g6, %g1)
  23         ldub            [%g6 + TI_FPSAVED], %g5
  24         wr              %g0, FPRS_FEF, %fprs
  25         andcc           %g5, FPRS_FEF, %g0
  26         be,a,pt         %icc, 1f
  27          clr            %g7
  28         ldx             [%g6 + TI_GSR], %g7
  29 1:      andcc           %g5, FPRS_DL, %g0
  30         bne,pn          %icc, 2f
  31          fzero          %f0
  32         andcc           %g5, FPRS_DU, %g0
  33         bne,pn          %icc, 1f
  34          fzero          %f2
  35         faddd           %f0, %f2, %f4
  36         fmuld           %f0, %f2, %f6
  37         faddd           %f0, %f2, %f8
  38         fmuld           %f0, %f2, %f10
  39         faddd           %f0, %f2, %f12
  40         fmuld           %f0, %f2, %f14
  41         faddd           %f0, %f2, %f16
  42         fmuld           %f0, %f2, %f18
  43         faddd           %f0, %f2, %f20
  44         fmuld           %f0, %f2, %f22
  45         faddd           %f0, %f2, %f24
  46         fmuld           %f0, %f2, %f26
  47         faddd           %f0, %f2, %f28
  48         fmuld           %f0, %f2, %f30
  49         faddd           %f0, %f2, %f32
  50         fmuld           %f0, %f2, %f34
  51         faddd           %f0, %f2, %f36
  52         fmuld           %f0, %f2, %f38
  53         faddd           %f0, %f2, %f40
  54         fmuld           %f0, %f2, %f42
  55         faddd           %f0, %f2, %f44
  56         fmuld           %f0, %f2, %f46
  57         faddd           %f0, %f2, %f48
  58         fmuld           %f0, %f2, %f50
  59         faddd           %f0, %f2, %f52
  60         fmuld           %f0, %f2, %f54
  61         faddd           %f0, %f2, %f56
  62         fmuld           %f0, %f2, %f58
  63         b,pt            %xcc, fpdis_exit2
  64          faddd          %f0, %f2, %f60
  65 1:      mov             SECONDARY_CONTEXT, %g3
  66         add             %g6, TI_FPREGS + 0x80, %g1
  67         faddd           %f0, %f2, %f4
  68         fmuld           %f0, %f2, %f6
  69
  70 661:    ldxa            [%g3] ASI_DMMU, %g5
  71         .section        .sun4v_1insn_patch, "ax"
  72         .word           661b
  73         ldxa            [%g3] ASI_MMU, %g5
  74         .previous
  75
  76         sethi           %hi(sparc64_kern_sec_context), %g2
  77         ldx             [%g2 + %lo(sparc64_kern_sec_context)], %g2
  78
  79 661:    stxa            %g2, [%g3] ASI_DMMU
  80         .section        .sun4v_1insn_patch, "ax"
  81         .word           661b
  82         stxa            %g2, [%g3] ASI_MMU
  83         .previous
  84
  85         membar          #Sync
  86         add             %g6, TI_FPREGS + 0xc0, %g2
  87         faddd           %f0, %f2, %f8
  88         fmuld           %f0, %f2, %f10
  89         membar          #Sync
  90         ldda            [%g1] ASI_BLK_S, %f32
  91         ldda            [%g2] ASI_BLK_S, %f48
  92         membar          #Sync
  93         faddd           %f0, %f2, %f12
  94         fmuld           %f0, %f2, %f14
  95         faddd           %f0, %f2, %f16
  96         fmuld           %f0, %f2, %f18
  97         faddd           %f0, %f2, %f20
  98         fmuld           %f0, %f2, %f22
  99         faddd           %f0, %f2, %f24
 100         fmuld           %f0, %f2, %f26
 101         faddd           %f0, %f2, %f28
 102         fmuld           %f0, %f2, %f30
 103         b,pt            %xcc, fpdis_exit
 104          nop
 105 2:      andcc           %g5, FPRS_DU, %g0
 106         bne,pt          %icc, 3f
 107          fzero          %f32
 108         mov             SECONDARY_CONTEXT, %g3
 109         fzero           %f34
 110
 111 661:    ldxa            [%g3] ASI_DMMU, %g5
 112         .section        .sun4v_1insn_patch, "ax"
 113         .word           661b
 114         ldxa            [%g3] ASI_MMU, %g5
 115         .previous
 116
 117         add             %g6, TI_FPREGS, %g1
 118         sethi           %hi(sparc64_kern_sec_context), %g2
 119         ldx             [%g2 + %lo(sparc64_kern_sec_context)], %g2
 120
 121 661:    stxa            %g2, [%g3] ASI_DMMU
 122         .section        .sun4v_1insn_patch, "ax"
 123         .word           661b
 124         stxa            %g2, [%g3] ASI_MMU
 125         .previous
 126
 127         membar          #Sync
 128         add             %g6, TI_FPREGS + 0x40, %g2
 129         faddd           %f32, %f34, %f36
 130         fmuld           %f32, %f34, %f38
 131         membar          #Sync
 132         ldda            [%g1] ASI_BLK_S, %f0
 133         ldda            [%g2] ASI_BLK_S, %f16
 134         membar          #Sync
 135         faddd           %f32, %f34, %f40
 136         fmuld           %f32, %f34, %f42
 137         faddd           %f32, %f34, %f44
 138         fmuld           %f32, %f34, %f46
 139         faddd           %f32, %f34, %f48
 140         fmuld           %f32, %f34, %f50
 141         faddd           %f32, %f34, %f52
 142         fmuld           %f32, %f34, %f54
 143         faddd           %f32, %f34, %f56
 144         fmuld           %f32, %f34, %f58
 145         faddd           %f32, %f34, %f60
 146         fmuld           %f32, %f34, %f62
 147         ba,pt           %xcc, fpdis_exit
 148          nop
 149 3:      mov             SECONDARY_CONTEXT, %g3
 150         add             %g6, TI_FPREGS, %g1
 151
 152 661:    ldxa            [%g3] ASI_DMMU, %g5
 153         .section        .sun4v_1insn_patch, "ax"
 154         .word           661b
 155         ldxa            [%g3] ASI_MMU, %g5
 156         .previous
 157
 158         sethi           %hi(sparc64_kern_sec_context), %g2
 159         ldx             [%g2 + %lo(sparc64_kern_sec_context)], %g2
 160
 161 661:    stxa            %g2, [%g3] ASI_DMMU
 162         .section        .sun4v_1insn_patch, "ax"
 163         .word           661b
 164         stxa            %g2, [%g3] ASI_MMU
 165         .previous
 166
 167         membar          #Sync
 168         mov             0x40, %g2
 169         membar          #Sync
 170         ldda            [%g1] ASI_BLK_S, %f0
 171         ldda            [%g1 + %g2] ASI_BLK_S, %f16
 172         add             %g1, 0x80, %g1
 173         ldda            [%g1] ASI_BLK_S, %f32
 174         ldda            [%g1 + %g2] ASI_BLK_S, %f48
 175         membar          #Sync
 176 fpdis_exit:
 177
 178 661:    stxa            %g5, [%g3] ASI_DMMU
 179         .section        .sun4v_1insn_patch, "ax"
 180         .word           661b
 181         stxa            %g5, [%g3] ASI_MMU
 182         .previous
 183
 184         membar          #Sync
 185 fpdis_exit2:
 186         wr              %g7, 0, %gsr
 187         ldx             [%g6 + TI_XFSR], %fsr
 188         rdpr            %tstate, %g3
 189         or              %g3, %g4, %g3           ! anal...
 190         wrpr            %g3, %tstate
 191         wr              %g0, FPRS_FEF, %fprs    ! clean DU/DL bits
 192         retry
 193         .size           do_fpdis,.-do_fpdis
 194
 195         .align          32
 196         .type           fp_other_bounce,#function
 197 fp_other_bounce:
 198         call            do_fpother
 199          add            %sp, PTREGS_OFF, %o0
 200         ba,pt           %xcc, rtrap
 201          nop
 202         .size           fp_other_bounce,.-fp_other_bounce
 203
 204         .align          32
 205         .globl          do_fpother_check_fitos
 206         .type           do_fpother_check_fitos,#function
 207 do_fpother_check_fitos:
 208         TRAP_LOAD_THREAD_REG(%g6, %g1)
 209         sethi           %hi(fp_other_bounce - 4), %g7
 210         or              %g7, %lo(fp_other_bounce - 4), %g7
 211
 212         /* NOTE: Need to preserve %g7 until we fully commit
 213          *       to the fitos fixup.
 214          */
 215         stx             %fsr, [%g6 + TI_XFSR]
 216         rdpr            %tstate, %g3
 217         andcc           %g3, TSTATE_PRIV, %g0
 218         bne,pn          %xcc, do_fptrap_after_fsr
 219          nop
 220         ldx             [%g6 + TI_XFSR], %g3
 221         srlx            %g3, 14, %g1
 222         and             %g1, 7, %g1
 223         cmp             %g1, 2                  ! Unfinished FP-OP
 224         bne,pn          %xcc, do_fptrap_after_fsr
 225          sethi          %hi(1 << 23), %g1       ! Inexact
 226         andcc           %g3, %g1, %g0
 227         bne,pn          %xcc, do_fptrap_after_fsr
 228          rdpr           %tpc, %g1
 229         lduwa           [%g1] ASI_AIUP, %g3     ! This cannot ever fail
 230 #define FITOS_MASK      0xc1f83fe0
 231 #define FITOS_COMPARE   0x81a01880
 232         sethi           %hi(FITOS_MASK), %g1
 233         or              %g1, %lo(FITOS_MASK), %g1
 234         and             %g3, %g1, %g1
 235         sethi           %hi(FITOS_COMPARE), %g2
 236         or              %g2, %lo(FITOS_COMPARE), %g2
 237         cmp             %g1, %g2
 238         bne,pn          %xcc, do_fptrap_after_fsr
 239          nop
 240         std             %f62, [%g6 + TI_FPREGS + (62 * 4)]
 241         sethi           %hi(fitos_table_1), %g1
 242         and             %g3, 0x1f, %g2
 243         or              %g1, %lo(fitos_table_1),  %g1
 244         sllx            %g2, 2, %g2
 245         jmpl            %g1 + %g2, %g0
 246          ba,pt          %xcc, fitos_emul_continue
 247
 248 fitos_table_1:
 249         fitod           %f0, %f62
 250         fitod           %f1, %f62
 251         fitod           %f2, %f62
 252         fitod           %f3, %f62
 253         fitod           %f4, %f62
 254         fitod           %f5, %f62
 255         fitod           %f6, %f62
 256         fitod           %f7, %f62
 257         fitod           %f8, %f62
 258         fitod           %f9, %f62
 259         fitod           %f10, %f62
 260         fitod           %f11, %f62
 261         fitod           %f12, %f62
 262         fitod           %f13, %f62
 263         fitod           %f14, %f62
 264         fitod           %f15, %f62
 265         fitod           %f16, %f62
 266         fitod           %f17, %f62
 267         fitod           %f18, %f62
 268         fitod           %f19, %f62
 269         fitod           %f20, %f62
 270         fitod           %f21, %f62
 271         fitod           %f22, %f62
 272         fitod           %f23, %f62
 273         fitod           %f24, %f62
 274         fitod           %f25, %f62
 275         fitod           %f26, %f62
 276         fitod           %f27, %f62
 277         fitod           %f28, %f62
 278         fitod           %f29, %f62
 279         fitod           %f30, %f62
 280         fitod           %f31, %f62
 281
 282 fitos_emul_continue:
 283         sethi           %hi(fitos_table_2), %g1
 284         srl             %g3, 25, %g2
 285         or              %g1, %lo(fitos_table_2), %g1
 286         and             %g2, 0x1f, %g2
 287         sllx            %g2, 2, %g2
 288         jmpl            %g1 + %g2, %g0
 289          ba,pt          %xcc, fitos_emul_fini
 290
 291 fitos_table_2:
 292         fdtos           %f62, %f0
 293         fdtos           %f62, %f1
 294         fdtos           %f62, %f2
 295         fdtos           %f62, %f3
 296         fdtos           %f62, %f4
 297         fdtos           %f62, %f5
 298         fdtos           %f62, %f6
 299         fdtos           %f62, %f7
 300         fdtos           %f62, %f8
 301         fdtos           %f62, %f9
 302         fdtos           %f62, %f10
 303         fdtos           %f62, %f11
 304         fdtos           %f62, %f12
 305         fdtos           %f62, %f13
 306         fdtos           %f62, %f14
 307         fdtos           %f62, %f15
 308         fdtos           %f62, %f16
 309         fdtos           %f62, %f17
 310         fdtos           %f62, %f18
 311         fdtos           %f62, %f19
 312         fdtos           %f62, %f20
 313         fdtos           %f62, %f21
 314         fdtos           %f62, %f22
 315         fdtos           %f62, %f23
 316         fdtos           %f62, %f24
 317         fdtos           %f62, %f25
 318         fdtos           %f62, %f26
 319         fdtos           %f62, %f27
 320         fdtos           %f62, %f28
 321         fdtos           %f62, %f29
 322         fdtos           %f62, %f30
 323         fdtos           %f62, %f31
 324
 325 fitos_emul_fini:
 326         ldd             [%g6 + TI_FPREGS + (62 * 4)], %f62
 327         done
 328         .size           do_fpother_check_fitos,.-do_fpother_check_fitos
 329
 330         .align          32
 331         .globl          do_fptrap
 332         .type           do_fptrap,#function
 333 do_fptrap:
 334         TRAP_LOAD_THREAD_REG(%g6, %g1)
 335         stx             %fsr, [%g6 + TI_XFSR]
 336 do_fptrap_after_fsr:
 337         ldub            [%g6 + TI_FPSAVED], %g3
 338         rd              %fprs, %g1
 339         or              %g3, %g1, %g3
 340         stb             %g3, [%g6 + TI_FPSAVED]
 341         rd              %gsr, %g3
 342         stx             %g3, [%g6 + TI_GSR]
 343         mov             SECONDARY_CONTEXT, %g3
 344
 345 661:    ldxa            [%g3] ASI_DMMU, %g5
 346         .section        .sun4v_1insn_patch, "ax"
 347         .word           661b
 348         ldxa            [%g3] ASI_MMU, %g5
 349         .previous
 350
 351         sethi           %hi(sparc64_kern_sec_context), %g2
 352         ldx             [%g2 + %lo(sparc64_kern_sec_context)], %g2
 353
 354 661:    stxa            %g2, [%g3] ASI_DMMU
 355         .section        .sun4v_1insn_patch, "ax"
 356         .word           661b
 357         stxa            %g2, [%g3] ASI_MMU
 358         .previous
 359
 360         membar          #Sync
 361         add             %g6, TI_FPREGS, %g2
 362         andcc           %g1, FPRS_DL, %g0
 363         be,pn           %icc, 4f
 364          mov            0x40, %g3
 365         stda            %f0, [%g2] ASI_BLK_S
 366         stda            %f16, [%g2 + %g3] ASI_BLK_S
 367         andcc           %g1, FPRS_DU, %g0
 368         be,pn           %icc, 5f
 369 4:       add            %g2, 128, %g2
 370         stda            %f32, [%g2] ASI_BLK_S
 371         stda            %f48, [%g2 + %g3] ASI_BLK_S
 372 5:      mov             SECONDARY_CONTEXT, %g1
 373         membar          #Sync
 374
 375 661:    stxa            %g5, [%g1] ASI_DMMU
 376         .section        .sun4v_1insn_patch, "ax"
 377         .word           661b
 378         stxa            %g5, [%g1] ASI_MMU
 379         .previous
 380
 381         membar          #Sync
 382         ba,pt           %xcc, etrap
 383          wr             %g0, 0, %fprs
 384         .size           do_fptrap,.-do_fptrap