+
    "Ý³j�É  ã                  óÜ	  a € 0 t $ ^ RIHt ^ RIHtHtHtHt ^ RIt^RI	H
t
Ht ^RIHtHt ^RIHtHt ^RIHt ^RIHt ^R	IHtHt  ^ RIt^ RIHt ^ R
IHt ^RIH t  Rt!/ t#R]$R&   R R lt%]!'       EdÜ   ]PL                  ! R^R^ /^^R7      ]PL                  ! R^R^ /^^R7      ]PL                  ! R^R^@/^^R7      .t']PL                  ! R^R^/^^R7      ]PL                  ! R^R^ /^^R7      ]PL                  ! R^R^/^^R7      ]PL                  ! R^R^/^^R7      ]PL                  ! R^R^ /^^R7      ]PL                  ! R^R^ /^^R7      ]PL                  ! R^R^ /^^R7      ]PL                  ! R^R^@/^^R7      ]PL                  ! R^ R^/^^R7      ]PL                  ! R^ R^ /^^R7      ]PL                  ! R^ R^@/^^R7      .t(^t)R^R^ R^R^/t*R^R^ R^R^/t+R^R^ R^R^/t,R^R^ R^R^/t-R^R^@R^R^/t.R^R^ R^R^/t/R^ R^R^R^/t0R^@R^ R^R^/t1R^@R^R^R^/t2R^ R^@R^R^/t3R^ R^R^R^/t4R^@R^ R^R^/t5R^R^R^R^/t6R^R^ R^R^/t7R^R^ R^R^/t8]Pr                  R R l4       t:]Pr                  R R l4       t;]Pr                  R R l4       t<]Pr                  R R l4       t=] P|                  ! ]'RR .RR!7      ! ]:4      t?] P|                  ! ](. RQORR!7      ! ]:4      t@] P|                  ! ]'RR .RR!7      ! ];4      tA] P|                  ! ](. RQORR!7      ! ];4      tB] P|                  ! ](RR .RR!7      ! ]<4      tC] P|                  ! ](RR .RR!7      ! ]=4      tD]Pr                  R" R# l4       tE] P|                  ! ]'RR .RR!7      ! ]E4      tF] P|                  ! ](. RQORR!7      ! ]E4      tG]Pr                  R$ R% l4       tH] P|                  ! ]'RR .RR!7      ! ]H4      tI] P|                  ! ](. RQORR!7      ! ]H4      tJ]Pr                  R& R' l4       tK] P|                  ! ]'RR .RR!7      ! ]K4      tL] P|                  ! ](. RQORR!7      ! ]K4      tMR( R) ltNR* R+ ltOR, R- ltPR.R/R/ R0 lltQR1 R2 ltRR3 R4 ltSR5 R6 ltTR7 R8 ltUR9 R: ltVR; R< ltWR= R> ltXR? R@ ltYRA RB ltZRC RD lt[RE RF lt\RG RH lt]RI RJ lt^RK RL lt_RM RN lt` ! RO RP]4      ta. RROtbR#   ]" d    RtRtRt Rt! ELŠi ; i)Sé    )Úannotations)ÚAnyÚCallableÚOptionalÚTupleN)ÚAdapterÚLora)ÚDEVICEÚPLATFORM)ÚFORMATÚMETHOD)ÚBACKEND)Úhas_gil_disabled)ÚGGUFTorchLinearÚ_unpack_q4_k_scale_min_torch)Úversion)Úcustom_autotuneTFzdict[int, tuple[int, int]]Ú_CUDA_DEVICE_CAPABILITY_CACHEc               ó   € V ^8„  d   QhRR/# )é   ÚreturnÚbool© )Úformats   "Úi/home/luca/screen-checking/.venv/lib/python3.14/site-packages/gptqmodel/nn_modules/qlinear/gguf_triton.pyÚ__annotate__r   #   s   € ÷ ñ ˜$ñ ó    c                 ó   € \         # ©N)Ú_TRITON_AVAILABLEr   r   r   Útriton_availabler!   #   s   € ÜÐr   ÚBLOCK_SIZE_MÚBLOCK_SIZE_N)Ú
num_stagesÚ	num_warpsr%   r$   c               ó    € V ^8„  d   QhRRRR/# ©r   r"   ztl.constexprr#   r   )r   s   "r   r   r   û   s    € ÷ ?
ñ ?
ð" #ð#?
ð$ #ñ%?
r   c           
     óT  € \         P                  ! ^ 4      p\         P                  ! ^4      pVV,          \         P                  ! ^ V4      ,           pVV,          \         P                  ! ^ V4      ,           pVV8  pVV8  p\         P                  ! VV3\         P                  R7      p\         P                  ! ^ ^4      p\        ^ V4       EFÜ  p\         P                  ! VVV,          ,           VV,          ,           VRR7      p\        ^ ^4       EF’  pV^€,          V^ ,          ,           \         P                  ! ^ ^ 4      ,           p\         P                  ! V VR,          V,          ,           VR	,          V,          ,           VR,          RR7      p\         P                  ! VVV	,          ,           V^,          \         P                  ! ^ ^4      ,           R,          V
,          ,           VR	,          V,          ,           VR	,          ^ R7      pVR
,          VR,          ,	          ^,          p \         P                  ! V ^ V34      p!\         P                  ! V!\         P                  4      R,          R,
          VR	,          ,          p"V\         P                  ! VV"4      ,          pEK•  	  EKß  	  \         P                  ! VVR,          V,          ,           VR	,          V,          ,           \         P                  ! V\         P                  4      VR,          VR	,          ,          R7       R# ©r   ©Údtypeç        ©ÚmaskÚotherNç       @ç      ð?©r.   ©ºNNNN©Nr4   )r4   Nr4   )Nr4   N©ÚtlÚ
program_idÚarangeÚzerosÚfloat32ÚrangeÚloadÚreshapeÚcastÚfloat16ÚdotÚstore)#Úx_ptrÚsign_ptrÚ	scale_ptrÚout_ptrÚMÚNÚ
NUM_BLOCKSÚ	stride_xmÚ	stride_xkÚ	stride_qbÚ	stride_qqÚ	stride_qnÚ	stride_sbÚ	stride_snÚ	stride_omÚ	stride_onr"   r#   Úpid_mÚpid_nÚoffs_mÚoffs_nÚm_maskÚn_maskÚaccumulatorÚ
bit_shiftsÚ	block_idxÚscaleÚ
sign_groupÚoffs_kÚaÚpackedÚ	sign_bitsÚsignsÚweights#   &&&&&&&&&&&&&&&&&&                 r   Ú(_gguf_q1_0_g128_fused_matmul_kernel_implrd   ú   sV  € ô* —’˜aÓ ˆÜ—’˜aÓ ˆà˜Õ%¬¯	ª	°!°\Ó(BÕBˆØ˜Õ%¬¯	ª	°!°\Ó(BÕBˆØ˜!‘ˆØ˜!‘ˆä—h’h ¨lÐ;Ä2Ç:Á:ÔNˆÜ—Y’Y˜q !“_ˆ
ä˜q *×-ˆIÜ—G’GØ˜I¨	Õ1Õ1°F¸YÕ4FÕFØØôˆEô $ A qŸk�
Ø" S�¨:¸­?Õ:¼R¿YºYÀqÈ"Ó=MÕM�Ü—G’GØ˜F 7�O¨iÕ7Õ7¸&À½/ÈIÕ:UÕUØ �Øô�ô ŸšØØ )Õ+õ,à! A•~¬¯	ª	°!°Q«Õ7¸ÕAÀIÕMõNð ˜W•o¨	Õ1õ2ð   �Øô�ð $ JÕ/°:¸mÕ3LÕLÐPTÕT�	ÜŸ
š
 9¨r°<Ð.@ÓA�ÜŸ'š' %¬¯©Ó4°sÕ:¸SÕ@ÀEÈ'ÅNÕR�ØœrŸvšv a¨Ó0Õ0“ô' *ñ .ô8 	�ŠØ�f˜W•o¨	Õ1Õ1°F¸7µOÀiÕ4OÕOÜ�GŠG�K¤§¡Ó,Ø˜• 6¨'¥?Õ2÷	
r   c               ó    € V ^8„  d   QhRRRR/# r'   r   )r   s   "r   r   r   =  s    € ÷ <
ñ <
ð" #ð#<
ð$ #ñ%<
r   c                óü  € \         P                  ! ^ 4      p\         P                  ! ^4      pVV,          \         P                  ! ^ V4      ,           pVV,          \         P                  ! ^ V4      ,           pVV8  pVV8  p\         P                  ! VV3\         P                  R7      p\         P                  ! ^ ^ 4      p\        ^ V4       EF°  p\         P                  ! VVV,          ,           VV,          ,           VRR7      p\        ^ ^4       EFf  pV^€,          V^ ,          ,           \         P                  ! ^ ^ 4      ,           p\         P                  ! V VR,          V,          ,           VR	,          V,          ,           VR,          RR7      p\         P                  ! VVV	,          ,           VV
,          ,           VV,          ,           V^ R7      p\         P                  ! V\         P                  4      pVR	,          VR,          ,	          ^,          p \         P                  ! V \         P                  4      R,          R,
          VR	,          ,          p!V\         P                  ! VV!4      ,          pEKi  	  EK³  	  \         P                  ! VVR,          V,          ,           VR	,          V,          ,           \         P                  ! V\         P                  4      VR,          VR	,          ,          R7       R# ©
r   r*   r,   r-   Nr0   r1   r2   r3   r5   ©r7   r8   r9   r:   r;   r<   r=   r?   Úuint32r@   rA   rB   )"rC   rD   rE   rF   rG   rH   rI   rJ   rK   rL   Ú	stride_qgrN   rO   rP   rQ   rR   r"   r#   rS   rT   rU   rV   rW   rX   rY   rZ   r[   r\   r]   r^   r_   r`   ra   rc   s"   &&&&&&&&&&&&&&&&&&                r   Ú,_gguf_q1_0_g128_u32_fused_matmul_kernel_implrk   <  s(  € ô* —’˜aÓ ˆÜ—’˜aÓ ˆà˜Õ%¬¯	ª	°!°\Ó(BÕBˆØ˜Õ%¬¯	ª	°!°\Ó(BÕBˆØ˜!‘ˆØ˜!‘ˆä—h’h ¨lÐ;Ä2Ç:Á:ÔNˆÜ—Y’Y˜q "Ó%ˆ
ä˜q *×-ˆIÜ—G’GØ˜I¨	Õ1Õ1°F¸YÕ4FÕFØØôˆEô $ A qŸk�
Ø" S�¨:¸­?Õ:¼R¿YºYÀqÈ"Ó=MÕM�Ü—G’GØ˜F 7�O¨iÕ7Õ7¸&À½/ÈIÕ:UÕUØ �Øô�ô ŸšØ˜y¨9Õ4Õ4°zÀIÕ7MÕMÐPVÐYbÕPbÕbØØô�ô
 Ÿš ¬¯©Ó3�Ø# G�_°
¸7Õ0CÕCÀtÕK�	ÜŸ'š' )¬R¯Z©ZÓ8¸3Õ>ÀÕDÈÈgÍÕV�ØœrŸvšv a¨Ó0Õ0“ô! *ñ .ô2 	�ŠØ�f˜W•o¨	Õ1Õ1°F¸7µOÀiÕ4OÕOÜ�GŠG�K¤§¡Ó,Ø˜• 6¨'¥?Õ2÷	
r   c               ó    € V ^8„  d   QhRRRR/# r'   r   )r   s   "r   r   r   |  s    € ÷ >
ñ >
ð  #ð!>
ð" #ñ#>
r   c           
     óT  € \         P                  ! ^ 4      p\         P                  ! ^4      pVV,          \         P                  ! ^ V4      ,           pVV,          \         P                  ! ^ V4      ,           pVV8  pVV8  p\         P                  ! VV3\         P                  R7      p\         P                  ! ^ ^4      p\        ^ ^4       EFÜ  p\         P                  ! VVV,          ,           VV,          ,           VRR7      p\        ^ ^4       EF’  pV^€,          V^ ,          ,           \         P                  ! ^ ^ 4      ,           p\         P                  ! V VR,          V,          ,           VR	,          V,          ,           VR,          RR7      p\         P                  ! VVV,          ,           V^,          \         P                  ! ^ ^4      ,           R,          V	,          ,           VR	,          V
,          ,           VR	,          ^ R7      pVR
,          VR,          ,	          ^,          p\         P                  ! V^ V34      p \         P                  ! V \         P                  4      R,          R,
          VR	,          ,          p!V\         P                  ! VV!4      ,          pEK•  	  EKß  	  \         P                  ! VVR,          V,          ,           VR	,          V,          ,           \         P                  ! V\         P                  4      VR,          VR	,          ,          R7       R# r)   r6   )"rC   rD   rE   rF   rG   rH   rJ   rK   rL   rM   rN   rO   rP   rQ   rR   r"   r#   rS   rT   rU   rV   rW   rX   rY   rZ   r[   r\   r]   r^   r_   r`   ra   rb   rc   s"   &&&&&&&&&&&&&&&&&                 r   Ú._gguf_q1_0_g128_k2048_fused_matmul_kernel_implrn   {  sU  € ô( —’˜aÓ ˆÜ—’˜aÓ ˆà˜Õ%¬¯	ª	°!°\Ó(BÕBˆØ˜Õ%¬¯	ª	°!°\Ó(BÕBˆØ˜!‘ˆØ˜!‘ˆä—h’h ¨lÐ;Ä2Ç:Á:ÔNˆÜ—Y’Y˜q !“_ˆ
ä˜q "ŸˆIÜ—G’GØ˜I¨	Õ1Õ1°F¸YÕ4FÕFØØôˆEô $ A qŸk�
Ø" S�¨:¸­?Õ:¼R¿YºYÀqÈ"Ó=MÕM�Ü—G’GØ˜F 7�O¨iÕ7Õ7¸&À½/ÈIÕ:UÕUØ �Øô�ô ŸšØØ )Õ+õ,à! A•~¬¯	ª	°!°Q«Õ7¸ÕAÀIÕMõNð ˜W•o¨	Õ1õ2ð   �Øô�ð $ JÕ/°:¸mÕ3LÕLÐPTÕT�	ÜŸ
š
 9¨r°<Ð.@ÓA�ÜŸ'š' %¬¯©Ó4°sÕ:¸SÕ@ÀEÈ'ÅNÕR�ØœrŸvšv a¨Ó0Õ0“ô' *ñ &ô8 	�ŠØ�f˜W•o¨	Õ1Õ1°F¸7µOÀiÕ4OÕOÜ�GŠG�K¤§¡Ó,Ø˜• 6¨'¥?Õ2÷	
r   c               ó    € V ^8„  d   QhRRRR/# r'   r   )r   s   "r   r   r   ½  s    € ÷ ;
ñ ;
ð  #ð!;
ð" #ñ#;
r   c                óü  € \         P                  ! ^ 4      p\         P                  ! ^4      pVV,          \         P                  ! ^ V4      ,           pVV,          \         P                  ! ^ V4      ,           pVV8  pVV8  p\         P                  ! VV3\         P                  R7      p\         P                  ! ^ ^ 4      p\        ^ ^4       EF°  p\         P                  ! VVV,          ,           VV,          ,           VRR7      p\        ^ ^4       EFf  pV^€,          V^ ,          ,           \         P                  ! ^ ^ 4      ,           p\         P                  ! V VR,          V,          ,           VR	,          V,          ,           VR,          RR7      p\         P                  ! VVV,          ,           VV	,          ,           VV
,          ,           V^ R7      p\         P                  ! V\         P                  4      pVR	,          VR,          ,	          ^,          p\         P                  ! V\         P                  4      R,          R,
          VR	,          ,          p V\         P                  ! VV 4      ,          pEKi  	  EK³  	  \         P                  ! VVR,          V,          ,           VR	,          V,          ,           \         P                  ! V\         P                  4      VR,          VR	,          ,          R7       R# rg   rh   )!rC   rD   rE   rF   rG   rH   rJ   rK   rL   rj   rN   rO   rP   rQ   rR   r"   r#   rS   rT   rU   rV   rW   rX   rY   rZ   r[   r\   r]   r^   r_   r`   ra   rc   s!   &&&&&&&&&&&&&&&&&                r   Ú2_gguf_q1_0_g128_u32_k2048_fused_matmul_kernel_implrq   ¼  s'  € ô( —’˜aÓ ˆÜ—’˜aÓ ˆà˜Õ%¬¯	ª	°!°\Ó(BÕBˆØ˜Õ%¬¯	ª	°!°\Ó(BÕBˆØ˜!‘ˆØ˜!‘ˆä—h’h ¨lÐ;Ä2Ç:Á:ÔNˆÜ—Y’Y˜q "Ó%ˆ
ä˜q "ŸˆIÜ—G’GØ˜I¨	Õ1Õ1°F¸YÕ4FÕFØØôˆEô $ A qŸk�
Ø" S�¨:¸­?Õ:¼R¿YºYÀqÈ"Ó=MÕM�Ü—G’GØ˜F 7�O¨iÕ7Õ7¸&À½/ÈIÕ:UÕUØ �Øô�ô ŸšØ˜y¨9Õ4Õ4°zÀIÕ7MÕMÐPVÐYbÕPbÕbØØô�ô
 Ÿš ¬¯©Ó3�Ø# G�_°
¸7Õ0CÕCÀtÕK�	ÜŸ'š' )¬R¯Z©ZÓ8¸3Õ>ÀÕDÈÈgÍÕV�ØœrŸvšv a¨Ó0Õ0“ô! *ñ &ô2 	�ŠØ�f˜W•o¨	Õ1Õ1°F¸7µOÀiÕ4OÕOÜ�GŠG�K¤§¡Ó,Ø˜• 6¨'¥?Õ2÷	
r   rG   rH   )ÚconfigsÚkeyÚnearest_power_of_twoc               ó    € V ^8„  d   QhRRRR/# r'   r   )r   s   "r   r   r     s$   € ÷ I
ñ I
ð, #ð-I
ð. #ñ/I
r   c                ó®  € \         P                  ! ^ 4      p\         P                  ! ^4      pVV,          \         P                  ! ^ V4      ,           pVV,          \         P                  ! ^ V4      ,           pVV8  pVV8  p\         P                  ! VV3\         P                  R7      p\        ^ V4       EF   p\        ^ ^4       EF  pVR,          V^ ,          ,           \         P                  ! ^ ^ 4      ,           p \         P                  ! V VR,          V,          ,           V R,          V	,          ,           VR,          RR7      p!V^,          ^ ,          \         P                  ! ^ ^ 4      ,           p"\         P                  ! VVV
,          ,           V"R,          V,          ,           VR,          V,          ,           VR,          ^ R7      p#V^,          ^ 8X  d   V#^,          p$M	V#^,	          p$\         P                  ! VVV,          ,           VV,          ,           VV,          ,           VRR7      p%\         P                  ! VVV,          ,           VV,          ,           VV,          ,           VRR7      p&\         P                  ! V$\         P                  4      V%R,          ,          V&R,          ,
          p'V\         P                  ! V!V'4      ,          pEK  	  EK#  	  \         P                  ! VVR,          V,          ,           VR,          V,          ,           \         P                  ! V\         P                  4      VR,          VR,          ,          R7       R# ©	r   r*   é   Nr,   r-   r2   r3   r5   ©r7   r8   r9   r:   r;   r<   r=   r?   r@   rA   rB   )(rC   Úqs_ptrrE   Úmin_ptrrF   rG   rH   rI   rJ   rK   rL   rM   rN   rO   Ú	stride_ssrP   Ú	stride_mbÚ	stride_msÚ	stride_mnrQ   rR   r"   r#   rS   rT   rU   rV   rW   rX   rY   r[   Úsubblockr^   r_   Úbyte_idxr`   Úqr\   Ú	min_valuerc   s(   &&&&&&&&&&&&&&&&&&&&&&&                 r   Ú#_gguf_q4_k_fused_matmul_kernel_implr„     s{  € ô4 —’˜aÓ ˆÜ—’˜aÓ ˆà˜Õ%¬¯	ª	°!°\Ó(BÕBˆØ˜Õ%¬¯	ª	°!°\Ó(BÕBˆØ˜!‘ˆØ˜!‘ˆä—h’h ¨lÐ;Ä2Ç:Á:ÔNˆä˜q *×-ˆIÜ! ! QŸK�Ø" S�¨8°b­=Õ8¼2¿9º9ÀQÈÓ;KÕK�Ü—G’GØ˜F 7�O¨iÕ7Õ7¸&À½/ÈIÕ:UÕUØ �Øô�ð %¨�M¨RÕ/´"·)²)¸A¸rÓ2BÕB�ÜŸšØ˜Y¨Õ2Õ2°X¸gÕ5FÈÕ5RÕRÐU[Ð\cÕUdÐgpÕUpÕpØ �Øô�ð
 ˜a•< 1Ô$Ø �‘Aà !��AäŸšØ 	¨IÕ 5Õ5¸À9Õ8LÕLÈvÐXaÕOaÕaØØô�ô
 ŸGšGØ˜i¨)Õ3Õ3°hÀÕ6JÕJÈVÐV_ÕM_Õ_ØØô�	ô Ÿš ¤B§J¡JÓ/°%¸µ.Õ@À9ÈWÕCUÕU�ØœrŸvšv a¨Ó0Õ0“ô? (ñ .ôD 	�ŠØ�f˜W•o¨	Õ1Õ1°F¸7µOÀiÕ4OÕOÜ�GŠG�K¤§¡Ó,Ø˜• 6¨'¥?Õ2÷	
r   c               ó    € V ^8„  d   QhRRRR/# r'   r   )r   s   "r   r   r   q  s$   € ÷ U
ñ U
ð4 #ð5U
ð6 #ñ7U
r   c           	     óÈ  € \         P                  ! ^ 4      p\         P                  ! ^4      pVV,          \         P                  ! ^ V4      ,           pVV,          \         P                  ! ^ V4      ,           pVV8  pVV8  p \         P                  ! VV3\         P                  R7      p!\        ^ V4       EF­  p"\        ^ ^4       EF˜  p#V"R,          V#^ ,          ,           \         P                  ! ^ ^ 4      ,           p$\         P                  ! V VR,          V	,          ,           V$R,          V
,          ,           VR,          RR7      p%V#^,          ^ ,          \         P                  ! ^ ^ 4      ,           p&\         P                  ! VV"V,          ,           V&R,          V,          ,           VR,          V,          ,           V R,          ^ R7      p'V#^,          ^ 8X  d   V'^,          p(M	V'^,	          p(\         P                  ! VV"V,          ,           \         P                  ! ^ ^ 4      R,          V,          ,           VR,          V,          ,           V R,          ^ R7      p)V)V#,	          ^,          p)V(V)^,          ,          p*\         P                  ! VV"V,          ,           V#V,          ,           VV,          ,           V RR7      p+\         P                  ! VV"V,          ,           V#V,          ,           VV,          ,           V RR7      p,\         P                  ! V*\         P                  4      V+R,          ,          V,R,          ,
          p-V!\         P                  ! V%V-4      ,          p!EK›  	  EK°  	  \         P                  ! VVR,          V,          ,           VR,          V,          ,           \         P                  ! V!\         P                  4      VR,          V R,          ,          R7       R# rw   ry   ).rC   rz   Úqh_ptrrE   r{   rF   rG   rH   rI   rJ   rK   Ú
stride_qsbÚ
stride_qsqÚ
stride_qsnÚ
stride_qhbÚ
stride_qhqÚ
stride_qhnrO   r|   rP   r}   r~   r   rQ   rR   r"   r#   rS   rT   rU   rV   rW   rX   rY   r[   r€   r^   r_   r�   r`   ÚqlÚqhr‚   r\   rƒ   rc   s.   &&&&&&&&&&&&&&&&&&&&&&&&&&&                   r   Ú#_gguf_q5_k_fused_matmul_kernel_implr�   p  së  € ô< —’˜aÓ ˆÜ—’˜aÓ ˆà˜Õ%¬¯	ª	°!°\Ó(BÕBˆØ˜Õ%¬¯	ª	°!°\Ó(BÕBˆØ˜!‘ˆØ˜!‘ˆä—h’h ¨lÐ;Ä2Ç:Á:ÔNˆä˜q *×-ˆIÜ! ! QŸK�Ø" S�¨8°b­=Õ8¼2¿9º9ÀQÈÓ;KÕK�Ü—G’GØ˜F 7�O¨iÕ7Õ7¸&À½/ÈIÕ:UÕUØ �Øô�ð %¨�M¨RÕ/´"·)²)¸A¸rÓ2BÕB�ÜŸšØ˜Y¨Õ3Õ3°h¸wÕ6GÈ*Õ6TÕTÐW]Ð^eÕWfÐisÕWsÕsØ �Øô�ð
 ˜a•< 1Ô$Ø $�‘Bà 1��Bä—W’WØ˜Y¨Õ3Õ3´b·i²iÀÀ2Ó6FÀwÕ6OÐR\Õ6\Õ\Ð_eÐfmÕ_nÐq{Õ_{Õ{Ø �Øô�ð
 ˜H•n¨Õ,�Ø˜" �'•N�äŸšØ 	¨IÕ 5Õ5¸À9Õ8LÕLÈvÐXaÕOaÕaØØô�ô
 ŸGšGØ˜i¨)Õ3Õ3°hÀÕ6JÕJÈVÐV_ÕM_Õ_ØØô�	ô Ÿš ¤B§J¡JÓ/°%¸µ.Õ@À9ÈWÕCUÕU�ØœrŸvšv a¨Ó0Õ0“ôO (ñ .ôT 	�ŠØ�f˜W•o¨	Õ1Õ1°F¸7µOÀiÕ4OÕOÜ�GŠG�K¤§¡Ó,Ø˜• 6¨'¥?Õ2÷	
r   c               ó    € V ^8„  d   QhRRRR/# r'   r   )r   s   "r   r   r   Ô  s$   € ÷ R
ñ R
ð, #ð-R
ð. #ñ/R
r   c                ó  € \         P                  ! ^ 4      p\         P                  ! ^4      pVV,          \         P                  ! ^ V4      ,           pVV,          \         P                  ! ^ V4      ,           pVV8  pVV8  p\         P                  ! VV3\         P                  R7      p\        ^ V4       EFÊ  p\        ^ ^4       EFµ  pVR,          V^,          ,           \         P                  ! ^ ^4      ,           p \         P                  ! V VR,          V,          ,           V R,          V	,          ,           VR,          RR7      p!V^,          p"V^,          p#V"^,          p$V"^,          p%V#^,          \         P                  ! ^ ^4      ,           p&V$^@,          V%^8X  g   V%^8X  d   ^ M^ ,           p'\         P                  ! VVV
,          ,           V'V&,           R,          V,          ,           VR,          V,          ,           VR,          ^ R7      p(V%^ 8X  g   V%^8X  d   V(^,          p)M	V(^,	          p)\         P                  ! VVV,          ,           V$^ ,          V&,           R,          V,          ,           VR,          V,          ,           VR,          ^ R7      p*V*V%^,          ,	          ^,          p+\         P                  ! V)V+^,          ,          \         P                  4      ^ ,
          p,\         P                  ! VVV,          ,           VV,          ,           VV,          ,           VRR7      p-\         P                  ! V,\         P                  4      V-R,          ,          p.V\         P                  ! V!V.4      ,          pEK¸  	  EKÍ  	  \         P                  ! VVR,          V,          ,           VR,          V,          ,           \         P                  ! V\         P                  4      VR,          VR,          ,          R7       R# rw   )r7   r8   r9   r:   r;   r<   r=   r?   Úint16r@   rA   rB   )/rC   Úql_ptrr‡   rE   rF   rG   rH   rI   rJ   rK   Ú
stride_qlbÚ
stride_qlqÚ
stride_qlnr‹   rŒ   r�   rO   r|   rP   rQ   rR   r"   r#   rS   rT   rU   rV   rW   rX   rY   r[   r€   r^   r_   Úpair_rowÚhalfÚ	row_groupÚrow_in_groupÚpos32Úql_baseÚ	packed_qlÚlowÚ	packed_qhÚhighr‚   r\   rc   s/   &&&&&&&&&&&&&&&&&&&&&&&                        r   Ú#_gguf_q6_k_fused_matmul_kernel_implr¢   Ó  s  € ô4 —’˜aÓ ˆÜ—’˜aÓ ˆà˜Õ%¬¯	ª	°!°\Ó(BÕBˆØ˜Õ%¬¯	ª	°!°\Ó(BÕBˆØ˜!‘ˆØ˜!‘ˆä—h’h ¨lÐ;Ä2Ç:Á:ÔNˆä˜q *×-ˆIÜ! ! RŸL�Ø" S�¨8°b­=Õ8¼2¿9º9ÀQÈÓ;KÕK�Ü—G’GØ˜F 7�O¨iÕ7Õ7¸&À½/ÈIÕ:UÕUØ �Øô�ð $ q�=�Ø !•|�Ø$¨�M�	Ø'¨!�|�Ø˜r�	¤B§I¢I¨a°Ó$4Õ4�Ø# b�.°,À!Ô2CÀ|ÐWXÔGX©BÐ^_Õ`�äŸGšGØ˜Y¨Õ3Õ3°wÀµÈÕ6PÐS]Õ6]Õ]Ð`fÐgnÕ`oÐr|Õ`|Õ|Ø �Øô�	ð
   1Ô$¨¸Ô(9Ø# dÕ*‘Cà# q�.�CäŸGšGØ˜Y¨Õ3Õ3°yÀ2µ~ÈÕ7MÈwÕ6WÐZdÕ6dÕdÐgmÐnuÕgvð  zDõ  hDõ  DØ �Øô�	ð
 " l°QÕ&6Õ7¸4Õ?�Ü—G’G˜C 4¨1¥9Õ-¬r¯x©xÓ8¸2Õ=�äŸšØ 	¨IÕ 5Õ5¸À9Õ8LÕLÈvÐXaÕOaÕaØØô�ô Ÿš ¤B§J¡JÓ/°%¸µ.Õ@�ØœrŸvšv a¨Ó0Õ0“ôQ )ñ .ôV 	�ŠØ�f˜W•o¨	Õ1Õ1°F¸7µOÀiÕ4OÕOÜ�GŠG�K¤§¡Ó,Ø˜• 6¨'¥?Õ2÷	
r   c               ó(   € V ^8„  d   QhRRRRRRRR/# ©r   Úkernelr   Úxútorch.TensorÚoutputr   r   )r   s   "r   r   r   4  s0   € ÷ ñ Øðàðð ðð
 ñr   c                ó0   aa€ VV3R  lpW,          ! V!   S# )c                óÀ   <€ \         P                  ! SP                  ^ ,          V R,          4      \         P                  ! SP                  ^,          V R,          4      3# ©r   r"   r#   ©ÚtritonÚcdivÚshape)Úmetar¨   r¦   s   &€€r   ÚgridÚ_launch.<locals>.grid:  sC   ø€ ä�KŠK˜Ÿ™ �
 D¨Õ$8Ó9Ü�KŠK˜Ÿ™ Q�¨¨nÕ)=Ó>ð
ð 	
r   r   )r¥   r¦   r¨   Úargsr±   s   &ff* r   Ú_launchr´   4  s   ù€ ö
ð †L�$ÒØ€Mr   c               ó(   € V ^8„  d   QhRRRRRRRR/# r¤   r   )r   s   "r   r   r   D  s0   € ÷ ñ Øðàðð ðð ñr   c                ó4   aa€ VV3R  lpW,          ! V/ VB  S# )c                óÀ   <€ \         P                  ! SP                  ^ ,          V R,          4      \         P                  ! SP                  ^,          V R,          4      3# r«   r¬   )Ú	meta_argsr¨   r¦   s   &€€r   r±   Ú_launch_with_meta.<locals>.gridK  sC   ø€ ä�KŠK˜Ÿ™ �
 I¨nÕ$=Ó>Ü�KŠK˜Ÿ™ Q�¨°>Õ)BÓCð
ð 	
r   r   )r¥   r¦   r¨   r³   r°   r±   s   &ff*, r   Ú_launch_with_metarº   D  s   ù€ ö
ð †L�$Ð˜$ÒØ€Mr   c               ó(   € V ^8„  d   QhRRRRRRRR/# )r   Úsmall_kernelr   Úlarge_kernelÚ
num_blocksÚintr   r   )r   s   "r   r   r   U  s0   € ÷ ñ Øðàðð ð	ð
 ñr   c               ó    € V\         8¼  d   V# V # r   )Ú_GGUF_TRITON_LARGE_NUM_BLOCKS)r¼   r½   r¾   s   &&$r   Ú_select_triton_kernelrÂ   U  s   € ð Ô2Ô2ØÐØÐr   Úin_featuresc          
     ó,   € V ^8„  d   QhRRRRRRRRRR	/# )
r   Ú
capabilityútuple[int, int] | NoneÚrowsr¿   rÃ   z
int | NoneÚcolsr   údict[str, int] | Noner   )r   s   "r   r   r   `  s<   € ÷ "ñ "à&ð"ð ð"ð ð	"ð
 ð"ð ñ"r   c                óz  € V R8X  dk   V^8X  d&   VR8:  d   \        \        4      # \        \        4      # ^Tu;8:  d   ^€8:  d0   M M,VR8X  d   \        \        4      # VR8X  d   \        \        4      # V R8X  dÃ   V^8X  d}   VR8X  d   \        \
        4      # VR8X  d   VR8X  d   \        \        4      # VR8X  d   VR8X  d   \        \        4      # VR8X  d   \        \
        4      # VR8X  d   \        \        4      # ^Tu;8:  d   ^€8:  d1   M R# VR8X  d   \        \        4      # VR8X  d   \        \        4      # R# )é   é   é   é   N©rË   r   )rË   é	   )ÚdictÚ$_Q1_0_G128_SM80_DECODE_NARROW_CONFIGÚ"_Q1_0_G128_SM80_DECODE_WIDE_CONFIGÚ%_Q1_0_G128_SM80_PREFILL_NARROW_CONFIGÚ#_Q1_0_G128_SM80_PREFILL_WIDE_CONFIGÚ$_Q1_0_G128_SM89_DECODE_NARROW_CONFIGÚ*_Q1_0_G128_SM89_DECODE_2048_TO_2048_CONFIGÚ*_Q1_0_G128_SM89_DECODE_2048_TO_6144_CONFIGÚ"_Q1_0_G128_SM89_DECODE_WIDE_CONFIGÚ%_Q1_0_G128_SM89_PREFILL_NARROW_CONFIGÚ#_Q1_0_G128_SM89_PREFILL_WIDE_CONFIG©rÅ   rÇ   rÃ   rÈ   s   $$$$r   Ú%_select_q1_0_g128_fixed_launch_configrÝ   `  s  € ð �VÔØ�1Œ9Ø�tŒ|ÜÔ@ÓAÐAÜÔ:Ó;Ð;Ø�Ö˜×Ø�tŒ|ÜÔAÓBÐBØ�tŒ|ÜÔ?Ó@Ð@Ø�VÔØ�1Œ9Ø�tŒ|ÜÔ@ÓAÐAØ˜dÔ" t¨t¤|ÜÔFÓGÐGØ˜dÔ" t¨t¤|ÜÔFÓGÐGØ�tŒ|ÜÔ@ÓAÐAØ�tŒ|ÜÔ>Ó?Ð?Ø�Ö˜Öñ
 ð	 �tŒ|ÜÔAÓBÐBØ�tŒ|ÜÔ?Ó@Ð@Ùr   c               ó(   € V ^8„  d   QhRRRRRRRR/# )r   rÅ   rÆ   rÃ   r¿   Úout_featuresr   r   r   )r   s   "r   r   r   …  s2   € ÷ ñ à&ðð ðð ð	ð
 
ñr   c                ó    € V R8w  d   R# W3R9   # )rË   FrÏ   >   ©rÌ   rÌ   ©rÌ   rÎ   ©rÌ   rÍ   ©rÍ   rÌ   r   ©rÅ   rÃ   rß   s   $$$r   Ú_select_q1_0_g128_u32_layoutræ   …  s$   € ð �VÔÙØÐ&ð +ñ ð r   c          
     ó,   € V ^8„  d   QhRRRRRRRRRR/# )	r   rÅ   rÆ   rÇ   r¿   rÃ   rß   r   rÉ   r   )r   s   "r   r   r   •  s<   € ÷ ñ à&ðð ðð ð	ð
 ðð ñr   c                ór  € V R8w  d   R# V^8X  dw   VR8X  d   VR8X  d   \        \        4      # VR8X  d   VR8X  d   \        \        4      # VR8X  d   VR8X  d   \        \        4      # VR8X  d   VR8X  d   \        \        4      # R# ^Tu;8:  d   ^€8:  d"   M R# VR8X  d   VR8X  d   \        \
        4      # R# )rË   NrÍ   rÌ   rÎ   rÏ   )rÑ   Ú!_Q1_0_G128_SM80_U32_DECODE_CONFIGÚ._Q1_0_G128_SM80_U32_DECODE_2048_TO_1024_CONFIGÚ._Q1_0_G128_SM80_U32_DECODE_2048_TO_2048_CONFIGÚ._Q1_0_G128_SM80_U32_DECODE_2048_TO_6144_CONFIGÚ"_Q1_0_G128_SM80_U32_PREFILL_CONFIG©rÅ   rÇ   rÃ   rß   s   $$$$r   Ú)_select_q1_0_g128_u32_fixed_launch_configrï   •  sµ   € ð �VÔÙØˆq„yØ˜$Ô <°4Ô#7ÜÔ9Ó:Ð:Ø˜$Ô <°4Ô#7ÜÔFÓGÐGØ˜$Ô <°4Ô#7ÜÔFÓGÐGØ˜$Ô <°4Ô#7ÜÔFÓGÐGÙØˆDÖ�CÖáð (¨4Ô/°LÀDÔ4HÜÔ6Ó7Ð7Ùr   c               ó$   € V ^8„  d   QhRRRRRR/# )r   rÇ   r¿   rÃ   r   r   r   )r   s   "r   r   r   ­  s(   € ÷ -ñ -à
ð-ð ð-ð 
ñ	-r   c                ó&   € V ^8H  ;'       d    VR8H  # )é   rÌ   r   ©rÇ   rÃ   s   $$r   Ú*_use_q1_0_g128_k2048_decode_specializationrô   ­  s   € ð
 �1‰9×,Ð,˜¨Ñ,Ð,r   c               ó    € V ^8„  d   QhRRRR/# )r   Údeviceútorch.devicer   rÆ   r   )r   s   "r   r   r   µ  s   € ÷ 	ñ 	 Lð 	Ð5Kñ 	r   c                ó  € V P                   R 8w  d   R# V P                  e   V P                  M\        P                  P	                  4       p\
        P                  V4      pVf)   \        P                  P                  V4      pV\
        V&   V# )ÚcudaN)ÚtypeÚindexÚtorchrù   Úcurrent_devicer   ÚgetÚget_device_capability)rö   rû   rÅ   s   &  r   Ú_cuda_device_capabilityr   µ  sm   € Ø‡{�{�fÔÙà"ŸL™LÒ4ˆF�LŠL¼%¿*¹*×:SÑ:SÓ:U€EÜ.×2Ñ2°5Ó9€JØÒÜ—Z‘Z×5Ñ5°eÓ<ˆ
Ø/9Ô% eÑ,ØÐr   c          
     ó,   € V ^8„  d   QhRRRRRRRRRR/# )r   r¦   r§   Úqsr\   rƒ   r   r   )r   s   "r   r   r   Á  s:   € ÷ (ñ (Øð(àð(ð ð(ð ð	(ð
 ñ(r   c                óP  € \         '       g   \        R 4      h\        P                  ! V P                  ^ ,          VP                  ^,          3V P
                  V P                  R7      p\        \        \        VP                  ^ ,          R7      p\        VV VV VVVVV P                  ^ ,          VP                  ^,          VP                  ^ ,          V P                  ^ 4      V P                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      4      # )z3Triton is not available for GGUF Q4_K fused matmul.©rö   r+   ©r¾   )r    ÚRuntimeErrorrü   Úemptyr¯   rö   r+   rÂ   Ú$_gguf_q4_k_fused_matmul_kernel_smallÚ$_gguf_q4_k_fused_matmul_kernel_larger´   Ústride)r¦   r  r\   rƒ   r¨   r¥   s   &&&&  r   Úfused_q4_k_matmulr  Á  sB  € ÷ ÓÜÐPÓQÐQä�[Š[˜!Ÿ'™' !�* e§k¡k°!¥nÐ5¸a¿h¹hÈaÏgÉgÔV€FÜ"Ü,Ü,Ø—8‘8˜A•;ô€Fô
 ØØ	ØØ	Ø
ØØØØ	�‰��
Ø�‰�Q�Ø
�‰��Ø	�‰�‹Ø	�‰�‹Ø
�	‰	�!‹Ø
�	‰	�!‹Ø
�	‰	�!‹Ø�‰�Q‹Ø�‰�Q‹Ø�‰�Q‹Ø×Ñ˜ÓØ×Ñ˜ÓØ×Ñ˜ÓØ�‰�aÓØ�‰�aÓó1ð r   c               ó(   € V ^8„  d   QhRRRRRRRR/# ©r   r¦   r§   Ú
sign_bytesr\   r   r   )r   s   "r   r   r   ì  ó0   € ÷ "ñ "Øð"àð"ð ð"ð ñ	"r   c                óÎ  € \         '       g   \        R 4      h\        P                  ! V P                  ^ ,          VP                  ^,          3V P
                  V P                  R7      p\        \        \        VP                  ^ ,          R7      p\        VV VV VVVV P                  ^ ,          VP                  ^,          VP                  ^ ,          V P                  ^ 4      V P                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^ 4      VP                  ^4      4      # ©ú8Triton is not available for GGUF Q1_0_g128 fused matmul.r  r  )r    r  rü   r  r¯   rö   r+   rÂ   Ú)_gguf_q1_0_g128_fused_matmul_kernel_smallÚ)_gguf_q1_0_g128_fused_matmul_kernel_larger´   r
  )r¦   r  r\   r¨   r¥   s   &&&  r   Úfused_q1_0_g128_matmulr  ì  s  € ÷
 ÓÜÐUÓVÐVä�[Š[˜!Ÿ'™' !�* e§k¡k°!¥nÐ5¸a¿h¹hÈaÏgÉgÔV€FÜ"Ü1Ü1Ø×#Ñ# AÕ&ô€Fô
 ØØ	ØØ	ØØØØ	�‰��
Ø�‰�Q�Ø×Ñ˜ÕØ	�‰�‹Ø	�‰�‹Ø×Ñ˜!ÓØ×Ñ˜!ÓØ×Ñ˜!ÓØ�‰�Q‹Ø�‰�Q‹Ø�‰�aÓØ�‰�aÓó'ð r   c               ó(   € V ^8„  d   QhRRRRRRRR/# r  r   )r   s   "r   r   r     ó0   € ÷ ñ Øðàðð ðð ñ	r   c                ód  € \         '       g   \        R 4      h\        P                  ! V P                  ^ ,          VP                  ^,          3V P
                  V P                  R7      p\        \        V VV VVVV P                  ^ ,          VP                  ^,          V P                  ^ 4      V P                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^ 4      VP                  ^4      4      # ©r  r  )
r    r  rü   r  r¯   rö   r+   r´   Ú)_gguf_q1_0_g128_k2048_fused_matmul_kernelr
  )r¦   r  r\   r¨   s   &&& r   Úfused_q1_0_g128_k2048_matmulr    së   € ÷
 ÓÜÐUÓVÐVä�[Š[˜!Ÿ'™' !�* e§k¡k°!¥nÐ5¸a¿h¹hÈaÏgÉgÔV€FÜÜ1Ø	ØØ	ØØØØ	�‰��
Ø�‰�Q�Ø	�‰�‹Ø	�‰�‹Ø×Ñ˜!ÓØ×Ñ˜!ÓØ×Ñ˜!ÓØ�‰�Q‹Ø�‰�Q‹Ø�‰�aÓØ�‰�aÓó%ð r   c               ó(   € V ^8„  d   QhRRRRRRRR/# ©r   r¦   r§   Ú
sign_wordsr\   r   r   )r   s   "r   r   r   0  r  r   c                óÎ  € \         '       g   \        R 4      h\        P                  ! V P                  ^ ,          VP                  ^,          3V P
                  V P                  R7      p\        \        \        VP                  ^ ,          R7      p\        VV VV VVVV P                  ^ ,          VP                  ^,          VP                  ^ ,          V P                  ^ 4      V P                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^ 4      VP                  ^4      4      # r  )r    r  rü   r  r¯   rö   r+   rÂ   Ú-_gguf_q1_0_g128_u32_fused_matmul_kernel_smallÚ-_gguf_q1_0_g128_u32_fused_matmul_kernel_larger´   r
  )r¦   r  r\   r¨   r¥   s   &&&  r   Úfused_q1_0_g128_u32_matmulr"  0  s  € ÷
 ÓÜÐUÓVÐVä�[Š[˜!Ÿ'™' !�* e§k¡k°!¥nÐ5¸a¿h¹hÈaÏgÉgÔV€FÜ"Ü5Ü5Ø×#Ñ# AÕ&ô€Fô
 ØØ	ØØ	ØØØØ	�‰��
Ø�‰�Q�Ø×Ñ˜ÕØ	�‰�‹Ø	�‰�‹Ø×Ñ˜!ÓØ×Ñ˜!ÓØ×Ñ˜!ÓØ�‰�Q‹Ø�‰�Q‹Ø�‰�aÓØ�‰�aÓó'ð r   c               ó(   € V ^8„  d   QhRRRRRRRR/# r  r   )r   s   "r   r   r   U  r  r   c                ód  € \         '       g   \        R 4      h\        P                  ! V P                  ^ ,          VP                  ^,          3V P
                  V P                  R7      p\        \        V VV VVVV P                  ^ ,          VP                  ^,          V P                  ^ 4      V P                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^ 4      VP                  ^4      4      # r  )
r    r  rü   r  r¯   rö   r+   r´   Ú-_gguf_q1_0_g128_u32_k2048_fused_matmul_kernelr
  )r¦   r  r\   r¨   s   &&& r   Ú fused_q1_0_g128_u32_k2048_matmulr&  U  së   € ÷
 ÓÜÐUÓVÐVä�[Š[˜!Ÿ'™' !�* e§k¡k°!¥nÐ5¸a¿h¹hÈaÏgÉgÔV€FÜÜ5Ø	ØØ	ØØØØ	�‰��
Ø�‰�Q�Ø	�‰�‹Ø	�‰�‹Ø×Ñ˜!ÓØ×Ñ˜!ÓØ×Ñ˜!ÓØ�‰�Q‹Ø�‰�Q‹Ø�‰�aÓØ�‰�aÓó%ð r   c          
     ó,   € V ^8„  d   QhRRRRRRRRRR/# ©r   r¦   r§   r  r\   Úfixed_configúdict[str, int]r   r   )r   s   "r   r   r   t  ó:   € ÷ ñ Øðàðð ðð
 !ðð ñr   c               ó\  € \         P                  ! V P                  ^ ,          VP                  ^,          3V P                  V P                  R7      p\        \        V VV VVVV P                  ^ ,          VP                  ^,          VP                  ^ ,          V P                  ^ 4      V P                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^ 4      VP                  ^4      3/ VB # ©r   r  )rü   r  r¯   rö   r+   rº   rk   r
  ©r¦   r  r\   r)  r¨   s   &&&$ r   Ú"_launch_q1_0_g128_u32_fixed_matmulr/  t  sñ   € ô �[Š[˜!Ÿ'™' !�* e§k¡k°!¥nÐ5¸a¿h¹hÈaÏgÉgÔV€FÜÜ4Ø	ØØ	ØØØØ	�‰��
Ø�‰�Q�Ø×Ñ˜ÕØ	�‰�‹Ø	�‰�‹Ø×Ñ˜!ÓØ×Ñ˜!ÓØ×Ñ˜!ÓØ�‰�Q‹Ø�‰�Q‹Ø�‰�aÓØ�‰�aÓñ'ð( ñ)ð r   c          
     ó,   € V ^8„  d   QhRRRRRRRRRR/# r(  r   )r   s   "r   r   r   ”  ó:   € ÷ ñ Øðàðð ðð
 !ðð ñr   c               ó8  € \         P                  ! V P                  ^ ,          VP                  ^,          3V P                  V P                  R7      p\        \        V VV VVVV P                  ^ ,          VP                  ^,          V P                  ^ 4      V P                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^ 4      VP                  ^4      3/ VB # r-  )rü   r  r¯   rö   r+   rº   rq   r
  r.  s   &&&$ r   Ú(_launch_q1_0_g128_u32_k2048_fixed_matmulr3  ”  sã   € ô �[Š[˜!Ÿ'™' !�* e§k¡k°!¥nÐ5¸a¿h¹hÈaÏgÉgÔV€FÜÜ:Ø	ØØ	ØØØØ	�‰��
Ø�‰�Q�Ø	�‰�‹Ø	�‰�‹Ø×Ñ˜!ÓØ×Ñ˜!ÓØ×Ñ˜!ÓØ�‰�Q‹Ø�‰�Q‹Ø�‰�aÓØ�‰�aÓñ%ð& ñ'ð r   c          
     ó,   € V ^8„  d   QhRRRRRRRRRR/# ©r   r¦   r§   r  r\   r)  r*  r   r   )r   s   "r   r   r   ³  r+  r   c               ó\  € \         P                  ! V P                  ^ ,          VP                  ^,          3V P                  V P                  R7      p\        \        V VV VVVV P                  ^ ,          VP                  ^,          VP                  ^ ,          V P                  ^ 4      V P                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^ 4      VP                  ^4      3/ VB # r-  )rü   r  r¯   rö   r+   rº   rd   r
  ©r¦   r  r\   r)  r¨   s   &&&$ r   Ú_launch_q1_0_g128_fixed_matmulr8  ³  sñ   € ô �[Š[˜!Ÿ'™' !�* e§k¡k°!¥nÐ5¸a¿h¹hÈaÏgÉgÔV€FÜÜ0Ø	ØØ	ØØØØ	�‰��
Ø�‰�Q�Ø×Ñ˜ÕØ	�‰�‹Ø	�‰�‹Ø×Ñ˜!ÓØ×Ñ˜!ÓØ×Ñ˜!ÓØ�‰�Q‹Ø�‰�Q‹Ø�‰�aÓØ�‰�aÓñ'ð( ñ)ð r   c          
     ó,   € V ^8„  d   QhRRRRRRRRRR/# r5  r   )r   s   "r   r   r   Ó  r1  r   c               ó8  € \         P                  ! V P                  ^ ,          VP                  ^,          3V P                  V P                  R7      p\        \        V VV VVVV P                  ^ ,          VP                  ^,          V P                  ^ 4      V P                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^ 4      VP                  ^4      3/ VB # r-  )rü   r  r¯   rö   r+   rº   rn   r
  r7  s   &&&$ r   Ú$_launch_q1_0_g128_k2048_fixed_matmulr;  Ó  sã   € ô �[Š[˜!Ÿ'™' !�* e§k¡k°!¥nÐ5¸a¿h¹hÈaÏgÉgÔV€FÜÜ6Ø	ØØ	ØØØØ	�‰��
Ø�‰�Q�Ø	�‰�‹Ø	�‰�‹Ø×Ñ˜!ÓØ×Ñ˜!ÓØ×Ñ˜!ÓØ�‰�Q‹Ø�‰�Q‹Ø�‰�aÓØ�‰�aÓñ%ð& ñ'ð r   c               ó0   € V ^8„  d   QhRRRRRRRRRRRR/# )r   r¦   r§   r  r�   r\   rƒ   r   r   )r   s   "r   r   r   ò  sD   € ÷ -ñ -Øð-àð-ð 	ð-ð ð	-ð
 ð-ð ñ-r   c                 ó²  € \         '       g   \        R 4      h\        P                  ! V P                  ^ ,          VP                  ^,          3V P
                  V P                  R7      p\        \        \        VP                  ^ ,          R7      p\        VV VV VVVVVV P                  ^ ,          VP                  ^,          VP                  ^ ,          V P                  ^ 4      V P                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      4      # )z3Triton is not available for GGUF Q5_K fused matmul.r  r  )r    r  rü   r  r¯   rö   r+   rÂ   Ú$_gguf_q5_k_fused_matmul_kernel_smallÚ$_gguf_q5_k_fused_matmul_kernel_larger´   r
  )r¦   r  r�   r\   rƒ   r¨   r¥   s   &&&&&  r   Úfused_q5_k_matmulr@  ò  sf  € ÷ ÓÜÐPÓQÐQä�[Š[˜!Ÿ'™' !�* e§k¡k°!¥nÐ5¸a¿h¹hÈaÏgÉgÔV€FÜ"Ü,Ü,Ø—8‘8˜A•;ô€Fô
 ØØ	ØØ	Ø
Ø
ØØØØ	�‰��
Ø�‰�Q�Ø
�‰��Ø	�‰�‹Ø	�‰�‹Ø
�	‰	�!‹Ø
�	‰	�!‹Ø
�	‰	�!‹Ø
�	‰	�!‹Ø
�	‰	�!‹Ø
�	‰	�!‹Ø�‰�Q‹Ø�‰�Q‹Ø�‰�Q‹Ø×Ñ˜ÓØ×Ñ˜ÓØ×Ñ˜ÓØ�‰�aÓØ�‰�aÓó9ð r   c          
     ó,   € V ^8„  d   QhRRRRRRRRRR/# )r   r¦   r§   rŽ   r�   r\   r   r   )r   s   "r   r   r   "  s:   € ÷ (ñ (Øð(àð(ð 	ð(ð ð	(ð
 ñ(r   c                óP  € \         '       g   \        R 4      h\        P                  ! V P                  ^ ,          VP                  ^,          3V P
                  V P                  R7      p\        \        \        VP                  ^ ,          R7      p\        VV VV VVVVV P                  ^ ,          VP                  ^,          VP                  ^ ,          V P                  ^ 4      V P                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      VP                  ^4      VP                  ^ 4      VP                  ^4      4      # )z3Triton is not available for GGUF Q6_K fused matmul.r  r  )r    r  rü   r  r¯   rö   r+   rÂ   Ú$_gguf_q6_k_fused_matmul_kernel_smallÚ$_gguf_q6_k_fused_matmul_kernel_larger´   r
  )r¦   rŽ   r�   r\   r¨   r¥   s   &&&&  r   Úfused_q6_k_matmulrE  "  s9  € ÷ ÓÜÐPÓQÐQä�[Š[˜!Ÿ'™' !�* e§k¡k°!¥nÐ5¸a¿h¹hÈaÏgÉgÔV€FÜ"Ü,Ü,Ø—8‘8˜A•;ô€Fô
 ØØ	ØØ	Ø
Ø
ØØØ	�‰��
Ø�‰�Q�Ø
�‰��Ø	�‰�‹Ø	�‰�‹Ø
�	‰	�!‹Ø
�	‰	�!‹Ø
�	‰	�!‹Ø
�	‰	�!‹Ø
�	‰	�!‹Ø
�	‰	�!‹Ø�‰�Q‹Ø�‰�Q‹Ø�‰�Q‹Ø�‰�aÓØ�‰�aÓó1ð r   c                  ó
  a € ] tR tRt]P
                  .t]P                  .t	]
P                  ^-/t. ROtRtRtRt^.t^.t]P&                  .t]P,                  ]P.                  .t]P4                  ]P6                  ]P8                  .t].t]P@                  ]PB                  ]PD                  .t#Rt$Rt%Rt&R]P8                  RR3R V 3R lllt'](R R	 l4       t)R
 V 3R llt*R R lt+R R lt,R R lt-R R lt.R R lt/Rt0V ;t1# )ÚGGUFTritonKerneliM  TFÚggufNc               ó<   € V ^8„  d   QhRRRRRRRRRRRRR	R
RRRR/	# )r   Ú
group_sizer¿   Úsymr   Údesc_actrÃ   rß   ÚbiasÚ
pack_dtypeztorch.dtypeÚadapterr   Úregister_buffersr   )r   s   "r   r   ÚGGUFTritonKernel.__annotate__b  sq   € ÷ "Lñ "Lð ð"Lð ð	"Lð
 ð"Lð ð"Lð ð"Lð ð"Lð  ð"Lð ð"Lð ñ"Lr   c                	ó  <€ VP                  R \        P                  4       \        SV `  ! RRVRVRVRVRVRVRVRVR	V	R
V
/
VB  V P
                  R9  d0   \        V P                  P                   RV P
                   R24      h/ V n	        R# )ÚbackendÚbitsrJ  rK  rL  rÃ   rß   rM  rN  rO  rP  zV only supports fused GGUF Triton formats (Q1_0, Q4_K, Q5_K, Q6_K). Actual GGUF qtype: z6. Use BACKEND.GGUF_TORCH for unsupported GGUF formats.Nr   >   ÚQ1_0ÚQ4_KÚQ5_KÚQ6_KÚ	Q1_0_g128)
Ú
setdefaultr   ÚGGUF_TRITONÚsuperÚ__init__Úgguf_tensor_qtypeÚNotImplementedErrorÚ	__class__Ú__name__Ú_gguf_triton_cache)ÚselfrT  rJ  rK  rL  rÃ   rß   rM  rN  rO  rP  Úkwargsr`  s   &&&&&&&&&&&,€r   r]  ÚGGUFTritonKernel.__init__b  së   ø€ ð 	×Ñ˜)¤W×%8Ñ%8Ô9Ü‰Òñ 	
Øð	
à!ð	
ð ð	
ð ð		
ð
 $ð	
ð &ð	
ð ð	
ð "ð	
ð ð	
ð .ð	
ð ò	
ð ×!Ñ!Ð)VÔVÜ%Ø—>‘>×*Ñ*Ð+ð ,@Ø@D×@VÑ@VÐ?Wð XGðGóð ð
 JLˆÖr   c               ó   € V ^8„  d   QhRR/# )r   r   z Tuple[bool, Optional[Exception]]r   )r   s   "r   r   rQ  ‡  s   € ÷ ñ Ð>ñ r   c                	ób  € \         '       g   R \        R4      3# \        P                  ! \        P
                  4      pV\        P                  ! R4      8  d   R \        R\        P
                   24      3# \        4       '       d)   V\        P                  ! R4      8  d   R \        R4      3# R# )Fz3GGUFTritonKernel requires `triton` to be installed.z2.0.0z*triton version must be >= 2.0.0: actual = z3.4.0zYGIL is disabled and not compatible with current Triton. Please upgrade to Triton >= 3.4.0)TN)	r    ÚModuleNotFoundErrorr   Úparser­   Ú__version__ÚImportErrorr   Ú	Exception)ÚclsÚtriton_vs   & r   Úvalidate_onceÚGGUFTritonKernel.validate_once†  s˜   € ç Ó ØÔ-Ð.cÓdÐdÐdä—=’=¤×!3Ñ!3Ó4ˆØ”g—m’m GÓ,Ô,Øœ+Ð(RÔSY×SeÑSeÐRfÐ&gÓhÐhÐhä×Ò (¬W¯]ª]¸7Ó-CÔ"CØœ)Ð$ó  Að  Að  AàÐr   c               ó   € V ^8„  d   QhRR/# )r   r   ÚNoner   )r   s   "r   r   rQ  ”  s   € ÷ ,ñ , Dñ ,r   c                	óT   <€ V P                   P                  4        \        SV `  4       # r   )rb  Úclearr\  Úclear_weight_cache)rc  r`  s   &€r   ru  Ú#GGUFTritonKernel.clear_weight_cache”  s#   ø€ Ø×Ñ×%Ñ%Ô'Ü‰wÑ)Ó+Ð+r   c               ó    € V ^8„  d   QhRRRR/# )r   rö   r÷   r   ztuple[int, str]r   )r   s   "r   r   rQ  ˜  s   € ÷ Zñ Z¨ð Z¸ñ Zr   c                	ój   € VP                   e   VP                   V P                  3# RV P                  3# )Néÿÿÿÿ)rû   r^  )rc  rö   s   &&r   Ú_triton_cache_keyÚ"GGUFTritonKernel._triton_cache_key˜  s0   € Ø &§¡Ò 8�—‘À$×BXÑBXÐYÐY¸bÀ$×BXÑBXÐYÐYr   c               ó    € V ^8„  d   QhRRRR/# ©r   rö   r÷   r   zdict[str, Any]r   )r   s   "r   r   rQ  ›  s"   € ÷ U^ñ U^¨,ð U^¸>ñ U^r   c                	óä  € V P                  VR 7      w  p pV P                  R9   Edý   VR,          P                  4       P                  \        P
                  4      P                  R4      P                  ^^ 4      P                  4       p\        V4      p\        VV P                  VP                  ^,          R7      '       dî   VR,          P                  ^^^ 4      P                  4       pVP                  \        P                  4      pVR,          \        P                  ! VR,          ^4      ,          \        P                  ! VR,          ^4      ,          \        P                  ! VR,          ^4      ,          P                  4       pRRRV P                  P!                  4       RVRVRVRR	/# VR,          P                  ^^^ 4      P                  4       pR\#        V^V P                  VP                  ^,          R
7      RV P                  P!                  4       RVRVRR/# V P                  R8X  Ed�   VR,          P                  4       P                  \        P
                  4      P                  R4      p	VR,          P                  4       P                  \        P
                  4      P                  R4      p
\%        VR,          4      w  r¼V	P'                  R4      VP                  \        P
                  4      ,          P                  ^^^ 4      P                  4       pV
P'                  R4      VP                  \        P
                  4      ,          P                  ^^^ 4      P                  4       pVR,          P                  ^^^ 4      P                  4       pRV P                  P!                  4       RVRVRV/# V P                  R8X  Ed·   VR,          P                  4       P                  \        P
                  4      P                  R4      p	VR,          P                  4       P                  \        P
                  4      P                  R4      p
\%        VR,          4      w  r¼V	P'                  R4      VP                  \        P
                  4      ,          P                  ^^^ 4      P                  4       pV
P'                  R4      VP                  \        P
                  4      ,          P                  ^^^ 4      P                  4       pVR,          P                  ^^^ 4      P                  4       pVR ,          P                  ^^^ 4      P                  4       pRV P                  P!                  4       RVRVRVRV/# V P                  R8X  Ed>   VR!,          P                  ^^^ 4      P                  4       pVR",          P                  ^^^ 4      P                  4       pVR#,          P                  4       P                  \        P(                  4      P                  \        P
                  4      pVR$,          P                  4       P                  \        P
                  4      P                  R4      p	V	P'                  R4      V,          P                  ^^^ 4      P                  4       pRV P                  P!                  4       RVRVRV/# \+        RV P                   24      h)%)rö   rå   Úfixed_decode_configNÚqweight_ptrr  r  r\   Úuse_u32TrÜ   FrV  r  ÚminrW  r�   rX  rŽ   úUnsupported GGUF Triton qtype: >   rU  rY  ).:Nr   Nry  ).:r   NN)r4   :r   Né   r4   )r4   :rò   Nr„  r4   )r4   :r   Nr„  r4   )r4   :é   Nr„  r4   ).:r   r„  N).:r„  é   N).:r†  NN).:r†  é0   N).:r‡  NN).:Né€   N).:rˆ  éÀ   N).:r‰  éÐ   N).:rŠ  éÒ   N)Ú_reshape_blocksr^  Ú
contiguousÚviewrü   r@   ÚsqueezeÚpermuter   ræ   Úpadded_in_featuresr¯   ÚtoÚint32Úbitwise_left_shiftÚqweightÚdata_ptrrÝ   r   Ú	unsqueezeÚint8r_  )rc  rö   ÚblocksÚ_r\   rÅ   r  Úsign_words_srcr  ÚdÚdminÚscÚminsrƒ   r  r�   rŽ   s   &&               r   Ú_build_triton_cacheÚ$GGUFTritonKernel._build_triton_cache›  s   € Ø×+Ñ+°6Ð+Ó:‰ˆ��1à×!Ñ!Ð%:Õ:Ø˜7•O×.Ñ.Ó0×5Ñ5´e·m±mÓD×LÑLÈRÓP×XÑXÐYZÐ\]Ó^×iÑiÓkˆEÜ0°Ó8ˆJÜ+Ø%Ø ×3Ñ3Ø"Ÿ[™[¨�^÷ó ð
 $ G�_×4Ñ4°Q¸¸1Ó=×HÑHÓJ�
Ø!+§¡¬u¯{©{Ó!;�à" :Õ.Ü×.Ò.¨~¸jÕ/IÈ1ÓMõNä×.Ò.¨~¸jÕ/IÈ2ÓNõOô ×.Ò.¨~¸jÕ/IÈ2ÓNõO÷ ‘*“,ð ð *¨4Ø! 4§<¡<×#8Ñ#8Ó#:Ø  *Ø  *Ø˜UØ˜tðð ð   �×0Ñ0°°A°qÓ9×DÑDÓFˆJà%Ô'LØ)ØØ $× 7Ñ 7ØŸ™ Q�ô	(ð ˜tŸ|™|×4Ñ4Ó6Ø˜jØ˜Ø˜5ðð ð ×!Ñ! VÕ+Ø�w•×*Ñ*Ó,×1Ñ1´%·-±-Ó@×HÑHÈÓLˆAØ˜(Õ#×.Ñ.Ó0×5Ñ5´e·m±mÓD×LÑLÈRÓPˆDÜ3°F¸9Õ4EÓF‰HˆBØ—[‘[ “_ r§u¡u¬U¯]©]Ó';Õ;×DÑDÀQÈÈ1ÓM×XÑXÓZˆEØŸ™¨Ó+¨d¯g©g´e·m±mÓ.DÕD×MÑMÈaÐQRÐTUÓV×aÑaÓcˆIØ˜Õ!×)Ñ)¨!¨Q°Ó2×=Ñ=Ó?ˆBà˜tŸ|™|×4Ñ4Ó6Ø�bØ˜Ø�yð	ð ð ×!Ñ! VÕ+Ø�w•×*Ñ*Ó,×1Ñ1´%·-±-Ó@×HÑHÈÓLˆAØ˜(Õ#×.Ñ.Ó0×5Ñ5´e·m±mÓD×LÑLÈRÓPˆDÜ3°F¸9Õ4EÓF‰HˆBØ—[‘[ “_ r§u¡u¬U¯]©]Ó';Õ;×DÑDÀQÈÈ1ÓM×XÑXÓZˆEØŸ™¨Ó+¨d¯g©g´e·m±mÓ.DÕD×MÑMÈaÐQRÐTUÓV×aÑaÓcˆIØ˜
Õ#×+Ñ+¨A¨q°!Ó4×?Ñ?ÓAˆBØ˜Õ!×)Ñ)¨!¨Q°Ó2×=Ñ=Ó?ˆBà˜tŸ|™|×4Ñ4Ó6Ø�bØ�bØ˜Ø�yðð ð ×!Ñ! VÕ+Ø˜	Õ"×*Ñ*¨1¨a°Ó3×>Ñ>Ó@ˆBØ˜Õ%×-Ñ-¨a°°AÓ6×AÑAÓCˆBØ˜<Õ(×3Ñ3Ó5×:Ñ:¼5¿:¹:ÓF×IÑIÌ%Ï-É-ÓXˆEØ�|Õ$×/Ñ/Ó1×6Ñ6´u·}±}ÓE×MÑMÈbÓQˆAØ—[‘[ “_ uÕ,×5Ñ5°a¸¸AÓ>×IÑIÓKˆEà˜tŸ|™|×4Ñ4Ó6Ø�bØ�bØ˜ð	ð ô "Ð$CÀD×DZÑDZÐC[Ð"\Ó]Ð]r   c               ó    € V ^8„  d   QhRRRR/# r}  r   )r   s   "r   r   rQ  ò  s   € ÷ ñ ¨ð ¸ñ r   c                	ó  € V P                  V4      pV P                  P                  V4      pVe1   VP                  R4      V P                  P	                  4       8X  d   V# V P                  V4      pW0P                  V&   V# )Nr€  )rz  rb  rþ   r•  r–  r   )rc  rö   rs   Úcacheds   &&  r   Ú_get_triton_cacheÚ"GGUFTritonKernel._get_triton_cacheò  ss   € Ø×$Ñ$ VÓ,ˆØ×(Ñ(×,Ñ,¨SÓ1ˆØÒ &§*¡*¨]Ó";¸t¿|¹|×?TÑ?TÓ?VÔ"VØˆMà×)Ñ)¨&Ó1ˆØ'-×Ñ Ñ$Øˆr   c               ó    € V ^8„  d   QhRRRR/# )r   Úx_flatr§   r   r   )r   s   "r   r   rQ  ü  s"   € ÷ G^ñ G^ lð G^°|ñ G^r   c                	ó8  € VP                   P                  R 8w  d#   \        V P                  P                   R24      hVP
                  R,          V P                  8w  d^   \        P                  P                  P                  V^ V P                  VP
                  R,          ,
          34      P                  4       pMVP                  4       pV P                  VP                   4      pV P                  R9   Edê   VP                  R4      '       dÜ   \        \!        VP                   4      VP
                  ^ ,          V P                  VR,          P
                  ^,          R7      pVei   \#        VP
                  ^ ,          V P                  R7      '       d   \%        VVR,          VR,          VR7      # \'        VVR,          VR,          VR7      # \)        W#R,          VR,          4      # VP                  R	4      pVe�   VP
                  ^ ,          ^8X  di   \#        VP
                  ^ ,          V P                  R7      '       d   \+        VVR,          VR,          VR7      # \-        VVR,          VR,          VR7      # \#        VP
                  ^ ,          V P                  R7      '       d   \/        W#R,          VR,          4      # \)        W#R,          VR,          4      # V P                  R
8X  d#   \1        W#R,          VR,          VR,          4      # V P                  R8X  d+   \3        W#R,          VR,          VR,          VR,          4      # V P                  R8X  d#   \5        W#R,          VR,          VR,          4      # \7        RV P                   24      h)rù   zi only supports CUDA inference. Load GGUF models on CUDA or use BACKEND.GGUF_TORCH for the torch fallback.r�  r\   rî   ró   r  )r)  r  r  rV  r  r‚  rW  r�   rX  rŽ   rƒ  ry  >   rU  rY  )rö   rú   r  r`  ra  r¯   r‘  rü   ÚnnÚ
functionalÚpadr�  r¥  r^  rþ   rï   r   rô   r3  r/  r  r;  r8  r  r  r@  rE  r_  )rc  r¨  Úx_workÚcacheÚfixed_u32_configr  s   &&    r   Ú_forward_tritonÚ GGUFTritonKernel._forward_tritonü  s"  € Ø�=‰=×Ñ Ô'ÜØ—>‘>×*Ñ*Ð+ð ,]ð ]óð ð
 �<‰<˜Õ˜t×6Ñ6Ô6Ü—X‘X×(Ñ(×,Ñ,¨V°a¸×9PÑ9PÐSY×S_ÑS_Ð`bÕScÕ9cÐ5dÓe×pÑpÓr‰Fà×&Ñ&Ó(ˆFà×&Ñ& v§}¡}Ó5ˆà×!Ñ!Ð%:Õ:Ø�y‰y˜×#Ò#Ü#LÜ6°v·}±}ÓEØŸ™ a�Ø $× 7Ñ 7Ø!& w¥×!5Ñ!5°aÕ!8ô	$Ð ð $Ò/ÜAØ#Ÿ\™\¨!�_Ø$(×$;Ñ$;÷ó ô  HØ"Ø! ,Õ/Ø! '�NØ)9ô	 ð ô >ØØ˜lÕ+Ø˜g�Ø%5ô	ð ô .¨f¸LÕ6IÈ5ÐQXÍ>ÓZÐZØ"'§)¡)Ð,AÓ"BÐØ"Ò.°6·<±<Àµ?ÀaÔ3GÜ=ØŸ™ a�Ø $× 7Ñ 7÷ó ô @ØØ˜lÕ+Ø˜g�Ø%8ô	ð ô 6ØØ˜,Õ'Ø˜'•NØ!4ô	ð ô :Ø—\‘\ !•_Ø ×3Ñ3÷ó ô 4°FÀ,Õ<OÐQVÐW^ÕQ_Ó`Ð`Ü)¨&¸Õ2EÀuÈWÅ~ÓVÐVØ×!Ñ! VÔ+Ü$ V°4­[¸%À½.È%ÐPUÍ,ÓWÐWØ×!Ñ! VÔ+Ü$ V°4­[¸%À½+ÀuÈWÅ~ÐW\Ð]bÕWcÓdÐdØ×!Ñ! VÔ+Ü$ V°4­[¸%À½+ÀuÈWÅ~ÓVÐVä!Ð$CÀD×DZÑDZÐC[Ð"\Ó]Ð]r   c               ó   € V ^8„  d   QhRR/# )r   r¦   r§   r   )r   s   "r   r   rQ  E  s   € ÷ .ñ .˜ñ .r   c                	óô  € VP                   R R V P                  3,           pVP                  RVP                   R,          4      pVP                  pV\        P
                  8w  d"   VP                  \        P
                  R7      pMTpV P                  V4      pV P                  er   V P                  pVP                  VP                  8w  g   VP                  VP                  8w  d(   VP                  VP                  VP                  R7      pWg,           pWFP                  8w  d   VP                  VR7      pV P                  '       d   V P                  P                  W6R7      pVP                  V4      # )Nr*   r  )r¦   Úoutry  )r¯   rß   r>   r+   rü   r@   r’  r°  rM  rö   rO  Úapply)rc  r¦   Úoriginal_shaper¨  Úinput_dtyper­  r¨   rM  s   &&      r   ÚforwardÚGGUFTritonKernel.forwardE  s  € ØŸ™  "˜¨×):Ñ):Ð(<Õ<ˆØ—‘˜2˜qŸw™w r�{Ó+ˆà—l‘lˆØœ%Ÿ-™-Ô'Ø—Y‘Y¤U§]¡]�YÓ3‰FàˆFà×%Ñ% fÓ-ˆà�9‰9Ò Ø—9‘9ˆDØ�{‰{˜fŸm™mÔ+¨t¯z©z¸V¿\¹\Ô/IØ—w‘w f§m¡m¸6¿<¹<�wÓH�Ø•]ˆFàŸ,™,Ô&Ø—Y‘Y [�YÓ1ˆFà�<�<ˆ<Ø—\‘\×'Ñ'¨&Ð'Ó=ˆFà�~‰~˜nÓ-Ð-r   )rb  )rò   r„  é   é   )2ra  Ú
__module__Ú__qualname__Ú__firstlineno__r   r[  ÚSUPPORTS_BACKENDSr   ÚGGUFÚSUPPORTS_METHODSr   ÚSUPPORTS_FORMATSÚSUPPORTS_BITSÚSUPPORTS_SHARDSÚSUPPORTS_TRAININGÚSUPPORTS_AUTO_PADDINGÚ!SUPPORTS_IN_FEATURES_DIVISIBLE_BYÚ"SUPPORTS_OUT_FEATURES_DIVISIBLE_BYr
   ÚCUDAÚSUPPORTS_DEVICESr   ÚLINUXÚWIN32ÚSUPPORTS_PLATFORMrü   r˜  r“   r“  ÚSUPPORTS_PACK_DTYPESr	   ÚSUPPORTS_ADAPTERSr@   Úbfloat16r;   ÚSUPPORTS_DTYPESÚREQUIRES_FORMAT_V2ÚAUTOTUNEÚ
QUANT_TYPEr]  Úclassmethodro  ru  rz  r   r¥  r°  r¸  Ú__static_attributes__Ú__classcell__)r`  s   @r   rG  rG  M  s  ø† Ø ×,Ñ,Ð-ÐØŸ™�}ÐØŸ™ RÐ(ÐÚ €MØ€OØÐØ ÐØ)*¨Ð%Ø*+¨Ð&ØŸ™�}ÐØ!Ÿ™¨¯©Ð8ÐØ!ŸJ™J¨¯©°U·[±[ÐAÐØ˜ÐØ—}‘} e§n¡n°e·m±mÐD€OàÐØ€Hà€Jð Ø"'§+¡+ØØ!%÷"Lò "LðH ôó ð÷,ð ,õZõU^õnõG^÷R.ó .r   rG  )rG   rH   rI   )rG  rÝ   rï   ræ   rô   r  r  r"  r&  r  r@  rE  r!   )cÚ__conditional_annotations__Ú
__future__r   Útypingr   r   r   r   rü   Úadapter.adapterr   r	   Úmodels._constr
   r   Úquantizationr   r   Úutils.backendr   Úutils.pythonr   rH  r   r   r­   Útriton.languageÚlanguager7   Ú	packagingr   Útriton_utilsr   r    rl  r   Ú__annotations__r!   ÚConfigÚ_GGUF_TRITON_SMALL_CONFIGSÚ_GGUF_TRITON_LARGE_CONFIGSrÁ   rÒ   rÓ   rÖ   r×   rØ   rÙ   rÔ   rÕ   rÚ   rÛ   ré   rí   rê   rë   rì   Újitrd   rk   rn   rq   Úautotuner  r  r   r!  r  r%  r„   r  r	  r�   r>  r?  r¢   rC  rD  r´   rº   rÂ   rÝ   ræ   rï   rô   r   r  r  r  r"  r&  r/  r3  r8  r;  r@  rE  rG  Ú__all__)rØ  s   @r   Ú<module>rë     s‡  øð÷ #Ð "ç 1Ó 1ã ç ,ß -ß *Ý $Ý ,ß ?ðÛÝ Ý!å.àÐð =?Ð Ð9Ó >õ÷ Ðà�Šà Ø ðð Øô	
ð 	�Šà Ø ðð Øô	
ð 	�Šà Ø ðð Øô	
ð#"Ðð8 	�Šà Ø ðð Øô	
ð 	�Šà Ø ðð Øô	
ð 	�Šà Ø ðð Øô	
ð 	�Šà Ø ðð Øô	
ð 	�Šà Ø ðð Øô	
ð 	�Šà Ø ðð Øô	
ð 	�Šà Ø ðð Øô	
ð 	�Šà Ø ðð Øô	
ð 	�Šà Ø ðð Øô	
ð 	�Šà Ø ðð Øô	
ð 	�Šà Ø ðð Øô	
ðcY"Ððt %'Ð!à˜Ø˜Ø�QØ�að	,Ð(ð 	˜Ø˜Ø�QØ�að	*Ð&ð 	˜Ø˜Ø�QØ�að	,Ð(ð 	˜Ø˜Ø�QØ�að	2Ð.ð 	˜Ø˜Ø�QØ�að	2Ð.ð 	˜Ø˜Ø�QØ�að	*Ð&ð 	˜Ø˜Ø�QØ�að	-Ð)ð 	˜Ø˜Ø�QØ�að	+Ð'ð 	˜Ø˜Ø�QØ�að	-Ð)ð 	˜Ø˜Ø�QØ�að	+Ð'ð 	˜Ø˜Ø�QØ�að	)Ð%ð 	˜Ø˜Ø�QØ�að	*Ð&ð 	˜Ø˜Ø�QØ�að	6Ð2ð 	˜Ø˜Ø�QØ�að	6Ð2ð 	˜Ø˜Ø�QØ�að	6Ð2ð ‡Z�Zô?
ó ð?
ðB ‡Z�Zô<
ó ð<
ð| ‡Z�Zô>
ó ð>
ð@ ‡Z�Zô;
ó ð;
ðz 1@×0HÒ0HØ*Ø�#ˆJØ!õ1ð /ó	10Ð-ð
 1@×0HÒ0HØ*Ú$Ø!õ1ð /ó	10Ð-ð
 5D×4LÒ4LØ*Ø�#ˆJØ!õ5ð 3ó	54Ð1ð
 5D×4LÒ4LØ*Ú$Ø!õ5ð 3ó	54Ð1ð
 1@×0HÒ0HØ*Ø�#ˆJØ!õ1ð 5ó	16Ð-ð
 5D×4LÒ4LØ*Ø�#ˆJØ!õ5ð 9ó	5:Ð1ð ‡Z�ZôI
ó ðI
ðV ,;×+CÒ+CØ*Ø�#ˆJØ!õ,ð *ó	,+Ð(ð
 ,;×+CÒ+CØ*Ú$Ø!õ,ð *ó	,+Ð(ð ‡Z�ZôU
ó ðU
ðn ,;×+CÒ+CØ*Ø�#ˆJØ!õ,ð *ó	,+Ð(ð
 ,;×+CÒ+CØ*Ú$Ø!õ,ð *ó	,+Ð(ð ‡Z�ZôR
ó ðR
ðh ,;×+CÒ+CØ*Ø�#ˆJØ!õ,ð *ó	,+Ð(ð
 ,;×+CÒ+CØ*Ú$Ø!õ,ð *ó	,+Ð(õõ õ"ð"ð #÷	"õJõ õ0-õ	õ(õV"õJõ>"õJõ>õ@õ>õ@õ>-õ`(ôVP.�ô P.òf‚øðM2 ô Ø€FØ	€BØ€OØÓð	ús   ÁS ÓS+Ó*S+