+
    "Ý³jßn  ã                   ó  € ^ RI t ^ RIt^ RIt^ RIHtHt ^ RIt^ RIt^ RIHt ^RI	H
t
 ^RIHt ^RIHtHt ^RIHt ^RIHt ^R	IHt ^R
IHtHt ^RIHt ^RIHt Rt]! 4       tR t ! R R]P@                  4      t! ! R R4      t"R# )é    N)ÚDictÚOptional)Únn)ÚQuantizeConfig)ÚNamedModule)ÚFallbackStrategyÚ	SmoothMSE)Ú
HF_OPTIMUM)Úsetup_logger)Ú
get_device)Úmse_optimal_quantÚsmooth_block)Úget_number_of_rows_and_cols)Únpu_inverse_cholesky_factorFc                 ó¾  € V^ 8  dF   W^,          8„  P                  4       V,          W^,          8  P                  4       V,          ,           # VR8w  g	   V'       gI   \        P                  ! \        P                  ! W,          4      V,           ^ V4      pWV,
          ,          # \        P                  ! \        P                  ! W,          4      V) V4      pW,          # ©r   éÿÿÿÿ)ÚfloatÚtorchÚclampÚround)ÚxÚscaleÚzeroÚmaxqÚsymÚ	groupsizeÚqs   &&&&&& Ú[/home/luca/screen-checking/.venv/lib/python3.14/site-packages/gptqmodel/quantization/qqq.pyÚquantizer       s›   € Øˆa„xØ˜A•I‘×$Ñ$Ó&¨Õ.°!¸Qµh±,×1EÑ1EÓ1GÈ$Õ1NÕNÐNØ�B„ŸcÜ�KŠKœŸš A¥IÓ.°Õ5°q¸$Ó?ˆØ˜D�Õ!Ð!ä�KŠKœŸš A¥IÓ.°°°tÓ<ˆØ�yÐó    c                   ó\   a a€ ] tR t^)t oRV 3R lltR	R ltR
R ltR tR tR t	Rt
VtV ;t# )Ú	Quantizerc                ó  <€ \         \        V `  4        V P                  R \        P
                  ! ^ 4      4       V P                  R\        P                  ! V4      4       V P                  R\        P                  ! V4      4       R# )r   r   r   N)Úsuperr#   Ú__init__Úregister_bufferr   ÚtensorÚzeros)ÚselfÚshapeÚ	__class__s   &&€r   r&   ÚQuantizer.__init__*   sZ   ø€ ÜŒi˜Ñ'Ô)Ø×Ñ˜V¤U§\¢\°!£_Ô5Ø×Ñ˜W¤e§k¢k°%Ó&8Ô9Ø×Ñ˜V¤U§[¢[°Ó%7Ö8r!   c
                óv  € VR8w  g	   V'       g+   \         P                  ! ^V,          ^,
          4      V n        M0\         P                  ! ^V^,
          ,          ^,
          4      V n        W n        W@n        W0n        WPn        W`n        Wpn        W€n	        V	'       d   \         P                  ! R4      V n        R# R# )é   Nr   )
r   r(   r   Ú
perchannelr   r   ÚmseÚnormÚgridÚ	maxshrink)
r*   Úbitsr0   r   r   r1   r2   r3   r4   Útritss
   &&&&&&&&&&r   Ú	configureÚQuantizer.configure0   s}   € ð ˜Œ?§#ÜŸš Q¨$¥Y°¥]Ó3ˆD�IäŸš Q¨4°!­8¥_°qÕ%8Ó9ˆDŒIØ$ŒØ"ŒØŒØŒØŒ	ØŒ	Ø"ŒßÜŸš RÓ(ˆDŽIñ r!   c           	     ój  € VP                   pV P                  P                  V4      V n        VP                  pV P                  '       d¨   V'       d   VP                  ^4      pM¬\        V4      ^8X  d%   VP                  . RO4      pVP                  ^4      p\        V4      ^8X  d)   VP                  RVR,          34      P                  4       p\        V4      ^8X  d   VP                  4       pMVP                  4       P                  ^ 4      p\        P                  ! VP                  ^ ,          VR7      p\        P                  ! VP                  ^4      ^ ,          V4      p\        P                  ! VP!                  ^4      ^ ,          V4      pV P"                  '       dX   \        P                  ! \        P$                  ! V4      V4      pV^ 8  p\        P&                  ! V4      '       d   Wu,          ) We&   V^ 8H  V^ 8H  ,          pRWe&   ^Wu&   V P                  ^ 8  d   Wpn        W`n        MüV P,                  R8w  g   V P"                  '       gž   Wv,
          V P                  ,          V n        V P"                  '       d@   \        P.                  ! V P(                  V P                  ^,           ^,          4      V n        Mj\        P0                  ! V) V P(                  ,          4      V n        M<WpP                  ,          V n        \        P2                  ! V P(                  4      V n        V P4                  '       Ed   \        P6                  ! VP                  ^ ,          .\9        R4      VR7      p\;        \=        V P>                  V P@                  ,          4      4       EF¦  p	^W�P@                  ,          ,
          p
W¦,          pW§,          pV P,                  R8w  g   V P"                  '       g   WË,
          V P                  ,          MWÀP                  ,          pV P"                  '       g   \        P0                  ! V) V,          4      MV P*                  p\C        VVP                  ^4      VP                  ^4      V P                  V P"                  V P,                  4      pWñ,          pVPE                  4        VPG                  V PH                  4       \        PJ                  ! V^4      pVV8  p\        P&                  ! V4      '       g   EKq  VV,          W…&   WÕ,          V P(                  V&   Wå,          V P*                  V&   EK©  	  V P                  '       gu   V'       d   V^ ,          pM"\        V4      ^8w  d
   V^,          MV^,          pV P(                  PM                  V4      V n        V P*                  PM                  V4      V n        V'       de   R.^.\        V4      ^,
          ,          ,           pV P(                  P                  V4      V n        V P*                  P                  V4      V n        R# \        V4      ^8X  dA   V P(                  P                  R4      V n        V P*                  P                  R4      V n        \        V4      ^8X  dA   V P(                  P                  R4      V n        V P*                  P                  R4      V n        \        V4      ^8X  dC   V P(                  P                  ^ 4      V n        V P*                  P                  ^ 4      V n        R# R# )r/   ©ÚdeviceÚinfN)r/   r   é   é   r   )r/   r   r/   r/   )r/   r/   r   )'r;   r   Útor+   r0   ÚflattenÚlenÚpermuteÚreshapeÚtÚ	unsqueezer   r)   ÚminimumÚminÚmaximumÚmaxr   ÚabsÚanyr   r   r   Ú	full_liker   Ú
zeros_liker1   Úfullr   ÚrangeÚintr4   r3   r    Úabs_Úpow_r2   ÚsumÚrepeat)r*   r   ÚweightÚdevr+   ÚtmpÚxminÚxmaxÚbestÚiÚpÚxmin1Úxmax1Úscale1Úzero1r   Úerrs   &&&              r   Úfind_paramsÚQuantizer.find_paramsJ   s×  € Ø�h‰hˆØ—I‘I—L‘L Ó%ˆŒ	à—‘ˆØ�?�?ˆ?ßØ—I‘I˜a“L‘ä�u“: ”?ØŸ	™	¢,Ó/�AØŸ	™	 !›�AÜ�u“: ”?ØŸ	™	 2 u¨R¥y /Ó2×4Ñ4Ó6�AÜ�u“: ”?ØŸ™›�Aøà—	‘	“×%Ñ% aÓ(ˆAä�kŠk˜!Ÿ'™' !�*¨SÔ1ˆÜ�}Š}˜QŸU™U 1›X a�[¨#Ó.ˆÜ�}Š}˜QŸU™U 1›X a�[¨#Ó.ˆà�8�8ˆ8Ü—=’=¤§¢¨4£°$Ó7ˆDØ˜‘(ˆCÜ�yŠy˜�~Š~Ø!�Y˜J�‘	Ø�q‰y˜T Q™YÕ'ˆØˆ‰	Øˆ‰	à�9‰9�qŒ=ØŒJØ�Ià�~‰~ Ô#¨4¯8¯8¨8Ø"�k¨T¯Y©YÕ6�”
Ø—8—8�8Ü %§¢°·
±
¸T¿Y¹YÈ½]ÈaÕ<OÓ P�D•Iä %§¢¨T¨E°D·J±JÕ,>Ó ?�D•Ià!§I¡IÕ-�”
Ü!×,Ò,¨T¯Z©ZÓ8�”	à�8�8‰8Ü—:’:˜qŸw™w q�z˜l¬E°%«LÀÔEˆDÜœ3˜tŸ~™~°·	±	Õ9Ó:×;�Ø˜ŸI™I�Õ%�Ø��Ø��ð Ÿ™¨"Ô,°D·H·H°Hð •] d§i¡iÖ/à§¡Õ*ð ð
 =A¿H¿H¸HœŸš U F¨V¥OÔ4È$Ï)É)�ÜØØ×$Ñ$ QÓ'Ø—O‘O AÓ&Ø—I‘IØ—H‘HØ—N‘Nó�ð •�Ø—‘”Ø—‘�t—y‘yÔ!Ü—i’i  1“o�Ø˜D‘j�Ü—9’9˜S—>•>Ø # C¥�D‘IØ&,¥k�D—J‘J˜s‘OØ%*¥Z�D—I‘I˜c”Nñ5 <ð6 ��ˆßØ˜A•h‘ä"% e£*°¤/�e˜A–h°u¸Qµx�ØŸ™×*Ñ*¨3Ó/ˆDŒJØŸ	™	×(Ñ(¨Ó-ˆDŒIçØ�D˜A˜3¤# e£*¨q¥.Õ1Õ1ˆEØŸ™×+Ñ+¨EÓ2ˆDŒJØŸ	™	×)Ñ)¨%Ó0ˆDŒIÙÜˆu‹:˜Œ?ØŸ™×+Ñ+¨MÓ:ˆDŒJØŸ	™	×)Ñ)¨-Ó8ˆDŒIÜˆu‹:˜Œ?ØŸ™×+Ñ+¨JÓ7ˆDŒJØŸ	™	×)Ñ)¨*Ó5ˆDŒIÜˆu‹:˜Œ?ØŸ™×-Ñ-¨aÓ0ˆDŒJØŸ	™	×+Ñ+¨AÓ.ˆDŽIñ r!   c                ó´   € V P                  4       '       dB   \        WP                  V P                  V P                  V P
                  V P                  4      # V# ©N)Úreadyr    r   r   r   r   r   )r*   r   s   &&r   r    ÚQuantizer.quantize¬   s@   € Ø�:‰:�<Š<ÜØ—:‘:˜tŸy™y¨$¯)©)°T·X±X¸t¿~¹~óð ð ˆr!   c                ó    € V P                   ^ 8„  # ©r   )r   ©r*   s   &r   ÚenabledÚQuantizer.enabled³   s   € Ø�y‰y˜1‰}Ðr!   c                óH   € \         P                  ! V P                  ^ 8g  4      # ri   )r   Úallr   rj   s   &r   rf   ÚQuantizer.ready¶   s   € Ü�yŠy˜Ÿ™ q™Ó)Ð)r!   )
r3   r   r   r4   r1   r2   r0   r   r   r   )r/   )FTr   Fg333333@éd   çš™™™™™é?F)F)Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r&   r7   rb   r    rk   rf   Ú__static_attributes__Ú__classdictcell__Ú__classcell__)r,   Ú__classdict__s   @@r   r#   r#   )   s*   ù‡ € ÷9ô)ô4`/òDò÷*ò *r!   r#   c                   óÈ   a € ] tR t^ºt o RV 3R lR llt]R 4       t]V 3R lR l4       tV 3R lR ltR	 t	RV 3R
 lR llt
]P                  ! 4       RR l4       tR tRtV tR# )ÚQQQNc                óJ   <€ V ^8„  d   QhRS[ P                  RS[S[,          /# )r=   ÚmoduleÚqcfg)r   ÚModuler   r   )Úformatry   s   "€r   Ú__annotate__ÚQQQ.__annotate__»   s(   ø€ ÷ ?Añ ?A™rŸy™yð ?A±¹Õ0Hñ ?Ar!   c                óÒ  € \        V4      w  V n        V n        \        V\        4      '       d*   VP
                  V n        VP                  V n        Wn        M\        V n        Wn        R V n        V P                  P                  P                  p\        V P                  RV4       V P                  P                  P                  V n        V P                  V P                  4       V'       d   TM	\        4       V n        V P                  V n        V P                  V n        V P                  e'   V P                  P&                  P)                  R4      pM\+        V P                  RR 4      p\        V\,        4      '       d3   \/        VP)                  R^ 4      ;'       g    ^ 4      p\1        V^ 4      pM^ pWPn        V P2                  '       d$   V ;P                  V P2                  ,          un        R V n        ^ V n        \9        4       V n        ^ V n        V P                   P>                  V n        R V n         \B        PD                  ! 4       V n#        R V n$        / V n%        / V n&        R # )NÚtarget_deviceÚtp_pad_infoÚ_tp_pad_infoÚpad_cols)'r   ÚrowsÚcolumnsÚ
isinstancer   r}   ÚlayerÚnameÚ_named_moduler
   rU   r;   ÚsetattrrV   Ú_validate_moduler   r~   Ú_original_rowsÚ_original_columnsÚstateÚgetÚgetattrÚdictrP   rI   Ú_tp_pad_colsÚmodule_copyÚnsamplesr#   Ú	quantizerÚfwd_counterÚfallbackÚexpected_nsamplesÚ	threadingÚLockÚlockÚHÚ_device_hessian_partialsÚ_device_sample_counts)r*   r}   r~   Úlayer_deviceÚpad_infor‡   s   &&&   r   r&   ÚQQQ.__init__»   sÃ  € ô #>¸fÓ"EÑˆŒ	�4”<Ü�fœk×*Ò*ØŸ™ˆDŒJØŸ™ˆDŒIØ!'Õä"ˆDŒIØŒJØ!%ˆDÔà—z‘z×(Ñ(×/Ñ/ˆÜ�—
‘
˜O¨\Ô:à—:‘:×$Ñ$×+Ñ+ˆŒà×Ñ˜dŸj™jÔ)ç ‘D¤nÓ&6ˆŒ	à"Ÿi™iˆÔØ!%§¡ˆÔØ×ÑÒ)Ø×)Ñ)×/Ñ/×3Ñ3°MÓB‰Hä˜tŸz™z¨>¸4Ó@ˆHä�h¤×%Ò%Ü˜8Ÿ<™<¨
°AÓ6×;Ð;¸!Ó<ˆHÜ˜8 QÓ'‰HàˆHØ$ÔØ××ÐØ�LŠL˜D×-Ñ-Õ-�LàˆÔàˆŒä"›ˆŒð ˆÔàŸ	™	×*Ñ*ˆŒØ26ˆÔä—N’NÓ$ˆŒ	Ø)-ˆŒØJLˆÔ%Ø>@ˆÖ"r!   c                ó¸   € \        V \        P                  \        P                  \        P                  \
        P                  34      '       g   Q R V  R24       hR# )z<We supports only linear and convolutional layers. actual = `Ú`N)rŠ   r   ÚLinearÚConv1dÚConv2dÚtransformersÚConv1D)r}   s   &r   r�   ÚQQQ._validate_moduleü   s\   € ä˜&¤2§9¡9¬b¯i©i¼¿¹Ü#/×#6Ñ#6ð#8÷ 9ò 9ð 	CØ<xÐyð  yAð  ABð  ;Có	Cò 9r!   c                óT   <€ V ^8„  d   QhRS[ P                  RS[RS[ P                  /# )r=   r(   ÚlengthÚreturn)r   ÚTensorrP   )r€   ry   s   "€r   r�   r‚     s/   ø€ ÷ Eñ E¡5§<¡<ð E¹ð EÁÇÁñ Er!   c                ó  € V P                  4       ^ 8X  d   V # \        WP                  R,          4      pW P                  R,          8X  d   V # V P                  V P                  4       ^,
          ^ V4      P	                  4       # r   )ÚdimrG   r+   ÚnarrowÚ
contiguous)r(   r¯   Útrims   && r   Ú_truncate_last_dimÚQQQ._truncate_last_dim  sc   € à�:‰:‹<˜1ÔØˆMä�6Ÿ<™<¨Õ+Ó,ˆØ—<‘< Õ#Ô#ØˆMà�}‰}˜VŸZ™Z›\¨AÕ-¨q°$Ó7×BÑBÓDÐDr!   c                ó    <€ V ^8„  d   QhRS[ /# )r=   Ústrategy)r   )r€   ry   s   "€r   r�   r‚     s   ø€ ÷ Zcñ ZcÑ+;ñ Zcr!   c           	     óò  € ^V P                   P                  ,          ^,
          pRpV P                   P                  R8w  d   V P                   P                  MV P                  p\        P                  ! 4       p\        V P                  RR4      p^ pRp\        V\        4      '       d   VP                  pVP                  pV P                  P                  P                  P                  4       p	\        V P                  \        P                   4      '       d   V	P#                  ^4      p	\        V P                  \$        P&                  4      '       d   V	P)                  4       p	V	P+                  4       p	V P,                  '       dd   \.        P0                  ! V	P2                  ^ ,          V P,                  3V	P4                  V	P6                  R7      p
\.        P8                  ! Wš3^R7      p	\.        P:                  ! V	4      p. p. p\=        ^ V P                  V4       EFó  p\?        Wä,           V P                  4      pV	RWï13,          p\        V\        4      '       d!   \A        VV P                   VVVR7      w  pppEMÁ\C        TV P                  V P                   P                  R8w  d   V P                   P                  MV P                  R	7      w  ppV\D        PF                  8X  Ed    VP?                  ^R
R7      PH                  pVPK                  ^R
R7      PH                  pVV,           R,          p\.        PL                  ! VV,
          V,          RR7      p\.        PN                  ! VVR,          4      p\.        PP                  ! VV,
          V,          V,           4      p\.        PL                  ! V^ V4      p\.        PP                  ! VVV,          ,
          4      p\.        PL                  ! V^ V4      pVV,
          V,          pEM V\D        PR                  8X  Ed#   VPU                  ^R
R7      p\.        PJ                  ! VV,
          PW                  4       ^R
R7      PH                  p\.        PL                  ! VRR7      p^V,          V,          p\.        PN                  ! VVR,          4      p\.        PP                  ! VV,
          V,          V,           4      p\.        PL                  ! V^ V4      p\.        PP                  ! VVV,          ,
          4      p\.        PL                  ! V^ V4      pVV,
          V,          pEMèV\D        PX                  8X  Ed-   VP[                  ^R
R7      PH                  p\.        PJ                  ! VV,
          PW                  4       ^R
R7      PH                  p\.        PL                  ! VRR7      p^V,          V,          p\.        PN                  ! VVR,          4      p\.        PP                  ! VV,
          V,          V,           4      p\.        PL                  ! V^ V4      p\.        PP                  ! VVV,          ,
          4      p\.        PL                  ! V^ V4      pVV,
          V,          pEM¦V\D        P\                  8X  Ed	   VPU                  ^R
R7      pVP_                  ^R
RR7      p\.        PL                  ! VRR7      pVVV,          ,
          pVVV,          ,           p \.        PL                  ! V V,
          V,          RR7      p\.        PP                  ! V) V,          4      p\.        PL                  ! V^ V4      p\.        PP                  ! VV,          V,           4      p\.        PL                  ! V^ V4      pVV,
          V,          pMˆV\D        P`                  8X  df   V Pb                  Pe                  VR
R7       V Pb                  Pg                  V4      pV Pb                  Ph                  pV Pb                  Pj                  pM\m        RV 24      hVe   VV,          pVV,          pVVRWï13&   VPo                  4       ^8”  d   TMVPq                  ^4      p!VPo                  4       ^8”  d   TMVPq                  ^4      p"V!P2                  ^,          ^8”  d   V!PU                  ^R
R7      p!V"P2                  ^,          ^8”  d   V"PU                  ^R
R7      p"VPs                  V!4       VPs                  V"4       EKö  	  \.        P8                  ! V^R7      p\.        P8                  ! V^R7      pV P,                  '       d?   V Pt                  p#VRRV#13,          pV Pw                  VV#4      pV Pw                  VV#4      pMV P                  p#\.        Px                  ! V#VP6                  \.        Pz                  R7      VR8w  d   TMV P                  ,          p$\        V P                  \$        P&                  4      '       d   VP)                  4       pVP2                  V P                  P                  P2                  8w  d^   VP}                  V P                  P                  P2                  4      P                  V P                  P                  P4                  4      pM/VP                  V P                  P                  P4                  4      pRp%W@P                  8w  dl   \�        4       p&V&Pƒ                  ^R
RR
RR7       V&Pe                  V P                  P                  P                  P                  4       R
R7       V&Ph                  p%\        P                  ! 4       V,
          p'W°P                  P                  P                  ,
          PW                  4       PU                  4       P…                  4       p(RVP†                   RV(R 2p)Rp*RV nD        VVVV$V'V)V*V%V PŠ                  3	# )r=   g      @ÚsmoothNrq   ©Údtyper;   ©r³   ºNNN)Ústepsr4   )Ú
group_sizeT)r³   Úkeepdimç       @g:Œ0âŽyE>)rG   F)r³   rÃ   Úunbiased©rU   zUnsupported fallback strategy: ©r;   r¾   ©r5   r0   r   r   r1   z	fallback(z): z.7fg        r   )Fr~   r5   rÂ   r‰   Útimer”   r›   rŠ   r	   rÁ   r4   r‹   rU   ÚdataÚcloner   rª   r@   r«   r¬   rD   r   r–   r   r)   r+   r¾   r;   ÚcatÚ
empty_likerO   rG   r   r   r   ÚMIDPOINTÚvaluesrI   r   rL   r   ÚMEANÚmeanrJ   ÚMEDIANÚmedianÚSTDCLIPÚstdÚRTNr™   rb   r    r   r   Ú
ValueErrorr³   rE   Úappendr‘   r·   ÚarangeÚint32rC   r?   r#   r7   ÚitemÚvaluer    r˜   )+r*   rº   r   ÚsigmarÂ   Ú
start_timeÚsmooth_methodÚ	mse_stepsÚmse_maxshrinkÚWÚpadÚQÚscale_chunksÚzero_chunksÚstartÚendÚblockÚdequantr   r   Ú	block_modÚscale_factorÚw_minÚw_maxÚmidÚzero_midr   rÑ   Úmax_devrÓ   rÕ   ÚloÚhiÚscale_blockÚ
zero_blockÚ
valid_colsÚg_idxÚscale_extraÚquantizer_extraÚdurationÚmean_abs_errÚavg_lossÚdamp_percents+   &&                                         r   Ú_fallback_quantizeÚQQQ._fallback_quantize  s	  € Ø�D—I‘I—N‘NÕ" QÕ&ˆØˆØ-1¯Y©Y×-AÑ-AÀRÔ-G�T—Y‘Y×)Ò)ÈTÏ\É\ˆ
Ü—Y’Y“[ˆ
Ü §¡¨x¸Ó>ˆØˆ	ØˆÜ�m¤Y×/Ò/Ø%×+Ñ+ˆIØ)×3Ñ3ˆMà�J‰J×Ñ×"Ñ"×(Ñ(Ó*ˆÜ�d—j‘j¤"§)¡)×,Ò,Ø—	‘	˜!“ˆAÜ�d—j‘j¤,×"5Ñ"5×6Ò6Ø—‘“ˆAØ�G‰G‹Iˆà××ÐÜ—+’+Ø—‘˜•˜T×.Ñ.Ð/Ø—g‘gØ—x‘xôˆCô
 —	’	˜1˜(¨Ô*ˆAÜ×Ò˜QÓˆØˆØˆä˜1˜dŸl™l¨J×7ˆEÜ�eÕ(¨$¯,©,Ó7ˆCØ�a˜˜�l•OˆEä˜-¬×3Ò3Ü'8ØØ—I‘IØØ#Ø+ô(Ñ$�˜¢ô +7ØØ—M‘MØ7;·y±y×7KÑ7KÈrÔ7Q˜tŸy™y×3Ò3ÐW[×WcÑWcô+Ñ'�	˜<ð
 Ô/×8Ñ8Õ8Ø%ŸM™M¨a¸˜MÓ>×EÑE�EØ%ŸM™M¨a¸˜MÓ>×EÑE�EØ  5�=¨CÕ/�CÜ!ŸKšK¨°­¸$Õ(>ÀDÔI�EÜ$Ÿš¨u°d¸SµjÓA�HÜŸš Y°¥_¸Õ$=ÀÕ$HÓI�AÜŸš A q¨$Ó/�AÜ Ÿ;š; x°3¸µ;Õ'?Ó@�DÜ Ÿ;š; t¨Q°Ó5�DØ  4�x¨5Õ0’GØÔ!1×!6Ñ!6Õ6Ø$Ÿ>™>¨a¸˜>Ó>�DÜ#Ÿiši¨°TÕ)9×(>Ñ(>Ó(@ÀaÐQUÔV×]Ñ]�GÜ#Ÿkšk¨'°tÔ<�GØ �[¨DÕ0�EÜ$Ÿš¨u°d¸SµjÓA�HÜŸš Y°Õ%5¸Õ$>ÀÕ$IÓJ�AÜŸš A q¨$Ó/�AÜ Ÿ;š; x°4¸%µ<Õ'@ÓA�DÜ Ÿ;š; t¨Q°Ó5�DØ  4�x¨5Õ0’GØÔ!1×!8Ñ!8Õ8Ø&×-Ñ-°!¸TÐ-ÓB×IÑI�FÜ#Ÿiši¨°VÕ);×(@Ñ(@Ó(BÈÐSWÔX×_Ñ_�GÜ#Ÿkšk¨'°tÔ<�GØ �[¨DÕ0�EÜ$Ÿš¨u°d¸SµjÓA�HÜŸš Y°Õ%7¸5Õ$@À8Õ$KÓL�AÜŸš A q¨$Ó/�AÜ Ÿ;š; x°6¸Eµ>Õ'BÓC�DÜ Ÿ;š; t¨Q°Ó5�DØ  4�x¨5Õ0’GØÔ!1×!9Ñ!9Õ9Ø$Ÿ>™>¨a¸˜>Ó>�DØ#Ÿ-™-¨A°tÀe˜-ÓL�CÜŸ+š+ c¨tÔ4�CØ ¨¥Õ+�BØ ¨¥Õ+�BÜ!ŸKšK¨¨b­°DÕ(8¸dÔC�EÜ Ÿ;š;¨ s¨U¥{Ó3�DÜ Ÿ;š; t¨Q°Ó5�DÜŸš I°Õ$5¸Õ$<Ó=�AÜŸš A q¨$Ó/�AØ  4�x¨5Õ0‘GØÔ!1×!5Ñ!5Ô5Ø—N‘N×.Ñ.¨yÀÐ.ÔFØ"Ÿn™n×5Ñ5°iÓ@�GØ ŸN™N×0Ñ0�EØŸ>™>×.Ñ.‘Dä$Ð'FÀxÀjÐ%QÓRÐRàÒ+Ø! LÕ0�EØ%¨Õ4�Gà%ˆAˆa��ˆl‰Oà#(§9¡9£;°¤?™%¸¿¹ÈÓ8JˆKØ!%§¡£¨a¤™°T·^±^ÀAÓ5FˆJØ× Ñ  Õ# aÔ'Ø)×.Ñ.°1¸dÐ.ÓC�Ø×Ñ Õ" QÔ&Ø'Ÿ_™_°¸D˜_ÓA�
Ø×Ñ Ô,Ø×Ñ˜z×*ñi 8ôl —	’	˜,¨AÔ.ˆÜ�yŠy˜¨!Ô,ˆà××ÐØ×/Ñ/ˆJØ�!�[�j�[�.Õ!ˆAØ×+Ñ+¨E°:Ó>ˆEØ×*Ñ*¨4°Ó<‰DàŸ™ˆJä—’˜Z°·±ÄÇÁÔLÐ_iÐmoÔ_oÑQ[Ðuy÷  vBñ  vBõ  Cˆä�d—j‘j¤,×"5Ñ"5×6Ò6Ø—‘“ˆAØ�7‰7�d—j‘j×'Ñ'×-Ñ-Ô-Ø—	‘	˜$Ÿ*™*×+Ñ+×1Ñ1Ó2×5Ñ5°d·j±j×6GÑ6G×6MÑ6MÓN‰Aà—‘�T—Z‘Z×&Ñ&×,Ñ,Ó-ˆAàˆØŸ™Ô%Ü'›kˆOØ×%Ñ%ØØØØØð &ô ð ×'Ñ'¨¯
©
×(9Ñ(9×(>Ñ(>×(DÑ(DÓ(FÈtÐ'ÔTØ)×/Ñ/ˆKä—9’9“; Õ+ˆØŸJ™J×-Ñ-×2Ñ2Õ2×7Ñ7Ó9×>Ñ>Ó@×EÑEÓGˆØ˜xŸ~™~Ð.¨c°,¸sÐ1CÐDˆØˆØˆŒØ�%˜˜u h°¸,ÈÐUY×UbÑUbÐbÐbr!   c           	     óÄ  € \         '       d   Wn        W n        \        VP                  4      ^8X  d   VP                  ^ 4      p\        V P                  \        P                  4      '       g+   \        V P                  \        P                  4      '       dO   \        VP                  4      ^8X  d%   VP                  RVP                  R,          34      pVP                  4       p\        V P                  \        P                  4      '       d—   \        P                  ! V P                  P                   V P                  P"                  V P                  P$                  V P                  P&                  R7      pV! V4      pVP)                  . RO4      pVP+                  ^4      p\,        P.                  ! \1        V4      4      pVP                  ^,          pVP3                  4       pV P4                  '       dH   VP7                  V P4                  VP                  ^,          34      p\,        P8                  ! W3^ R7      pV P:                  ;_uu_ 4        V ;P<                  ^,          un        V P>                  PA                  V4      pVfL   \,        PB                  ! V PD                  V PD                  3\,        PF                  VR7      pWpP>                  V&   VPI                  WP                  4       RRR7       V PJ                  PA                  V^ 4      V,           V PJ                  V&   V ;PL                  V,          un&        RRR4       R#   + '       g   i     R# ; i)	r=   )ÚdilationÚpaddingÚstrider¿   Nr½   g      ð?)ÚbetaÚalphar   )r/   r   r=   )'ÚDEBUGÚinp1Úout1rA   r+   rE   rŠ   r‹   r   r¨   r«   r¬   rC   rD   rª   ÚUnfoldÚkernel_sizer  r  r  rB   r@   r   r;   r   r   r–   Ú	new_zerosrÌ   rŸ   rš   r¡   r“   r)   r‰   Úfloat32Úaddmm_r¢   r˜   )r*   ÚinpÚoutÚunfoldrV   Úbatch_token_sizerã   Úexistings   &&&     r   Ú	add_batchÚQQQ.add_batch¨  sK  € ß‹5ØŒIØŒIÜˆs�y‰y‹>˜QÔØ—-‘- Ó"ˆCÜ�d—j‘j¤"§)¡)×,Ò,´
Ø—
‘
œL×/Ñ/÷1
ò 1
ô �3—9‘9‹~ Ô"Ø—k‘k 2 s§y¡y°¥}Ð"5Ó6�Ø—%‘%“'ˆCÜ�d—j‘j¤"§)¡)×,Ò,Ü—Y’YØ—
‘
×&Ñ&ØŸ™×,Ñ,ØŸ
™
×*Ñ*Ø—z‘z×(Ñ(ô	ˆFñ ˜“+ˆCØ—+‘+šiÓ(ˆCØ—+‘+˜a“.ˆCä�lŠlœ: c›?Ó+ˆØŸ9™9 Q�<ÐØ�i‰i‹kˆØ××ÐØ—-‘- ×!2Ñ!2°C·I±I¸aµLÐ AÓBˆCÜ—)’)˜S˜J¨AÔ.ˆCà�Y�Y‹YØ×Ò Õ!ÕØ×4Ñ4×8Ñ8¸Ó=ˆHØÒÜ Ÿ;š;Ø—\‘\ 4§<¡<Ð0ÜŸ-™-Øô�ð
 6>×-Ñ-¨cÑ2ð �O‰O˜C§¡£¨s¸#ˆOÔ>Ø.2×.HÑ.H×.LÑ.LÈSÐRSÓ.TÐWgÕ.gˆD×&Ñ& sÑ+Ø�MŠMÐ-Õ-�M÷ �Y�YŠYús   ÉC/MÍM	c                ó^   <€ V ^8„  d   QhRS[ S[P                  ,          RS[P                  /# )r=   r„   r°   )r   r   r;   r±   )r€   ry   s   "€r   r�   r‚   ×  s+   ø€ ÷ ñ ±¹%¿,¹,Õ1Gð ÑSX×S_ÑS_ñ r!   c                ó²  € Vf   V P                   p\        P                  ! V4      p\        V P                  P                  4       4      pV^ 8X  dV   \        P                  ! V P                  V P                  3\        P                  VR7      V n	        ^ V n
        V P                  # \        P                  ! V P                  V P                  3\        P                  VR7      pV P                  '       d’   V P                  P                  4       w  rEVP                  V8X  d2   VP                  \        P                  8X  d   VP                  V4       M0VP                  VP                  V\        P                  R7      4       ?K£  VP!                  R\#        V4      ,          4       W0n	        W n
        V P                  P%                  4        V P                  # )Nr½   rÇ   rÄ   )rV   r   r;   rS   r¢   rÏ   r)   r‰   r  r    r˜   r¡   Úpopitemr¾   Úadd_r?   Úmul_r   Úclear)r*   r„   Útotal_samplesÚresultrV   Úpartials   &&    r   Úmaterialize_hessianÚQQQ.materialize_hessian×  s@  € ØÒ Ø ŸH™HˆMÜŸš ]Ó3ˆä˜D×6Ñ6×=Ñ=Ó?Ó@ˆØ˜AÔÜ—[’[ $§,¡,°·±Ð!=ÄUÇ]Á]Ð[hÔiˆDŒFØˆDŒMØ—6‘6ˆMô
 —’˜dŸl™l¨D¯L©LÐ9ÄÇÁÐWdÔeˆØ×+×+Ð+Ø×8Ñ8×@Ñ@ÓB‰LˆCØ�~‰~ Ô.°7·=±=ÄEÇMÁMÔ3QØ—‘˜GÕ$à—‘˜GŸJ™J¨mÄ5Ç=Á=˜JÓQÔRÚà�‰�Cœ% Ó.Õ.Ô/ØŒØ%ŒØ×"Ñ"×(Ñ(Ô*Ø�v‰vˆr!   c                ó€  € \         P                   ! 4       p^RIHpHpHp V! V P
                  4      pV P                  4        V P                  P                  pV P                  P                  pV P                  P                  p	V P                  P                  p
V P                  P                  P                  P                  4       p\!        V P                  \"        P$                  4      '       d   VP'                  ^4      p\!        V P                  \(        P*                  4      '       d   VP-                  4       pVP/                  4       pV P0                  '       dd   \2        P4                  ! VP6                  ^ ,          V P0                  3VP8                  VP:                  R7      p\2        P<                  ! W¼3^R7      p\         P                   ! 4       pV P>                  PA                  4       '       g   V P>                  PC                  VRR7       V PD                  pV ="\2        PF                  ! V4      ^ 8H  p^WïV3&   ^ VRV3&   . p. p. p^pV
'       d¬   ^ RI$p. p\K        ^ V PL                  V4       FŠ  pVPO                  V P>                  4      pVPC                  VRVVV,           13,          RR7       VPQ                  VPR                  4       VPQ                  VPT                  4       VPQ                  V4       KŒ  	  V	'       d`   \2        PV                  ! \2        PF                  ! V4      RR7      pVRV3,          pVV,          RV3,          p\2        PV                  ! V4      p\2        PX                  ! V4      p\2        PX                  ! V4      pV\2        PZ                  ! \2        PF                  ! V4      4      ,          p\2        P\                  ! V PL                  VP:                  R	7      pVVV3;;,          V,          uu&   V! V P
                  V P^                  4      w  ppVRJp  VP:                  P`                  R
8X  d   \c        V4      pMV\2        Pd                  Pg                  V4      p\2        Ph                  ! V4      p\2        Pd                  Pg                  VRR7      pTp!\K        ^ T PL                  T4       EF  p$\}        T$T,           T PL                  4      p%T%T$,
          p&TRT$T%13,          P                  4       p'\2        PX                  ! T'4      p(\2        PX                  ! T'4      p)\2        PX                  ! T'4      p*T!T$T%1T$T%13,          p+\K        T&4       EF=  pT'RT3,          p,T+TT3,          p-TR 8w  dú   T
'       gÃ   T$T,           T,          ^ 8X  d>   T P>                  PC                  TRT$T,           T$T,           T,           13,          RR7       T$T,           T,          T,
          R 8X  dT   TPQ                  T P>                  PR                  4       TPQ                  T P>                  PT                  4       T^,          pM/T$T,           p.T	'       d
   XT.,          p.XT.T,          ,          T n        \        T,P�                  ^4      T P>                  PR                  T P>                  PT                  T P>                  P‚                  T P>                  P„                  T P>                  P†                  4      P'                  4       p/T/T(RT3&   T,T/,
          ^,          T-^,          ,          T*RT3&   T,T/,
          T-,          p0T'RTR13;;,          T0P�                  ^4      P‰                  T+TTR13,          P�                  ^ 4      4      ,          uu&   T0T)RT3&   EK@  	  T(TRT$T%13&   T*^,          TRT$T%13&   TRT%R13;;,          T)P‰                  T!T$T%1T%R13,          4      ,          uu&   \Š        '       g   EK@  TRRT%13,          T P                  P                  P                  RRT%13&   TRT%R13,          T P                  P                  P                  RT%R13&   \�        \2        PŽ                  ! T P                  T P�                  4      T P’                  ,
          ^,          4      4       \�        \2        PŽ                  ! T4      4       EK  	  \2        P”                  P—                  4        \�        R\         P                   ! 4       T,
          ,          4       \�        R\2        PŽ                  ! T4      P™                  4       4       T!Eep   ?!T Pl                  ^ 8w  dõ   \2        PŽ                  ! T4      P™                  4       T Pl                  ,          p1\š        Pœ                  ! T14      '       d£   \�        R\2        PŽ                  ! T4      P™                  4       4       T '       dT   \n        PŸ                  RT Pr                   RT Pr                   R24       RT P                  nP        T P                  TR7      # \£        RT Pr                   R24      hM‚T '       d%   \n        Pq                  RT Pr                   R24       M#\n        Pq                  RT Pr                   R24       T '       d   TPt                   R2MRp1MT '       d   TPt                   R2MRp1?TR 8w  d   TMT PL                  pT
'       d<   T	'       d4   \K        T PL                  4       Uu. uF  pXT,          T,          NK  	  ppM+\K        T PL                  4       Uu. uF  pTT,          NK  	  pp\2        P¤                  ! T\2        P¦                  TP:                  R7      pT	'       d   TRX3,          pTT,          pT P0                  '       d   T P¨                  p2TRRT213,          pTRT2 p\!        T P                  \(        P*                  4      '       d   TP-                  4       pTP6                  T P                  P                  P6                  8w  d^   TP«                  T P                  P                  P6                  4      P­                  T P                  P                  P8                  4      pM/TP­                  T P                  P                  P8                  4      p\Š        '       dQ   \�        \2        PŽ                  ! T P                  T P�                  4      T P’                  ,
          ^,          4      4       T. 8X  dK   TPQ                  T P>                  PR                  4       TPQ                  T P>                  PT                  4       \2        P<                  ! T^R7      p\2        P<                  ! T^R7      pT P0                  '       d1   T P¨                  p2T P¯                  TT24      pT P¯                  TT24      pTP­                  T P                  P                  P                  P:                  RR7      pRp3Y€PL                  8w  dl   \±        4       p4T4P³                  ^RR RRR7       T4PC                  T P                  P                  P                  P                  4       RR7       T4PR                  p3\         P                   ! 4       T,
          p5TTTTT5T1TT3T Pl                  3	#   \j         dÉ    T! T P
                  \/        T Pl                  4      T P^                  4      p"T"'       dŽ   Te   T'       d   RT 2MRp#\n        Pq                  RT Pr                  TPt                  T Pl                  T P
                  T#T P^                  4       T\v        Px                  8w  d   T P{                  T4      u # Rp! ELh i ; iu upi u upi )!r=   )Úresolve_fallback_strategyÚresolve_thresholdÚshould_use_fallbackr½   r¿   TrÆ   rÀ   N)Ú
descendingr:   Únpu)Úupperz, threshold_raw=Ú zrQuantization: Module `%s` -> Using `%s` fallback quantization (observed %s samples, threshold=%s%s, max_total=%s).z	time %.2fÚerrorzLosses sum item:z,Quantization: Failed due to `NaN` loss for `z$`, use mock quantization retry for `r§   )Ú	blocksizezI`, please try increasing calibration data samples or enable fallback=TruezQuantization: Module `zJ` -> using fail safe mode. Please check if calibration data is sufficient.zQuantization: `z5` is not activated due to model inference logic (MoE)z	 fallbackiÿÉš;F)r;   Únon_blockingrÈ   r   )ZrÉ   Úutils.fallbackr!  r"  r#  r›   r  r~   rý   rÂ   Údesc_actÚstatic_groupsr‹   rU   rÊ   rË   rŠ   r   rª   r@   r«   r¬   rD   r   r–   r   r)   r+   r¾   r;   rÌ   r™   rf   rb   r    ÚdiagÚcopyrO   r‰   ÚdeepcopyrØ   r   r   ÚargsortrM   rÑ   rÙ   rœ   Útyper   ÚlinalgÚcholeskyÚcholesky_inverseÚ	Exceptionr˜   ÚlogÚwarnrŒ   rÜ   r   rÖ   rþ   rG   r    rE   r   r   r   Úmatmulr  ÚprintrS   r  r  ÚcudaÚsynchronizerÛ   ÚmathÚisnanÚinfoÚmock_quantizationr×   r(   rÚ   r‘   rC   r?   r·   r#   r7   )6r*   r)  rç   r!  r"  r#  Úresolved_strategyÚpercdampr   Úactorderr-  râ   rã   Útickr    Údeadr÷   r   r   Únow_idxr/  Úgroupsr[   r™   ÚpermÚinvpermÚLossesrä   Údampr.  Úthreshold_rawÚ
is_percentÚfallback_configuredÚHinvÚfallback_requestedÚextraÚi1Úi2ÚcountÚW1ÚQ1ÚErr1ÚLosses1ÚHinv1ÚwÚdÚidxr   Úerr1rü   rö   rø   rù   rú   s6   &&                                                    r   r    ÚQQQ.quantizeô  s/  € ô
 —	’	“ˆßfÑfá5°d·m±mÓDÐà× Ñ Ô"à—9‘9×)Ñ)ˆØ—I‘I×(Ñ(ˆ	Ø—9‘9×%Ñ%ˆØŸ	™	×/Ñ/ˆà�J‰J×Ñ×"Ñ"×(Ñ(Ó*ˆÜ�d—j‘j¤"§)¡)×,Ò,Ø—	‘	˜!“ˆAÜ�d—j‘j¤,×"5Ñ"5×6Ò6Ø—‘“ˆAØ�G‰G‹Iˆà××ÐÜ—+’+Ø—‘˜•˜T×.Ñ.Ð/Ø—g‘gØ—x‘xôˆCô
 —	’	˜1˜(¨Ô*ˆAä�yŠy‹{ˆà�~‰~×#Ñ#×%Ò%Ø�N‰N×&Ñ& q°Ð&Ô6à�F‰FˆØˆFÜ�zŠz˜!‹} Ñ!ˆØˆ�ˆ*‰Øˆˆ!ˆTˆ'‰
àˆØˆØˆØˆßÛàˆFÜ˜1˜dŸl™l¨IÖ6�Ø ŸM™M¨$¯.©.Ó9�	Ø×%Ñ% a¨¨1¨q°9­}Ð+=Ð(=Õ&>ÀtÐ%ÔLØ—‘˜YŸ_™_Ô-Ø—‘˜IŸN™NÔ+Ø—‘˜iÖ(ñ 7÷ Ü—=’=¤§¢¨A£¸4Ô@ˆDØ�!�T�'•
ˆAØ�$•˜˜4˜Õ ˆAÜ—m’m DÓ)ˆGä×!Ò! !Ó$ˆÜ×Ò˜QÓˆàœ%Ÿ*š*¤U§Z¢Z°£]Ó3Õ3ˆÜ�|Š|˜DŸL™L°·±Ô:ˆØ	ˆ$�ˆ*�˜Õ‹Ù$5°d·m±mÀT×E[ÑE[Ó$\Ñ!ˆ�zØ+°4Ð7Ðð	Ø�x‰x�}‰} Ô%Ü/°Ó2‘ä—L‘L×)Ñ)¨!Ó,�Ü×*Ò*¨1Ó-�Ü—L‘L×)Ñ)¨!°4Ð)Ó8�ØˆDô0 ˜˜4Ÿ<™<¨×3ˆBÜ�R˜)•^ T§\¡\Ó2ˆBØ˜•GˆEà�1�b˜�e�8•×"Ñ"Ó$ˆBÜ×!Ò! "Ó%ˆBÜ×#Ò# BÓ'ˆDÜ×&Ò& rÓ*ˆGØ˜˜B˜  2 ˜Õ&ˆEä˜5—\�Ø�q˜!�t•H�Ø˜!˜Q˜$•K�à ”?ß(Ø �F iÕ/°1Ô4Ø ŸN™N×6Ñ6Ø ! ! b¨1¥f°°Qµ¸Õ0BÐ%CÐ"CÕ DÈTð 7ô ð   !�V¨	Õ1°WÕ<ÀÔBØ!ŸL™L¨¯©×)=Ñ)=Ô>Ø ŸK™K¨¯©×(;Ñ(;Ô<Ø# q�L˜Gøà  1�f˜ß#Ø"& s¥)˜CØ)/°°yÕ0@Õ)A˜œäØ—K‘K “NØ—N‘N×(Ñ(Ø—N‘N×'Ñ'Ø—N‘N×'Ñ'Ø—N‘N×&Ñ&Ø—N‘N×,Ñ,ó÷ ‘'“)ð ð ��1�a�4‘Ø!" Q¥¨1¥¨q°A­vÕ 5�˜˜1˜‘à˜A� •{�Ø�1�a‘b�5—	˜TŸ^™^¨AÓ.×5Ñ5°e¸A¸q¹r¸Eµl×6LÑ6LÈQÓ6OÓPÕP“	Ø!��Q˜�T”
ñE "ðH ˆAˆa��B�ˆh‰KØ&¨�{ˆF�1�b˜�e�8Ñàˆa�‘ˆf�I˜Ÿ™ T¨"¨R¨%°±¨*Õ%5Ó6Õ6‹IçŽuØ12°1°c°r°c°6µ�—
‘
×!Ñ!×&Ñ& q¨#¨2¨# vÑ.Ø12°1°b±c°6µ�—
‘
×!Ñ!×&Ñ& q¨"©# vÑ.Ü”e—i’i §¡¨D¯I©IÓ!6¸¿¹Õ!BÀqÕ HÓIÔJÜ”e—i’i Ó'×(ño 4ôr 	�
‰
×ÑÔ ÜˆkœTŸYšY›[¨4Õ/Õ0Ô1Üˆg”u—y’y Ó(×-Ñ-Ó/Ô0àÓØØ�}‰} Ô!Ü Ÿ9š9 VÓ,×1Ñ1Ó3°d·m±mÕC�ä—:’:˜h×'Ò'ÜÐ,¬e¯iªi¸Ó.?×.DÑ.DÓ.FÔGß*ÜŸ™Ð#OÐPT×PYÑPYÈ{ÐZ~ð  @D÷  @Iñ  @Ið  Jð  JKð  "Lô  MØ6:˜Ÿ	™	Ô3Ø#Ÿ}™}°y˜}ÓAÐAä(Ð+WÐX\×XaÑXaÐWbð  clð  *mó  nð  nð (÷ 'Ü—H‘HÐ5°d·i±i°[ð  AKð  Lõ  Mä—H‘H˜¨t¯y©y¨kÐ9nÐoÔpßDWÐ/×5Ñ5Ð6°iÑ@Ð]f‘ç@SÐ+×1Ñ1Ð2°)Ñ<ÐYbˆHàà!*¨b¤‘I°d·l±lˆ	ßŸXÜ38¸¿¹Ô3FÓGÑ3F¨a�T˜!•W 	×)Ð)Ñ3FˆEÐGˆEä-2°4·<±<Ô-@ÓAÑ-@¨�Q˜)—^�^Ñ-@ˆEÐAÜ—’˜U¬%¯+©+¸a¿h¹hÔGˆßØ�!�W�*•ˆAØ˜'•NˆEà××ÐØ×/Ñ/ˆJØ�!�[�j�[�.Õ!ˆAØ˜+˜:Ð&ˆEä�d—j‘j¤,×"5Ñ"5×6Ò6Ø—‘“ˆAØ�7‰7�d—j‘j×'Ñ'×-Ñ-Ô-Ø—	‘	˜$Ÿ*™*×+Ñ+×1Ñ1Ó2×5Ñ5°d·j±j×6GÑ6G×6MÑ6MÓN‰Aà—‘�T—Z‘Z×&Ñ&×,Ñ,Ó-ˆAß‹5Ü”%—)’)˜TŸZ™Z¨¯	©	Ó2°T·Y±YÕ>À1ÕDÓEÔFà�BŒ;Ø�L‰L˜Ÿ™×-Ñ-Ô.Ø�K‰K˜Ÿ™×+Ñ+Ô,Ü—	’	˜% QÔ'ˆÜ�yŠy˜ 1Ô%ˆà××ÐØ×/Ñ/ˆJØ×+Ñ+¨E°:Ó>ˆEØ×*Ñ*¨4°Ó<ˆDà�D‰D˜Ÿ
™
×)Ñ)×.Ñ.×5Ñ5ÀEˆDÓJˆð ˆØŸ™Ô$Ü'›kˆOØ×%Ñ%ØØØØØð &ô ð ×'Ñ'¨¯
©
×(9Ñ(9×(>Ñ(>×(DÑ(DÓ(FÈtÐ'ÔTØ)×/Ñ/ˆKä—9’9“; Õ&ˆà�%˜˜u h°¸$ÀÈTÏ]É]ÐZÐZøôC ô 	Ù!4Ø—‘Ü�d—m‘mÓ$Ø×&Ñ&ó"Ð÷
 "Ø>KÒ>W×\fÐ*¨=¨/Ñ:Ðln�Ü—‘ð IØ—I‘IØ%×+Ñ+Ø—M‘MØ—M‘MØØ×*Ñ*ôð %Ô(8×(<Ñ(<Ô<Ø×2Ñ2Ð3DÓEÒEØ“àð+	üò\ HùâAs-   Ð/A?{  ì~6í~;û A~3ü0A:~3þ,~3þ1~3c                óÀ  € \         '       d   R V n        R V n        R V n        V P                  P                  4        V P                  P                  4        R V n        R V n        \        V R4      '       d   V =
\        V R4      '       d   V =V P                  e'   V P                  P                  P                  RR 4       \        P                   P#                  4        R # )Nr™   r—   r…   )r  r  r  r    r¡   r  r¢   rJ  ÚTraceÚhasattrr™   r—   r�   r’   Úpopr   r;  Úempty_cacherj   s   &r   ÚfreeÚQQQ.freeè  s«   € ß‹5ØˆDŒIØˆDŒIØˆŒØ×%Ñ%×+Ñ+Ô-Ø×"Ñ"×(Ñ(Ô*ØˆŒØˆŒ
Ü�4˜×%Ò%Ø�Ü�4˜×'Ò'ØÐ Ø×ÑÒ)Ø×Ñ×$Ñ$×(Ñ(¨¸Ô=Ü�
‰
×ÑÖ r!   )r    rJ  r`  r¡   r¢   r�   r‘   r�   r–   r‰   rV   rœ   r›   rš   r  r‹   rŸ   r—   rŒ   r˜   r  r~   r™   rˆ   re   )é€   )rr   rs   rt   ru   r&   Ústaticmethodr�   r·   rþ   r  r  r   Úinference_moder    rd  rv   rw   )ry   s   @r   r{   r{   º   s‰   ø‡ € ÷?Aò ?AðB ñCó ðCð ÷Eó ðE÷Zcð Zcòx-.÷^ò ð: ×ÒÓóq[ó ðq[÷f!ð !r!   r{   )#r=  r�   rÉ   Útypingr   r   r   r«   r   r'  r   Úlooper.named_moduler   Úquantization.configr   r	   Úquantization.quantizerr
   Úutilsr   Úutils.devicer   Úfallback_smoothr   r   Úgptqr   Ú
npu_linalgr   r  r7  r    r   r#   r{   © r!   r   Ú<module>rs     si   ðó Û Û ß !ã Û Ý å Ý -ß =Ý /Ý  Ý %ß <Ý -Ý 3ð 	€áƒn€òôN*�—	‘	ô N*÷b}!ó }!r!   