+
    "Ý³jK*  ã                   óŠ   € ^ RI t ^ RIt^ RIHt ^ RIt^ RIHt ^ RIt^RIH	t	 ^RI
Ht ^RIHt ^RIHt  ! R R]4      tR.tR# )	é    N)ÚOptional)ÚNamedModule)ÚQuantizeConfig)Ú
torch_sync)ÚGPTQc                   óœ   a a€ ] tR t^t oR	V3R lV 3R llltR
V3R lR lltR t]P                  ! 4       RR l4       t	V 3R lt
RtVtV ;t# )ÚFOEMc                ó6   <€ V ^8„  d   QhRS[ RS[S[,          /# )é   ÚmoduleÚqcfg)r   r   r   )ÚformatÚ__classdict__s   "€Ú\/home/luca/screen-checking/.venv/lib/python3.14/site-packages/gptqmodel/quantization/foem.pyÚ__annotate__ÚFOEM.__annotate__   s$   ø€ ÷ Iñ I™{ð I±(¹>Õ2Jñ Ió    c                ó"  <€ ^RI Hp \        SV `  WVR7       RV n        RV n        V P                  P                  P                  ^ 8X  d	   RV n	        MRV n	        V P                  '       d#   VP                  P                  V4      V n        R# R# )r   )ÚNATIVE_INPUTS_STATE_KEY)Úregion_timerNFT)Úlooper.native_processorr   ÚsuperÚ__init__ÚHÚdXXTr   ÚfoemÚalphaÚgptaqÚstateÚpopÚnative_inps)Úselfr   r   r   r   Ú	__class__s   &&&& €r   r   ÚFOEM.__init__   sr   ø€ ÝEä‰Ñ˜°LÐÔAàˆŒØˆŒ	ð �9‰9�>‰>×Ñ 1Ô$ØˆD�JàˆDŒJà�:�:ˆ:Ø%Ÿ|™|×/Ñ/Ð0GÓHˆDÖñ r   c                ód   <€ V ^8„  d   QhRS[ P                  RS[ P                  RS[S[,          /# )r   ÚinpÚoutÚbatch_index)ÚtorchÚTensorr   Úint)r   r   s   "€r   r   r   )   s/   ø€ ÷ $ñ $™UŸ\™\ð $±·±ð $É8ÑTWÍ=ñ $r   c                ó¼   € V P                   ;_uu_ 4        V ;P                  ^,          un        V P                  V4       RRR4       R#   + '       g   i     R# ; i)é   N)ÚlockÚfwd_counterÚprocess_batch)r"   r&   r'   r(   s   &&&&r   Ú	add_batchÚFOEM.add_batch)   s6   € Ø�Y�Y‹YØ×Ò Õ!ÕØ×Ñ˜sÔ#÷ �Y�YŠYús   •+A
Á
A	c                ó¦	  € VP                  \        P                  R 7      pV P                  '       dE   V P                  P                  ^ 4      P                  VP                  \        P                  R7      p\        VP                  4      ^8X  d5   VP                  ^ 4      pV P                  '       d   XP                  ^ 4      pVP                  ^ ,          p\        V P                  \        P                  \        P                  34      '       d§   \        VP                  4      ^8X  d[   VP!                  RVP                  R,          34      pV P                  '       d%   XP!                  RVP                  R,          34      pVP#                  4       pV P                  '       d   XP#                  4       p\        V P                  \        P$                  4      '       dÓ   \        P&                  ! V P                  P(                  V P                  P*                  V P                  P,                  V P                  P.                  R7      pV! V4      pVP1                  . RO4      pVP3                  ^4      pV P                  '       d+   V! X4      pVP1                  . RO4      P3                  ^4      pV P4                  f   \        P6                  ! V P8                  V P8                  3\        P                  VP                  R7      V n        V P                  '       d    V P4                  P;                  4       V n        MˆV ;P4                  V P>                  V P>                  V,           ,          ,          un        V P                  '       d<   V ;P<                  V P>                  V P>                  V,           ,          ,          un        V ;P>                  V,          un        \@        PB                  ! ^V P>                  ,          4      VPE                  4       ,          pV ;P4                  VPG                  VP#                  4       4      ,          un        V P                  '       dm   \@        PB                  ! ^V P>                  ,          4      X,          pV ;P<                  W!,
          PG                  VP#                  4       4      ,          un        R# R# ))Údtype)Údevicer4   )ÚdilationÚpaddingÚstrideN©r4   r5   éÿÿÿÿ)r-   r   r   )$Útor)   Úfloat32r   r!   r    r5   ÚlenÚshapeÚ	unsqueezeÚ
isinstancer   ÚnnÚLinearÚtransformersÚConv1DÚreshapeÚtÚConv2dÚUnfoldÚkernel_sizer6   r7   r8   ÚpermuteÚflattenr   ÚzerosÚcolumnsÚcloner   ÚnsamplesÚmathÚsqrtÚfloatÚmatmul)r"   r&   Ú
native_inpÚ
batch_sizeÚunfolds   &&   r   r0   ÚFOEM.process_batchK   s  € Ø�f‰fœ5Ÿ=™=ˆfÓ)ˆØ�:�:ˆ:Ø×)Ñ)×-Ñ-¨aÓ0×3Ñ3¸3¿:¹:ÌUÏ]É]Ð3Ó[ˆJÜˆs�y‰y‹>˜QÔØ—-‘- Ó"ˆCØ�z�zˆzØ'×1Ñ1°!Ó4�
à—Y‘Y˜q•\ˆ
ä�d—k‘k¤B§I¡I¬|×/BÑ/BÐ#C×DÒDÜ�3—9‘9‹~ Ô"Ø—k‘k 2 s§y¡y°¥}Ð"5Ó6�Ø—:—:�:Ø!+×!3Ñ!3°R¸¿¹À2½Ð4GÓ!H�JØ—%‘%“'ˆCØ�z�zˆzØ'Ÿ\™\›^�
ä�d—k‘k¤2§9¡9×-Ò-Ü—Y’YØ—‘×'Ñ'ØŸ™×-Ñ-ØŸ™×+Ñ+Ø—{‘{×)Ñ)ô	ˆFñ ˜“+ˆCØ—+‘+šiÓ(ˆCØ—+‘+˜a“.ˆCØ�z�zˆzÙ# JÓ/�
Ø'×/Ñ/²	Ó:×BÑBÀ1ÓE�
à�6‰6Š>Ü—[’[ $§,¡,°·±Ð!=Ü',§}¡}Ø(+¯
©
ô4ˆDŒFð �z�zˆzØ ŸF™FŸL™L›N�”	øà�FŠF�d—m‘m t§}¡}°zÕ'AÕBÕB�FØ�z�zˆzØ—	’	˜TŸ]™]¨d¯m©m¸jÕ.HÕIÕI•	à�Š˜Õ#�Ü�iŠi˜˜DŸM™MÕ)Ó*¨S¯Y©Y«[Õ8ˆà�Š�#—*‘*˜SŸU™U›WÓ%Õ%�Ø�:�:ˆ:ÜŸš 1 t§}¡}Õ#4Ó5¸
ÕBˆJØ�IŠI˜*Õ*×2Ñ2°3·5±5³7Ó;Õ;�Iñ r   c                óê  € \         P                   ! 4       pV P                  f(   V P                  V P                  P                  R7      pMV P                  pR V n        V P
                  P                  VRR7       V P                  pV =\        P                  ! V4      ^ 8H  p^WEV3&   ^ VRV3&   V P                  '       d   ^ V P                  RV3&   . p. p^pV P                  P                  '       dÓ   ^ R Ip	. p
\        ^ V P                  V P                  P                   4       F�  pV	P#                  V P
                  4      pVP                  VRW»V P                  P                   ,           13,          RR7       VP%                  VP&                  4       VP%                  VP(                  4       V
P%                  V4       KŸ  	  V P                  P*                  '       d’   \        P,                  ! \        P                  ! V4      RR7      pVRV3,          pWM,          RV3,          pV P                  '       d"   V P                  V,          RV3,          V n
        \        P,                  ! V4      pVP/                  4       P1                  4       p\        P2                  ! V4      p\        P2                  ! V4      pV P5                  V4      w  ppV P                  P6                  f   \9        R4      hV P                  '       d\   V P                  P6                  P:                  V P                  VP<                  ,          P?                  ^R7      ,          V,          pV =
\        ^ V P                  V4       EFÜ  p\A        VV,           V P                  4      pVV,
          pVRVV13,          P1                  4       pVRVV13,          P1                  4       p\        P2                  ! V4      p\        P2                  ! V4      p\        P2                  ! V4      pVVV1VV13,          pV P                  '       d   XVV1VV13,          p\        V4       EFÆ  pVRV3,          pVRV3,          p VW»3,          p!V P                  P                   R8w  Edr   V P                  P                  '       gÿ   VV,           V P                  P                   ,          ^ 8X  dR   V P
                  P                  VRVV,           VV,           V P                  P                   ,           13,          RR7       VV,           V P                  P                   ,          V,
          R8X  dT   VP%                  V P
                  P&                  4       VP%                  V P
                  P(                  4       V^,          pMWVV,           p"V P                  P*                  '       d
   XV",          p"X
V"V P                  P                   ,          ,          V n        V P
                  PC                  VPE                  ^4      4      PG                  4       p#V#VRV3&   VV#,
          ^,          V!^,          ,          VRV3&   VV#,
          VV ,
          V P                  P6                  PH                  ,          ,
          V!,          p$V P                  '       d�   VRVR 13;;,          V$PE                  ^4      PK                  VW»R 13,          PE                  ^ 4      4      VPE                  ^4      PK                  XW»R 13,          PE                  ^ 4      4      ,
          ,          uu&   MPVRVR 13;;,          V$PE                  ^4      PK                  VW»R 13,          PE                  ^ 4      4      ,          uu&   V^,           V8  dk   VRV^,           3;;,          V P                  P6                  PH                  VRV^,           3,          VRV^,           3,          ,
          ,          ,          uu&   V$VRV3&   EKÉ  	  VVRVV13&   V^,          VRVV13&   V P                  '       dZ   VRVR 13;;,          VPK                  VVV1VR 13,          4      VPK                  XVV1VR 13,          4      ,
          ,          uu&   M5VRVR 13;;,          VPK                  VVV1VR 13,          4      ,          uu&   X^,           V8  g   EKr  VRV^,           3;;,          V P                  P6                  PH                  VRV^,           3,          VRV^,           3,          ,
          ,          ,          uu&   EKß  	  ?V P                  '       d   ???? \M        4        \        PN                  ! V4      PQ                  4       V PR                  ,          p%\T        PV                  ! V%4      '       dH   \Y        R\        PN                  ! V4      PQ                  4       4       \9        R	V PZ                   R
24      h?V P                  P                   R8w  d   V P                  P                   MV P                  p&V P                  P                  '       dP   V P                  P*                  '       d4   \        V P                  4       Uu. uF  pXV,          V&,          NK  	  p'pM*\        V P                  4       Uu. uF  q»V&,          NK  	  p'p\        P\                  ! V'\        P^                  VP                  R7      p'V P                  P*                  '       d   VRX3,          pV'V,          p'\a        V Pb                  \d        Pf                  4      '       d   VPi                  4       pVPj                  V Pb                  Pl                  Pj                  8w  d^   VPo                  V Pb                  Pl                  Pj                  4      Pq                  V Pb                  Pl                  Pr                  4      pM/VPq                  V Pb                  Pl                  Pr                  4      pV. 8X  dK   VP%                  V P
                  P&                  4       VP%                  V P
                  P(                  4       \        Pt                  ! V^R7      p\        Pt                  ! V^R7      p\         P                   ! 4       V,
          p(VWgV'V(V%VV PR                  3# u upi u upi )N)r5   T)Úweight:NNN)Ú
descendingz#FOEM requires `foem` configuration.)ÚdiagonalzLosses sum item:z,Quantization: Failed due to `NaN` loss for `Ú`r9   )Údimr:   );ÚtimeÚmodule_copyÚclone_moduler   r5   Ú	quantizerÚfind_paramsr)   Údiagr   r   r   Ústatic_groupsÚcopyÚrangerM   Ú
group_sizeÚdeepcopyÚappendÚscaleÚzeroÚdesc_actÚargsortÚdetachrN   Ú
zeros_likeÚhessian_inverser   Ú
ValueErrorr   ÚTÚtriuÚminÚquantizer?   rK   ÚbetarS   r   ÚsumÚitemrO   rP   ÚisnanÚprintÚnameÚtensorÚint32r@   r   rC   rD   rF   r>   rY   rE   Útype_asÚdataÚcat))r"   Ú	blocksizeÚstartÚWr   Údeadrj   rk   Únow_idxre   ÚgroupsÚira   ÚpermÚinvpermÚW_rawÚLossesÚQÚHinvÚdampÚPÚi1Úi2ÚcountÚW1ÚW1_rawÚQ1ÚErr1ÚLosses1ÚHinv1ÚP1ÚwÚw_rawÚdÚidxÚqÚerr1Úavg_lossrg   Úg_idxÚdurations)   &&                                       r   ru   ÚFOEM.quantize€   s»	  € ô —	’	“ˆð ×ÑÒ#à×!Ñ!¨¯©¯©Ð!Ó7‰Aà× Ñ ˆAØ#ˆDÔà�‰×"Ñ" 1¨TÐ"Ô2à�F‰FˆØˆFÜ�zŠz˜!‹} Ñ!ˆØˆ�ˆ*‰Øˆˆ!ˆTˆ'‰
à�:�:ˆ:Ø!"ˆD�I‰I�a˜�gÑð ˆØˆØˆà�9‰9×"×"Ð"ÛàˆFÜ˜1˜dŸl™l¨D¯I©I×,@Ñ,@ÖA�Ø ŸM™M¨$¯.©.Ó9�	Ø×%Ñ% a¨¨1°4·9±9×3GÑ3GÕ/GÐ+HÐ(HÕ&IÐRVÐ%ÔWà—‘˜YŸ_™_Ô-Ø—‘˜IŸN™NÔ+Ø—‘˜iÖ(ñ Bð �9‰9××ÐÜ—=’=¤§¢¨A£¸4Ô@ˆDØ�!�T�'•
ˆAØ•˜˜4˜Õ ˆAØ�z�zˆzØ ŸI™I d�O¨A¨t¨GÕ4�”	Ü—m’m DÓ)ˆGà—‘“
× Ñ Ó"ˆä×!Ò! !Ó$ˆÜ×Ò˜QÓˆà×)Ñ)¨!Ó,‰
ˆˆdØ�9‰9�>‰>Ò!ÜÐBÓCÐCØ�:�:ˆ:Ø—	‘	—‘×$Ñ$¨¯©°T·V±VÕ);×(AÑ(AÈ1Ð(AÓ(MÕNÐQUÕUˆAØ�	ä˜˜4Ÿ<™<¨×3ˆBÜ�R˜)•^ T§\¡\Ó2ˆBØ˜•GˆEà�1�b˜�e�8•×"Ñ"Ó$ˆBØ˜1˜b ˜e˜8•_×*Ñ*Ó,ˆFÜ×!Ò! "Ó%ˆBÜ×#Ò# BÓ'ˆDÜ×&Ò& rÓ*ˆGØ˜˜B˜  2 ˜Õ&ˆEØ�z�zˆzØ�r˜"�u˜b ˜e�|•_�ä˜5—\�Ø�q˜!�t•H�Ø˜q !˜t��Ø˜!˜$•K�à—9‘9×'Ñ'¨2Õ-ØŸ9™9×2×2Ð2Ø �F d§i¡i×&:Ñ&:Õ:¸aÔ?Ø ŸN™N×6Ñ6°q¸¸RÀ!½VÀrÈAÅvÐPT×PYÑPY×PdÑPdÕGdÐ<eÐ9eÕ7fÐosÐ6Ôtà !�V¨¯	©	×(<Ñ(<Õ<ÀÕGÈ2ÔMØ!ŸL™L¨¯©×)=Ñ)=Ô>Ø ŸK™K¨¯©×(;Ñ(;Ô<Ø# q�L˜Gøà  1�f˜ØŸ9™9×-×-Ð-Ø"& s¥)˜Cà)/°°t·y±y×7KÑ7KÕ0KÕ)L˜œà—N‘N×+Ñ+¨A¯K©K¸«NÓ;×CÑCÓE�Ø��1�a�4‘Ø!" Q¥¨1¥¨q°A­vÕ 5�˜˜1˜‘à˜Q� 1 u¥9°·	±	·±×0CÑ0CÕ"CÕCÀqÕH�à—:—:�:Ø�q˜!™"�u—I §¡°Ó!2×!9Ñ!9¸%ÀÁ2À½,×:PÑ:PÐQRÓ:SÓ!TÐWX×WbÑWbÐcdÓWe×WlÑWlÐmoÐpqÑsuÐpuÕmv÷  nAñ  nAð  BCó  nDó  XEõ  "Eõ  E”Ià�q˜!™"�u—I §¡°Ó!2×!9Ñ!9¸%ÀÁ2À½,×:PÑ:PÐQRÓ:SÓ!TÕT“IØ�Q•3˜”;Ø�q˜!˜A�#�v—J $§)¡)§.¡.×"5Ñ"5¸¸A¸qÀ½s¸F½ÀFÈ1ÈaÐPQÍcÈ6ÅNÕ9RÕ"SÕS“JØ!��Q˜�T”
ñC "ðF ˆAˆa��B�ˆh‰KØ&¨�{ˆF�1�b˜�e�8Ñà�z�zˆzØ�!�R‘S�&—	˜TŸ[™[¨¨b°¨e°R±S¨jÕ)9Ó:¸R¿Y¹YÀqÈÈBÈÐPRÑPSÈÅ}Ó=UÕUÕU”	à�!�R‘S�&—	˜TŸ[™[¨¨b°¨e°R±S¨jÕ)9Ó:Õ:“	Ø��s�U�{Ø�!�R˜•T�'—
˜dŸi™iŸn™n×1Ñ1°Q°q¸"¸Q½$°wµZÀÀaÈÈAÍÀgÅÕ5NÕOÕO–
ñq 4ðt Ø�:�:ˆ:ØØ�6˜5äŒä—9’9˜VÓ$×)Ñ)Ó+¨d¯m©mÕ;ˆä�:Š:�h×ÒÜÐ$¤e§i¢i°Ó&7×&<Ñ&<Ó&>Ô?ÜÐKÈDÏIÉIÈ;ÐVWÐXÓYÐYàà-1¯Y©Y×-AÑ-AÀRÔ-G�T—Y‘Y×)Ò)ÈTÏ\É\ˆ
à�9‰9×"×"Ð" t§y¡y×'9×'9Ð'9Ü49¸$¿,¹,Ô4GÓHÑ4G¨q�T˜!•W 
×*Ð*Ñ4GˆEÐHˆEä.3°D·L±LÔ.AÓBÑ.A¨˜*—_�_Ñ.AˆEÐBä—’˜U¬%¯+©+¸a¿h¹hÔGˆà�9‰9××ÐØ�!�W�*•ˆAØ˜'•NˆEä�d—k‘k¤<×#6Ñ#6×7Ò7Ø—‘“ˆAà�7‰7�d—k‘k×(Ñ(×.Ñ.Ô.Ø—	‘	˜$Ÿ+™+×,Ñ,×2Ñ2Ó3×;Ñ;¸D¿K¹K×<NÑ<N×<SÑ<SÓT‰Aà—	‘	˜$Ÿ+™+×,Ñ,×1Ñ1Ó2ˆAð �BŒ;Ø�L‰L˜Ÿ™×-Ñ-Ô.Ø�K‰K˜Ÿ™×+Ñ+Ô,ä—	’	˜% QÔ'ˆÜ�yŠy˜ 1Ô%ˆä—9’9“; Õ&ˆà�%˜u h°¸$ÀÇÁÐMÐMùò; IùâBs   ês+ës0c                óP   <€ \         SV `  4        \        V R 4      '       d   V =R# R# )r   N)r   ÚfreeÚhasattrr   )r"   r#   s   &€r   r¥   Ú	FOEM.free/  s#   ø€ Ü‰‰Œä�4˜× Ò Ø’	ñ !r   )r   r   r   r_   r!   ra   )NN)N)é€   )Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r1   r0   r)   Úinference_moderu   r¥   Ú__static_attributes__Ú__classdictcell__Ú__classcell__)r#   r   s   @@r   r	   r	      sN   ù‡ € ÷Iõ I÷"$ò $òD3<ðj ×ÒÓólNó ðlN÷\õ r   r	   )rP   r^   Útypingr   r)   Útorch.nnrA   rC   Úlooper.named_moduler   Úquantizationr   Úutils.torchr   Úgptqr   r	   Ú__all__© r   r   Ú<module>r¹      s=   ðó Û Ý ã Ý Û å -Ý )Ý $Ý ô\ˆ4ô \ð~ ˆ(‚r   