§
    ‚Štj(  ã            
       óZ  — d dl mZ ddlmZmZmZmZ i ddg“dg d¢“dg d	¢“d
g d¢“dg d¢“ddg“dg d¢“dddg“dddg“dg d¢“dg d¢“dg d¢“ddg“d g d!¢“d"g d#¢“d$d%g“d&d'd(g“g d)¢g d*¢g d+¢d,gd-gd.d/gd0gd1gd2œ¥Z	  e¦   «         s
 e¦   «         ‚	 d3d4ged5<   n# e$ r Y nw xY wg d6¢ed7<   	  ed8¦  «        s
 e¦   «         ‚	 d9ged:<   n# e$ r Y nw xY we�r©d;d<lm	Z	 d;dl
mZmZmZ d;d	lmZmZmZmZ d;dlmZmZmZmZ d;dlmZmZmZmZmZmZmZm Z m!Z!m"Z" d;d=l#m$Z$ d;dl%m&Z&m'Z'm(Z( d;d>l)m*Z*m+Z+ d;d?l,m-Z-m.Z. d;dl/m0Z0m1Z1m2Z2m3Z3 d;dl4m5Z5m6Z6m7Z7m8Z8m9Z9m:Z: d;dl;m<Z<m=Z=m>Z>m?Z? d;d@l@mAZA d;d!lBmCZCmDZDmEZEmFZFmGZGmHZHmIZImJZJ d;d#lKmLZLmMZMmNZNmOZOmPZPmQZQmRZRmSZSmTZTmUZUmVZVmWZWmXZXmYZYmZZZm[Z[m\Z\m]Z]m^Z^m_Z_m`Z`maZambZbmcZcmdZdmeZemfZfmgZgmhZhmiZimjZjmkZkmlZlmmZmmnZnmoZompZpmqZqmrZrmsZsmtZt d;dAlumvZv d;dBlwmxZxmyZy d;d)lzm{Z{m|Z|m}Z} d;dCl~mZm€Z€m�Z�m‚Z‚mƒZƒm„Z„ d;d+l…m†Z†m‡Z‡mˆZˆ d;dDl‰mŠZŠ d;dEl‹mŒZŒ d;dFl�mŽZŽm�Z� d;dGl�m‘Z‘ d;dHl’m“Z“ 	  e¦   «         s
 e¦   «         ‚	 d;dIl”m•Z•m–Z– n# e$ r Y nw xY wd;dJl—m˜Z˜m™Z™mšZš 	  ed8¦  «        s
 e¦   «         ‚	 d;dKl›mœZœ dLS # e$ r Y dLS w xY wd dLl�Z� eež eŸ¦   «         dM         ee ¬N¦  «        e�j¡        ež<   dLS )Oé    )ÚTYPE_CHECKINGé   )ÚOptionalDependencyNotAvailableÚ_LazyModuleÚis_torch_availableÚis_torch_greater_or_equalÚaqlmÚreplace_with_aqlm_linearÚawq)Úpost_init_awq_exllama_modulesÚreplace_quantization_scalesÚreplace_with_awq_linearÚbitnet)Ú	BitLinearÚpack_weightsÚreplace_with_bitnet_linearÚunpack_weightsÚbitsandbytes)ÚBnb4bitQuantizeÚdequantize_and_replaceÚreplace_with_bnb_linearÚ!validate_bnb_backend_availabilityÚ	deepspeed)
ÚHfDeepSpeedConfigÚHfTrainerDeepSpeedConfigÚdeepspeed_configÚdeepspeed_initÚdeepspeed_load_checkpointÚdeepspeed_optim_schedÚis_deepspeed_availableÚis_deepspeed_zero3_enabledÚset_hf_deepspeed_configÚunset_hf_deepspeed_configÚeetqÚreplace_with_eetq_linearÚ
fbgemm_fp8)ÚFbgemmFp8LinearÚFbgemmFp8Llama4TextExpertsÚreplace_with_fbgemm_fp8_linearÚfinegrained_fp8Ú	FP8LinearÚreplace_with_fp8_linearÚfsdpÚis_fsdp_enabledÚis_fsdp_managed_moduleÚgemma_quant)ÚQuantizedEmbeddingÚQuantizedLinearÚ	apply_srqÚreplace_with_quant_layersÚggml)ÚGGUF_CONFIG_DEFAULTS_MAPPINGÚGGUF_CONFIG_MAPPINGÚGGUF_TOKENIZER_MAPPINGÚ_gguf_parse_valueÚload_dequant_gguf_tensorÚ	load_ggufÚhiggs)ÚHiggsLinearÚdequantize_higgsÚquantize_with_higgsÚreplace_with_higgs_linearÚhqqÚprepare_for_hqq_linearÚhub_kernels)ÚLayerRepositoryÚ	kernelizeÚlazy_load_kernelÚregister_kernel_mappingÚreplace_kernel_forward_from_hubÚuse_kernel_forward_from_hubÚuse_kernel_func_from_hubÚuse_kernelized_funcÚintegration_utils))ÚINTEGRATION_TO_CALLBACKÚAzureMLCallbackÚClearMLCallbackÚCodeCarbonCallbackÚCometCallbackÚDagsHubCallbackÚDVCLiveCallbackÚFlyteCallbackÚKubeflowCallbackÚMLflowCallbackÚNeptuneCallbackÚNeptuneMissingConfigurationÚSwanLabCallbackÚTensorBoardCallbackÚTrackioCallbackÚWandbCallbackÚ$get_available_reporting_integrationsÚ#get_reporting_integration_callbacksÚ	hp_paramsÚis_azureml_availableÚis_clearml_availableÚis_codecarbon_availableÚis_comet_availableÚis_dagshub_availableÚis_dvclive_availableÚ is_flyte_deck_standard_availableÚis_flytekit_availableÚis_kubeflow_availableÚis_mlflow_availableÚis_neptune_availableÚis_optuna_availableÚis_ray_availableÚis_ray_tune_availableÚis_swanlab_availableÚis_tensorboard_availableÚis_trackio_availableÚis_wandb_availableÚrewrite_logsÚrun_hp_search_optunaÚrun_hp_search_rayÚrun_hp_search_wandbÚligerÚapply_liger_kernelÚmetal_quantizationÚMetalLinearÚreplace_with_metal_linear)Úbatched_mm_experts_forwardÚgrouped_mm_experts_forwardÚuse_experts_implementation)ÚMxfp4GptOssExpertsÚconvert_moe_packed_tensorsÚ
dequantizeÚload_and_swizzle_mxfp4Úquantize_to_mxfp4Úreplace_with_mxfp4_linearÚswizzle_mxfp4)Úactivate_neftuneÚdeactivate_neftuneÚneftune_post_forward_hookÚPeftAdapterMixinÚreplace_with_quanto_layersÚSinqDeserializeÚSinqQuantizeÚreplace_with_spqr_linearÚreplace_with_vptq_linear)ÚmoeÚmxfp4ÚneftuneÚpeftÚquantoÚsinqÚspqrÚvptqÚ$TorchExportableModuleWithStaticCacheÚconvert_and_export_with_cacheÚ
executorch)Úshard_and_distribute_moduleÚALL_PARALLEL_STYLESÚ!translate_to_torch_parallel_styleÚtensor_parallelz2.5Úmake_flex_block_causal_maskÚflex_attentioné   )r
   )r%   )r+   r,   )r.   r/   )rB   )rw   )ry   rz   )r~   r€   r�   r‚   rƒ   r„   )rˆ   )r‰   )rŠ   r‹   )rŒ   )r�   )r–   r—   )rš   r™   r›   )r�   NÚ__file__)Úmodule_spec)¢Útypingr   Úutilsr   r   r   r   Ú_import_structurer	   r
   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r    r!   r"   r#   r$   r%   r&   r'   r(   r)   r*   r+   r,   r-   r.   r/   r0   r1   r2   r3   r4   r5   r6   r7   r8   r9   r:   r;   r<   r=   r>   r?   r@   rA   rB   rC   rD   rE   rF   rG   rH   rI   rJ   rK   rL   rM   rN   rO   rP   rQ   rR   rS   rT   rU   rV   rW   rX   rY   rZ   r[   r\   r]   r^   r_   r`   ra   rb   rc   rd   re   rf   rg   rh   ri   rj   rk   rl   rm   rn   ro   rp   rq   rr   rs   rt   ru   rv   rw   rx   ry   rz   rŽ   r{   r|   r}   r�   r~   r€   r�   r‚   rƒ   r„   r�   r…   r†   r‡   r‘   rˆ   r’   r‰   r“   rŠ   r‹   r”   rŒ   r•   r�   r˜   r–   r—   rœ   rš   r™   r›   rž   r�   ÚsysÚ__name__ÚglobalsÚ__spec__Úmodules© ó    ú`/var/www/html/CA-Chatbot/venv/lib/python3.11/site-packages/transformers/integrations/__init__.pyú<module>r­      s
  ðð !Ð  Ð  Ð  Ð  Ð  à nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nðJØ
Ð'Ð(ðJà	ð ð ð ðJð ð ð ð ðJð ð ð ð ðJð& ð ð ð ð'Jð> Ð'Ð(ð?Jð@ ÐeÐeÐeðAJðB ˜Ð%>Ð?ðCJðD ÐÐ 8Ð9ðEJðF ð ð ð ðGJðR ð ð ð ðSJðb ð ð ð ðcJðn 
Ð$Ð%ðoJðp ð 	ð 	ð 	ðqJðD ð *ð *ð *ðEJðZ Ð"Ð#ð[Jð\ ØØ#ðð]Jðdð ð ð
ð ð ðð ð ð
  Ð Ø+Ð,Ø Ð/Ø'Ð(Ø'Ð(ðSJð Jð JÐ ðX	ØÐÑÔð /Ø,Ð,Ñ.Ô.Ð.ð/ð 	/Ø'ð'Ð�lÑ#Ð#øð &ð 	ð 	ð 	Ø€Dð	øøøð(ð (ð (Ð Ð#Ñ $ð
Ø$Ð$ UÑ+Ô+ð /Ø,Ð,Ñ.Ô.Ð.ð/ð 	&ð+ÐÐ&Ñ'Ð'øð &ð 	ð 	ð 	Ø€Dð	øøøð ñ YrØ.Ð.Ð.Ð.Ð.Ð.ðð ð ð ð ð ð ð ð ð ð
ð ð ð ð ð ð ð ð ð ð ð ðð ð ð ð ð ð ð ð ð ð ð ðð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð /Ð.Ð.Ð.Ð.Ð.ØgÐgÐgÐgÐgÐgÐgÐgÐgÐgØCÐCÐCÐCÐCÐCÐCÐCØ=Ð=Ð=Ð=Ð=Ð=Ð=Ð=ðð ð ð ð ð ð ð ð ð ð ð ðð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð eÐdÐdÐdÐdÐdÐdÐdÐdÐdÐdÐdØ+Ð+Ð+Ð+Ð+Ð+ð	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð*ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ðV *Ð)Ð)Ð)Ð)Ð)ðð ð ð ð ð ð ð ðð ð ð ð ð ð ð ð ð ð
ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð YÐXÐXÐXÐXÐXÐXÐXÐXÐXØ&Ð&Ð&Ð&Ð&Ð&Ø2Ð2Ð2Ð2Ð2Ð2Ø3Ð3Ð3Ð3Ð3Ð3Ð3Ð3Ø.Ð.Ð.Ð.Ð.Ð.Ø.Ð.Ð.Ð.Ð.Ð.ðdØ!Ð!Ñ#Ô#ð 	3Ø0Ð0Ñ2Ô2Ð2ð	3ð
 	dÐcÐcÐcÐcÐcÐcÐcÐcøð *ð ð ð Øˆðøøøð
ð ð ð ð ð ð ð ð ð ð@Ø(Ð(¨Ñ/Ô/ð 	3Ø0Ð0Ñ2Ô2Ð2ð	3ð
 	@Ð?Ð?Ð?Ð?Ð?Ð?Ð?øð *ð ð ð Øˆˆðøøøð
 €J€J€Jà'˜K¨°'°'±)´)¸JÔ2GÐIZÐhpÐqÑqÔq€C„K�ÑÐÐsH   Á>B ÂB#Â"B#Â.C ÃCÃCÈ$I ÉI
É	I
ÉI6 É6I?É>I?