§
    ‚ŠtjF  ã                   ó`   — d dl mZmZmZmZ d dlmZ ddlmZ ddiZ	 G d„ de¦  «        Z
dgZd	S )
é    )Ú	TokenizerÚdecodersÚnormalizersÚpre_tokenizers)ÚBPEé   )ÚTokenizersBackendÚtokenizer_fileztokenizer.jsonc                   ó˜   ‡ — e Zd ZdZeZdZddgZeZ		 	 	 	 	 	 	 dde
ee
ef         z  dz  de
ee
         z  dz  de
de
de
de
de
fˆ fd„Zˆ xZS )ÚSiglip2TokenizerzN
    Gemma tokenizer + SigLIP2 training default: lowercase normalization.
    ÚleftÚ	input_idsÚattention_maskNú<unk>ú<bos>ú<eos>ú<pad>ú<mask>ÚvocabÚmergesÚ	unk_tokenÚ	bos_tokenÚ	eos_tokenÚ	pad_tokenÚ
mask_tokenc                 óè  •— |€Mt          |¦  «        dt          |¦  «        dt          |¦  «        dt          |¦  «        dt          |¦  «        di}|| _        |pg | _        t          t	          | j        | j        dt          |¦  «        d d¬¦  «        ¦  «        | _        t          j        dd	d
¬¦  «        | j        _        t          j
        t          j        dd¦  «        t          j        ¦   «         t          j        ¦   «         g¦  «        | j        _        t          j        dd¦  «        | j        _         t#          ¦   «         j        d|||||dœ|¤Ž t'          | d¦  «        r?t)          | j        t,          ¦  «        r%| j                             d| j        j        ¦  «         t5          | dd ¦  «        }	|	�:|	j        �5t          j
        t          j        ¦   «         |	j        g¦  «        |	_        d S d S d S )Nr   é   é   r   é   T)r   r   Úfuse_unkr   ÚdropoutÚbyte_fallbackú Úmerged_with_previousF)ÚpatternÚbehaviorÚinvertu   â–�)r   r   r   r   r   Úinit_kwargsÚtokenizer_classÚ
_tokenizer© )ÚstrÚ_vocabÚ_mergesr   r   r*   r   ÚSplitÚpre_tokenizerr   ÚSequenceÚReplaceÚByteFallbackÚFuseÚdecoderr   Ú
normalizerÚsuperÚ__init__ÚhasattrÚ
isinstancer(   ÚdictÚ
setdefaultÚ	__class__Ú__name__ÚgetattrÚ	Lowercase)Úselfr   r   r   r   r   r   r   ÚkwargsÚbackendr=   s             €ún/var/www/html/CA-Chatbot/venv/lib/python3.11/site-packages/transformers/models/siglip2/tokenization_siglip2.pyr8   zSiglip2Tokenizer.__init__)   sø  ø€ ð ˆ=å�I‘” Ý�I‘” Ý�I‘” Ý�I‘” Ý�J‘” ðˆEð ˆŒØ�| ˆŒå#ÝØ”kØ”|ØÝ˜i™.œ.ØØ"ðñ ô ñ	
ô 	
ˆŒõ )7Ô(<ØÐ"8Àð)
ñ )
ô )
ˆŒÔ%õ #+Ô"3ÝÔ˜e SÑ)Ô)­8Ô+@Ñ+BÔ+BÅHÄMÁOÄOÐTñ#
ô #
ˆŒÔõ &1Ô%8¸¸eÑ%DÔ%DˆŒÔ"Ø�‰ŒÔð 	
ØØØØØ!ð	
ð 	
ð ð	
ð 	
ð 	
õ �4˜Ñ'Ô'ð 	T­J°tÔ7GÍÑ,NÔ,Nð 	TØÔ×'Ò'Ð(9¸4¼>Ô;RÑSÔSÐSå˜$ ¨dÑ3Ô3ˆØÐ 7Ô#5Ð#AÝ!,Ô!5µ{Ô7LÑ7NÔ7NÐPWÔPbÐ6cÑ!dÔ!dˆGÔÐÐð ÐÐ#AÐ#Aó    )NNr   r   r   r   r   )r>   Ú
__module__Ú__qualname__Ú__doc__ÚVOCAB_FILES_NAMESÚvocab_files_namesÚpadding_sideÚmodel_input_namesr   Úmodelr,   r;   ÚintÚlistr8   Ú__classcell__)r=   s   @rD   r   r      sö   ø€ € € € € ðð ð *ÐØ€LØ$Ð&6Ð7ÐØ€Eð .2Ø)-Ø Ø Ø Ø Ø"ð7eð 7eà�T˜#˜s˜(”^Ñ# dÑ*ð7eð �d˜3”i‘ $Ñ&ð7eð ð	7eð
 ð7eð ð7eð ð7eð ð7eð 7eð 7eð 7eð 7eð 7eð 7eð 7eð 7eð 7erE   r   N)Ú
tokenizersr   r   r   r   Útokenizers.modelsr   Útokenization_utils_tokenizersr	   rI   r   Ú__all__r+   rE   rD   ú<module>rU      s¨   ðð, HÐ GÐ GÐ GÐ GÐ GÐ GÐ GÐ GÐ GÐ GÐ GØ !Ð !Ð !Ð !Ð !Ð !à >Ð >Ð >Ð >Ð >Ð >ð &Ð'7Ð8Ð ðAeð Aeð Aeð Aeð AeÐ(ñ Aeô Aeð AeðH Ð
€€€rE   