Ë
    ã*ôj«  ã                  ó2  — d Z ddlmZ ddlZddlmZ ddlmZ ddlm	Z	 ddl
mZ  ej                  d«      Z ej                  d	ej                  «      Ze	D � ch c]  } | j!                  «       ’Œ c} Zddd
„Zdd„Zdd„Zdd„Zdd„Zh d£Zdd„Zdd„Zyc c} w )zPValidate and de-duplicate parsed import rows against the DB and within the file.é    )ÚannotationsN)Údate)ÚSession)ÚPIPELINE_STAGES)ÚLeadz^[^@\s]+@[^@\s]+\.[^@\s]+$z,^(https?://)?([a-z0-9-]+\.)+[a-z]{2,}(/.*)?$c                ó   — | |||dœS )N©ÚseverityÚcodeÚmessageÚfield© r	   s       ú@/var/www/html/marketing_pipleline/backend/app/import_validate.pyÚ_issuer      s   € Ø ¨$¸7ÈUÑSÐSó    c                óF   — | xs dj                  «       j                  «       S ©NÚ ©ÚstripÚcasefold©Úvalues    r   Ú_norm_emailr      ó   € ØŠK�R×ÑÓ ×)Ñ)Ó+Ð+r   c                óF   — | xs dj                  «       j                  «       S r   r   r   s    r   Ú
_norm_coder      r   r   c           	     óÖ  — g }| j                  d«      xs dj                  «       }|s|j                  t        dddd«      «       n+t	        |«      dk  r|j                  t        dddd«      «       | j                  d	«      xs dj                  «       }|s|j                  t        dd
dd	«      «       n5t
        j                  |«      s |j                  t        ddd|› �d	«      «       | j                  d«      xs dj                  «       }|r5t
        j                  |«      s |j                  t        ddd|› �d«      «       | j                  d«      }|€|j                  t        dddd«      «       n?t        |t        «      r/|j                  dk  r |j                  t        ddd|› �d«      «       | j                  d«      xs dj                  «       }|r7|j                  «       t        vr!|j                  t        ddd|› d�d«      «       | j                  d«      xs dj                  «       }|rid|v r|nd|› �}|j                  dd«      d    j                  d!d«      d"   }	d#|	vr2|	j                  «       d$vr |j                  t        dd%d&|› �d«      «       | j                  d'«      }
|
�,	 t        |
«      d"k  r|j                  t        dd(d)d'«      «       | j                  d,«      xs dj                  «       }|r6t!        j                  d-|«      s |j                  t        dd.d/|› �d,«      «       |S # t        t        f$ r  |j                  t        dd*d+d'«      «       Y Œ‹w xY w)0NÚcontact_namer   ÚerrorÚmissing_contactzContact name is requiredé   Úshort_contactzContact name is too shortÚclient_emailÚmissing_emailzClient email is requiredÚinvalid_emailzInvalid client email: Ú	our_emailÚinvalid_our_emailzInvalid our email: Ú
date_addedÚmissing_datezDate added is requirediÐ  ÚwarningÚold_datezUnusual date added: ÚstageÚunknown_stageu	   Stage â€œu   â€� is not in the pipeline listÚwebsitez://zhttps://é   éÿÿÿÿÚ/r   Ú.>   Ú	localhostÚodd_websitezUnusual website: Ú
deal_valueÚnegative_dealzDeal value cannot be negativeÚinvalid_dealzDeal value must be a numberÚ	lead_codez^[A-Za-z0-9][A-Za-z0-9\-_]*$Úinvalid_lead_codezInvalid lead ID: )Úgetr   Úappendr   ÚlenÚEMAIL_REÚmatchÚ
isinstancer   Úyearr   ÚSTAGE_OKÚsplitÚfloatÚ	TypeErrorÚ
ValueErrorÚre)ÚrowÚissuesÚcontactÚemailÚourr)   r-   r/   ÚcleanedÚhostÚdealr   s               r   Úvalidate_rowrP      s%  € Ø€FØ�w‰w�~Ó&Ò,¨"×3Ñ3Ó5€GÙØ�‰”f˜WÐ&7Ð9SÐUcÓdÕeÜ	ˆW‹˜Ò	Ø�‰”f˜W oÐ7RÐTbÓcÔdà�W‰W�^Ó$Ò*¨×1Ñ1Ó3€EÙØ�‰”f˜W oÐ7QÐSaÓbÕcÜ�^‰^˜EÔ"Ø�‰”f˜W oÐ9OÐPUÈwÐ7WÐYgÓhÔià�7‰7�;ÓÒ% 2×
,Ñ
,Ó
.€CÙ
”8—>‘> #Ô&Ø�‰”f˜WÐ&9Ð=PÐQTÐPUÐ;VÐXcÓdÔeà—‘˜Ó&€JØÐØ�‰”f˜W nÐ6NÐP\Ó]Õ^Ü	�J¤Ô	%¨*¯/©/¸DÒ*@Ø�‰”f˜Y¨
Ð6JÈ:È,Ð4WÐYeÓfÔgà�W‰W�WÓÒ# ×*Ñ*Ó,€EÙ�—‘Ó!¬Ñ1Ø�‰ÜØØØ˜E˜7Ð"AÐBØó	ô	
ð �w‰w�yÓ!Ò' R×.Ñ.Ó0€GÙØ" gÑ-‘'°X¸g¸YÐ3Gˆà�}‰}˜U AÓ& rÑ*×0Ñ0°°aÓ8¸Ñ;ˆØ�d‰?˜tŸ}™}›°mÑCØ�M‰Mœ& ¨MÐ=NÈwÈiÐ;XÐZcÓdÔeà�7‰7�<Ó €DØÐð	hÜ�T‹{˜QŠØ—‘œf W¨oÐ?^Ð`lÓmÔnð �G‰G�KÓ Ò& B×-Ñ-Ó/€DÙ”B—H‘HÐ<¸dÔCØ�‰”f˜WÐ&9Ð=NÈtÈfÐ;UÐWbÓcÔdà€Møô œ:Ð&ò 	hØ�M‰Mœ& ¨.Ð:WÐYeÓfÖgð	hús   Ê1+L9 Ì9,M(Í'M(c                ó°  — | j                  t        j                  «      j                  «       D �ci c]  \  }|sŒt	        |«      |“Œ }}| j                  t        j
                  «      j                  «       D �ci c]  \  }|sŒt        |«      |“Œ }}i }i }g }|D �]­  }	t        |	«      }
t        |
«      }t	        |
j                  d«      «      }t        |
j                  d«      «      }|r‡||v r0|j                  t        ddd|
j                  d«      › d�d«      «       ||v r7|j                  t        ddd|
j                  d«      › d||   › d	�d«      «       n|
j                  d
«      xs d||<   |r‡||v r0|j                  t        ddd|
j                  d«      › d�d«      «       ||v r7|j                  t        ddd|
j                  d«      › d||   › d	�d«      «       n|
j                  d
«      xs d||<   ||
d<   t        d„ |D «       «      rdnd|
d<   |
d   dk(  rt        d„ |D «       «      rd|
d<   |j                  |
«       �Œ° |S c c}w c c}w )zIAttach validation + duplicate issues. Mutates/returns enriched row dicts.r9   r$   r    Úduplicate_lead_code_dbu   Lead ID â€œu"   â€� already exists in the databaseÚduplicate_lead_code_fileu)   â€� is duplicated in this file (also row Ú)Ú
row_numberr   Úduplicate_email_dbu   Client email â€œÚduplicate_email_filerI   c              3  ó,   K  — | ]  }|d    dk(  –— Œ y­w)r
   r    Nr   ©Ú.0Úis     r   Ú	<genexpr>z&annotate_duplicates.<locals>.<genexpr>™   s   è ø€ Ð)SÉFÀq¨!¨J©-¸7Õ*BÉFùó   ‚ÚinvalidÚreadyÚstatusc              3  ó,   K  — | ]  }|d    dk(  –— Œ y­w)r
   r+   Nr   rY   s     r   r\   z&annotate_duplicates.<locals>.<genexpr>š   s   è ø€ Ð,XÑQWÈA¨Q¨z©]¸iÕ-GÑQWùr]   r+   )Úqueryr   r9   Úallr   r$   r   ÚdictrP   r;   r<   r   Úany)ÚdbÚrowsÚcÚexisting_codesÚeÚexisting_emailsÚ
seen_codesÚseen_emailsÚenrichedrH   ÚitemrI   r   rK   s                 r   Úannotate_duplicatesrp   X   sœ  € ð &(§X¡X¬d¯n©nÓ%=×%AÑ%AÔ%CóÙ%C™T˜aÂqŒ
�1‹�qÑÐ%Cð ð ð ')§h¡h¬t×/@Ñ/@Ó&A×&EÑ&EÔ&GóÙ&G™d˜qÊ1Œ�A‹˜ÑÐ&Gð ð ð "$€JØ"$€KØ€HäˆÜ�C‹yˆÜ˜dÓ#ˆä˜$Ÿ(™( ;Ó/Ó0ˆÜ˜DŸH™H ^Ó4Ó5ˆáØ�~Ñ%Ø—‘ÜØØ0Ø% d§h¡h¨{Ó&;Ð%<Ð<^Ð_Ø#ó	ôð �zÑ!Ø—‘ÜØØ2Ø% d§h¡h¨{Ó&;Ð%<Ð<eÐfpÐquÑfvÐewÐwxÐyØ#ó	õð $(§8¡8¨LÓ#9Ò#>¸Q�
˜4Ñ áØ˜Ñ'Ø—‘ÜØØ,Ø*¨4¯8©8°NÓ+CÐ*DÐDfÐgØ&ó	ôð ˜Ñ#Ø—‘ÜØØ.Ø*¨4¯8©8°NÓ+CÐ*DÐDmÐnyÐzñ  oAð  nBð  BCð  DØ&ó	õð &*§X¡X¨lÓ%;Ò%@¸q�˜EÑ"àˆˆX‰Ü&)Ñ)SÉFÓ)SÔ&S™ÐY`ˆˆX‰Ø�‰>˜WÒ$¬Ñ,XÑQWÓ,XÔ)XØ&ˆD�‰NØ�‰˜Öðo ðr €OùòIùòs   °	IºIÁ9	IÂI>   rV   rW   rR   rS   c                ó<  — g }g }g }| D ]ˆ  }|j                  d«      xs g D �ch c]  }|j                  d«      dk(  sŒ|d   ’Œ }}|s|j                  |«       ŒQ|j                  t        «      r|j                  |«       Œx|j                  |«       ŒŠ |||fS c c}w )NrI   r
   r    r   )r;   r<   ÚissubsetÚ	DUP_CODES)Ú	annotatedr_   Ú
duplicatesr^   rH   r[   Úerror_codess          r   Úpartition_rowsrw   ©   s«   € Ø€EØ€JØ€GÛˆà #§¡¨Ó 1Ò 7°RÐ 7ó
Ù 7˜!¸A¿E¹EÀ*Ó<MÐQXÓ<XˆAˆf‹IÐ 7ð 	ð 
ñ Ø�L‰L˜ÕØ×!Ñ!¤)Ô,Ø×Ñ˜cÕ"à�N‰N˜3Õð ð �*˜gÐ%Ð%ùò
s
   £B½Bc                ó’  — t        | «      \  }}}g }| D ]r  }|j                  d«      xs g D ]X  }|j                  i |¥|j                  d«      |j                  d«      |j                  d«      |j                  d«      dœ¥«       ŒZ Œt t        | «      t        |«      t        |«      t        |«      t	        d„ | D «       «      ||||dœ	S )	NrI   rU   r9   r   r$   )rU   r9   r   r$   c              3  óJ   K  — | ]  }|j                  d «      dk(  sŒd–— Œ y­w)r`   r+   r0   N)r;   )rZ   Úrs     r   r\   zsummarize.<locals>.<genexpr>Í   s    è ø€ ÐM¡9˜a°·±°h³À9Ó0Lœ¡9ùs   ‚#œ#)	Útotalr_   ru   r^   ÚwarningsÚ
ready_rowsÚduplicate_rowsÚinvalid_rowsrI   )rw   r;   r<   r=   Úsum)rt   r_   ru   r^   Ú
all_issuesrH   Úissues          r   Ú	summarizerƒ   º   sÏ   € Ü!/°	Ó!:Ñ€Eˆ:�wØ€JÛˆØ—W‘W˜XÓ&Ò,¨"Ò,ˆEØ×ÑðØðà"%§'¡'¨,Ó"7Ø!$§¡¨Ó!5Ø$'§G¡G¨NÓ$;Ø$'§G¡G¨NÓ$;òõñ -ð ô �Y“Ü�U“Ü˜*“oÜ�w“<ÜÑM¡9ÓMÓMØØ$ØØñ
ð 
r   )N)
r
   Ústrr   r„   r   r„   r   ú
str | NoneÚreturnrd   )r   r…   r†   r„   )rH   rd   r†   ú
list[dict])rf   r   rg   r‡   r†   r‡   )rt   r‡   r†   z)tuple[list[dict], list[dict], list[dict]])rt   r‡   r†   rd   )Ú__doc__Ú
__future__r   rG   Údatetimer   Úsqlalchemy.ormr   Ú
app.configr   Ú
app.modelsr   Úcompiler>   ÚIÚURL_REr   rB   r   r   r   rP   rp   rs   rw   rƒ   )Úss   0r   Ú<module>r’      s�   ðÙ Vå "ã 	Ý å "å &Ý àˆ2�:‰:Ð3Ó4€Ø	ˆ�‰ÐCÀRÇTÁTÓ	J€Ù"1Ó2¡/˜QˆA�J‰J�L /Ñ2€ôTó,ó,ó7ótFòR€	ó&ô"ùòW 3s   ÁB