B
8Oš©=þG%ã @ sX d dl Z d dlZd dlZdgZe dd¡ZG dd„ dƒZG dd„ dƒZG dd „ d ƒZ dS )
é NÚRobotFileParserÚ RequestRatezrequests secondsc @ sf e Zd Zddd„Zdd„ Zdd„ Zdd „ Zd
d „ Zd d
„ Zdd„ Z dd„ Z
dd„ Z dd„ Z dd„ Z
dS )r Ú c C s, g | _ d | _d| _d| _| |¡ d| _d S )NFr )ÚentriesÚ
default_entryÚ disallow_allÚ allow_allÚset_urlÚ last_checked)ÚselfÚurl© r
ú7/opt/alt/python37/lib64/python3.7/urllib/robotparser.pyÚ__init__ s
zRobotFileParser.__init__c C s | j S )N)r
)r r
r
r Úmtime$ s zRobotFileParser.mtimec C s dd l }| ¡ | _d S )Nr )Útimer
)r r r
r
r Úmodified- s zRobotFileParser.modifiedc C s& || _ tj |¡dd… \| _| _d S )Né é )r ÚurllibÚparseÚurlparseZhostÚpath)r r r
r
r r 5 s zRobotFileParser.set_urlc
C s† yt j | j¡}W nR t jjk
rd } z0|jdkr:d| _n|jdkrT|jdk rTd| _W d d }~X Y n X | ¡ }|
| d¡ ¡ ¡ d S )N)i‘ i“ Ti iô zutf-8)
r ZrequestZurlopenr ÚerrorZ HTTPErrorÚcoder r Úreadr ÚdecodeÚ
splitlines)r ÚfÚerrÚrawr
r
r r : s
zRobotFileParser.readc C s, d|j kr | jd kr(|| _n | j |¡ d S )NÚ*)Ú
useragentsr r Úappend)r Úentryr
r
r Ú
_add_entryG s
zRobotFileParser._add_entryc C s6 d}t ƒ }| ¡ x|D ]þ}|sT|dkr8t ƒ }d}n |dkrT| |¡ t ƒ }d}| d¡}|dkrr|d |… }| ¡ }|s€q| dd¡}t|ƒdkr|d ¡ ¡ |d< tj
|d ¡ ¡|d< |d dkr |dkrê| |¡ t ƒ }|j |d ¡ d}q|d dkr4|dkr|j
t|d dƒ¡ d}q|d d krh|dkr|j
t|d d
ƒ¡ d}q|d d kr¦|dkr|d ¡ ¡ r t|d ƒ|_d}q|d d kr|dkr|d d
¡}t|ƒdkr|d ¡ ¡ r|d ¡ ¡ rtt|d ƒt|d ƒƒ|_d}qW |dkr2| |¡ d S )Nr r é ú#ú:z
user-agentZdisallowFZallowTz crawl-delayz request-rateú/)ÚEntryr r% ÚfindÚstripÚsplitÚlenÚlowerr r Úunquoter" r# Ú rulelinesÚRuleLineÚisdigitÚintÚdelayr Úreq_rate)r ÚlinesÚstater$ ÚlineÚiZnumbersr
r
r r P sd
zRobotFileParser.parsec C s | j r
dS | jrdS | js dS tj tj |¡¡}tj dd|j|j |j
|j f¡}tj |¡}|sfd}x"| j
D ]}| |¡rn| |¡S qnW | jrœ| j |¡S dS )NFTr r) )r r r
r r r r0 Ú
urlunparser ÚparamsZqueryZfragmentÚquoter Ú
applies_toÚ allowancer )r Ú useragentr Z
parsed_urlr$ r
r
r Ú can_fetch“ s$
zRobotFileParser.can_fetchc C s> | ¡ s d S x | jD ]}| |¡r|jS qW | jr:| jjS d S )N)r r r> r5 r )r r@ r$ r
r
r Ú crawl_delay° s
zRobotFileParser.crawl_delayc C s> | ¡ s d S x | jD ]}| |¡r|jS qW | jr:| jjS d S )N)r r r> r6 r )r r@ r$ r
r
r Ú request_rateº s
z RobotFileParser.request_ratec C s0 | j }| jd k r || jg }d tt|ƒ¡d S )NÚ
)r r ÚjoinÚmapÚstr)r r r
r
r Ú__str__Ä s
zRobotFileParser.__str__N)r )Ú__name__Ú
__module__Ú __qualname__r r r r r r% r rA rB rC rH r
r
r
r r s
C
c @ s$ e Zd Zdd„ Zdd„ Zdd„ ZdS )r2 c C s< |dkr|sd}t j t j |¡¡}t j |¡| _|| _d S )Nr T)r r r; r r= r r? )r r r? r
r
r r Î s
zRuleLine.__init__c C s | j dkp| | j ¡S )Nr! )r Ú
startswith)r Úfilenamer
r
r r> Ö s zRuleLine.applies_toc C s | j r
dndd | j S )NZAllowZDisallowz: )r? r )r r
r
r rH Ù s zRuleLine.__str__N)rI rJ rK r r> rH r
r
r
r r2 Ë s r2 c @ s, e Zd Zdd„ Zdd„ Zdd„ Zdd„ Zd S )
r* c C s g | _ g | _d | _d | _d S )N)r" r1 r5 r6 )r r
r
r r ß s zEntry.__init__c C s g }x | j D ]}| d|› ¡ q W | jd k r@| d| j› ¡ | jd k rj| j}| d|j› d|j› ¡ | tt| j ƒ¡ | d¡ d
|¡S )Nz User-agent: z
Crawl-delay: zRequest-rate: r) r rD ) r" r# r5 r6 ZrequestsZsecondsÚextendrF rG r1 rE )r ÚretÚagentZrater
r
r rH å s
z
Entry.__str__c C sF | d¡d ¡ }x.| jD ]$}|dkr*dS | ¡ }||krdS qW dS )Nr) r r! TF)r- r/ r" )r r@ rP r
r
r r> ò s zEntry.applies_toc C s$ x | j D ]}| |¡r|jS qW dS )NT)r1 r> r? )r rM r9 r
r
r r? ÿ s
zEntry.allowanceN)rI rJ rK r rH r> r? r
r
r
r r* Ý s
r* )
Ú collectionsZ urllib.parser Zurllib.requestÚ__all__Ú
namedtupler r r2 r* r
r
r
r Ú
s 6