رباط های بد – رباط ها نرم افزار هایی هستند که با ای پی های مشخص یا متغیر جهت جستجو یا بررسی وارد سایت ها می شوند.
مطلبی خواندنی برای وب مستر ها
چگونه رباط های بد که از سایت باز دید می کنند را بلوکه کنیم؟
بعضی از این رباط ها کارایی های مفیدی دارند همانند رباط های جستجوگر یا خزنده گوگل و یاهو و بینگ و…
و بعضی از این رباط ها صرفا برای اسپم نگاری یا هرز نگاری ، ارسال مطالب یا کامنت های تبلیغاتی و مزاحم وارد سایت ها می شوند.
بعضی هم در کلیه صفحات سایت می گردند که یا محتوای سایت را سرقت نمایند یا ….
رباط Ahrefs
رباطی با ظاهر مفید اما عملکردی ، نه چندان مفید و کارا می باشد.
ربات Ahrefs وارد سایت ها می شود و کلیه سایت ها را بررسی میکند.
تا بدین وسیله هم اعلام حظور نماید و هم مثلا لینک ها و بک لینک های سایت ها را جهت ذخیره در دیتا بیس خود منتشر نماید.
کاربران با مشاهده رباط Ahrefs خواه ناخواه اقدام به جستجوی این رباط می نمایند که چیست و چرا از سایت آنان بازدید میکند.
و این هدف اصلی حرکت های این ربات ، تبلیغاتی می باشد.
آنگاه کاربر وارد سایت این رباط شده و با پیام های تبلیغاتی مواجه می گردد.
( که چنانچه تمایل دارید آمار دقیقی از بک لینک ها و آمار شما نشان بدهیم ثبت نام نمایید
و پس از مدتی این ثبت نام پولی خواهد بود)
اما Ahrefs چه زیان هایی برای سایت ما دارد
جستجوی Ahrefs در سایت ها گاهی بیشتر از جستجوی رباط گوگل می باشد و حرکت های این رباط باعث مصرف پهنای باند سایت و یا حتی اشغال شدن سی پی یو سرور نیز می گردد
مدیران سایت Ahrefs ادعا میکنند که رباط آنها عملکرد مفید دارد ! و آنها به استاندارد ها و قوانین فایل روبات تکس robots.txt احترام می گذارند !
اما این وقتی بخواهید مانع از ورود آن در سایت خود بشوید متوجه خواهید شد بی اعتنا به فرامین فایل robots.txt همچنان به فضولی و گشت گذار پر هزینه در سایت ها ادامه میدهد
روش هایی برای حذف روباط های مزاحم به شرح زیر می باشد
در فایل robots.txt
Robots.txt:
ser-agent: Rogerbot User-agent: Exabot User-agent: MJ12bot User-agent: Dotbot User-agent: Gigabot User-agent: AhrefsBot User-agent: BlackWidow User-agent: ChinaClaw User-agent: Custo User-agent: DISCo User-agent: Download\ Demon User-agent: eCatch User-agent: EirGrabber User-agent: EmailSiphon User-agent: EmailWolf User-agent: Express\ WebPictures User-agent: ExtractorPro User-agent: EyeNetIE User-agent: FlashGet User-agent: GetRight User-agent: GetWeb! User-agent: Go!Zilla User-agent: Go-Ahead-Got-It User-agent: GrabNet User-agent: Grafula User-agent: HMView User-agent: HTTrack User-agent: Image\ Stripper User-agent: Image\ Sucker User-agent: Indy\ Library User-agent: InterGET User-agent: Internet\ Ninja User-agent: JetCar User-agent: JOC\ Web\ Spider User-agent: larbin User-agent: LeechFTP User-agent: Mass\ Downloader User-agent: MIDown\ tool User-agent: Mister\ PiX User-agent: Navroad User-agent: NearSite User-agent: NetAnts User-agent: NetSpider User-agent: Net\ Vampire User-agent: NetZIP User-agent: Octopus User-agent: Offline\ Explorer User-agent: Offline\ Navigator User-agent: PageGrabber User-agent: Papa\ Foto User-agent: pavuk User-agent: pcBrowser User-agent: RealDownload User-agent: ReGet User-agent: SiteSnagger User-agent: SmartDownload User-agent: SuperBot User-agent: SuperHTTP User-agent: Surfbot User-agent: tAkeOut User-agent: Teleport\ Pro User-agent: VoidEYE User-agent: Web\ Image\ Collector User-agent: Web\ Sucker User-agent: WebAuto User-agent: WebCopier User-agent: WebFetch User-agent: WebGo\ IS User-agent: WebLeacher User-agent: WebReaper User-agent: WebSauger User-agent: Website\ eXtractor User-agent: Website\ Quester User-agent: WebStripper User-agent: WebWhacker User-agent: WebZIP User-agent: Wget User-agent: Widow User-agent: WWWOFFLE User-agent: Xaldon\ WebSpider User-agent: Zeus Disallow: / --------------- و یا کد زیر را در فایل .htaccess: قرار دهید
SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot SetEnvIfNoCase User-Agent .*exabot.* bad_bot SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot SetEnvIfNoCase User-Agent .*dotbot.* bad_bot SetEnvIfNoCase User-Agent .*gigabot.* bad_bot SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot SetEnvIfNoCase User-Agent .*sitebot.* bad_bot <Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit>
*************************************************
شایان ذکر است در بسیاری موارد دیده شده با وجود این فرامین و دستورات باز هم رباط در سایت اقدام به ولگردی می نماید. از این رو می توانید آی پی آن را بلوکه کنید.
و دوباره روز بعد با ای پی دیگری ! حظور خواهد داشت ! ولی به نظر نمی رسید این رباط بیشتر از ده یا بیست ای پی فعال داشته باشد.
کاربران سایت های وردپرسی ، مامبو ، جوملا و سایت های اچ تی ام ال و دینامیک و استاتیک هر کدام به همان شیوه های مندرج در متن بالا می توانند اقدام به مسدود نمودن رباط های مزاحم نمایند.
نویسنده و منبع مطلب : پی سی پیک دات کام
www.p30pic.sbs
دیدگاهتان را بنویسید