Всички сме чували за ботове като Googlebot, Bingbot, които постоянно обхождат сайтовете в Интернет пространството. Основната им цел е автоматизация на задачи, които преди са извършвани от хора. Въпреки че са създадени с цел да подпомагат различните процеси, някои ботове попадат в категорията на т.н. “зловредни”, “лоши” или “сиви”. В статията ще обърнем внимание на тях и ще ви разкажем как могат да навредят на страниците ви. Освен с полезните ботове, трябва да бъдем наясно и какви могат да бъдат минусите, ако допускате “лошите” такива.
Целта на “лошите ботове” е или да извършат злонамерено действие над сайта ви или да съберат информация за него, която в последствие да бъде използвана срещу вас или за преднамерена цел.
Пример за зловредна атака: Бот може да сканира страницата ви за .zip или .sql файлове, като при тяхното намиране може да ги свали.
Трябва да се има предвид, че при архивите, административните пароли са по-лесни за хакване.
Ние, от Jump.bg, винаги препоръчаме да НЕ държите архивни копия на файловете или базата данни на сайта ви в публична директория.
Важно е да не държите архивни копия, тъй като ботовете ще извършват заявки към тях, а това довежда до последствия за вашия сайт като:
- Набиране на лош трафик
- Изразходване на системни ресурси
Много важно е да уточним, че щом веднъж един “лош” бот обходи вашата страница без да бъде блокиран или ограничен да извършва това действие, той се научава да го повтаря. Ботовете са част от по-голяма мрежа (botnets) и щом даден бот започне да обикаля даден сайт, се появяват и нови. Така се получава неприятен ефект и вашия сайт получава увеличение на негативния трафик.
Често собственикът на сайта вижда съобщение “Страницата ви е обхождана от множество ботове и се изразходват много системни ресурси”. Ето защо, ние от Jump.bg, ограничихме значително количеството на “зловредни ботове”, които обикалят потребителските сайтове, с която се предотвратява изразходването на ресурсите на вашия хостинг план. Тъй като всекидневно се създават зловредни ботови, ние ще допълваме с грижа “черния списък” от ботове, които да не достигат до вашия сайт.
Какво ще се промени за вас като потребители на Jump.bg
Нашият технически екип се погрижи вашите сайтове да станат още по-защитени, като лошият трафик бъде сведен до минимум. По този начин се избягва изразходването на системни ресурси заради “лошите ботове”. Обхождането от зловредните ботове, води до преминаване към по-висок, план, поради изчерпване на ресурсите на настоящия ви хостинг акаунт, но веднъж задействан процесът по обхождане от един “лош” бот, вие непрекъснато ще имате нужда от смяна на плана.
С ограничаване на неправомерното обхождането на сайта ви, вие ще ъпгрейдвате хостинг плана си, само ако той е достигнал реална нужда от допълнително хостинг ресурс, поради нарастване на бизнеса ви.
Какво представляват "сивите" ботове?
“Сивите” ботове не представляват директна заплаха за вашия уеб сайт. Основната им цел е да събират информация от страниците, които индексират. Техният минус е, че обхождат много агресивно вашето съдържание. Това отново довежда до твърде голямо използване на системните ресурси, които са включени във вашия хостинг план, но те не вредят по друг начин на сайта ви.
Пример за “сив” бот е Semrush bot. Той обхожда вашия сайт с цел събиране на информация, но при този вид обхождане, ботът вдигат многократно изразходваните ресурси на хостинг плана.
Ето какво може да причини Semrush bot на вашата страница:
- За период от 2 часа, на един от нашите сървъри за споделен хостинг има над 42 000 хил. заявки от този бот
- При няколко страници забелязваме, че има над 1000 заявки от този бот за същия период от време.
- От вътрешна статистика виждаме, че този клиент е изразходвал постоянно по 500МB RAM памет. След блокирането на посоченият бот, използването е спаднало до приблизително 50МB.
Ето защо ние от Jump.bg включваме и “сивите” ботове, към списъка на ботове, които имат забрана да обхождат сайтовете ви, с което за конкретния сайт бе намалено значително използването на ресурси с 10 пъти.
Резултатите на намаляване на системните ресурси могат да варират при различни клиенти, като това зависи от хостинг плана и използваните до момента ресурси. Важен показател е какъв е бил интензитета на обхождане и какви адреси на този уеб сайт са били индексирани.
Освен споделеният по-горе Semrush бот има още няколко известни ботове, които също са филтрирани от наша страна, а именно - Ahref, DotMoz, Majestic SEO и други.
От Jump.bg винаги сме предоставяли максимално гъвкава услуга. Ето защо всеки клиент може да спре временно или за постоянно защитата и да позволи обхождане на сайта си. Как да спрете защитата за обхождане на ботовете, можете да видите в нашата статия.
Важно: Ботове, като Googlebot, Bingbot, Uptime robot не са блокирани и не е необходимо да предприемате допълнителни действия. Това са т.н. “полезни” ботове, които индексират вашето съдържание и ви помагат при резултати от търсения в търсачките.
Винаги обръщайте внимание на трафика, който идва към вашия уеб сайт. От Jump.bg ви съветваме да използвате инструменти, чрез който да следите всяка една метрика - откъде идва вашият трафик, от коя страна, социална мрежа и т.н. Използването на Google Analytics е най-разпространеното решение на пазара, което е напълно безплатно. От нашата страна като хостинг доставчик, ние ще следим заявките, които преминават към сървърите и ще блокираме различни зловредни атаки, които застрашават вашето онлайн присъствие.
Ако имате нужда от съдействие, не се колебайте да се свържете с нашия технически екип, който е на ваше разположение 24/7 на имейл support@jump.bg.
