Здравствуйте, StandAlone, Вы писали:
SA>Здравствуйте, IT, Вы писали:
IT>>Первая защита была прикручена много лет назад, когда я вместо 20-ти баксов за месяц за трафик попал на 120 После этого все боты пошли лесом. Но вместе с ними туда же пошли и поисковики. В результате нас перестало быть видно из гугла и других основных поисковиков. Похоже даже они нас просто забанили. На то, чтобы нас опять стало хоть как-то видно в поисковиках ушёл не один год. Повторять такую же ошибку очень не хочется.
SA>Custom IHttpHandler, который будет определять ботов по стратегии и отправлять их запросы в очередь с минимальным приоритетом?
Здравствуйте, IT, Вы писали:
IT>Здравствуйте, RoloTomasi, Вы писали:
RT>>А в чем смысл этих ботов? Предназначение так сказать? Просто множить запросы(загрузить)?
IT>Без понятия.
Все просто -- способ борьбы с конкурентами. Особенно если бот маскируется.
Здравствуйте, IT, Вы писали:
IT>С каналом всё в порядке. Это всё несанкционированные боты.
А как они работали, дергали отдельные страницы или, подобно паукам, лазили по всем страницам подряд? Пауки здесь однозначно есть, потому что между опубликованием адреса электропочты в боточитаемом виде и приходом спама проходит довольно мало времени.
Против пауков есть очень простое средство: закрыть «тяжелые» страницы в robots.txt, и еще создать специальную страницу и ссылку на нее с большим предупреждением «не влезай, убьет», и тоже запретить в robots.txt. Идея в том, что человек не полезет туда, воспитанный робот — тоже; соответственно, всех, кто туда полез, можно банить, таким образом выявляя незаконопослушных ботов.
Здравствуйте, Roman Odaisky, Вы писали:
RO>Против пауков есть очень простое средство: закрыть «тяжелые» страницы в robots.txt, и еще создать специальную страницу и ссылку на нее с большим предупреждением «не влезай, убьет», и тоже запретить в robots.txt. Идея в том, что человек не полезет туда, воспитанный робот — тоже; соответственно, всех, кто туда полез, можно банить, таким образом выявляя незаконопослушных ботов.
А вы в этом уверены? Ставлю 100$, что найдётся масса желающих поглазеть на эту страничку. Я бы открыл Не забывайте, что любопытство и привычка совать свой нос везде, куда только можно, даже если лезть туда запрещено — важное профессиональное качество хорошего программиста
Здравствуйте, koandrew, Вы писали:
K>А вы в этом уверены? Ставлю 100$, что найдётся масса желающих поглазеть на эту страничку. Я бы открыл :)) Не забывайте, что любопытство и привычка совать свой нос везде, куда только можно, даже если лезть туда запрещено — важное профессиональное качество хорошего программиста ;) :))
А дальше не показывать ни одной страницы, пока не пройдешь тест Тьюринга.
Здравствуйте, Roman Odaisky, Вы писали:
RO>Против пауков есть очень простое средство: закрыть «тяжелые» страницы в robots.txt, и еще создать специальную страницу и ссылку на нее с большим предупреждением «не влезай, убьет», и тоже запретить в robots.txt. Идея в том, что человек не полезет туда, воспитанный робот — тоже; соответственно, всех, кто туда полез, можно банить, таким образом выявляя незаконопослушных ботов.
а как быть тем кто за натом? эдак кто нить из моих сотрудников забанит ip нашего рабочего гейтвея на rsdn и всё
Здравствуйте, IT, Вы писали:
IT>Один сразу качает с двух IP: 67.15.247.221 и 67.15.247.222. IP японские. Что им тут надо?
Это публичные анонимайзеры. Скорее всего, на кывт уже несколько месяцев идёт dos атака, просто те, кто живёт не в москве её не замечают.
Здравствуйте, Блудов Павел, Вы писали:
IT>>Один сразу качает с двух IP: 67.15.247.221 и 67.15.247.222. IP японские. Что им тут надо? БП>Это публичные анонимайзеры. Скорее всего, на кывт уже несколько месяцев идёт dos атака, просто те, кто живёт не в москве её не замечают.
Её можно не замечать только, если читать сайт янусом.
ЗЫ. А какой смысл на досить? Мы же вроде как в президенты не баллотирумся, газ никому не перекрываем. Кому мы мешаем?
Если нам не помогут, то мы тоже никого не пощадим.
Здравствуйте, Блудов Павел, Вы писали:
IT>>Один сразу качает с двух IP: 67.15.247.221 и 67.15.247.222. IP японские. Что им тут надо? БП>Это публичные анонимайзеры. Скорее всего, на кывт уже несколько месяцев идёт dos атака, просто те, кто живёт не в москве её не замечают.
Скорее всего, кто-то сканит сайт для создания образов, с целью последующей реализации. Если бы начался dos/ddos вы бы сразу легли.
Здравствуйте, IT, Вы писали:
RT>>А в чем смысл этих ботов? IT>Без понятия.
Вот тут нарисовалась раскрутка доменного имени за счет контента RSDN. Суть в том, что вы игнорируете вопросы поисковой оптимизации и сайт, быстро стыривший у вас контент зачастую будет считаться в поисковиках источником контента. Сайт нашелся случайно, возможно, есть и другие.
Все, что здесь сказано, может и будет использоваться против меня.
Здравствуйте, IT, Вы писали:
IT>Здравствуйте, koandrew, Вы писали:
K>>+1. Тормоза нереальные — как будто на 36к модеме сижу... Думается мне, что это проблемы канала, ибо по части кода вроде вменяемые люди это дело программили и саппортят...
IT>С каналом всё в порядке. Это всё несанкционированные боты. Двух только что забанил. Один какой-то японский Они отсылают одновременно множество запросов, а у ASP.NET по умолчанию одновременно работает только 8 потоков, всё остальное в очередь. Если боты цепляют тяжёлые страницы, то ждёт вся очередь и складывается впечатление задержки канала.
IT>В общем, я там чуток пооптимизировал, должно немного полегчать (даже с ботами). Дальше будем смотреть.
Месяц-другой назад я уже жаловался на тормоза. Тогда съехали на том, что все лоадят свои янусы.
Теперь, вот, боты.
У других форумов такие проблемы почему-то отсутствуют.
Ваша оптимизация помогла самую малость. Эти тормоза всё ещё дико раздражают. Каждое сообщение (ответ сервера) надо ждать ровно 5 секунд (засекал). Если страница большая, например эта
Kore Sar однажды (13 января 2009 14:25) писал в rsdn.rsdn:
> Ув, Игорь, сделайте что-нибудь с этим вашим ASP.NET что-нибудь, чтобы было быстро как у всех. > Спасибо.
Не получится, ибо аспдотнет сам по себе или тыканьем в галочки не превращается в нормальный апачипхп.
Здравствуйте, Sheridan, Вы писали:
>> Ув, Игорь, сделайте что-нибудь с этим вашим ASP.NET что-нибудь, чтобы было быстро как у всех. >> Спасибо.
S>Не получится, ибо аспдотнет сам по себе или тыканьем в галочки не превращается в нормальный апачипхп.
Ага, то ли дело на линухе настоящие бойцы в командной строке, без единого гвоздя и галочки уже четвёртый кросплатформенный Янус написали и скоро пятый выдадут. Вот только апачипхп настроят.
Если нам не помогут, то мы тоже никого не пощадим.
Здравствуйте, IT, Вы писали:
IT>Здравствуйте, Sheridan, Вы писали:
>>> Ув, Игорь, сделайте что-нибудь с этим вашим ASP.NET что-нибудь, чтобы было быстро как у всех. >>> Спасибо.
S>>Не получится, ибо аспдотнет сам по себе или тыканьем в галочки не превращается в нормальный апачипхп.
IT>Ага, то ли дело на линухе настоящие бойцы в командной строке, без единого гвоздя и галочки уже четвёртый кросплатформенный Янус написали и скоро пятый выдадут. Вот только апачипхп настроят.
Девочки, не ссорьтесь. Здесь вам не СВ.
По делу. Сейчас 9 утра по Киевскому времени. Сайт летает! Боты, видать, ушли. Ну, или IT постарался их уйти.
Здравствуйте, Kore Sar, Вы писали:
KS>Здравствуйте, IT, Вы писали:
IT>>Здравствуйте, Sheridan, Вы писали:
>>>> Ув, Игорь, сделайте что-нибудь с этим вашим ASP.NET что-нибудь, чтобы было быстро как у всех. >>>> Спасибо.
S>>>Не получится, ибо аспдотнет сам по себе или тыканьем в галочки не превращается в нормальный апачипхп.
IT>>Ага, то ли дело на линухе настоящие бойцы в командной строке, без единого гвоздя и галочки уже четвёртый кросплатформенный Янус написали и скоро пятый выдадут. Вот только апачипхп настроят.
KS>Девочки, не ссорьтесь. Здесь вам не СВ.
KS>По делу. Сейчас 9 утра по Киевскому времени. Сайт летает! Боты, видать, ушли. Ну, или IT постарался их уйти.
Полдень по Киевскому времени. Всё. Белая лисичка опять. 5 секунд — это минимум, который надо прождать. Игорь?
Здравствуйте, Kore Sar, Вы писали:
KS>Полдень по Киевскому времени. Всё. Белая лисичка опять. 5 секунд — это минимум, который надо прождать. Игорь?
Разбирайся со своим каналом, из москвы все в порядке.
Здравствуйте, IB, Вы писали:
IB>Здравствуйте, Kore Sar, Вы писали:
KS>>Полдень по Киевскому времени. Всё. Белая лисичка опять. 5 секунд — это минимум, который надо прождать. Игорь? IB>Разбирайся со своим каналом, из москвы все в порядке.
Если вы читали чуть-чуть выше моё сообщение, то там написано, что все сайты быстро отзываются.
Еще дополню, что на кывт я захожу с двух разных мест (разные провайдеры). Ситуация такая же — кывт тупит.
После этого все боты пошли лесом. Но вместе с ними туда же пошли и поисковики. В результате нас перестало быть видно из гугла и других основных поисковиков. Похоже даже они нас просто забанили. На то, чтобы нас опять стало хоть как-то видно в поисковиках ушёл не один год. Повторять такую же ошибку очень не хочется.
Да, стало повеселее, даж спать расхотелось 
Если нам не помогут, то мы тоже никого не пощадим.
Мы уже победили, просто это еще не так заметно...
