Семальт Експерт по вибору даних на веб-сайті - хороші та погані боти

Розробка веб-сайтів існує вже давно і вважається корисною для веб-майстрів, журналістів, фрілансерів, програмістів, непрограмістів, маркетингових дослідників, науковців та експертів із соціальних медіа. Існує два типи ботів: хороші та погані боти. Хороші боти дозволяють пошуковим системам індексувати веб-контент і надають високу перевагу експертам ринку та цифровим маркетологам. Погані боти, з іншого боку, марні і мають на меті пошкодити рейтинг пошукових систем сайту. Законність скребтування веб-сторінок залежить від того, який тип роботи ви використовували.

Наприклад, якщо ви використовуєте недобрих ботів, які виймають вміст з різних веб-сторінок з метою незаконного його використання, веб-скребки можуть бути шкідливими. Але якщо ви використовуєте хороших ботів і уникаєте шкідливих дій, включаючи відмову від службових атак, шахрайство в Інтернеті, конкурентні стратегії вилучення даних, крадіжки даних, викрадення облікових записів, несанкціоноване сканування вразливості, цифрові шахрайські оголошення та крадіжка інтелектуальних властивостей, то процедура веб-вискоблювання є хорошою та корисною для розвитку вашого бізнесу в Інтернеті.

На жаль, більшість фрілансерів та стартапів люблять поганих ботів, тому що вони є дешевим, потужним та всебічним способом збору даних без потреби в партнерстві. Великі компанії, однак, використовують легальні веб-скребки для своєї вигоди і не хочуть руйнувати свою репутацію в Інтернеті незаконними веб-скребками. Загальні думки щодо законності веб-скрапінгу, здається, не мають значення, оскільки за останні кілька місяців стало зрозуміло, що системи федеральних судів розхитують все більше і більше незаконних стратегій веб-скребкування.

Веб-скрепотування почалося як незаконний процес ще в 2000 році, коли використання ботів і павуків для скребки веб-сайтів вважалося нісенітницею. Не багато практик було пристосовано, щоб зупинити розповсюдження цієї процедури в Інтернеті до 2010 року. Компанія eBay вперше подала попередні приписи проти Bidder's Edge, стверджуючи, що використання ботів на веб-сайті порушило закони про заборону відвідувачів Chattels. Незабаром суд ухвалив заборони, оскільки користувачі повинні були погодитись із умовами сайту та великою кількістю ботів було деактивовано, оскільки вони можуть бути руйнівними для комп'ютерних машин eBay. Позов незабаром був вирішений поза судом, і eBay зупинив усіх від використання ботів для скребкування веб-сторінок, незалежно від того, хороші вони чи погані.

У 2001 році туристична агенція подала до суду на конкурентів, які викреслили її вміст з веб-сайту за допомогою шкідливих павуків та поганих ботів. Судді знову вживали заходів проти злочину і віддавали перевагу жертвам, сказавши, що і веб-скребкування, і використання ботів можуть завдати шкоди різному інтернет-бізнесу.

На сьогоднішній день для академічного, приватного та інформаційного збирання багато людей покладаються на справедливі процедури скребтування веб-сторінок, і в цьому плані було розроблено багато інструментів веб-скреблінгу . Зараз чиновники кажуть, що не всі ці інструменти є надійними, але ті, що постачаються у платній чи преміум-версії, кращі, ніж безкоштовні веб-скребки .

У 2016 році Конгрес прийняв перше законодавство, спрямоване на поганих ботів та прихильність добрих ботів. Закон «Про кращі продажі квитків в Інтернеті» (BOTS) був утворений, який забороняв використовувати незаконне програмне забезпечення, яке може орієнтуватися на веб-сайти, завдаючи шкоди рейтингам їх пошукових систем та знищуючи їх бізнес. Є питання справедливості. Наприклад, LinkedIn витратив багато грошей на інструменти, які блокують або усувають погані боти та заохочують хороших ботів. Оскільки суди намагаються вирішити законність скребтування веб-сторінок, у компаній викрадено дані.