Google пояснила правила robots.txt для AI-ботів, емодзі та міжнародних URL
Правило в robots.txt може виглядати зрозумілим для людини й водночас нічого не означати для пошукового робота. Google нагадала, як працюють директиви файлу, де можна використовувати кирилицю та емодзі й чому обмеження сканування потрібно відрізняти від керування використанням контенту для ШІ. Ці питання розібрали Гарі Ілліш і Черрі Проммавін у другому випуску The Non-Canonical Cabinet — […]