#p870797,Пинчук написал(а):Какой же ты упрямый. ИИ сканирует те страницы, которые ему укажут программисты и игнорирует те страницы, которые не устраивают владельцев ИИ.
Это не есть правда.
-------------------------------
ИИ сканирует не только те страницы, которые заложили создатели — он ищет информацию по всему открытому интернету, используя поисковые алгоритмы, аналогичные обычным поисковикам вроде Google или Яндекс.
Разработчики не составляют списки конкретных разрешенных сайтов «вручную». Вместо этого они настраивают общие правила, поисковых роботов (краулеров) и партнерские соглашения.
Процесс сбора информации о политике и мировых событиях устроен следующим образом:
1. Как ИИ находит сайты в реальном времени
Когда вы задаете ИИ вопрос о текущей политической ситуации, система делает следующее:
• Формирует поисковый запрос: ИИ переводит ваш вопрос на язык, понятный поисковым системам.
• Обращается к поисковым индексам: ИИ-поисковики (например, Perplexity или ChatGPT Search) используют базы данных таких поисковых систем, как Bing (Microsoft) или Google, а также собственные краулеры, которые непрерывно обходят миллиарды страниц в сети.
• Сканирует открытые источники: В выдачу попадают любые доступные сайты — от крупных мировых СМИ (Рейтер, BBC) и официальных правительственных порталов до независимых блогов, постов в соцсетях и локальных новостных агентств.
2. Что создатели закладывают на самом деле (Фильтры и приоритеты)
Хотя ИИ видит весь интернет, разработчики жестко регулируют приоритет источников и правила безопасности, особенно в такой чувствительной теме, как политика:
• Белый список "авторитетных" источников (Ранжирование): Создатели ИИ обучают алгоритмы доверять информации из официальных источников, крупных зарегистрированных СМИ и академических баз данных больше, чем случайным форумам или личным блогам. При конфликте информации ИИ отдаст приоритет условному заявлению ООН или государственного ведомства.
• Коммерческие соглашения: Крупные ИИ-лаборатории (например, OpenAI) заключают официальные контракты с ведущими медиа-холдингами (такими как The Financial Times, Axel Springer, Le Monde и др.). Эти сайты ИИ сканирует в приоритетном режиме и имеет легальный доступ к их закрытым платным материалам (пейволлам).
• Черные списки (Стоп-листы): Создатели могут принудительно исключать из поисковой выдачи ИИ сайты, которые признаны источниками скоординированной дезинформации, пиратские ресурсы, а также сайты, содержащие вредоносный код или шокирующий контент.
3. Ограничения: кто закрывает двери перед ИИ?
ИИ может прочитать далеко не любую страницу. Существуют два главных барьера:
• Файл robots.txt: Владелец любого сайта (включая крупные политические издания) может прописать в специальном техническом файле запрет на сканирование своими роботами (например, запретить боту GPTBot от OpenAI заходить на сайт). Многие СМИ делают это, чтобы защитить свой контент от бесплатного использования. В таком случае ИИ эту страницу не увидит.
• Национальные блокировки и файрволы: Например, китайский ИИ DeepSeek подчиняется внутреннему законодательству КНР. Его поисковые модули настроены так, чтобы не сканировать и не выдавать информацию с западных сайтов, которые заблокированы в Китае (таких как Wikipedia или крупнейшие американские газеты), и ориентироваться на внутренние одобренные источники. Соответственно, американские ИИ ограничены в доступе ко многим внутренним базам данных закрытых стран.