Проблемы HTTP Archive: один запрос к Google BigQuery обошелся в $14 000

В сфере облачных технологий разгорелась дискуссия о том, как провайдеры должны ограничивать использование своих инструментов после того, как один из пользователей Google BigQuery получил счет на тысячи долларов за простое выполнение запросов.

Пользователь проекта HTTP Archive , задачей которого является анализ структуры веба, получил от Google счет на $14 000. Пользователь под ником Tim выразил возмущение на форуме HTTP Archive, заявив, что набор данных, представленный как общедоступный, на самом деле является источником прибыли для Google Cloud .

Тим призвал добавить на официальный сайт предупреждение о коммерческом использовании данных Google, отметив отсутствие поддержки клиентов и риск потерять $14 000 долларов «за секунду». В ответ администратор архива ответил, что 99% пользователей архива пользуются только бесплатными ежемесячными и годовыми отчетами Web Almanac, а BigQuery предназначен для 1% наиболее требовательных пользователей, нуждающихся в более детальном доступе к данным.

Представитель HTTP Archive уточнил, что счет в размере $14 000 соответствует обработке примерно 2,5 Пбайт (петабайт) данных по цене $6,25 за ТиБ (тэбибайт), и пообещал добавить на страницу FAQ сайта более ясное предупреждение о тарифах BigQuery.

Тим также указал на отсутствие механизма предупреждения о стоимости запроса в официальных библиотеках GCP для Python в отличие от веб-интерфейса. Он предложил ввести автоматическое ограничение расходов на уровне $5 000 для предотвращения выполнения запросов без подтверждения пользователя.

В ходе дискуссии один из участников, комментарий которого был скрыт модераторами, назвал Тима неразумным за запуск запроса без понимания объема обрабатываемых данных. Несмотря на то, что Google предоставляет полную информацию о стоимости услуг BigQuery на своем сайте, студенты и ученые могут столкнуться с неожиданными высокими счетами из-за недостаточного понимания условий.