Попался толковый специалист техподдержки и сказал, что запрос к БД написан криво. В частности, в месте

SELECT * FROM SC_products WHERE

Звёздочка означает, что происходит поиск по всем таблицам в базе. Также спец порекомендовал заменить эту звёздочку на конкретное значение, тогда всё будет ок.

Подскажите, кто знает, как это поправить?

sirhc написал:

Попался толковый специалист техподдержки и сказал, что запрос к БД написан криво. В частности, в месте

Код:

SELECT * FROM SC_products WHERE

Звёздочка означает, что происходит поиск по всем таблицам в базе. Также спец порекомендовал заменить эту звёздочку на конкретное значение, тогда всё будет ок.

Подскажите, кто знает, как это поправить?

Звездочка означает поиск не по всем таблицам, а по всем полям таблицы SC_products. Чтобы заменить звездочку на нужные поля, вы должны знать какие поля собираетесь использовать. Только не уверен что это сильно снизит нагрузку. Обычно конструкции типа LEFT JOIN нагружают (если составлены не верно).

komkom написал:

Да, хороший вопрос)

Я так же слышал подобное от поддержки ник ру. Но меня это не убедило, хотя оптимизация не помешала бы точно.

ида, здесь приводится пример с EXPLAIN, а как им пользоваться? я не совсем гений в этом вопросе)))))

Я тоже не спец, но исходя из слов оператора, то что эта звёздочка делает запрос по всем полям вместо конкретного - это действительно минус.

Вопрос в том, что сайт отключен, а акцент, как я понял они делают на оптимизацию данных запросов. Поэтому:

1. Может кто знает, как эту звёздочку заменить на что-нить более красивое? Чтобы запрос был более узконаправленным?

2. Также я заметил двух наглых ботов в логах. Это "AhrefsBot" и "BLEXBot". Это какие-то SEO сервисы. Прыгают по страницам через каждую секунду. Я их запретил в robots.txt:

User-agent: AhrefsBot
Disallow: /

User-agent: BLEXBot
Disallow: /

Только не знаю, будут они слушаться или нет... Как ещё можно запретить подобных нарушителей?

komkom написал:

sirhc написал:

User-agent: AhrefsBot
Disallow: /

Это вот эти недостойные люди https://ahrefs.com/ точнее те кто ими пользуется)

банить их я так понимаю нужно через запрет по ip, но у меня чето не получается.

пс, вчара тоже увидел их в логах, на это время сайт лег.

как защититься?

А как по IP блокируете? Вот на одном сайте нашёл такую рекомендацию, в файле index.php прописать:

if($_SERVER['REMOTE_ADDR'] == '213.186.119.132') die;

.htaccess
Deni from
http://www.htaccess.net.ru/doc/htaccess/order.php

sirhc написал:

А что со звёздочкой? Есть идеи или комментарии как оптимизировать данный запрос (пример в первом посте)?

в данном конкретном случае

function GetProduct( $productID){

    $productID = (int)$productID;
    $q = db_query('SELECT * FROM '.PRODUCTS_TABLE.' WHERE productID='.$productID);
   
замените на     $q = db_query('SELECT productID, categoryID, Price, ..... FROM '.PRODUCTS_TABLE.' WHERE productID='.$productID);

Это в \published\sc\html\scripts\core_functions\product_functions.php,

а в этой функции тоже наверное надо?

function loadBySlug($slug){
        if($this->getRegisteredByID($slug)) return;
        $product = db_phquery_fetch(DBRFETCH_ASSOC, 'SELECT * FROM ?#PRODUCTS_TABLE WHERE slug=?', $slug);
        LanguagesManager::ml_fillFields($this->__db_table, $product);
        $this->loadFromArray($product);
        $this->registerByID($product['productID']);
        $this->registerByID($product['slug']);
    }

это из файла \published\sc\html\scripts\classes\class.product.php.

Ведь в файле product_functions.php в конце запроса идёт WHERE productID, а мне на хостинге преъявили примеры с окончанием WHERE slug, а такую функцию я нашёл как раз в \published\sc\html\scripts\classes\class.product.php.

И ещё вопрос - звёздочку меняем на "productID, categoryID, Price, ....." прямо так? С троеточием? Или взаместо него что-то поставить нужно? (Простите за неграмотность

Отредактировано sirhc (2013-08-02 15:29)

Насчет function loadBySlug. Не помню уже за что она отвечает. GetProduct непосредственно запрашивает продукт в карточке (например).

И ещё вопрос - звёздочку меняем на "productID, categoryID, Price, ....." прямо так? С троеточием? Или взаместо него что-то поставить нужно? (Простите за неграмотность smile

Нет. троеточие меняете на те поля, которые хотите запрашивать через запятую.

Отредактировано jekky25 (2013-08-02 15:46)

Возможно, в БД для таблицы SC_products нет индекса по полю slug, его можно добавить следующим запросом:

ALTER IGNORE TABLE `SC_products` ADD INDEX `slug`(  `slug` );

ALTER TABLE  `SC_products` ADD INDEX `category-enabled` ( `enabled` ,`categoryID`) ;
ALTER TABLE  `SC_products` ADD INDEX `category-enabled-date` ( `enabled` ,`categoryID`,`date_added `) ;

И, возможно, удалить индекс по enabled
Так же имеет смысл проверить и запустить оптимизацию для таблиц установки (средствами phpMyAdmin это достаточно легко делается).
SELECT * FROM %TABLENAME% WHERE %CONDITIONS%
Звездочка - это не поиск по всем таблицам в базе и не поиск по всем полям в таблице.
Это список полей, которые будут возвращены в результате чтения записей из БД, которые удовлетворяют условиям %CONDITIONS%
Замена * на конкретные значения не даст ничего, поскольку используются практически все поля (за редким исключением) и разница в скорости будет в лучшем случае пара милисекунд (что в процентном отношении явно меньше 1%), а скорее всего ничего и не даст.
А проблема с нагрузкой от поисковиков - типовая (на уровне robots.txt) - для всех них нужно как минимум указывать задержку (Crawl-Delay) с учетом общего числа страниц сайта и желаемым временем переиндексирования (и нужности индексирования именно этим поисковиком), опционально помогает запрет индексации служебных страниц.
В самых тяжелых случаях блокировать наглых ботов по IP (на уровне .htaccess).

sirhc написал:

komkom написал:

нужно перечислить все данные которые хотите выбрать из таблицы..... смотрите у себя в базе через PHPMyAdmin

Так, а если какой-то параметр не будет указан? Например в таблице есть колонка 'sort_order'. Можете раъяснить мне невеже , что будет если не указать этот параметр?

Все указанные поля скидываются в массив. Если поле не указано, его в массиве не будет. Если по нему какую-то выборку делаете, то она правильно работать не будет. Например поле description не указали, соответственно описание продукта не будет выводиться.

добавление индекса по полю ускоряет выборку по этому полю (в несколько раз т.е. если запрос был 4 секунды, а станет 1)
перечисление только части полей позволит сэкономить лишь на времени передаче данных от SQL сервера к PHP скрипту (даже для случая, когда это разные физические сервера при выборе 10-100 записей разница не значительная  — те самые пара миллисекунд если сервер находится далеко, а вероятность ошибочно пропустить нужные данные все же выше), при желании можете поэкспериментировать на БД под нагрузкой, выбирая 100 записей со * и одним только полем - phpMyAdmin умеет показывать время выполнения запроса.
P.S. а логи с запросами у вас не полные - там явно видны хвосты. либо вы некорректно их скопировали, либо хостер от вас отмахнулся не потрудившись полностью скопировать

Отредактировано Vladislav (2013-08-02 18:29)

Очень полезная получилась ветка, спасибо всем кто здесь отписался)