Во избежание непонимания, как работает статмодуль, очень подробный рассказ.
Посему нужно уметь осиливать много букв.
Саппорт не станет отвечать на любые вопросы, уже рассмотренные ниже.
Главная неожиданность:
При первом же столкновении со статистикой блога пользователь спрашивает, почему его счётчик от ЛивИнтернета (Рамблера, Гугл Аналитикса, кого угодно) показывает не такую картину, как статмодуль. Кто врёт?
Пожалуйста, посмотрите на коды своих счётчиков.
Наблюдаете там JavaScript?
Знаете, что он в упор не видит юзеров без поддержки оного, а также всех ботов, кроме тех, что специально эмулируют живого юзера, исполняя элементарный Джава скрипт?
Ваш стандартный счётчик не обнаружит нашествие индексирующих ботов, визиты сканеров, грабящих Ваш уникальный контент, и много чего ещё. Как, например, и поисковые запросы со множества поисковых систем- если что-то такое в сервисе счётчика и присутствует, то в очень ограниченном виде, причём выборочно и лишь для самых крупных поисковых систем.
В этом плане статмодуль тот ещё Штирлиц - он фиксирует все входящие хиты на блог (переходы между страничками сайта не интересны, они не рассматриваются), и при анализе этого зоопарка неподготовленному юзеру может стать не по себе. Так много всяких разных ботов шарится по сайту, причём неведомо чьих и с какой целью.
Картина мира оказывается слишком сложной, нежели примитивное "посещаемость моего блога вот такая-то".
Вам придётся смириться с фактом, что она вовсе не "такая-то" даже и близко.
Когда понимание этого наступает, все счётчики обычно выкидываются с сайта как бесполезные картинки.
Только с этого момента деятельность статмодуля начинает ценится, а результаты его трудов- пониматься.
Если такого понимания пока не наступило, пожалуйста, не сочтите за труд воздержаться от беспокойства автора скрипта своими вопросами типа "а почему по (такой-то) пузомерке я вижу одну цифру, а статмодуль мне показывает совсем другое, и кто за это ответит?".
Всех таких спрашивальщиков автор отправляю ссылкой прямо сюда, без всяких пояснений. Потому что с некоторых пор автор высоко ценит каждое мгновение столь краткой человеческой жизни, и решительно не желает её растрачивать понапрасну, объясняя что-то тому, кто и не хочет воспринимать эти объяснения. Ок?
Кэширование: идеология, задание периода кэширования статистики.
Поскольку РНР не является наилучшим языком для работы с большими массивами данных, сам модуль статистики относится к ресурсоёмким приложениям. Посему, чтобы не напрягать хостера постоянно, обработка накопленной блогом статистики происходит периодически, запускаясь лишь несколько раз в сутки. Всё остальное время (в паузах) статмодуль отображает закэшированную информацию.
По умолчанию обновление кэша проистекает ежечасно, и полностью определяется соответствующей настройкой в сеттингах админки- про то, как туда попасть, мы уже неоднократно говорили.
В зависимости от реального трафика Вашего блога, Вам может потребоваться подкорректировать значение этой настройки. Но понимая, что за один цикл реиндексации статистики статмодуль обрабатывает 1000 хитов, за полные сутки он способен переварить 24 килохита, какового объёма трафика суждено иметь далеко не всем :)
Однако знайте, что процесс реиндексации статистики может случаться с указанной частотой, но не обязан это делать, если на страничках статмодуля нет никакого трафика. Например, если Вы не поставили линк на статистику с самого блога, поисковые боты ни за что не догадаются о её наличии.
Соответственно, нет трафика на страничке- нет и рогулярного переобсчёта статистики.
Обычно же ботовый трафик довольно существенен, и одного только ползания ботов по страницам статмодуля (ботов хлебом не корми, дай там попутешествовать) окажется совершенно достаточно для штатной работы всех страничек модуля статистики.
Знайте также, что при отсутствии достаточного трафика на странице статмодуля всегда можно ускорить переиндексацию статистики, использовав "волшебный" компонент URL'а, задаваемый в разделе "Настройки модуля статистики" Сеттингов, и далее подразделе "Важнейшие локальные базы статмодуля":
sim_sim=updateАдресовав свой браузер к URL'у stat_update.html вместо stat.html (или иному соответствующему урлу, если Вы поменяли эту настройку), вы увидите, как все графики и таблички обновляют информацию, то есть проистечёт реиндексация статистики.
Заселение нужных блоков в тело статмодуля:
Тело странички статистики начинается с трёх графиков. Это web-трафик, трафик на RSS канале, переходы к блогу с почтовых серверов. Вполне возможно, что состояние дел по некоторым из этих пунктов Вам не интересно, поэтому, попав в сеттингах админки в раздел "Настройки модуля статистики" (далее просто "сеттинги"), можно поиграться с соответствующими выпадающими формами (верхние три), и отключить ненужные Вам сущности.
Следом на морде статмодуля идёт неотключаемая таблица трафика с конкретных искалок- сколько хитов, сколько различных запросов, линк на просмотр более подробной информации по каждой такой искалке (со своим графиком по дням).
Если Вы не хотите никому показывать эту самую "подробную информацию по запросам", то творчески юзаете четвёртую выпадающую форму - она или разрешает конкретизацию трафика по каждой конкретной искалке, или запрещает.
Только учтите, что под авторизацией в админке Вы этого эффекта не увидите- админ имеет право ходить везде и видеть всё.
Затем могут присутствовать четыре таблички с указанием наиболее популярных документов, на которые поступает внешний трафик, списочек ресурсов, откуда он поступает, топ юзерагентов (тут мы увидим ботов различных поисковых систем, что наиболее интересно- ни один счётчик такой информации в полном объёме не предоставляет), а также табличку юзерагентов на RSS канале, дабы представлять себе, какой RSS ридер или сервис используют подписчики.
Включаются и отключаются все эти четыре таблички в подразделах информационной ёмкости статмодуля для админа и для серфера- как обычно, тупым вбиванием циферки в поле формы. Ноль отключает соответствующую табличку совсем.
При лицезрении подразделов "информационной ёмкости" Вам будет не совсем понятно назначение пятой формы ("список поисковых запросов"), так как мы говорим, что на морде статмодуля имеются лишь четыре отключаемых таблички. Это как раз то, что определяет число поисковых запросов, отображаемых на страничке конкретного поисковика, линк на которую будет содержаться в неотключаемой табличке искалок, ежели жизнь такого линка Вами санкционирована.
Вы можете как угодно изменять циферки для этих пяти записей "глубины таблиц", в том числе и обращать их в ноль, тем самым вообще убирая эти элементы из статистики.
Теперь следует рассмотреть некоторые более тонкие настройки.
Отсеивание случайных поисковых запросов:
Будьте готовы к тому, что странички, созданные модулем статистики, очень полюбятся поисковым ботам. Всё, что на этих страничках нарисуется, для паучков искалок очень важно. Так как динамично, и содержит кейворды, ссылки с которых ведут на поиск по блогу, порождая ещё более интересные искалкам странички.
Посему крайне важно, чтобы в документах, порождаемых модулем статистики, не фигурировало то, что не релевантно содержимому блога. Если там будет всплывать что попало, модуль статистики из источника целевого трафика поисковой природы превратится в свою противоположность.
У Вас есть два инструмента для отсеивания случайных поисковых запросов:
-
Отсев незначащих поисковых систем.
Поисковых систем в Сети очень много- сотни. Далеко не все они дают поисковый трафик, а потому требуется отделять те, что действительно полезны, от работающих кое-как. И, естественно, в статистике блога имеет смысл показывать только те поисковики с логами перехода с них, каковые действительно этого достойны. А вот если с искалки поступает один хит в месяц, и страничка истории поисковых запросов для этой искалки то создастся, то исчезнет, то никакой пользы от такой искалки Вам нет.
Посему в подразделе "Фильтры для отсева случайных запросов" есть пара полей:
- Минимальное число хитов c поисковика.
- Минимальное число различных запросов.
Если исходно все значения приравнены тройке (для определённости), то как только с поисковика поступят три хита с разными поисковыми запросами (то есть с искалки идёт нормальный, разнообразный трафик), статмодуль создаст персональную страничку для этой поисковой системы, и отобразит там поисковые запросы, удовлетворяющие этому и другим фильтрам.
При реальной эксплуатации блога эти значения не оптимальны- первый ключик ставить меньше пятёрки не рекомендуется, второй же зависит от того, по низкочастотникам Вы вылазите в серп, или по высокочастотникам. В первом случае пускай тоже будет пятёрка, во втором единица.
-
Более действенный механизм фильтрации случайных поисковых запросов, дополняющий вышеозначенный, состоит в том, чтобы указать минимальное число переходов по определённому кейворду для каждой искалки, начиная с которого этот кейворд станет отображаться статмодулем.
Это очень актуально, так как от какого-нибудь Яндекса в силу вот таких вот выкрутасов можете поиметь совершенно левые запросы про "скачать порнуху" и "варёз" при всём при том, что ничего подобного на Вашем блоге отродясь не было. Если такие кейворды попадут в отчёт статмодуля, то они начнут присутствовать на Вашем сайте, а так как и боты любят индексировать странички статмодуля каждый день, и рядовому пользователю Сети такие запросы очень по душе, то поимеете поисковый трафик на тему порнухи и варёза. Отчёты статмодуля будут загажены именно такими кейвордами, и получите вылезание в серп именно по ним.
Чтобы контролировать ситуацию, Вам необходимо обратить внимание на ключик "Фильтр случайных поисковых запросов". Смысл ключика прост- если запрос повторяется указанное там число раз, то можно предположить, что он не случаен, и с ним имеет смысл работать.
Мягкие баны:
Поскольку статмодуль умеет показывать источники трафика, может сложится ситуация, когда в качестве ссылающихся сайтов там присутствуют ресурсы, на самом деле не имеющие никакой ссылки на Вас, а занимающиеся так называемым попингуйством- генерирующие хиты на Ваш блог якобы посредством ссылки с себя.
Естественно, есть такая штука, как антипопингуйный полицай, врубающаяся самым нижним ключиком в разделе "Важнейшие настройки блога"
Антипопингуйный полицай избавит Вас от необходимости отслеживания содержимого блока "друзей сайта", автоматически проверяя входящие ссылки, а также контролируя, чтобы они при этом ещё и не были закрыты ноиндексом и нофалловом.
При этом не рекомендуется вообще отключать блок "друзья сайта", так как в нём получается довольно много ссылок с псевдоискалок, а каждый линк на страничку серпа псевдоискалки, где стоит ссылка на Вас, позволяет увидеть поисковикам этот виртуальный документ с совершенно не лишней Вам возвратной ссылкой.
Кроме того, Вы помогаете обнаружить поисковым системам небесполезные Вам сайты, о которых, возможно, поисковики ещё не знают. Что тоже Вам только на благо.
Однако, ввиду возможной запрещённости на Вашем хосте исходящих соединений, антипопингуйный полицай может и не работать. А вариант со сменой хостинга на нормальный Вас может не устроить.
И, если воспользоваться услугами антипопингуйного полицая не судьба, то Вам придётся заморочиться с разделом сеттингов "Мягкие баны".
Так что периодически смотрите, кто на Вас ссылается, и при обнаружении попингуя делайте простые шаги:
-
Добавляйте домен попингуя в соответствующую секцию указанного раздела.
-
Пробейте айпишник попингуя по его домену здесь: http://2ip.ru/domain-list-by-ip/
Занесите этот айпишник в предусмотренную разделом мягких банов секцию.Это забанит все домены в этом айпишнике сразу (попингуймены владеют десятками сайтов-попингуев, заселяемых на один и тот же аккаунт хостера- все они будут в одном айпишнике).
-
Имеет смысл внести этот айпишник и в список жёстких банов- в сеттингах есть и такой раздел.
Это предотвратит расход трафика блога на обработку запроса попингуя.
Жёсткие баны:
Сеттинги админки содержат раздел, так поименованный. В нём Вы можете:
-
Ограничить доступ к блогу по юзерагенту.
Например, отсечь какого-нибудь вредного бота или качалку. -
Блокировать обращение к блогу по http с айпишника или целой подсети.
-
Сделать то же самое, но для RSS канала блога.
Например, когда в айпишнике сидит сайт, который грабит Ваш контент с ленты, а Вы этого не хотите. -
Блокировать входящий трафик с указанных Вами доменов.
Если Вы платите за трафик сайта, и вдруг обнаружили, что он расходуется совершенно нерационально, потому как какие-то внешние ресурсы создают большую паразитную нагрузку, от которой Вам никакого толка не перепадает, посредством Жёстких Банов Вы можете пресечь любое нецелевое использование ресурсов Вашего сайта.
Когда придёт время, эту возможность Вы высоко оцените.
А как?
На самом деле настройки модуля статистики силами админки могут сотворить с этим модулем что угодно, но некоторые ваши вопросы, не нашедшие самостоятельного решения, отражены ниже.
-
Как сделать так, чтобы статистика поисковых запросов перестала творить дорвейчики и ссылаться на них?
Задача может быть решена с одного из двух концов, либо с обоих сразу.
-
Отключение Истории внешних поисковых запросов можно выполнить на странице Важнейших настроек, подразделе "Управление внешним видом блога", пункте "Количество кейвордов на странице истории поисковых запросов:"
Указав там ноль, Вы тем самым дезактивируете этот сервис вообще.
-
Ссылки с кейвордов статмодуля можно отключить, в "Настройках для тонкого тюнинга" раздела админки "Настройки модуля статистики" такой ключик:
Тип статистики (не трогайте): blog
изменив на что угодно.
После нажатия кнопки изменения ссылки с поисковых запросов снимутся, и перестанут куда-либо вести.
Соответственно, кольцо генерации целевого трафика разомкнётся.
Изменения будут видны не сразу, а по исчерпании времени кэширования.
-
-
Как обнулить "Историю поисковых запросов"?
Достаточно убить файл ./data/logs/search.db
-
Замечено, что степень детализации статистики меняется.
Действительно. И тут нужно понимать причину явления.
Поскольку мы не используем MySQL и прочие технологии (каждая из которых привлекает к работе серверный софт, на несколько порядков более сложный, чем сам скрипт блога, его использующий), то вынуждены следить, чтобы объём файлов, которыми оперирует движок блога, не выходил за лимит оперативки, предоставляемой хостером.
Ваш блог может получать трафик SE природы по тысячам разных вариантов запросов, но вовсе не факт, что статмодуль по прошествии некоторого времени (неделя или несколько дней) будет помнить каждый из них.
Статмодуль проанализирует плотность трафика по каждому кейворду, и благополучно позабудет те запросы, что явно носят случайный характер. Останутся только значимые данные.
Аналогичную операцию он проделает по отношению к рейтингу популярных постов, списку юзерагентов, листингу ссылающихся на Ваш блог внешних сайтов (и отдельных документов в них), и так далее- как только соответствующий раздел данных начинает разбухать сверх всякой меры, он тут же причёсывается под некую гребёнку с адаптивно регулируемым размером зубьев.
Конкретный механизм коррекции данных зависит от их объёма и структуры, и не может быть алгоритмически изложен.
К пункту номер 3 надо сделать пояснения:
Как ориентировать статмодуль на заточку Блога под определённую тематику?
Поскольку странички постов в идеальном манимейкерском блоге составляют ничтожную часть от общего числа документов, а их основная масса приходится на "белые дорвейчики", будьте готовы к тому, что поисковый трафик определяется тем, чего на сайте больше всего. А много там будет именно "белых дорвейчиков", оборудованных стронгами, имеющими нужную тошнотность правильных кейвордов, и ссылающихся на самые релевантные посты, передавая им свой вес.
Что тоже, кстати, полезно. Внутреннее ссылочное называется.
Но поскольку все эти хитрые странички рождаются по ссылочкам со статмодуля, и так попадают в индекс поисковиков, то их тематика (а следовательно, и структура поискового трафика) полностью контролируется настройками статмодуля.
Поэтому в жизни каждого блога есть критичный момент.
Читайте внимательно и запоминайте.
На самом начальном этапе, пока никакого серьёзного поискового трафика ещё нет, надо постараться, чтобы в "Истории поисковых запросов" фигурировало что-то действительно тематическое, то есть поисковые запросы про что Вы рады там видеть.
С этой целью не возбраняется попользовать "Мягкие баны", и вносить туда в самую последнюю формочку корни тех слов или сами словоформы, которые Вам кажутся ну вообще ни к селу ни к городу.
При этом, пожалуйста, отдавайте себе отчёт в том, что в поисковиках люди обычно изыскивают всяческую хрень. Вы будете очень разочарованы в людях, если надеетесь, что искать они там будут что-то высокодуховное. Обратите внимание, что именно в списке запрещённых кейвордов прописано по дефолту.
А вот когда с помощью карательной формочки из "Мягких банов" Вы соберёте коллекцию из правильных запросов, странички с ними (сам статмодуль в первую очередь) начнут собирать поисковый трафик на эту тему. Как говорится, Блог вступит в стадию самозатачивания под указанную тематику, и Ваша коллекция поисковых запросов будет гораздо богаче всяких там вордстатов.
Автор скрипта как-то раз умудрился всего одним постом про "определение местоположения по номеру сотового" заточить ЛастоБлог под этот запрос, собравший около 7000 всевозможных вариаций, и начавший кушать трафик с Яндекса порядка 1000-1500 хостов в сутки, причём трафика строго целевого.
Когда нечто подобное случится, и статмодуль начнёт избавляться от "лишних" запросов, Вам потребуется посетить раздел "Преференций", и оговорить там те кейворды или их части, запросы с которыми не должны пострадать ни при каких условиях.
Кстати, нелишним будет сделать это изначально.