Виталий Носков

Tggo.me — сервис для анализа эффективности внешнего трафика в Telegram. Telegram не предоставляет информацию о реферальных переходах, поэтому я реализовал механизм промежуточных страниц, стилизованных под Telegram, которые собирают данные о переходах, источниках и действиях пользователя до момента подписки.

Tggo.me - это личный пет-проект на котором я глубже разобрался с Telegram API, построил клиент-серверную архитектуру для получения данных из Telegram, начал изучение Python и разработал скрипт для работы с Telegram API. Проект позволил разобраться с организацией хранения и выборкой большого объема данных в MySQL, а также оптимизировать запросы. Проект работает с двумя базами данных, основная база - база сайта, вторая - база для хранения данных полученных из Telegram, статистических данных и данных telegram-бота. Для работы с БД используются ORM-классы ядра D7. Страницы пользователей/каналов, список сообщений канала используют самописные компоненты, в которых организован запрос данных и кеширование. Особенностью проекта является то, что он старается по минимуму делать запросы к Telegram, в первую очередь информация ищется в локальной БД, если она отсутствует или устарела, то тогда запрос направляется к Telegram. Для проекта так же был разработан функционал сбора и хранения статистики. Для сбора используется скрипт собственного счетчика на JS, который получает базовую информацию о визите и сохраняет на сервере. Потом эта информация агрегируется и выводится владельцам Telegram-каналов.

Публикации о проекте:

• Habr — Как я разрабатываю свой analytics-фреймворк для Telegram-каналов
• VC.ru — TGGO.ME: я расскажу откуда приходят ваши подписчики в Telegram
• Spark — Как измерить эффективность внешнего трафика в Telegram
• Tenchat — Не знал, откуда трафик в Telegram — пришлось сделать свой инструмент

Функциональность:

• Генерация ссылок вида tggo.me/username с поддержкой UTM
• Промежуточные страницы с кнопкой перехода и встроенным JS-трекером
• Сбор: UTM-метки, реферер, устройство, язык, IP, гео, поведение
• Асинхронная обработка и хранение статистики
• Интеграции с Google Analytics, Яндекс.Метрикой
• Telegram-бот для управления сбором данных и просмотра аналитики
• Публичные SEO-страницы с карточками каналов

Результаты:

• Сервис используется сотнями Telegram-каналов и маркетологов
• Позволяет точно отслеживать источники реального трафика
• Упрощает оценку эффективности Telegram-рекламы

Lee-Market — интернет-сервис, созданный для автоматизации управления товарами и заказами в социальных сетях.

Lee-Market — личный пет-проект на котором я реализовал возможность работы 1С-Битрикс с множеством сторонних БД, которые использовались для хранения информации о товарах пользователей сервиса. Эта реализация позволила не нагружать основную БД сайта, а так же не хранить миллионы записей в одной БД и осуществлять долгую выборку. Такой подход позволил изолировать данные клиентов друг от друга. Для хранения клиентских БД использовался отдельный MySQL-кластер, что позволяло отдельно регулировать серверные мощности для сайта и БД, а так же в случае необходимости развернуть дополнительные сервисы которые могли обрабатывать клиентские данные не завися от сервера сайта, к примеру доступ по API для мобильных приложений. Здесь же на проекте изучил глубокую интеграцию с платежными системами, в частности с ЮКассой, Робокассой и PayMaster, а так же работу со службами доставки СДЕК и Почтой России, суть заключалась в возможности подключения своих аккаунтов к сервису. Получил первый опыт в разработке мобильного приложения интернет-магазина для клиентов сервиса. В целом это был первый большой SaaS-проект за который я взялся и разрабатывал постепенно на протяжении 5 лет, который дал большой опыт в понимании как строить такие проекты, опыт в общении с клиентами, в решении их задач и потребностей, без ошибок и факапов не обошлось.

История проекта

Изначально сервис вырос из модуля «Товары ВКонтакте» для 1С-Битрикс, который публиковался в маркетплейсе CMS. Основной задачей было упрощение выгрузки товаров из каталогов CMS в социальные сети с автоматическим обновлением цен и наличия.

Функциональность

Загрузка товаров осуществлялась через XML-фид, выгружаемый с сайта. Внутренний каталог сервиса позволял:

• загружать несколько каталогов и привязывать их к разным магазинам;
• управлять товарами без привязки к сайту, используя сервис как централизованную систему;
• объединять товары из разных магазинов в одном каталоге.

Для соцсетей, не имеющих встроенной системы покупок, был разработан web-каталог с возможностью оформления заказа. Клиент попадал на страницу товара, где мог выбрать способ оплаты и доставки, а затем оплатить покупку через подключенные платежные системы. Оплата поступала напрямую владельцу магазина.

Позднее функционал каталога был доработан, позволив использовать его как полноценный интернет-магазин в виде PWA-приложения на собственном домене.

Ключевые возможности сервиса

• Импорт товаров (CSV, XML, Google Sheets).
• Управление товарами, SKU и их свойствами.
• Гибкая настройка цен (несколько цен для одного товара).
• Выгрузка товаров в соцсети (ВКонтакте, Одноклассники, Facebook).
• Интеграция с платежными системами (ЮKassa, Робокасса).
• Подключение служб доставки (СДЭК, Boxberry, Почта России).
• Поддержка подключения собственного домена и SSL.

Технические решения

Для удобства хранения данных каждый пользовательский аккаунт имел отдельную базу данных на выделенном MySQL-сервере. Это позволило избежать чрезмерного разрастания таблиц при хранении миллионов позиций товаров, их свойств и файлов.

Развитие и завершение проекта

В планах было создание универсального мобильного приложения, интегрированного с аккаунтом магазина, которое можно было бы развернуть за несколько дней. Была разработана тестовая версия, но проект не получил широкого распространения и, просуществовав 5 лет, был закрыт в 2024 году.

StatVC и StatDTF — это сервисы, созданные для авторов платформ VC.RU и DTF, позволяющие анализировать статистику публикаций и блогов.

Личный пет-проект который родился из личной проблемы, но как оказалось такая проблема есть не только у меня. В этом проекте была большая необходимость в мониторинге тысяч публикаций на сайтах, сбор данных по публикациям и агрегация этих данных в статистические показатели. Хранение данных было организовано во внешней MySQL БД, это позволяло организовать независимый сбор и выборку данных используя разные сервера. Для сбора данных использовалась очередь запросов, которая была разработана специально под этот проект, реализация была MySQL+PHP+Supervisor. Для работы за данными использовались ORM-классы ядра D7. Так же на проекте были реализован API-класс являющийся оберткой над API проекта, который позволял более гибко строить запросы для получения объемного количества данных (вместо нескольких запросов) и кешировать некоторые данные. Проект позволил выйти на связь с основателями сайтов vc.ru и dtf.ru, обсудить свои идеи и возможность сотрудничества, это был хороший опыт в выстраивании партнерских отношений. По итогу проект был закрыт из-за малого спроса.

Цель и возможности сервиса

Проект разрабатывался, чтобы помочь:

• Авторам — отслеживать показатели своих и чужих публикаций.
• Новичкам — изучать успешные статьи и разбирать стратегии продвижения.
• Опытным авторам — анализировать исторические метрики и улучшать свои результаты.

Сбор данных осуществлялся через открытое API VC.RU и DTF. Сервис фиксировал изменения ключевых показателей, включая лайки, комментарии и донаты, сохраняя их историю.

Техническая реализация

• Хранение данных: разработана структура таблиц MySQL, оптимизированная для работы с большим объемом быстро меняющихся данных. Основная база размещалась на выделенном сервере.
• Очередь задач: вместо стандартных брокеров использовалась кастомная очередь (MySQL+PHP+Supervisor), обеспечивающая гибкость и простоту администрирования.

Функционал сервиса

• Отслеживание динамики статистики по публикациям с сохранением исторических данных.
• Анализ роста подписчиков авторов и списка новых подписчиков.
• Мониторинг новых публикаций конкретного автора.
• Фиксация лайков, дизлайков и комментариев (включая информацию о пользователях, оставивших реакцию).
• Отслеживание донатов авторам.
• Генерация тепловых карт публикаций и активности аудитории.
• Построение графиков изменений ключевых метрик за заданный период.

История проекта

Сервис получил популярность среди авторов, и была внедрена платная подписка на данные. Однако спустя год VC.RU и DTF обновили API и внедрили собственную систему аналитики, что сделало дальнейшее развитие StatVC и StatDTF нецелесообразным. В результате проект был закрыт.

Публикации о сервисе

• Я вернул статистику для авторов VC.RU
• Как отслеживать статистику блогов и публикаций на VC?
• Релиз инструмента статистики StatDTF

BuyBase — это интернет-сервис, специализирующийся на сборе, структурировании и продаже открытой информации из сети. Проект ориентирован на бизнес-аналитику, маркетинг, OSINT-исследования и другие направления, требующие работы с большими объемами данных.

Пет-проект который позволил разобраться в сборе и хранении больших объемов данных, а так же потоковом парсинге сайтов (постоянном мониторинге нескольких сайтов). Научиться разворачивать поисковый сервер на базе Manticore, организовав внутреннее API для работы с поиском. Разобрался с основами работы в MongoDB. Разработал скрипт ротации прокси-серверов. В сервисе используется хранение данных во внешней БД. Доступ к данным осуществляется через ORM-классы ядра D7. Проект пока закрыт от публичного доступа из-за законодательных вопросов.

Основная цель проекта

Создать универсальный источник структурированной информации, собранной из открытых источников, а также через API сайтов, предоставляющих такие данные. BuyBase позволяет компаниям и исследователям получать готовые базы данных для различных задач — от конкурентной разведки до анализа рынка.

Архитектура и техническая реализация

Проект построен на распределенной системе сбора и обработки данных, включающей:

• 12 микро-серверов для распределения нагрузки при парсинге, что позволяет собирать информацию с множества сайтов одновременно, не создавая избыточной нагрузки на источники.
• Поисковый сервер с развернутым Manticore Search для мгновенного поиска по базе.
• Выделенный MySQL-сервер для хранения структурированных данных.
• Сервер сайта, обеспечивающий удобный доступ к информации и управление процессами сбора.

Такой подход позволяет автоматизировать сбор и обновление данных, а также минимизировать риски блокировки по IP. Для обхода защит на каждом микро-сервере используется ротация прокси из заранее подготовленного пула.

Сбор информации осуществляется через индивидуальные парсеры под каждый источник. Они не только извлекают новые данные, но и актуализируют уже имеющуюся информацию, что гарантирует высокую точность и достоверность базы.

Обновление данных и подготовка баз

• Ежедневно производится обновление данных в поисковом индексе. Для оптимизации работы реализована пакетная выгрузка, а не RT-индексирование.
• Раз в неделю формируются готовые базы данных в форматах CSV и JSON, которые затем архивируются и подготавливаются для продажи.
• Вся система выстроена таким образом, чтобы процесс — от сбора данных до финальной продажи — был полностью автономным.

Объем и масштабы проекта

На данный момент в базе содержится:

• 300+ миллионов записей о доменах.
• 25+ миллионов записей о компаниях.
• 1+ миллион записей о товарах.

Statut.ru — это современный онлайн-центр юридического образования, предлагающий актуальные программы обучения, удобный формат записи на курсы, покупку видеолекций спикеров и интеграцию с популярными платформами для онлайн-обучения. Коммерческий проект разработанный для клиента по заказу веб-студии.

Функциональные возможности

На сайте пользователи могут:

• Ознакомиться с доступными программами обучения и предстоящими мероприятиями.
• Записаться на курсы и оплатить обучение.
• Приобрести записи лекций ведущих спикеров.
• Получить информацию о преподавателях и экспертных спикерах.

Гибкая система регистрации и работы с пользователями

Сайт разработан с учетом разных типов пользователей:

• Частные лица могут регистрироваться, оформлять заказы и получать доступ к обучающим материалам.
• Организации могут записывать на обучение своих сотрудников, предоставляя им индивидуальные аккаунты с привязкой к компании. Это позволяет компании управлять корпоративными обучающими процессами и получать доступ ко всем приобретенным материалам.

Уникальные решения для оформления заказов

Одним из ключевых технических вызовов стала необходимость независимого оформления заказов на курсы и видеоматериалы, так как они могут иметь разные способы оплаты и оформляться на разные организации.

Для этого была разработана собственная корзина, расширяющая стандартный функционал CMS:

• Полностью кастомизированный процесс оформления заказа, включающий возможность добавления сотрудников прямо в процессе покупки.
• Автоматическая проверка и создание аккаунтов сотрудников при необходимости.
• Отправка уведомлений зарегистрированным пользователям.
• Формирование счета на оплату и автоматическая генерация юридических документов (договоров и актов) на основе заранее подготовленных шаблонов в DOC/PDF.

Интеграция с образовательными и медиаплатформами

После оплаты пользователи автоматически регистрируются на платформе Webinar.ru (сейчас МТС Link) и получают приглашения на соответствующие курсы.
Для хранения видео сайт интегрирован с BoomStream, который обеспечивает защищенное хранение контента и онлайн-стриминг лекций.

Развитие проекта

Сайт активно развивается, привлекая новых пользователей и организации. Интеграция новых образовательных форматов и совершенствование технической платформы делает Statut.ru удобным инструментом для юридического обучения.

В рамках работы над проектом выполнялись задачи по восстановлению и модернизации системы после полной утери данных, включая развертывание серверной инфраструктуры, восстановление бэкенда на Битрикс, а также настройку и интеграцию фронтенда на NuxtJS через REST API.

Техническая реализация

• Восстановление проекта:

  • Развертывание нового сервера.
  • Восстановление из бэкапа данных и конфигураций.
  • Перенос и настройка Битрикс на сервере.

• Разработка и настройка фронтенда:

  • Развертывание NuxtJS-приложения для клиентской части.
  • Оптимизация взаимодействия фронтенда и бэкенда через REST API.

• Личный кабинет для продавцов:

  • Разработка интерфейса и логики управления заказами.
  • Реализация механизма загрузки и обработки прайс-листов, автоматическая синхронизация каталога запчастей.

Проект успешно восстановлен и модернизирован, обеспечена стабильная работа всех его компонентов.

В рамках проекта выполнялась разработка и оптимизация функционала личного кабинета, интеграция с 1С, а также автоматизация процессов оформления заказов и мониторинга цен конкурентов.

Техническая реализация

• Разработка личного кабинета:

  • Реализация интерфейса и логики для работы с заказами.
  • Автоматическая передача данных о заказах, поставках и возвратах в 1С.
  • Генерация и обработка документов (счета, накладные, акты возврата).
  • Обмен документами между клиентом и компанией через личный кабинет с передачей их в 1С

• Оптимизация процесса оформления заказов:

  • Улучшение механики выбора товаров и условий поставки.
  • Настройка логики ценообразования и расчета доставки.
  • Автоматизация формирования документации на поставку.

• Система мониторинга цен конкурентов:

  • Разработка парсера цен с сайтов конкурентов.
  • Обогащение данных перед передачей в 1С.
  • Настройка механизма анализа цен и обновления прайс-листов.

Проект успешно модернизирован, обеспечена стабильная интеграция с 1С, а также реализована автоматизация конкурентного анализа.

Проект представляет собой адаптивный веб-сервис с интеграцией API Кинопоиска для автоматического получения актуальной информации о фильмах, афише показов и их характеристиках.

Техническая реализация

• Адаптивная верстка и разработка фронтенда

  • Полноценная поддержка мобильных устройств.
  • Оптимизация под PWA (Progressive Web App), позволяющая использовать сайт как установочное веб-приложение.

• Интеграция с Кинопоиском по API

  • Автоматическое обновление информации о фильмах (постеры, описания, трейлеры).
  • Обогащение данных афиши.

• Генерация афиш и автоматический постинг в соцсети

  • Скрипты для создания афиш в виде изображений (с генерацией постеров и информации о сеансах).
  • Интеграция с ВКонтакте и Одноклассниками для автоматического постинга афиш киносеансов.

• Генерация XML для Турбо-страниц

  • Автоматическое создание структурированных XML-файлов для Яндекс Турбо-страниц, ускоряющих загрузку контента.

Проект разработан с упором на автоматизацию обновления данных, кроссплатформенность и удобство распространения информации о кинопоказах.

HTTP Monitoring Bot — это телеграм-бот для автоматического мониторинга доступности веб-сайтов с мгновенными уведомлениями о сбоях. Бот анализирует доступность ресурсов, отслеживает срок действия SSL-сертификатов, выполняет контроль изменений DNS-записей и предоставляет Whois-информацию о домене.

Пет-проект позволивший научиться разрабатывать Telegram-боты и взаимодействовать с Telegram Bot API. Проект реализован только на PHP без интеграций и связкой с Битрикс.

Техническая реализация

• Бэкенд полностью на PHP

  • Использование Telegram Bot API - PHP SDK (irazasyed/telegram-bot-sdk) для взаимодействия с Telegram.
  • Оптимизированная обработка запросов для минимизации нагрузки на сервер.
  • Использование многопоточного подхода для параллельной проверки нескольких сайтов.

• 4 способа проверки доступности сайтов:

  1. Отправка ICMP (ping) запроса для проверки доступности сервера на сетевом уровне.
  2. Отправка HTTP-запроса с анализом кода ответа (например, 200 OK, 503 Service Unavailable).
  3. Запрос к DNS-серверу с отслеживанием изменений IP-адреса домена.
  4. Проверка срока действия SSL-сертификатов с уведомлением о скором истечении.

• Контроль SSL-сертификатов

  • Автоматическое отслеживание срока действия SSL-сертификатов.
  • Уведомления о скором истечении и возможных проблемах с цепочкой доверия.

• Whois-запросы

  • Получение информации о домене, включая регистрационные данные и срок действия.

• Мониторинг изменений IP-адреса

  • Проверка DNS-записей и уведомление при изменении IP-адреса домена.

• Мультиязычная поддержка

  • Возможность работы на нескольких языках.

• Обязательная верификация домена

  • Для предотвращения злоупотреблений требуется подтверждение владения доменом перед его добавлением в мониторинг.

Бот разработан для обеспечения удобного и надежного мониторинга сайтов, позволяя пользователям своевременно получать информацию о проблемах и предотвращать простои ресурсов.

Описание проекта:

Разработка агрегатора аптечных товаров с возможностью онлайн-бронирования, проверки цен и наличия в аптеках города, а также построения маршрутов до нужной точки на карте.

Функциональные возможности:

• Агрегация данных из 10 крупнейших аптек города, с ежедневным обновлением информации о наличии и ценах.
• Интерактивная карта, позволяющая легко находить ближайшие аптеки с нужными товарами.
• Сопоставление товаров по штрих-кодам и полуавтоматический матчинг товаров по названиям.
• Гибкая корзина покупок, отображающая полную и частичную доступность товаров в разных аптеках.
• Сортировка аптек по цене и расстоянию до пользователя.
• Разработка чат-ботов в Telegram и Viber, позволяющих быстро проверять наличие медикаментов.

Технические аспекты:

• Интеграция с аптечными сетями через API и обмен данных в реальном времени.
• Обработка больших объемов данных, нормализация и фильтрация.
• Разработка алгоритмов сопоставления аналогичных товаров с учетом возможных различий в названиях.

Проект успешно работал, однако был закрыт из-за ухода крупных аптечных сетей.