Снегоочистительная машина: Снегоуборщик аккумуляторный GreenWorks 40 В, 4 Ah, 51 см.(ЗУ в комплекте)

Содержание

Снегоуборочная машина АКПЩ-1

Снегоуборочная машина АКПЩ-1 предназначена для качественного удаление снега, слякоти, мусора и продуктов разрушения искусственных покрытий со всех искусственных покрытий аэродрома во всех диапазонах рабочих скоростей и без опасности повреждения самой поверхности искусственного покрытия, установленных в него огней углубленного типа и встроенных датчиков.

Машина состоит из:

  • снегоуборочного отвала;
  • седельного тягача;
  • щеточно-продувочной установки (полуприцеп).

Машина оснащена следующими рабочими органами:
  • снегоуборочным отвалом;
  • снегоуборочной щеткой;
  • продувочным устройством.

Снегоуборочный отвал располагается спереди тягача, щеточный узел – в межосевом пространстве тягача и полуприцепа, продувочное устройство – после щеточного узла перед осью полуприцепа. Машина обеспечивает как независимое, так и синхронное управление снегоуборочным отвалом, щеткой и продувочным устройством. Выбор, включение и выключение функций машины обеспечивается в любом рабочем состоянии машины, в том числе во время движения, а также заранее. Органы управления и контроля всеми функциями машины размещаются в кабине оператора. Управление переключением / включением / выключением функций осуществляются через тумблеры, кнопки и джойстик (без применения сенсорных экранов). Машина рассчитан на эксплуатацию при температуре окружающего воздуха от -40 до +52 град С (для нормальной эксплуатации в зимний период установлен зимний пакет, включающий предпусковой подогрев двигателей и топливных фильтров, стояночный подогрев двигателей и топливных фильтров, гидравлических баков, зарядка аккумуляторных батарей 220В, разъемы Nato).

Технические характеристики

  • Модель
    Базовый седельный тягач КАМАЗ-54601 4х4
    Подвеска параллелограмм с гидравлическим контрдавлением
    Производительность техническая, м3/ч 215000
    Тип привода гидравлический от КОМ тягача
  • Вспомогательный двигатель
    Двигатель Дизельный, MTU, модель OM 501 LA, 6 цилиндровый, V образный, объемом 12л, стандарта Tier 3/Stage 3A
    Максимальный крутящий момент, Нм при 1300 об/мин 2000
    Номинальная мощность, кВт (л/с) при 1800 об/мин 260 (354)
  • Габаритные размеры, мм
    Длина, мм 19545
    Ширина, мм 4908
    Высота, мм 3420
    Щеточно-продувочная установка (полуприцеп) 11035х2525х2565
  • Отвал
    Количество секций 6
    Модель ЕР6
    Ширина отвала, мм 5830
    Ширина уборки, мм 4538 (35°)
  • Центробежный вентилятор (продувочная система)
    Зона продува, м до 15 (от продол. оси машины)
    Привод гидравлический
    Производительность продувочной системы, м3/сек. бесступенчатая до 11
    Скорость выдуваемого воздуха, м/сек 140
  • Щеточная система
    Диаметр разворота, мм 17350
    Диаметр щетки, мм 1170
    Длина щетки, мм 4160
    Привод гидравлический
    Привод вращения один гидравлический мотор
    Скорость вращения щетки, об/мин 0-720
    Ширина уборки, мм 3600 (30°)/ 3400 (35°)

Вся представленная на сайте информация, касающаяся технических характеристик, наличия на складе, стоимости товаров, носит информационный характер и ни при каких условиях не является публичной офертой, определяемой положениями Статьи 437(2) Гражданского кодекса РФ.

Бензиновая снегоуборочная машина SB-1170LTE - Verton

Бензиновый снегоуборщик Verton ice SB 1170 LTE на гусеничном ходу - надежный помощник в борьбе с сугробами. Агрегат подходит для расчистки большой по площади территории перед загородным коттеджем, на парковке, дачном участке, особенно на неровной поверхности. Машина легко справляется с мокрым и слежавшимся снегом в суровых климатических условиях. Максимальная комплектация из линейки снегоуборщиков Verton. Мощный двигатель 11 л.с., фара и электростартер, гусеницы обеспечивают максимальное сцепление с заснеженным грунтом и исключают скольжение, что дает возможность убирать тяжелый снег, а легкость разворота обеспечивается блокировкой дифференциала. Подогрев рукоятей позволит комфортно эксплуатировать снегоуборочную машину даже в сильный мороз. В конструкции снегоуборщика используются только подшипники, а не втулки. Шестерня редуктора шнека выполнена из бронзы, что в десятки раз увеличивает ресурс снегоуборщика.
Преимущества

- Мощный двигатель 8,1 кВт/11 л. с. и рабочим объемом 337 куб.см адаптирован к использованию в суровых зимних условиях.
- Экономный расход топлива благодаря использованию технологии с верхним расположением клапанов (OHV).
- Интуитивно понятная панель управления позволяет регулировать направление и силу выброса снега, изменять скорость движения.
- Гусеничный привод делает устройство маневренным даже в горной местности.
- Управление одной рукой, легкость разворота обеспечивается блокировкой дифференциала.
- Шнеки-ледорубы увеличенного диаметра способны захватить снежный сугроб высотой 54,5 см, при этом ширина захвата составляет 70 см, а дальность выброса варьируется от 1 до 17 метров.
- Восемь передач (6 передних, 2 задних) позволяют выбрать оптимальный скоростной режим в зависимости от степени обледенения и высоты сугробов.
- Высота ковша меняется в зависимости от типа обрабатываемой поверхности.

- Экстренная остановка двигателя при низком уровне масла исключает случайную поломку.
- Для облегченного пуска в 30-ти градусный мороз предусмотрен электрический стартер.
- Управлять снегоуборщиком можно без перчаток, для этого предусмотрен подогрев рукояток.
- Защита металлического корпуса от сквозной коррозии достигается благодаря химической гальванизации и покрытию молотковой эмалью.
- Яркий светодиодный фонарь хорошо освещает рабочее пространство ночью.

Как выбрать снегоуборщик для дачи и дома: бюджетный и недорогой

Снегоуборщик — незаменимая техника для дачи. С его помощью можно быстро расчистить большую территорию от снега. Компактное и экономичное оборудование позволяет сохранить силы владельцу участка или персонала компании и быстро справиться даже с серьезными сугробами. Как выбрать снегоуборщик, если современные производители предлагают огромный выбор моделей с различным функционалом и характеристиками?

Чтобы ответить на вопрос, какой снегоуборщик лучше, необходимо знать их основные параметры. Ключевыми из них являются:

  • Тип двигателя.
  • Мощность двигателя.
  • Тип привода.
  • Объем топливного бака.
  • Рабочая ширина захвата.
  • Наличие самоходного устройства.

Для многих покупателей немаловажными являются и следующие параметры:

Какой выбрать тип двигателя


    Бензиновый снегоуборщик — имеет хорошую мощность, полную автономность и высокую производительность. Соответственно, стоит дорого и при поломке потребует дорогостоящего ремонта. В свою очередь, топливные двигатели делятся на 2 типа:
      • 2-х тактные — более легкие, компактные, маневренные, но менее мощные.
      • 4-х тактные — тяжелые, высокопроизводительные, рассчитанные на большие объемы слежавшегося снега и льда.
Электрический снегоуборщик — запитывается от электросети. Поскольку в такой технике не предусмотрены аккумуляторы, для уборки территории большой площади потребуется очень длинный шнур или удлинитель в катушке.
По мощности и производительности электрические снегоуборщики существенно уступают бензиновым, зато стоят они дешевле.

Модели снегоуборщиков с бензиновым двигателем могут оснащаться коробкой передач. Это очень полезная опция, которая позволяет намного повысить эффективность уборки снега и удобство управления, но такая техника обойдется дороже. Также для переключения скоростей в дорогих образцах может присутствовать вариатор.


Какая мощность двигателя оптимальна

Чем мощнее двигатель снегоуборщика, тем лучше. Ориентироваться можно на следующие параметры:

  • 5-6 соток — 6 л. с.
  • ≦1,5 га — 8 л. с.
  • ≧2 га— 10 л. с.


Стоимость снегоуборочной техники напрямую зависит от её мощности, поэтому для обслуживания небольшой территории не нужно покупать мощный снегоуборщик и переплачивать за него деньги.

Важные характеристики снегоуборщиков

Самоходность

  • Самоходный снегоуборщик — способен очистить большую территорию даже от залежавшегося снега.
    Едет техника сама, для управления необходимо применять минимум усилий, координируя лишь направление движения. Она неприхотлива к условиям эксплуатации — справится с большими сугробами при сильном морозе и ветре. Самоходные снегоуборочные машины имеют большую мощность и расширенный набор функций — выброс снега осуществляется на большое расстояние (до 15 м), может присутствовать усилитель руля, подогрев ручек, фары для работы в темное время суток и т. д.
  • Несамоходный снегоуборщик имеет более скромные характеристики, но не лишен и преимуществ. Он оснащен в большинстве случаев безопасным резиновым шнеком, который можно использовать для чистки дорожек с различными покрытиями. Дальность выброса снега таких моделей — не более 5 метров. Несамоходная снегоуборочная техника оптимальна для загородных участков небольшой площади. Благодаря легкости конструкции несамоходными снегоуборщиками легко управлять — с уборкой снега справятся даже пожилые люди и подростки. Маневренность оборудования позволяет убирать сугробы в труднодоступных местах.
    На рельефных участках таким снегоуборщиком трудно управлять  — необходимо прилагать усилия, чтобы толкать его.

Какой тип привода выбрать

  • Гусеничный снегоуборщик — оптимальный вариант для неровных площадок с горками, ступеньками, бордюрами и прочими препятствиями. Гусеницы обеспечивают хорошее сцепление на наклонных поверхностях.
  • Колесный — маневренный вариант, который позволяет легко делать повороты и быстро очищать территорию. Снегоуборочная машина на колесном ходу наиболее универсальна и проста в обслуживании.

Какой желоб для выброса снега лучше

  1. Пластмассовый — доступный вариант, который часто встречается в бюджетных моделях. Единственное преимущество такого желоба — он не дребезжит во время работы. Если снег мокрый, то при высокой скорости отбрасывания пластиковый желоб может попросту оторваться.
  2. Металлический — устанавливается на более дорогих моделях. Он весит больше, но зато надежнее. Единственный недостаток — возможно дребезжание во время отбрасывания снега.


Ширина ковша
  • Широкий — увеличивает продуктивность уборки снега в разы. Снегоуборщиками с широкими ковшами удобно убирать большие пространства. Наибольшим диапазоном ширины ковша (70-90 см) обладают самоходные снегоуборочные машины
  • Узкий — небольшая продуктивность, зато высокая маневренность. Такие снегоуборщики  могут убирать даже труднодоступные участки, что особенно актуально на даче. Малая ширина ковша (50-70 см) чаще всего встречается в несамоходных снегоуборщиках.


Чем хорош зубчатый шнек
  • Прорезиненный — чаще всего устанавливается на несамоходные снегоуборочные машины. Он хорошо захватывает снег и при этом не повреждает покрытие площадки.
  • Не прорезиненный — способен измельчать даже уплотненный снег и даже лед. Такие шнеки имеют рисунок и оснащены острыми зубцами.

Функция электрозапуска

Электрозапуск - очень удобная опция, если снегоуборочная техника для дачи хранится в неотапливаемом помещении. Даже при сильном морозе электрозапуск позволяет мгновенно запустить двигатель.


Фирма-производитель

Как и при выборе любой другой техники, при покупке снегоуборщика обращают внимание на известность бренда. Фирма, которая давно завоевала репутацию качеством своей продукции, вряд ли подсунет кота в мешке. Наиболее популярные бренды производителей снегоуборочной техники:

  • Craftsman — качественная техника из США. Оптимальна по соотношению цена/качество.
  • MTD — бюджетная техника с неплохим качеством производства США.
  • Huter — недорогие электрические и бензиновые снегоуборщики немецкого производства.
  • Cub Cadet — профессиональная снегоуборочная техника производства Германии.
  • AL-KO — популярный бюджетный бренд снегоуборщиков. В ассортименте есть электрические и бензиновые модели.
  • Stiga — недорогие и качественные снегоуборщики из Швеции
  • Patriot — российский производитель снегоуборочной технике. В ассортименте имеются бюджетные модели для любителей и профессионалов.


Подводим итоги

При выборе снегоуборочной техники необходимо определиться, в каких условиях она будет эксплуатироваться. Если это большая территория с толстым слоем снежной подушки, то лучше обратить внимание на высокопроизводительные модели на основе бензинового двигателя. Лучше, если это будет 4-тактный мотор с трансмиссией (коробкой передач). Если позволяет бюджет, рекомендуем выбрать самоходную машину.

Если у вас загородный дом или дача, то вполне подойдет несамоходный колесный снегоочиститель с небольшим ковшом. Если бюджет ограничен, можно остановить свой выбор на электрической модели.

Обзор снегоуборщиков 2015/2016

 

 

Снегоуборщики MTD и Cub Cadet

Наши преимущества

  • Фирменный магазин МТД
  • Официальный дистрибьютор
  • Официальная гарантия
  • Авторизованный сервис
  • Программа лояльности

Снегоуборщики

Линейка снегоуборочной техники MTD, Cub Cadet и WOLF-Garten, представленная в интерне-магазине официального дистрибьютора в Центральном регионе России обеспечивается официальной гарантией на всю продукцию от 2 лет. Мы предлагаем на Ваш выбор модельный ряд снегоуборщиков MTD - лучшее сочетание цены и качества. Снегоуборщики Cub Cadet - это иновационные запатентованные технологии, которые обеспечивают высокую производительность и повышенный  комфорт в эксплуатации.

Всего найдено: 10

Ширина захвата 61 см
Дальность выброса снега 12 м
Мощность двигателя 5,3 л. с.
Передачи вперед/назад 6/2
Гарантия производителя 3 года

Доставка РФ -0р!

Ширина захвата 66 см
Дальность выброса снега 14 м
Мощность двигателя 7,3 л.с.
Передачи вперед/назад 6/2
Гарантия производителя 2 года

Доставка РФ -0р!

Ширина захвата 61 см
Дальность выброса снега 12 м
Мощность двигателя 5,4 л. с.
Передачи вперед/назад 6/2
Гарантия производителя 2 года

Доставка РФ -0р!

Ширина захвата 61 см
Дальность выброса снега 12 м
Мощность двигателя 5,3 л.с.
Передачи вперед/назад 6/2
Гарантия производителя 3 года

Доставка РФ -0р!

Ширина захвата 66 см
Дальность выброса снега 14 м
Мощность двигателя 7,3 л. с.
Передачи вперед/назад 6/2
Гарантия производителя 2 года

Доставка РФ -0р!

Ширина захвата 76 см
Дальность выброса снега 14 м
Мощность двигателя 10,1 л.с.
Передачи вперед/назад 6/2
Гарантия производителя 2 года

Доставка РФ -0р!

Ширина захвата 66 см
Дальность выброса снега 18 м
Мощность двигателя 10,6 л. с.
Передачи вперед/назад 6/2
Гарантия производителя 3 года

Доставка РФ -0р!

Ширина захвата 71 см
Дальность выброса снега 18 м
Мощность двигателя 10,6 л.с.
Передачи вперед/назад 6/2
Гарантия производителя 3 года

Доставка РФ -0р!

Ширина захвата 76 см
Дальность выброса снега 18 м
Мощность двигателя 11,8 л. с.
Передачи вперед/назад 6/2
Гарантия производителя 3 года

Доставка РФ -0р!

Ширина захвата 76 см
Дальность выброса снега 18 м
Мощность двигателя 11,8 л.с.
Передачи вперед/назад 6/2
Гарантия производителя 3 года

Доставка РФ -0р!

Категории снегоуборочных машин (снегоуборщики)

По производителю снегоборщиков

  • MTD американский бренд, производство в Венгрии. Простые и надежные в эксплуатации, они идеально пожходят для коммунальных служб или организаций. Гарантия - 2 года.
  • CUB CADET американский бренд, производство в США и Венгрии. Комфорт, производительность и инновационные технологии - для тех, кто любит все делать сам. Гарантийный срок 3 года!
  • WOLF-Garten немецкий бренд, производство в Германии, Венгрии и Китае. Гарантийный срок 3 года!

По типу шнека снегоуборщика

Одноступенчатые модели выбирают для работы с рыхлым или только что выпавшим снегом на ограниченных территориях или при использовании на поверхностях, которым требуется щадящая уборка. Они небольшие, мало весят. Движение происходит за счет работы шнека, которые загребает и выбрасывает снег. Такие снегоуборочные машины выпускаются без крыльчатки, а прорезиненная накладка дает возможность чистить тротуарную плитку или брусчатку. Стоимость таких машин существенно ниже.

Снегоуборочные машины с духступенчатым шнеком работают в два этапа. Вначале шнеки загребают снег и измельчают его, далее он идет на крыльчатку и выталкивается воздухом в нужном направлении. Двухступенчатые уборщики откидывают снег намного дальше, чем одноступенчатые. Также они отличаются повышенной мощностью и являются более производительными. Их применяют для расчистки больших заснеженных площадей.

Трехступенчатые снегоуборочные машины обеспечивают повышение производительности до 30% при одинаковой мощности снегоуборщиков.

По типу двигателя снегоуборщика

По типу привода снегоуборщика

По типу запуска двигателя снегоуборщика

По типу ходовой части привода снегоуборщика

  • Колесные для ровных горизонтальных поверхностей.
  • Гусеничные для работы под уклоном и в тяжелых условиях

В каталоге нашего магазина вы можете выбрать снегоуборочные машины лучших производителей. Все они отличаются превосходным качеством, высокой производительностью и надежностью. Если вы затрудняетесь в выборе - позвоните и мы поможем Вам! 

8 (800) 777-32-98

Популярное в категории:   Бензиновые MTD    Самоходные MTD    

Аренда снегоуборочной техники, цены на прокат с доставкой по Москве

Ручная снегоуборочная техника популярна сегодня у многих собственников частных домов и коттеджей. Такие устройства эффективно захватывают снег и отбрасывают его в сторону. С их помощью можно забыть о проблеме снежных завалов возле дома и гаража в зимнее время года.

Типы снегоуборочной техники:

Технику для уборки снега можно разделить на самоходную и на ручной тяге. Самоходное оборудование движется за счет работы установленного двигателя, человеку нужно лишь направлять машину без приложения значительных физических усилий. Ручные устройства необходимо передвигать по участку самостоятельно. Они менее эффективны и неудобны в использовании.Оборудование отличается высокой функциональностью. Даже простая снегоуборочная техника способна справится с большими сугробами высотой до 80 см.

Также снегоуборочная техника разделяется по типу двигателя на:

  • Электрические. Используются для очистки небольшой площади от мягкого, не успевшего замерзнуть снега. Ограниченная функциональность и мобильность.
  • Бензиновые. Автономные и функциональные устройства, позволяющие выполнять широкий спектр задач по уборке снега в любую погоду.

Преимущества аренды:

Снегоуборочная техника – оборудование, которое требуется человеку не постоянно и даже не каждую зиму, а только при возникновении явных проблем со снегом. Потому приобретать ее обычно не имеет смысла, намного правильнее взять в аренду снегоуборочную машину, когда она действительно нужна.

Как арендовать снегоуборочную технику:

  1. Выбрать подходящее по характеристикам оборудование и определить комплектацию.
  2. Указать необходимый срок аренды оборудования. Важно! При увеличении срока, стоимость аренды уменьшается.
  3. Перейти в корзину и указать требуемую для подтверждения заказа контактную информацию.
  4. Далее работаем мы - связываемся с Вами и подтверждаем заказ. Согласовываем требуемое время и способ получения оборудования.

При возникновении вопросов, Вы всегда можете связаться с нами по телефону или воспользоваться формой обратной связи. Мы с удовольствием поможем вам разобраться в ассортименте сайта и сделать правильный выбор!

Заказать снегоуборочную технику в аренду можно по телефону +7 (495) 222-65-85

Снегоуборочные машины для дачи и дома

Многие ждут зиму, но не любят снег, так как вынуждены его постоянно расчищать. Такая активность долгая и утомительная, она может испортить настроение на целый день. Если вы хотите сделать его приятнее и легче, рекомендуем приобрести уборочную технику. Она подходит как для дома или дачи, так и для профессионального использования, заменяет метлу и лопату.

Снегоуборочные машины – недешевое удовольствие, поэтому выбирать их нужно тщательно, чтобы не переплатить лишнего. Перед покупкой определитесь, какую площадь вы будете убирать при помощи такой техники, какой функционал вам необходим, сколько времени вы планируете работать без остановок. Если купить такого помощника, вы сможете оперативно привести в порядок свое владение, расчистить проходную дорожку от снежных осадков.

Подбирайте исходя из территории, на которой придется работать. Для небольших (до 100 м2) подходят электрические снегоуборщики и несамоходная снегоуборочная техника. Она компактная, отлично справляется со свежевыпавшим снегом. Отличаются мобильностью и доступной ценой.

Самоходные бензиновые модели созданы для больших местностей. Они смогут удалить даже сугробы. Если вам нужна маневренность, то выбирайте гусеничные машины, колесные хуже проходят сложные места.

Типы снегоуборочных машин для дома и дачи:

  • Электрические;
  • Аккумуляторные;
  • Самоходные;
  • Несамоходные;
  • Гусеничные.

Технические характеристики снегоуборочной техники:

Двигатель. Приспособлен к отрицательным температурам.

  • Электродвигатели – экономичны в обслуживании, не вредят окружающей среде, тихие. Такие снегоуборщики лучше подходят для бытовых нужд.
  • Бензодвигатели – выдерживают высокие нагрузки, мощнее, не боятся длительной эксплуатации.

Запуск бензиновой машины.

  • Ручной – приводится в действие рычагом, считается самым надежным.
  • Электрический – запускается электростартером, очень комфортный.

Захват. От этого параметра зависит, как быстро и продуктивно вы справитесь с поставленными целями. Снегоуборочные машины для дома и дачи должны иметь ширину ковша 40-70 см, высоту – до 50 см. У техники для профессионалов эти параметры гораздо выше, что сказывается на цене.

Дальность выброса. Эта функция позволяет моментально избавляться от ненужных осадков, путем их отброса в сторону. В дешевой снегоуборочной технике дальность может составлять 1,5-4 м, в дорогой более 10 метров.

Подогрев руля. Полезное дополнение, делающее рабочий процесс комфортнее для пользователя. С ним ваши руки будут всегда в тепле, что важно при длительной эксплуатации и существенно пониженной температуре. Не забывайте, что даже с ним необходимо пользоваться защитными перчатками, которые снижают уровень вибраций и защищают руки от переохлаждения.

Фары. Снегоуборочные машины для дома или дачи и масштабных площадей могут оснащаться 1-2 фарами. Мы рекомендуем не отказываться от них, так как с ними вы сможете приступить к расчистке участка в любое время суток (с утра, вечером, ночью).

Шины. Могут иметь широкие и рифленые протекторы, обеспечивающие идеальное сцепление с поверхностью, предотвращающие скольжение, повышающие удобство управления и безопасность оператора. С ними вам не будут страшны никакие заносы, особенно в гололед. На технику с низкой ценой часто устанавливают колеса с гладким профилем. Такие изделия предназначены для дорожек и с сугробами они не совладают.

Шнеки. Отвечают за срок службы техники. Могут иметь зубчатую и гладкую поверхность. Они касаются земли, поэтому должны быть защищены при помощи прорезиненных или пластико-резиновых накладок. Вторые практичнее, долговечнее и не «боятся» каменных местностей. Лучше купить первые снегоуборочные машины с зубастыми шнеками – они справляются с обледенелым покровом и эффективнее расчищают.

Редуктор. Эта деталь используется для уменьшения оборотов. Ее корпус изготавливается из алюминия и прочного чугуна. Он бывает необслуживаемым и обслуживаемым. Со вторым меньше хлопот, его не нужно смазывать, но в случае поломки потребуется менять полностью, что повлечет за собой значительные затраты. За обслуживаемым необходимо постоянно ухаживать, в случае выхода из строя вы сможете заменить определенную деталь, а не весь конструктив. Для защиты механизма вместе со снегоуборочной машиной рекомендуем купить срезные пальцы. Они ломаются первыми при ударе и уберегут вашу технику от неисправности. Держите их всегда рядом, дома или на даче. Спрашивайте у менеджеров магазина.

Лыжи. Держат на себе переднюю часть конструкция снегоуборочной техники. Они обеспечивают плавное передвижение по асфальту и заснеженной поверхности. При интенсивном применении быстро изнашиваются, поэтому их приходиться менять. Некоторые производители устанавливают двусторонние лыжи, тем самым увеличивая срок службы вдвое.

Выпускной желоб машины. Производится из металла и пластика. Специалисты нашего магазина не советуют гнаться за металлическим, так как он подвержен коррозии. Однако он крепкий и подойдет для твердых снежных масс. К пластиковой трубе не липнет снег.

Количество передач. От этого показателя техники будет зависеть маневренность, 5-6 передних и 2-х задних вам будет достаточно для удобного управления и работы на различных участках.

Принимаем решение купить снегоуборочную машину для дома.

Наш магазин предлагает вам огромный выбор такой техники по лучшим ценам. Мы поможем не только с приобретением, но и с техобслуживанием, а также вводом в эксплуатацию. В Москве у нас есть собственный техцентр. Обратите внимание на то, что Cheaptool является официальным дилером всех машин, которые есть в продаже, поэтому у нас всегда качественная продукция и сопровождение.

Снегоуборочные машины недорого - Представительство Cub Cadet в России: Гарант качества!

В наше время снегоуборочная техника используется не только коммунальными предприятиями, но и частными домовладельцами, которые хотят быстро и качественно убирать придомовую территорию.

 

Остановив выбор на снегоочистителях Cub Cadet, вы получите в распоряжение надежную и удобную в использовании технику, которая позволит сократить время, затрачиваемое на уборку свежего и лежалого снега.

 

Эргономичная продукция от производителя с мировым именем

 

Современная снегоуборочная машина избавит вас от необходимости прикладывать усилия во время уборки снега, а значит вы за небольшое количество времени сможете очистить значительную по площади территорию: достаточно только задать направление движения агрегату, и он сам будет перемещаться по участку и откидывать снег.

 

Премиальный бренд Cub Cadet имеет широкий ассортимент снегоуборщиков не только для частного использования, но и коммунальных предприятий.

Связавшись с нашими представителями по телефону горячей линии вы сможете подобрать надежную нужную машину, точно соответствующую вашим индивидуальным запросам, имеющую оптимальную стоимость и отличный функционал.

 

Индивидуальные решения для вашего удобства

 

На официальном сайте в каталоге представлены устройства, имеющие разные уровни очистки: 2-х ступенчатые, 3-х ступенчатые. Все основные рукоятки по управлению удобно находятся на панели оператора, для работы с такими машинами вам не потребуются специализированные знания, ведь справиться с ним достаточно просто.

 

Если вы хотите стать владельцем по-настоящему качественного снегоуборщика, выбирайте технику Сub Cadet премиум-класса. В нашем каталоге вы можете так же найти описания по гусеничным снегоуборщикам. Эти модели отличается хорошим ресурсом и высокой производительностью, позволяющей продолжать работу даже в экстремальных условиях и убирать толстые слои наледи.

Один раз включив снегоуборщик Куб Кадет, вы поймете, что это самое лучшее и практичное решение для ухода за территорией в зимний период.

Snowplow Analytics · GitHub

Snowplow Analytics · GitHub
  1. Механизм поведенческих данных корпоративного уровня (веб, мобильные устройства, серверная сторона, веб-перехватчики), работающий в облаке на AWS и GCP.

    Scala Бег 5,7 км 1.2k

  2. Трекер событий Snowplow для клиентского и серверного JavaScript. Добавьте аналитику на свои веб-сайты, веб-приложения и серверы.

    Машинопись 435 187

  3. Система реестра схем

    Scala 185 42

  4. Трекер событий Snowplow для Objective-C. Добавьте аналитику в свои приложения и игры для iOS 8.0+, macOS и tvOS

    Цель-C 57 75

  5. Трекер событий Snowplow для Android. Добавьте аналитику в свои приложения и игры для Android

    Ява 71 47

  6. Официально поддерживаемые Snowplow модели данных SQL для работы с данными о поведении Snowplow в Интернете и мобильных устройствах.Поддерживает Redshift, Snowflake и BigQuery.

    PLpgSQL 21 год 3

Репозиторий

  • снегоочиститель-мини

    Легко развертываемая версия Snowplow с одним экземпляром

    Машинопись Апач-2.0 26 год 106 47 0 Обновлено 13 мая 2021 г.
  • Scala Apache-2.0 10 16 53 27 Обновлено 13 мая 2021 г.
  • снегоочиститель

    Механизм поведенческих данных корпоративного уровня (веб, мобильные устройства, серверная сторона, веб-перехватчики), работающий в облаке на AWS и GCP.

    Scala Апач-2.0 1,178 5 706 48 0 Обновлено 12 мая 2021 г.
  • снегоочиститель-objc-tracker

    Трекер событий Snowplow для Objective-C. Добавьте аналитику в свои приложения и игры для iOS 8.0+, macOS и tvOS

    Цель-C Apache-2.0 75 57 56 2 Обновлено 12 мая 2021 г.
  • Ява Апач-2.0 47 71 40 1 Обновлено 12 мая 2021 г.
  • ручей-коллектор

    Сборщик для облачной веб-аналитики, мобильной аналитики и анализа событий, работающий на AWS и GCP

    Scala Apache-2.0 5 9 68 2 Обновлено 12 мая 2021 г.
  • снегоочиститель-JavaScript-трекер

    Трекер событий Snowplow для клиентского и серверного JavaScript.Добавьте аналитику на свои веб-сайты, веб-приложения и серверы.

    Машинопись BSD-3-Clause 187 435 70 0 Обновлено 12 мая 2021 г.
  • модели данных

    Официально поддерживаемые Snowplow модели данных SQL для работы с данными о поведении Snowplow в Интернете и мобильных устройствах.Поддерживает Redshift, Snowflake и BigQuery.

    PLpgSQL Apache-2.0 3 21 год 25 1 Обновлено 11 мая 2021 г.
  • Идти Apache-2.0 0 0 4 0 Обновлено 11 мая 2021 г.
  • HTML 21 год 11 54 17 Обновлено 8 мая 2021 г.
  • обогащать

    Снежный плуг и библиотека

    Scala Апач-2.0 11 9 266 3 Обновлено 6 мая 2021 г.
  • иглу-центральный

    Содержит все схемы JSON, Avros и Thrifts для Iglu Central

    Оболочка Apache-2. 0 91 85 141 23 Обновлено 5 мая 2021 г.
  • sql-бегун

    Запускайте шаблоны сценариев SQL последовательно и параллельно на Redshift, PostgreSQL, BigQuery и Snowflake

    Идти Апач-2.0 18 69 47 1 Обновлено 30 апр.2021 г.
  • Scala Apache-2.0 30 36 55 (Требуется помощь по 4 вопросам) 7 Обновлено 29 апр. 2021 г.
  • снегоочиститель-питон-трекер

    Трекер событий Snowplow для Python.Добавьте аналитику в свои приложения, веб-приложения и игры Python и Django

    Python Apache-2.0 56 29 16 0 Обновлено 23 апр.2021 г.
  • снегоочиститель-дотнет-трекер

    Трекер событий Snowplow для .NET. Добавьте аналитику в свой ASP.NET, C #, F # и Visual Basic приложения, серверы и игры

    C # Apache-2. 0 9 16 9 11 Обновлено 21 апр.2021 г.
  • Scala Apache-2.0 10 3 24 2 Обновлено 16 апр.2021 г.
  • снегоочиститель-nodejs-трекер Архивировано

    Трекер событий Snowplow для Node.js. Добавьте аналитику в свои приложения JavaScript, проекты node-webkit и серверы Node.js

    Машинопись Apache-2.0 22 25 5 0 Обновлено 31 марта 2021 г.
  • Scala Apache-2.0 15 10 39 (Требуется помощь по 3 вопросам) 2 Обновлено 30 марта 2021 г.
  • Python Апач-2.0 2 6 11 3 Обновлено 25 марта 2021 г.
  • обработчик потока данных

    Запускайте шаблоны заданий Hadoop / Spark и др. На Amazon EMR

    Идти Apache-2.0 6 19 19 0 Обновлено 8 марта 2021 г.
  • PHP Апач-2.0 30 28 год 12 0 Обновлено 5 марта 2021 г.
  • Ржавчина Apache-2.0 1 9 4 1 Обновлено 24 февраля 2021 г.
  • sp-js-assets

    Содержит все ресурсы средства отслеживания JavaScript Snowplow.

    JavaScript 0 2 0 0 Обновлено 16 февраля 2021 г.
  • фактотум

    Система для программного запуска конвейеров данных

    Ржавчина Apache-2.0 5 161 40 0 Обновлено 7 февраля 2021 г.
  • снегоочиститель-cpp-трекер

    Трекер событий Snowplow для C ++.Добавьте аналитику в свои приложения, игры и серверы C ++

    C Apache-2.0 4 7 13 1 Обновлено 2 февраля 2021 г.
  • снегоочиститель-Java-трекер

    Трекер событий Snowplow для Java. Добавьте аналитику в свои настольные и серверные Java-приложения, сервлеты и игры.(См. Также: снегоочиститель-android-трекер)

    Ява Apache-2.0 33 21 год 23 3 Обновлено 27 янв.2021 г.
  • Python Apache-2.0 8 16 10 5 Обновлено 18 янв.2021 г.
  • Умный Апач-2.0 3 0 0 1 Обновлено 13 янв.2021 г.
  • снегоочиститель-скала-трекер

    Трекер событий Snowplow для Scala. Добавьте аналитику в свои приложения и серверы Scala, Akka и Play

    Scala Apache-2.0 16 7 12 1 Обновлено 4 января 2021 г.
Вы не можете выполнить это действие в настоящее время.Вы вошли в систему с другой вкладкой или окном. Перезагрузите, чтобы обновить сеанс. Вы вышли из системы на другой вкладке или в другом окне. Перезагрузите, чтобы обновить сеанс.

Знакомство с Snowplow. Снегоочиститель - «лучшие данные в своем классе… | Джонатан Мерлеведе

Вот типичный сценарий: вы запускаете веб-сайт и хотите знать, как ваши пользователи его используют. Вы изучаете Google Analytics 360. Хотите дать своему бизнесу инструменты, необходимые для лучшего понимания его клиентов? Конечно, у вас! Доступ к необработанным данным о событиях, аналитикам, основанным на всей информации, а не только на ее части? Звучит неплохо! Готовясь к регистрации, вы замечаете цену Analytic - от 150 тысяч долларов в год.Глоток. Что теперь? Конечно, не все компании могут оправдать такую ​​невероятно высокую цену.

Часто всплывающая альтернатива Google Analytics - Snowplow. Snowplow - это платформа сбора данных , активно разрабатываемая Snowplow Analytics. Snowplow может «собирать» многие виды телеметрических данных, но в его основе отводится особое место для данных потока посещений, предлагая множество функций, необходимых для веб-отслеживания прямо из коробки.

Snowplow Analytics предоставляет свою платформу в различных форматах, в том числе в виде управляемой службы Snowplow Insights.Все его основные компоненты с открытым исходным кодом и могут использоваться для бесплатного в самостоятельной самоуправляемой форме. У вас может быть собственный готовый к работе масштабируемый конвейер приема данных в реальном времени, работающий в общедоступном облаке, за около 200 долларов в месяц . Также возможны более мелкие развертывания или развертывания для разработчиков (с использованием Snowplow Mini) примерно за 40 долларов в месяц.

Snowplow может «собирать» всевозможные телеметрические данные, но в его основе лежит особое место для событий потока

Конечно, такое простое сравнение Snowplow и Google Analytics на основе цен бесполезно.Перекрытие между этими продуктами на самом деле удивительно мало. Как человек, который только что развернул Snowplow в облаке Google, я знаю, что мне потребовалось время, чтобы выяснить, удовлетворяет ли Snowplow нашим потребностям. Эта история знакомит вас с тем, что такое «Снегоочиститель» и может ли он быть вам полезен.

По сравнению с другими публикациями, такими как серия Snowplow for Media, эта история подчеркивает, что на самом деле делает Snowplow , углубляясь в его архитектуру и развертывание, вместо того, чтобы сосредоточиться на ценности данных, которые генерируют его трекеры.С хорошим пониманием этой архитектуры вы можете принять собственное решение и решить, должен ли Snowplow быть частью и ваших усилий по анализу данных !

Что такое платформа сбора данных ? По своей сути Snowplow состоит из конвейера обработки , который собирает, очищает, обогащает и сохраняет всю информацию, которая предоставляется ему через вызовы конечной точки HTTP. Запросы GET и POST поступают в конвейер, а на выходе поступают структурированные данные в хранилище BLOB-объектов или в базе данных, доступной для запросов.Snowplow также поставляется с рядом утилит, таких как веб-трекер JavaScript и SDK отслеживания , которые будут генерировать эти HTTP-вызовы в ответ на действия, предпринимаемые вашими пользователями на вашем веб-сайте или в вашем приложении, например, в ответ на просмотры страниц. или переходы по страницам.

HTTP-запросов поступают в конвейер, на выходе появляются структурированные данные с возможностью запроса

Помните: платформы ≠ платформеры, конвейеры ≠ конвейеры

Что делает Snowplow

Snowplow начинался как платформа веб-аналитики, поддерживая только отслеживание с помощью своего веб-трекера и собственный протокол трекера.Теперь цель - стать универсальным магазином для всех ваших усилий по сбору данных о событиях . Хотите записывать события подписки на свой список рассылки, поддерживаемый MailChimp? Снегоочиститель вас накрыл! Захват пользовательских событий, созданных вашим собственным приложением? Это тоже не проблема! Отслеживание веб-сайтов кажется почти утомительным, когда вы думаете обо всех данных Интернета вещей (IoT), которые вы могли бы получить в свои руки. Snowplow позволяет определять и использовать собственные схемы событий. Он принимает данные отовсюду, обеспечивая прямой доступ к каждому биту необработанных данных, которые он собирает.Snowplow легко масштабирует до тысяч собранных событий в секунду.

Сбор марок - из , сбор данных - из . Источник

Чего не делает Snowplow

Однако для получения «понимания» из этих необработанных структурированных данных вам потребуется немного смазки. Snowplow мало что делает для обработки получаемых данных, и если вы ожидаете, что он представит вам легко интерпретируемые графики или полезную статистику, вы, вероятно, будете разочарованы.Базовая установка Snowplow с открытым исходным кодом собирает данные очень хорошо, но немного помимо собирает, очищает и сохраняет данные в структурированном формате.

В поисках смазки для локтей не забудьте запастись жидкостью для фар. Source

Snowplow не имеет графического интерфейса. При сборе данных о потоках кликов он просто предоставляет вам элементарные события, такие как щелчок страницы, просмотр страницы или события пинга страницы; нет «пользовательских потоков» или производной статистики, такой как глубина прокрутки. Это имеет смысл, зная, что Snowplow не ограничивается получением данных о кликах.Таким образом, Snowplow также является , а не , полноценной заменой Google Analytics . На самом деле, вполне имеет смысл запускать Snowplow и Google Analytics параллельно!

Snowplow - это , а не , настоящая замена Google Analytics.

Вы также не можете быть полностью предоставлены своим устройствам. У Snowplow есть ряд аналитических SDK, которые могут помочь вам анализировать данные, которые он генерирует. Существует также проект веб-модели данных Snowplow, который помогает специально анализировать данные о потоках кликов путем группирования событий атомарного отслеживания в сеансы просмотра.

Итак, Snowplow собирает все типы данных событий , обрабатывает их и затем сохраняет, пропуская данные по «конвейеру». Давайте сделаем этот процесс более осязаемым. Конвейер обработки Snowplow выглядит так:

Конвейер обработки Snowplow.

В этом разделе обсуждается, как данные проходят через конвейер и какие интерфейсы соединяют различные компоненты конвейера.

Компонент сборщика

Данные, генерируемые трекером Snowplow (например,грамм. трекер Snowplow JavaScript), веб-перехватчик или вызов одного из SDK трекера Snowplow попадает в компонент сборщика . Сборщик - это базовый веб-сервер, открытый для HTTP-запросов, который кодирует и публикует все входящие данные по шине сообщений. Если запрос не включает файл cookie, идентифицирующий пользователя, он также включает случайно сгенерированный файл cookie в заголовок HTTP-ответа Set-Cookie .

Компонент обогащения

Компонент обогащения является подписчиком этой шины сообщений, реализующей процесс обогащения Snowplow.Во время этого процесса Snowplow проверяет входящие данные, проверяя, что они указаны в протоколе, который он понимает. Затем он извлекает свойства событий и обогащает события. В конце процесса обогащения события соответствуют канонической модели событий Snowplow. Расширенные события публикуются в другой шине сообщений.

Компонент обогащения, без сомнения, самая сложная и интересная часть Snowplow. Если вы хотите узнать об этом больше, ознакомьтесь с моей последующей историей:

Компонент хранилища

Компонент хранилища подписывается на шину сообщений, на которую публикуется компонент обогащения.Он сохраняет сообщения в хранилище BLOB-объектов или хранилище данных с возможностью запроса, например BigQuery или Redshift. Если целевым хранилищем является (структурированная) база данных, свойства события отображаются в столбцы.

Реализации компонентов

Компоненты имеют несколько совместимых реализаций , что позволяет использовать те, которые лучше всего соответствуют вашим потребностям. В некоторых реализациях используется собственная облачная технология, характерная для конкретного общедоступного облака, например, компонент хранилища Snowplow BigQuery Loader, взаимодействующий с BigQuery в GCP и работающий в Cloud Dataflow.Другие построены на технологии с открытым исходным кодом и могут быть легко развернуты на вашем собственном оборудовании, например Scala Stream Collector, который работает на JVM и может отправлять сообщения не только в AWS Kinesis или Cloud Pub / Sub, но и в Apache Kafka.

Интерфейсы компонентов

Как выглядят сообщения, используемые для связи между компонентами?

Для потоковой передачи или не для потоковой передачи

Некоторые компоненты Snowplow не реализуют интерфейсы (потоковой передачи), как указано выше.Эти компоненты обрабатывают данные партиями. Суть в том, что вы должны игнорировать пакетные реализации и беспокоиться только о конвейере потоковой обработки, представленном выше, , поскольку конвейер пакетной обработки Snowplow устарел . Если вы по какой-то причине все еще хотите узнать больше о пакетной обработке, ознакомьтесь с моей историей.

Пакетная обработка Snowplow устарела

Расширенные канонические события Snowplow могут храниться в хранилище BLOB-объектов или в структурированной базе данных.Точный формат данных, который существует в вашем конвейере, зависит от используемого вами компонента хранилища. Реализации компонентов оптимизируют свойства целевого хранилища данных.

Вывод Snowplow в BigQuery

При выгрузке данных в BigQuery все события сбрасываются в одну большую таблицу событий . После инициализации, даже до добавления одного события, эта таблица событий уже имеет около 128 свойств!

Часть схемы таблицы событий

Как видите, все свойства помечены как NULLABLE .(На самом деле некоторые из них являются устаревшими и равны NULL для всех моих записей. До того, как Snowplow начал использовать схему расширяемых типов событий, они просто добавляли столбцы в толстую таблицу со столбцами, релевантными для веб-аналитики. Столбцы этой толстой таблицы определяют что теперь является «атомарным событием».) Поскольку BigQuery представляет собой хранилище данных по столбцам, столбцы, которые всегда имеют значение NULL , на самом деле ничего не стоят: добавление столбцов не увеличивает размер вашей таблицы и не снижает скорость запросов.Добавление событий нового типа добавляет еще больше столбцов в таблицу событий .

Дополнительные столбцы / типы полей, которые были добавлены в таблицу событий после приема новых типов данных (щелчки по ссылкам и события формы фокуса)

Новые столбцы будут иметь NULL для всех старых данных и NULL для всех новых записей, которые являются вставлен, но другого типа.

Вывод Snowplow в других хранилищах данных

Не все хранилища данных имеют те же свойства, что и BigQuery.Следовательно, не все хранилища данных используют тот же подход «толстых таблиц», что и компонент хранилища BigQuery.

Например, при хранении данных в Redshift на AWS каждое событие приводит к записи в таблице atomic.events . Вставка данных нового типа приводит к созданию новой таблицы; записи в этой таблице можно объединить с atomic.events . Snowplow называет эту процедуру разделения событий измельчением.

Snowplow принимает HTTP-запросы и сохраняет их в хранилище данных почти в реальном времени.Это не звучит особенно захватывающе; многие облачные хранилища данных также имеют интерфейс HTTP, и нельзя ли просто автоматически выгружать события Pub / Sub в облачное хранилище? Зачем нужен снегоочиститель?

Сравнение Snowplow с другими предложениями

Проверка важна. Источник: Lukas on Pexels

По сравнению с общими предложениями по сбору телеметрических данных , такими как Amazon Kinesis (Data Analytics) или Azure Application Insights, Snowplow предлагает вам преимущество проверки и обогащения входящих данных. В вашу базу попадают только чистые данные! При отслеживании веб-приложений Snowplow также устанавливает файлы cookie на стороне сервера в вашем собственном домене, что позволяет надежно отслеживать сеансы просмотра . Однако Snowplow сложнее установить и поддерживать в рабочем состоянии, а также относительно дорого, если вы обрабатываете небольшое количество событий.

Проверяя входящие данные, Snowplow гарантирует, что в вашу базу данных попадают только чистые данные

По сравнению с приложениями, предлагающими расширенную обработку типов данных , Snowplow предлагает настраиваемую расширяемость , доступ к необработанным данным , возможность принимать множество различных видов данных и низкая цена .Примерами специализированных служб являются Google Analtyics или Matomo для веб-аналитики, а также такие приложения, как New Relic, Datadog или honeycomb.io для мониторинга приложений. Однако, в отличие от этих специализированных программ, Snowplow на самом деле не обрабатывает и не анализирует ваши данные; он даже не предлагает вам графический интерфейс. Сравнение этих программ со Snowplow не всегда полезно.

Некоторые причины для использования Snowplow

  • Вы хотите собирать данные телеметрии, но также остается под контролем вашего конвейера обработки.Вам нравится, что Snowplow имеет открытый исходный код, и вы не хотите привязывать себя к предложениям, связанным с облаком.
  • Ни одно из предложений для конкретных типов данных не выполняет в точности то, что вам нужно. Вы хотите полную настройку . Вам нужны необработанные данные. Snowplow предлагает вам хорошую базу для строительства.
  • Вы хотите выполнить веб-отслеживание с помощью отличного средства отслеживания JavaScript Snowplow и использовать модель событий Snowplow, которая хорошо подходит для веб-отслеживания событий.
  • Snowplow принимает, обогащает и сохраняет данные в (почти) реальном времени .Это особенно полезно, если вы используете собранные данные для обнаружения мошенничества или аналогичных приложений.
  • Вы хотите выполнить пользовательское обогащение , но не нуждаетесь в полной мощности и сложности полноценных платформ обработки потоков, таких как Apache Flink или Apache Beam. Snowplow позволяет сравнительно легко создавать собственные дополнения, реализуя функцию JavaScript или реализуя службу HTTP (микро).
  • Вы хотите продолжать использовать Google Analytics , но хотите получить доступ ко всем необработанным данным, не платя 150 тысяч в год.Вы можете сделать это очень легко, перекачав все данные, которые вы отправили в Google, на ваш сборщик Snowplow с помощью плагина Snowplow для трекера Google Analytics, потому что Measurement Protocol Google является одним из протоколов, поддерживаемых адаптером Snowplow.
  • Вам нравится использовать один из аналитических SDK , доступных на многих языках программирования, для анализа ваших данных.

Некоторые причины не использовать Snowplow

  • Вы предпочитаете не развертывать собственную инфраструктуру либо потому, что у вас нет опыта, либо потому, что вы не хотите ее поддерживать.Вы все еще можете использовать Snowplow, но следует изучить возможность использования управляемой платформы Snowplow Snowplow Insights.
  • У вас нет опыта, времени или интереса, чтобы проанализировать ваши данные . Само по себе необработанные данные, которые генерирует Snowplow, не очень полезны. Вы можете изучить более специализированные приложения, такие как Matomo или Google Analytics для веб-отслеживания. Также в Looker есть поддержка анализа данных Snowplow.
  • Snowplow собирает только данные о событиях , но не другие типы данных телеметрии.New Relic определяет данные телеметрии как принадлежащие к одной из четырех категорий: метрики, события, журналы и трассировки, или для краткости M.E.L.T. Чтобы собирать метрики с помощью Snowplow, вам нужно самостоятельно позаботиться об агрегировании. Чтобы выполнить (распределенную) трассировку, вам нужно будет самостоятельно добавить контексты трассировки к событиям. Отправлять необработанные журналы в Snowplow не рекомендуется.

Итак, как на самом деле выглядит развертывание Snowplow?

Наше развертывание в Google Cloud Platform

Текущее развертывание выглядит следующим образом:

Определение Snowplow от Merriam-Webster

снег · плуг | \ ˈSnō-ˌplau̇ \

1 : любое из различных устройств, используемых для уборки снега.

2 : вынос с обеих лыж, используемый для остановки, замедления или медленного спуска.

засыпанный снегом; уборка снега; снегоочистители

Как родители отнимают у взрослых детей

Сейчас многие из учеников, с которыми она работает, являются иммигрантами или студентами колледжей в первом поколении.

«Читая о скандале, я сочувствую этим родителям, я чувствую», - сказала она. Но «студенты первого поколения, которые проходят здесь, выясняют, как ориентироваться в образовательной системе, которая не всегда была создана для них», - сказала она. «Это меняет их жизнь и жизнь их семей».

Кэти Тран, 22 года, выпускница Пенсильванского университета, дочь иммигрантов из Вьетнама, которые не учились в колледже. «Они действительно оказывают мне сильную эмоциональную поддержку, но на самом деле они не могут сказать мне, что я должен делать, например, о следующих шагах», - сказала она.

По словам г-жи Тран, путь к поступлению в колледж принесет некоторые выгоды. «Я действительно думаю, что у меня есть чувство независимости и уверенности в себе, чего не могло быть у некоторых из моих друзей, родители которых учились в колледже», - сказала она. «У меня были друзья, которые даже не знали, как стирать. Думаю, в некотором смысле я чувствую, что был вынужден стать взрослым намного раньше ».

Научиться решать проблемы, рисковать и преодолевать разочарование - важнейшие жизненные навыки, говорят многие эксперты по развитию детей, и если родители не позволяют своим детям терпеть неудачи, дети их не усваивают.Когда трехлетний ребенок роняет тарелку и разбивает ее, она, вероятно, постарается не уронить ее в следующий раз. Когда 20-летний подросток спит во время теста, он, вероятно, не забудет снова установить будильник.

Снегоуборочные машины зашли так далеко, по их словам, что многие молодые люди находятся в кризисе, не имея этих навыков решения проблем и испытывают рекордный уровень беспокойства. В настоящее время существуют классы для обучения детей отработке неудач в кампусах колледжей по всей стране и даже для дошкольников.

Многие родители, работающие с снегоочистителями, тоже знают, что это проблематично. Но из-за привилегий, давления со стороны сверстников или беспокойства за будущее своих детей они все равно это делают.

Snowplow Analytics привлекает 10 миллионов долларов в рамках серии A2

Созданный для компаний, работающих с данными, Snowplow дает предприятиям возможность создать информационный ресурс, который предоставляет богатые и высококачественные поведенческие данные для поддержки их информационных продуктов. В отличие от поставщиков пакетной аналитики, Snowplow разработан специально для адаптации к конкретным бизнес-потребностям, предоставляя компаниям полный контроль над своими поведенческими данными с гибкостью, позволяющей определять, как данные собираются, структурируются, обрабатываются и моделируются, обеспечивая широкий спектр вариантов использования.Сценарии использования Snowplow варьируются от аналитики пути клиента и маркетинговой атрибуции до аналитики продуктов и оптимизации платного доступа.

Финансирование будет стимулировать дальнейшее расширение Snowplow в США, Европе и Азиатско-Тихоокеанском регионе, включая поддержку глобального сообщества пользователей открытого кода Snowplow. Snowplow также будет использовать капитал для ускорения разработки дорожной карты продукта для групп данных.

Snowplow был отмечен в отчете Gartner Cool Vendors 2020 Report как «крутой поставщик в области маркетинга и аналитики данных» и сообщил о значительном росте в течение 2020 года, поскольку ускоренная цифровая трансформация сделала важность поведенческих данных еще более ясной.

«2020 год был трудным для всех, но в Snowplow мы увидели, что все больше и больше компаний осознают необходимость унификации поведения клиентов на всех платформах таким образом, который не продиктован производителями пакетов», - сказал Алекс Дин, генеральный директор и соучредитель Snowplow. «Сохраняя нашу кривую роста в течение прошлого года, мы рады ускорить нашу глобальную экспансию с этим новым финансированием от Atlantic Bridge и MMC. Кевин и команда Atlantic Bridge обладают глубоким пониманием рынка облачных данных и настоящей интуицией в отношении масштабирования корпоративного программного обеспечения. бизнеса, так что казалось, что он отлично подходит.Мы с нетерпением ждем результатов в 2021 году ».

Кевин Диллон, управляющий партнер Atlantic Bridge, прокомментировал:« Ценность поведенческих данных широко признана, но для этого потребовалось видение Алекса и Яли, чтобы компании могли понять и использовать свои данные в контекст их собственных уникальных продуктов и вариантов использования. Снегоочиститель может стать основным строительным блоком для понимания поведения и принятия более разумных решений. Мы рады быть частью этого пути ».

« Рынок инфраструктуры данных быстро развивается, и эффективное управление поведенческими данными является ключевым компонентом любого предприятия, стремящегося оптимизировать свои цифровые каналы и создать фундаментальный уровень данных мирового класса ». добавил Олли Ричардс, партнер MMC Ventures.«Успех компании и впечатляющий список клиентов в различных секторах подчеркивают аппетит к продукции Snowplow, и мы с нетерпением ждем продолжения поддержки Алекса, Яли и команды Snowplow на следующем этапе роста».

О Snowplow Analytics

Продукт Snowplow - лучшая в своем классе платформа для управления поведенческими данными, созданная для групп обработки данных. Snowplow позволяет вам отслеживать, контекстуализировать, проверять и моделировать поведение ваших клиентов на всей вашей цифровой территории.Ваши поведенческие данные доступны в режиме реального времени и доставляются в ваше хранилище данных по выбору, чтобы обеспечить широкий спектр вариантов использования, от аналитики и отчетности до продуктов для обработки данных и машинного обучения. Продукт Snowplow распространяется как «частный SaaS», работает в вашей собственной облачной среде (AWS и / или Google Cloud) и дает вам полное владение и контроль над вашими данными.

Snowplow имеет более 150 клиентов в широком диапазоне секторов и географических регионов, включая Strava, The Economist, Weebly, Hudl, Auto Trader, Omio и Secret Escapes; Как компания, занимающаяся коммерческим программным обеспечением с открытым исходным кодом (COSS), Snowplow также имеет десятки тысяч пользователей с открытым исходным кодом.

Узнайте больше о Snowplow на snowplowanalytics.com .

Около Atlantic Bridge

Atlantic Bridge - это глобальная инвестиционная компания в области технологий роста с активами на сумму более 1 миллиарда евро под управлением семи фондов, инвестирующая в глубокие технологические компании в Европе и США. Atlantic Bridge поддерживает масштабирование портфельных компаний на международном уровне с глобальной инвестиционной командой и офисами в Лондоне, Пало-Альто, Дублине, Мюнхене и Париже.Посетите http://www.abven.com .

О MMC Ventures

MMC финансирует и помогает масштабировать технологические компании, которые трансформируют сегодняшние рынки. С 2000 года она поддерживает трансформирующие технологические компании на стадии Seed и Series A. MMC стремится к глубокому пониманию базовой технологии и бизнес-модели каждой компании, чтобы помочь принимать более эффективные решения и быть более эффективными партнерами.

Компании, занимающиеся трансформационными технологиями, которые на сегодняшний день поддерживает MMC, включают Gousto, Interactive Investor, NewVoiceMedia, Current Health, Signal AI, Bloom & Wild и Peak.

Изучите исследования MMC и другие полезные идеи на сайте www.mmc.vc.

ИСТОЧНИК Snowplow Analytics

Установите Snowplow на облачную платформу Google

Последнее обновление 18 января 2019 г .: добавлены сведения об ограничениях уровня бесплатного пользования и показано, как избежать выхода из-под контроля заданий потока данных с автоматическим масштабированием .

Я (все еще) большой поклонник Snowplow Analytics. Их модульный подход с открытым исходным кодом к конвейерам DIY-аналитики вдохновил меня написать о них две статьи и провести встречу в Хельсинки.В моем предыдущем руководстве Snowplow с веб-службами Amazon я рассказал вам о настройке конвейера Snowplow с помощью веб-служб Amazon. На этот раз я смотрю на чудесную облачную платформу Google, для которой Snowplow представила поддержку в выпуске начала 2018 года.

Я не буду предлагать исчерпывающего сравнения GCP и AWS и не буду подробно рассказывать вам обо всех возможных настройках, которые вы можете сделать при запуске инстансов и построении конвейера. Их осталось открыть вам самому или проконсультироваться с инженером по обработке данных, который может помочь вам с масштабированием.

На самом деле, установка, которую я вам покажу, во многих местах будет неоптимальной. Это не самая надежная установка для большого потока данных через конвейер, но она предоставит вам исчерпывающий список шагов, которые необходимо выполнить, чтобы все заработало.

Обратите внимание, что Snowplow также предлагает собственную службу Snowplow Insights для настройки и управления конвейером, чтобы вы могли сразу перейти к сбору и анализу данных. Я действительно рекомендую эту услугу, особенно если вы не знаете, как настроить конвейер экономичным и масштабируемым способом.Вы можете понести большие дополнительные расходы, если не знаете, как масштабировать необходимые ресурсы в соответствии с тем, что вам действительно нужно для эффективного анализа.

Если хотите, вы также можете следить за официальной вики-страницей Snowplow. Шаги аналогичны тем, что я прохожу в этом руководстве, хотя я думаю, что это руководство подойдет вам больше, если вы не знакомы с тем, как работает GCP.

Мои навыки визуализации Powerpoint с каждым годом становятся все лучше и лучше!

Икс

Информационный бюллетень Simmer

Подпишитесь на информационный бюллетень Simmer, чтобы получать последние новости и материалы от Симо Ахава на свой почтовый ящик!

Слово предупреждения

Это, наверное, не станет для вас сюрпризом, но работа с облачной платформой платная .Если вы впервые пользуетесь, вы должны иметь право на бесплатную пробную версию в размере 300 долларов, которую можно потратить в течение первых 12 месяцев. Этого более чем достаточно, чтобы построить конвейер и протестировать его в течение нескольких дней, но далеко не уедешь.

ОБНОВЛЕНИЕ 18 января 2019 г. : уровень бесплатного пользования дает вам только 8 процессоров всего для всего проекта. Это означает, что вы должны вести учет всех экземпляров, которые вы будете использовать для сборщика и для машины ETL. Начните с небольшого числа, например.грамм. 1 или 2 процессора на экземпляр, чтобы увидеть, как работает Snowplow. Когда у вас есть бюджет, вы можете приступить к более амбициозным настройкам.

Вам нужно внимательно следить за панелью биллинга вашего проекта. Это поможет вам получить представление о том, сколько затрат вы фактически накопили на сегодняшний день, и каковы будут прогнозируемые затраты на весь месяц.

Что вам понадобится

Чтобы следовать этому руководству, вам потребуется:

  • Учетная запись Google - что-то, что нужно для входа в службы Google, например, ваш идентификатор Google Mail.

  • Кредитная карта - вам нужно будет включить биллинг в своем аккаунте Google Cloud, чтобы активировать некоторые из необходимых нам сервисов.

  • Имя личного домена - это необязательно, но необходимо, если вы хотите настроить трекер в качестве защищенной конечной точки HTTPS. Без имени личного домена вы вынуждены использовать только HTTP. Вы можете получить дешевое доменное имя в Google Domains. Возможно, вы, , сможете установить что-то бесплатно с помощью Cloud Endpoints, но это руководство не будет касаться этого.

Удачи! Сообщите мне в комментариях, если какая-то часть этого руководства была особенно неясной.

Первые шаги

Здесь мы настроим проект GCP, убедитесь, что у вас включены необходимые ресурсы, а также мы установим Google Cloud SDK, чтобы вы могли взаимодействовать со своим проектом через локальный терминал.

Шаг 1. Создайте новый проект

Первое, что вам нужно сделать, это создать новый проект Google Cloud.

(1) Перейдите на https: // console.cloud.google.com/cloud-resource-manager/. Не забудьте войти в систему с идентификатором Google, который вы будете использовать для управления этим проектом. Щелкните СОЗДАТЬ ПРОЕКТ .

Если вы впервые используете GCP с этой учетной записью, вы можете увидеть предложение на бесплатный кредит . Возьми это!

(2) Дайте проекту имя.

Для удобства было бы неплохо изменить Project ID на что-нибудь более разборчивое и легкое для понимания.

Если у вас есть Организации и Расположение (например, папки), настроенное для вашей учетной записи Google Cloud, выберите соответствующие из меню.

Кроме того, если у вас уже есть учетная запись Billing Account , выберите ее в соответствующем раскрывающемся меню.

Когда все будет готово, выберите СОЗДАТЬ .

После нажатия кнопки GCP в течение некоторого времени выполнит некоторую загрузку и вращение, после чего вы должны увидеть панель управления новым проектом.Если вы этого не сделаете, обязательно выберите его в меню выбора проекта.

Поздравляем! Вы создали проект.

Шаг 2. Включите биллинг

Вам нужно будет создать платежный аккаунт , чтобы GCP могла выставлять вам счета в случае необходимости (отстой, я знаю).

(1) Перейдите по адресу https://console.cloud.google.com/billing.

(2) Нажмите Добавить платежный счет .

Здесь следуйте инструкциям по добавлению кредитной карты или, если вы имеете право на бесплатную пробную версию , активируйте ее.

Убедитесь, что вы следуете подсказкам, чтобы связать проект Snowpow с только что созданной учетной записью Billing.

Шаг 3. Включите необходимые службы

Затем вам нужно включить службы и API, которые нам понадобятся для начала работы. Эти шаги позволяют настроить сборщик. Когда вы перейдете к этапам обогащения и загрузки BigQuery, вам потребуется включить дополнительные службы.

(1) Перейдите по адресу https://console.cloud.google.com/apis/library.

Вы должны увидеть строку поиска, поэтому начните с поиска Compute Engine API и щелкните соответствующий результат.Нам понадобится Compute Engine для запуска наших виртуальных машин, на которых будет располагаться сборщик Snowplow.

При входе на страницу API Compute Engine просто нажмите синюю кнопку ВКЛЮЧИТЬ вверху.

Когда это будет сделано, вы должны увидеть что-то вроде этого там, где раньше была кнопка Включить :

Теперь выполните те же самые шаги для Cloud Pub / Sub API . Pub / Sub (для Pub lisher / Sub scriber) - это очередь сообщений в реальном времени, которую мы будем использовать для обработки данных, поступающих в конвейер Snowplow.

После того, как вы включите эти службы, вы готовы перейти к следующему шагу!

Шаг 4. Установите Google Cloud SDK

Следующее, что вам нужно сделать, это установить Google Cloud SDK локально на свой компьютер. Это очень удобно, поскольку позволяет получить доступ к проекту GCP из командной строки и позволяет тестировать некоторые службы с локального компьютера, а не искать соответствующие пути через часто сбивающий с толку пользовательский интерфейс.

Чтобы установить SDK, следуйте инструкциям для вашей платформы, начиная с здесь.

После установки SDK вы сможете запускать следующие команды в своем терминале / оболочке:

  $ gcloud авторизация входа
$ gcloud config установить проект PROJECT_ID  

Первая команда выполняет вход в Google Cloud с помощью учетной записи Google, которую вы выбираете в веб-запросе. Вторая команда указывает текущую настройку gcloud на указанный вами идентификатор проекта (замените PROJECT_ID на идентификатор, который вы указали при создании проекта).Конечный результат должен быть примерно таким:

Шаг 5. Настройка учетной записи службы

Последний шаг инициализации - настройка учетной записи службы . Учетная запись службы - это, по сути, учетная запись Google Cloud, которая имеет полный доступ к вашим службам и ресурсам GCP. Это необходимый шаг, если вы хотите запускать службы в GCP программно, а не с помощью своей личной учетной записи Google.

Обратите внимание, что при включении Compute Engine API для своего проекта автоматически создается учетная запись службы Compute Engine по умолчанию.приведенные ниже шаги действительно применимы только в том случае, если вы хотите создать другую учетную запись службы для своего конвейера.

(1) Перейдите по адресу https://console.cloud.google.com/apis/credentials.

(2) Убедитесь, что в меню выбора проектов выбран правильный проект.

(3) Щелкните синий селектор Создать учетные данные и выберите в меню Ключ служебной учетной записи .

Поскольку вы включили Compute Engine API , вы сможете выбрать сервисный аккаунт GCE по умолчанию из раскрывающегося списка.

Не снимая выделения с параметра JSON , выберите Создать .

Браузер должен автоматически загрузить файл JSON, поэтому убедитесь, что вы нашли его в локальных файлах и сохраните его в надежном месте .

На этом этапе было бы неплохо, , создать локальную папку для всего эксперимента Snowplow . В этой локальной папке вы можете хранить этот ключ учетной записи службы и любые временные файлы конфигурации, над которыми вы будете работать, а также другие вещи, такие как исполняемые и двоичные файлы, которые вы в конечном итоге при необходимости загрузите в GCP.

После создания учетной записи службы можно двигаться дальше. Все начальные шаги выполнены, поздравляем!

Настройка тем Pub / Sub

Snowplow использует коллектор в качестве конечной точки ваших запросов трекера. Этот сборщик находится в экземпляре Compute Engine (по сути, виртуальной машине) и обрабатывает запросы, отправляемые вами в конечную точку.

Эти запросы затем публикуются в темах Pub / Sub , откуда они затем передаются по конвейеру для обогащения и анализа.Pub / Sub - это, по сути, конвейер обмена сообщениями в реальном времени, который собирает сообщения в темах , которые затем становятся доступными для подписок .

Обязательно посетите официальную вики-страницу Snowplow для получения дополнительной информации об этой части конвейера.

Шаг 1. Создайте темы Pub / Sub

Первое, что вам нужно сделать, это создать тему в Pub / Sub, который вы включили для своего проекта.

(1) Перейдите на https: // console.cloud.google.com/cloudpubsub/topicList.

(2) Убедитесь, что в селекторе проектов выбран правильный проект.

(3) Нажмите синюю кнопку Создать тему .

(4) Введите good после пути к проекту, как показано на скриншоте ниже, и нажмите CREATE .

(5) Щелкните СОЗДАТЬ ТЕМУ и введите неверно в качестве имени новой темы, а затем щелкните СОЗДАТЬ .

Snowplow использует эти две темы для фильтрации проверяющих совпадений и запросов ( хороший поток ) и тех, которые имеют проблемы и ошибки ( плохой поток ).

Шаг 2. Создайте подписку (необязательно)

Затем вы можете создать подписку , с помощью которой вы можете тестировать поток. Это необязательно, но может быть хорошей идеей, если вы хотите увидеть, как работает конвейер.

(6) Щелкните тему good , чтобы перейти на страницу конфигурации.

(7) Выберите СОЗДАТЬ ПОДПИСКУ в верхней части навигации.

(8) Дайте подписке имя ( test-good ).

(9) Оставьте остальные настройки без изменений и нажмите СОЗДАТЬ .

Теперь, когда вы создали темы Pub / Sub, пора перейти к одному из наиболее сложных шагов этого руководства: настройка самого сборщика .

Создание конечной точки HTTP с помощью сборщика потоков Scala

Snowplow использует сборщик, написанный на Scala для обработки запросов, отправленных с вашего веб-сайта.Эти записи анализируются Scala Stream Collector , а затем распределяются по темам Pub / Sub, которые вы создали в предыдущей главе.

Начнем с простой конечной точки HTTP , используя IP-адрес по умолчанию, назначенный экземпляру Compute Engine, который вы развернете. Это только для проверки того, что весь конвейер работает. Вам нужно настроить собственное доменное имя с конечной точкой HTTPS для фактического трекера!

Шаг 1. Создайте файл конфигурации

В локальном каталоге, в котором вы храните все файлы проекта (например, учетные данные учетной записи службы, которые вы создали ранее), создайте новый файл с именем application.config и скопируйте и вставьте содержимое этого образца конфигурации в.

На данный момент единственная строка, которую вам нужно отредактировать, - это строка с googleProjectId = your-project-id . Измените your-project-id на свой фактический идентификатор проекта Google Cloud.

Держите этот файл под рукой, потому что в ближайшее время в него нужно будет внести некоторые изменения.

Шаг 2. Запустите экземпляр GCE

Теперь вы готовы запустить экземпляр Compute Engine.

ПРИМЕЧАНИЕ! Потому что это всего лишь тест - не забудьте выключить экземпляр, как только закончите, чтобы не накапливать лишних затрат.

(1) Перейдите на https://console.cloud.google.com/compute/instances и убедитесь, что ваш проект выбран в селекторе проектов.

(2) Щелкните Create .

Затем вы перейдете к экрану конфигурации.

(3) Дайте экземпляру имя .

(4) Выберите регион (желательно где-нибудь поблизости) - вы можете использовать зону по умолчанию.

(5) Убедитесь, что созданный вами сервисный аккаунт (или сервисный аккаунт Compute Engine по умолчанию) выбран в соответствующем списке.

(6) Выберите Установить доступ для каждого API в селекторе области действия.

(7) Прокрутите список API и выберите Включено для Cloud Pub / Sub API.

(8) Прокрутите вниз до Брандмауэр и отметьте Разрешить HTTP-трафик . Затем щелкните ссылку Управление, безопасность, диски, сеть, единоличное владение .

(9) Выберите вкладку Networking и введите collector в поле Network tags .

После внесения этих изменений нажмите Create , чтобы запустить экземпляр!

Шаг 3. Создайте правило брандмауэра

Вам необходимо создать правило брандмауэра, которое принимает входящие соединения с вашего веб-сайта.

(1) Перейдите на страницу https://console.cloud.google.com/networking/firewalls/list и убедитесь, что выбран правильный проект.

(2) Нажмите СОЗДАТЬ ПРАВИЛО БЕЙДВОЛЛА .

(3) В открывшейся конфигурации дайте правилу имя, например.грамм. правила межсетевого экрана снегоочистителя .

(4) Прокрутите вниз до Целевые теги и введите имя тега, которое вы указали в конце предыдущего шага (сборщик , если вы использовали мой пример).

(5) Убедитесь, что IP-диапазоны выбран в меню Source filter , и введите 0.0.0.0/0 в поле Source IP range .

(6) В разделе «Протоколы и порты » проверьте tcp и введите 8080 в качестве значения порта.

Когда все будет готово, нажмите Create , чтобы завершить настройку брандмауэра.

Шаг 4. Создайте сегмент хранилища для файла конфигурации

Следующее, что вам нужно сделать, это загрузить файл конфигурации для коллектора в корзину Cloud Storage. Это связано с тем, что файл должен быть доступен для использования вашим экземпляром, и очень удобно иметь файл, доступный в Google Cloud, поскольку учетная запись службы может просто извлечь файл прямо из корзины.

(1) Перейдите на страницу https://console.cloud.google.com/storage/browser и, как всегда, убедитесь, что у вас выбран правильный проект, прежде чем нажимать Создать корзину .

(2) Дайте ковшу описательное (и уникальное) имя, например, снегоочиститель-ваше имя-ведро-сборщик .

(3) Вы можете оставить остальные настройки с их значениями по умолчанию, затем нажмите Create .

(4) В открывшемся представлении щелкните Загрузить файлы , найдите приложение .config , который вы скачали ранее, и загрузите его в корзину.

Молодец! Теперь вы готовы подключить свой экземпляр GCE и запустить сборщик!

Шаг 5. SSH в экземпляр Compute Engine

Теперь, когда у вас есть виртуальная машина, работающая в облаке, и у вас есть файл конфигурации, загруженный в корзину облачного хранилища, следующим шагом будет подключение к виртуальной машине, загрузка всех оставшихся файлов и запуск сборщика.

Очень просто и тривиально выполнить следующие действия с помощью Google Cloud SDK на вашем локальном компьютере.Если вы хотите попробовать, выполните соответствующие действия в вики-странице Snowplow.

(1) Перейдите по адресу https://console.cloud.google.com/compute/instances.

(2) Щелкните параметр SSH рядом с вашим экземпляром.

(3) Посетите https://dl.bintray.com/snowplow/snowplow-generic/ и найдите файл, который начинается с snowplow_scala_stream_collector_google_pubsub_ , и проверьте, какой номер последней версии не имеет rcl суффикс.Запишите этот номер версии (например, 0.14.0 ), скачивать файл не нужно.

(4) Затем в окне SSH выполните следующие команды по порядку, нажимая Enter после каждой команды.

  $ sudo apt-get update
$ sudo apt-get -y установить default-jre
$ sudo apt-get -y установить распаковать
$ wget https://dl.bintray.com/snowplow/snowplow-generic/snowplow_scala_stream_collector_google_pubsub_.zip
$ gsutil cp gs: // <ИМЯ-ВЕДРО> / application.конф.
$ unzip snowplow_scala_stream_collector_google_pubsub_  .zip
$ java -jar Snowplow-Stream-Collector-google-pubsub- <ВЕРСИЯ> .jar --config application.conf  

Замените все экземпляры последней версией ZIP-файла сборщика, который вы зарегистрировали в (3).

Замените именем, которое вы дали ведру облачного хранилища на предыдущем шаге (например, snowplow-yourname-collector-bucket ).

После выполнения последней команды, если все настроено правильно, вы должны увидеть следующий вывод в оболочке экземпляра:

Теперь вы готовы отправить тестовый запрос на конечную точку, после чего вы можете проверить свою подписку Pub / Sub, если она получила сообщение!

Шаг 6. Отправьте тестовый запрос и убедитесь, что он был опубликован в Pub / Sub

Чтобы отправить запрос, сначала необходимо проверить внешний IP-адрес вашего экземпляра Cloud.

(1) Перейдите на https: // console.cloud.google.com/compute/instances и щелкните имя экземпляра Snowplow.

(2) Скопируйте IP-адрес из поля Внешний IP-адрес .

Следующий шаг требует, чтобы вы отправили запрос HTTP POST с определенной полезной нагрузкой на эту конечную IP-точку. Есть много способов сделать это - например, вы можете использовать консоль JavaScript веб-браузера.

Для быстрого тестирования конечных точек HTTP я предпочитаю использовать curl, инструмент командной строки, доступный практически в любом терминале.Если вы используете операционную систему, в которой нет curl, я рекомендую скачать и установить ее отсюда.

(3) Откройте терминал на локальном компьютере и скопируйте и вставьте следующую команду, переключив на фактический внешний IP-адрес, который вы скопировали из настроек экземпляра GCE.

  $ curl -d "& e = pv & page = curl-test & url = http% 3A% 2F% 2Fjust-testing.com & aid = snowplow-test" -X POST http: // : 8080 / com.snowplowanalytics.iglu / v1  

Полезная нагрузка очень проста - в основном у нее всего четыре параметра:

Параметр Значение Описание
e pv Тип события, в данном случае просмотр страницы.
стр. изгиб-тест Название страницы.
URL http: // just-testing.com Исходный URL.
помощь снегоочиститель Идентификатор приложения.

Конечная точка имеет суффикс /com.snowplowanalytics.iglu/v1 для обозначения схемы, которую вы будете использовать для обработки и проверки входящих данных. Поскольку мы работаем с наиболее готовым решением, доступным для тестирования, вы можете использовать эту схему по умолчанию на данный момент.

Позже мы будем использовать плагин Google Analytics, чтобы упростить вещи и отправить более полную полезную нагрузку, но для целей тестирования этого достаточно.

(4) Если все работает, в качестве ответа вы должны увидеть код состояния ОК.

Теперь вы можете проверить, была ли ваша запись опубликована в good Pub / Sub топике . Чтобы проверить это, вам нужно вытащить недавних записей из темы, используя подписку, которую вы создали ранее. Самый простой способ сделать это - использовать Google Cloud SDK, который вы должны теперь установить и настроить на своем локальном компьютере.

(5) Вам понадобится следующая команда:

  $ gcloud pubsub subscriptions pull --auto-ack test-good  

Где test-good - это имя, которое вы дали подписке при ее создании.Если это сработало, вы должны увидеть следующий результат:

Не беспокойтесь о том, что он выглядит искаженным. Это запрос, хранящийся в двоичном формате Thrift. Вы должны увидеть всевозможные интересные элементы, такие как IP-адрес вашего локального компьютера, строку User-Agent (пока только curl ) и саму полезную нагрузку данных. Если вы все это видите в теме good Pub / Sub, значит, все работает!

Вы успешно создали сборщик за конечной точкой HTTP.Вы можете перейти к стадии обогащения, но я настоятельно рекомендую вам сначала остановить экземпляр GCE, чтобы у вас не накапливались дополнительные расходы на его запуск.

Я также рекомендую вам продолжить со следующей главы, где вы узнаете, как использовать собственный домен в качестве защищенной HTTPS конечной точки для сборщика. Использование HTTP наносит ущерб, и вы действительно не можете создать готовую к работе конечную точку с одним экземпляром GCE за протоколом HTTP.

Создайте конечную точку HTTPS с личным доменным именем

Этот шаг фактически заменяет предыдущую главу.Вместо использования эфемерного внешнего IP-адреса за протоколом HTTP мы назначим нашему экземпляру виртуальной машины статический IP-адрес . Кроме того, мы настроим пользовательское доменное имя, указывающее на этот статический IP-адрес, и все будет работать по протоколу HTTPS.

Тем не менее, вы все равно захотите прочитать предыдущую главу. Мы будем делать здесь много похожего.

ВАЖНО! Если вы хотите пропустить чтение предыдущей главы, обратите внимание, что вы, , должны выполнить шаги (1) и (4) из предыдущей главы, прежде чем переходить к конечной точке HTTPS.

По сути, так должен выглядеть конечный коллекционный продукт. Вы используете систему с балансировкой нагрузки для автоматического масштабирования экземпляров с входящим трафиком, и вы сможете избежать досадных межпротокольных ошибок из-за использования HTTPS в качестве единственной конечной точки. Также есть дополнительная безопасность.

Шаг 1. Создайте шаблон экземпляра

Вместо работы с одним экземпляром GCE мы будем использовать кластер из экземпляров, которые будут автоматически масштабироваться вверх и вниз вместе с трафиком.Это, естественно, отразится на структуре затрат ваших ежемесячных счетов-фактур GCP, поэтому следите за предполагаемыми расходами на панели инструментов.

(1) Если вы следовали предыдущей главе, вы можете продолжить и удалить экземпляр GCE и правило брандмауэра. Здесь вы начнете с нуля.

(2) Вы можете сохранить файл application.conf в том виде, в каком он находится в сегменте хранилища. Здесь применяются те же настройки, которые вы использовали в предыдущей главе.

(3) Перейдите на https: // console.cloud.google.com/compute/instanceTemplates/list и нажмите Создать шаблон экземпляра .

Шаблон экземпляра - это то, что каждая новая виртуальная машина будет использовать в качестве своего «шаблона», что означает, что она унаследует настройки этого шаблона, а также сценарий запуска, который запустит сам сборщик.

Шаги для шаблона экземпляра почти такие же, как для отдельного экземпляра GCE из предыдущей главы, но давайте все равно пройдемся по ним.

(4) Дайте описательное имя экземпляру.

(5) Убедитесь, что выбрана сервисная учетная запись Compute Engine по умолчанию.

(6) Выберите Установите доступ для каждого API в списке Access Scopes .

(7) Прокрутите список до Cloud Pub / Sub и выберите Включить .

(8) В брандмауэре выберите Разрешить HTTP-трафик .

(9) Разверните Управление, безопасность, диски, сеть, индивидуальная аренда аккордеон.

(10) Прокрутите вниз до Сценарий запуска и скопируйте и вставьте следующий код в:

  #! / bin / bash
sudo apt-get update
sudo apt-get -y установить default-jre
sudo apt-get -y установить разархивировать
archive = snowplow_scala_stream_collector_google_pubsub_  .zip
wget https://dl.bintray.com/snowplow/snowplow-generic/$archive
gsutil cp gs: // <ИМЯ-ВЕДОМ> /application.conf.
распаковать $ архив
java -jar snowplow-stream-collector-google-pubsub- <ВЕРСИЯ>.jar --config application.conf &  

(11) Отредактируйте два экземпляра с последним номером версии, который вы можете найти для префикса snowplow_scala_stream_collector_google_pubsub_ здесь (не используйте версию с префиксом _rcl ). На момент написания последней версии была 0.14.0 .

(12) Замените именем корзины Cloud Storage, в которой хранится приложение .conf файл.

Этот сценарий запуска запускается всякий раз, когда с этим шаблоном создается новый экземпляр. Он загружает все зависимости и запускает файл Java сборщика.

(13) Щелкните, чтобы открыть вкладку Networking , прокрутите до Network tags и добавьте коллектор в качестве тега.

(14) Нажмите Создать , когда закончите.

Шаг 2. Создайте правило брандмауэра

Вам необходимо создать правило брандмауэра , чтобы разрешить внешние подключения к вашим экземплярам GCE.

(1) Перейдите на страницу https://console.cloud.google.com/networking/firewalls/list и нажмите СОЗДАТЬ ПРАВИЛО БЕЙДВОЕЛА .

(2) Дайте правилу имя.

(3) Прокрутите вниз до Целевые теги и введите в поле коллектор .

(4) В Диапазон IP источника , тип 0.0.0.0/0 .

(5) Установите флажок рядом с TCP в разделе «Протоколы и порты» (при выборе Указанные протоколы и порты выбраны ) и введите 8080 .

(6) Нажмите Создать , когда будете готовы.

Шаг 2. Создайте группу экземпляров

Затем нам нужно создать группу экземпляров , которая будет использоваться балансировщиком нагрузки в качестве серверной службы.

(1) Прокрутите до https://console.cloud.google.com/compute/instanceGroups/list и нажмите Создать группу экземпляров .

(2) Дайте группе описательное имя.

(3) Вы можете установить Location ближе к дому, если хотите.

(4) Выберите шаблон экземпляра, созданный на предыдущем шаге, из селектора Шаблон экземпляра .

ОБНОВЛЕНИЕ 18 января 2019 : вы также можете установить Autoscaling Off . Это означает, что экземпляр не будет автоматически создавать новые машины. Вы можете начать с этого, а затем перейти к настройке автомасштабирования, если обнаружите, что Collector сильно отстает.

(5) Прокрутите вниз до Проверка работоспособности , щелкните меню и выберите Создать проверку работоспособности .

(6) Задайте следующие параметры:

  • Имя : описательное имя
  • Протокол : HTTP
  • Порт : 8080
  • Путь запроса : / health
  • Интервал проверки : 10 секунд
  • Порог неисправности : 3 последовательных отказа

Для остальных параметров можно оставить значения по умолчанию.

(7) Нажмите Сохранить и продолжить после завершения настройки проверки работоспособности.

(8) Щелкните Create , чтобы завершить создание группы экземпляров.

После того, как вы создадите группу, вы должны увидеть, как она загружается на некоторое время, после чего вы увидите, что группа была создана и новый экземпляр уже запущен!

На этом этапе вы можете быстро проверить, работает ли экземпляр.

(9) Перейдите по адресу https://console.cloud.google.com/compute/instances и скопируйте IP-адрес из поля Внешний IP-адрес рядом с экземпляром, созданным из вашей группы экземпляров.

(10) Откройте программное обеспечение терминала и выполните следующую команду:

  $ curl http: // : 8080 / health  

Замените на скопированный IP-адрес.

В качестве ответа вы должны увидеть сообщение OK .

Далее попробуйте:

  $ curl http: // : 8080 / i  

Вы должны увидеть искаженный ответ в формате GIF (что-то вроде GIF89a ????!?, D; ).

Если вы видите эти два, ваш экземпляр работает, и вы успешно создали конечную точку HTTP.

А? Именно это вы и сделали в предыдущей главе!

Но, используя группу экземпляров , вы теперь готовы к самому большому шагу здесь: созданию балансировщика нагрузки.

Шаг 3. Создайте балансировщик нагрузки

Назначение балансировщика нагрузки - автоматическое масштабирование вашей системы вверх и вниз в зависимости от таких вещей, как скачки трафика и загрузка ЦП.Он работает, устанавливая один IP-адрес в общедоступном Интернете, который затем туннелирует / проксирует трафик на все необходимые внутренние IP-адреса (в основном ваши экземпляры GCE), без ведома внешнего мира.

Другое преимущество балансировщика нагрузки заключается в том, что мы можем использовать его для назначения балансировщику статического IP-адреса , а со статическим IP-адресом мы можем применить наше пользовательское доменное имя , чтобы SSL-сертификат, управляемый Google, может применяться к конечной точке.

Итак, на этом этапе много всего, обратите внимание!

(1) Перейдите на страницу https://console.cloud.google.com/net-services/loadbalancing/loadBalancers/list и нажмите Создать балансировщик нагрузки .

(2) Щелкните Start configuration на панели HTTP (S) Load Balancing .

(3) Дайте подсистеме балансировки нагрузки имя, нажмите Конфигурация бэкэнд , затем Создайте или выберите бэкэнд-службы и бэкэнд-сегменты , затем выберите Бэкэнд-службы -> Создать бэкэнд-службу .

(4) Дайте имя серверной службе.

(5) Оставьте для всех остальных параметров значения по умолчанию, но выберите группу экземпляров , созданную вами ранее, в соответствующем меню. Установите 8080 в поле Номера портов и выберите Проверка работоспособности , которую вы также создали ранее, в меню Проверка работоспособности .

(6) Нажмите Создать , когда будете готовы.

(7) Щелкните открыть Хост и правила пути и убедитесь, что созданная вами серверная служба отображается в правиле.

(8) Затем нажмите Конфигурация внешнего интерфейса .

(9) Дайте имя внешней службе.

(10) Выберите HTTPS в качестве протокола .

(11) Выберите список IP-адрес и нажмите , создайте IP-адрес .

(12) Выберите имя для IP-адреса и нажмите ЗАБРОНИРОВАТЬ .

(13) Убедитесь, что новый IP-адрес выбран в конфигурации внешнего интерфейса, и скопируйте IP-адрес в текстовый редактор или что-то еще .Он понадобится вам при настройке DNS вашего личного доменного имени!

(14) Убедитесь, что 443 установлен как порт .

(15) В меню Сертификаты выберите Создать новый сертификат .

(16) Дайте новому сертификату имя.

(17) Выберите Создать сертификат, управляемый Google .

(18) Введите имя домена, который будет указывать на ваш сборщик, в поле Domains .

(19) Когда все будет готово, нажмите Create .

(20) По завершении настройки внешнего интерфейса нажмите Готово .

(21) Нажмите Просмотреть и завершить , чтобы увидеть все изменения. Вы, вероятно, увидите, что ваш сертификат по-прежнему имеет статус PROVISIONING , потому что вы еще не обновили DNS своего домена.

(22) Если все устраивает, нажмите Create , чтобы создать балансировщик нагрузки.

Шаг 4. Настройте DNS

На этом этапе вам нужно перейти в настройки DNS для пользовательского доменного имени, которое вы хотите указать своему сборщику балансировки нагрузки.

Вам необходимо создать запись A для имени домена, которая указывает на статический IP-адрес , который вы создали для внешнего интерфейса балансировщика нагрузки выше. Вы можете установить TTL примерно на 600 секунд, чтобы быстрее увидеть изменения.

Вот как это будет выглядеть в GoDaddy.

После настройки DNS потребуется некоторое время, чтобы новое имя определилось. Вы можете проверить статус, запустив это в своем терминале:

  $ host tracker.gtmtools.com  

Замените tracker.gtmtools.com на доменное имя, которое вы настроили в DNS. Если это сработает, вы должны увидеть ответ с настроенным IP-адресом.

Шаг 5. Тестирование всего

После того, как вы настроили доменное имя и оно преобразовалось в правильный IP-адрес, вам все равно может потребоваться некоторое время, чтобы предоставить сертификат SSL для имени домена.Это может занять от пары минут до нескольких часов, так что наберитесь терпения.

Вы можете проверить состояние вашей системы, перейдя к списку балансировщиков нагрузки и щелкнув созданный вами балансировщик нагрузки.

Интерфейс должен показать зеленую галочку рядом с именем вашего сертификата, чтобы указать, что сертификат был назначен.

В серверной службе должен быть создан один работоспособный экземпляр.

Если все в порядке, следующим шагом будет проверка самой конечной точки.Откройте терминал и выполните следующую команду:

  $ curl -d "& e = pv & page = https-test & url = https% 3A% 2F% 2Fjust-testing.com & aid = snowplow-test" -X POST https: //  /com.snowplowanalytics.iglu/v1  

Замените именем домена, которое вы настроили так, чтобы указывать на балансировщик нагрузки.

Если это сработало, вы должны увидеть ответ OK .

Затем вы можете попробовать получить полезную нагрузку из темы Pub / Sub с помощью:

  $ gcloud pubsub subscriptions pull --auto-ack test-good  

В качестве ответа вы должны увидеть что-то вроде этого:

Если вы это видите, поздравляю, теперь у вас есть конечная точка HTTPS для вашего коллектора!

Если что-то не так, вам нужно сузить круг проблем.Проверьте свои страницы Google Compute Engine и убедитесь, что работает исправный экземпляр GCE. Вы даже можете подключиться к экземпляру по SSH, перейти в каталог / var / log / и открыть файл daemon.log для редактирования, чтобы узнать, возникла ли проблема со сценарием запуска.

Кроме этого, очень трудно сказать, каков вероятный источник проблемы. Лично я сначала сделал много ошибок при настройке портов и настройке отдельных компонентов. Но если вы будете следовать этому руководству до буквы, все будет в порядке.

Иногда проблема заключается в том, что вам просто нужно дождаться разрешения DNS и присвоения сертификата новому доменному имени. Это может занять некоторое время.

Далее, , обогащение и загрузка данных в BigQuery !

Примечание! Если вы собираетесь сделать перерыв сейчас, не забудьте ОСТАНОВИТЬ свой экземпляр GCE. Вы всегда можете перезапустить его, когда будете готовы к работе. Вы не хотите накапливать какие-либо нежелательные расходы из-за того, что экземпляр работает без цели!

Настроить трекер Google Analytics

Прежде чем мы перейдем к обогащению, сейчас самое время настроить трекер .Для этой цели мы будем использовать плагин Snowplow для Google Analytics, потому что это простой способ использовать существующее отслеживание на вашем сайте. Если хотите, можете смело использовать обычный JavaScript трекер Snowplow.

Для начала перейдите к моему инструменту customTask Builder Tool.

(1) Щелкните параметр с надписью Copy Hits to Snowplow Collector Endpoint .

(2) Щелкните Копировать в буфер обмена .

(3) Затем в Диспетчере тегов Google создайте новую пользовательскую переменную JavaScript и вставьте туда содержимое буфера обмена.

(4) В начале блока кода удалите var _customTask = , чтобы первые символы блока были function () {.

(5) В конце блока удалите точку с запятой, которая является самым последним символом блока.

(6) Измените строку, начинающуюся с var snowplowEndpoint = '...'; , чтобы строка содержала URL-адрес конечной точки вашего сборщика.

(7) Сохраните переменную с каким-либо именем, например.грамм. JS - Дубликатор снегоочистителя .

(8) Затем откройте тег Page View , отметьте Включить переопределение настроек в этом теге , прокрутите вниз до Дополнительные настройки > Поля для установки и добавьте новое поле:

Имя поля : customTask
Значение : {{JS - Дубликатор Snowplow}}

Вот и все, что касается трекера. Теперь это работает так: всякий раз, когда срабатывает ваш тег просмотра страницы, он копирует полезные данные в конечную точку сборщика Snowplow.

Если хотите, вы можете опубликовать свой контейнер сейчас, после чего каждый посетитель вашего веб-сайта начнет отправлять эти просмотры страниц вашему сборщику. Однако я рекомендую вам сейчас использовать режим предварительного просмотра, чтобы сборщику отправлялось только ваших просмотров страниц.

После того, как конвейер будет запущен, вы можете начать сбор более полных данных от ваших посетителей.

Подготовьте этап ETL

Перед тем, как перейти к извлечению, преобразованию и загрузке (ETL) данных вашего коллектора, нам необходимо провести некоторые приготовления.

Шаг 1. Включите Dataflow API

Для процесса обогащения и загрузчика BigQuery требуется, чтобы была включена новая служба.

(1) Перейдите к библиотеке API.

(2) Найдите поток данных и щелкните селектор Dataflow API .

Cloud Dataflow позволяет обогащать поток данных с минимальной задержкой. Это именно то, что нам нужно. Нам нужно, чтобы обогатитель извлекал события для темы Pub / Sub , в которую их записывает сборщик, обогащает и измельчает до нужного формата и записывает обратно в тему Pub / Sub для загрузки BigQuery.

(3) Нажмите кнопку ВКЛЮЧИТЬ на странице API, чтобы включить эту службу.

Шаг 2. Создайте необходимые темы Pub / Sub и подписки

К настоящему времени у вас должно быть две темы Pub / Sub , хороших и плохих для обращений, обработанных вашим сборщиком.

Нам нужно будет создать несколько дополнительных тем и подписок для оставшихся этапов конвейера.

(1) Перейдите на https: // console.cloud.google.com/cloudpubsub/topicList.

(2) Щелкните, чтобы открыть тему good , и щелкните Create Subscription . Дайте подписке имя good-sub .

(3) Затем создайте следующие темы:

  1. bq-bad-rows
  2. bq-отказавшие вставки
  3. Типы БК
  4. обогащенный-плохой
  5. обогащенный-хороший

(4) Затем щелкните открыть bq-types и создайте для него новую подписку с именем bq-types-sub .

(5) Наконец, щелкните «Открыть enriched-good » и создайте для него новую подписку с именем enriched-good-sub .

Вот как должен выглядеть список тем:

Вот как должен выглядеть список подписки:

Конечно, вы можете создать дополнительные подписки для тестирования и отладки, но это именно то, что конкретно необходимо на следующих этапах конвейера.

Шаг 3. Создайте новую корзину для временных файлов

Вам потребуется создать новую корзину для временных файлов, созданных в процессе обогащения.Но это хорошее место для хранения некоторых файлов, необходимых на этапах обогащения и загрузки.

(1) Перейдите по адресу https://console.cloud.google.com/storage/browser/.

(2) Щелкните СОЗДАТЬ ВЕДРО и создайте новый ковш с именем snowplow-yourname-temp , например:

(3) Щелкните это ведро и щелкните Создать папку и назовите новую папку temp-files :

Шаг 4: Создайте файл iglu_resolver.конфигурация json

Snowplow использует так называемые преобразователи для автоматической идентификации параметров каждого входящего попадания. Это необходимо по многим причинам, главным из которых является проверка попадания (для выявления действительных запросов из недействительных), обогащение и измельчение обращений до надлежащего формата данных, а также изменение и загрузка данных в таблицы BigQuery.

(1) Загрузите отсюда файл iglu_resolver.json и откройте его для редактирования.

(2) Измените два параметра vendorPrefixes , чтобы они также включали пространство имен Google Analytics ( Примечание! Вам не нужно этого делать, если вы используете обычный трекер JavaScript Snowplow).

(3) Сохраните файл локально.

(4) Перейдите по адресу https://console.cloud.google.com/storage/browser/, нажмите, чтобы открыть только что созданную корзину временных файлов, и загрузите измененный iglu_resolver.json в корень этой корзины. (так что , а не в папке temp-files ).

С этой конфигурацией резолвера вы даете команду обогатителю и загрузчику, которые обращаются с использованием пространства имен Google Analytics , возможно, поступит .

Шаг 5. Создайте новый набор данных BigQuery

Прежде чем двигаться дальше, вам нужно создать новый набор данных в BigQuery, который будет содержать таблицу, в которой будут размещаться ваши данные.

(1) Перейдите на https://console.cloud.google.com/bigquery и выберите свой проект в селекторе слева.Щелкните СОЗДАТЬ НАБОР ДАННЫХ .

(2) Присвойте набору данных идентификатор, например snowplow_yourname_dataset , и нажмите Create dataset .

ВНИМАНИЕ! На этом этапе вы можете просто создать новую таблицу вручную и разделить эту таблицу по столбцу Derive_tstamp . Таким образом, таблица BigQuery автоматически разбивается на разделы по дате обращения, что упрощает управление и запросы по дате.

В этом руководстве не создается разделенная таблица, чтобы вы могли увидеть, как работает мутатор.

Шаг 6. Создайте файл конфигурации BigQuery

(1) Откройте новый файл для редактирования в текстовом редакторе .

(2) Скопируйте и вставьте следующее в:

  {
    "schema": "iglu: com.snowplowanalytics.snowplow.storage/bigquery_config/jsonschema/1-0-0",
    "данные": {
        "name": "Данные просмотра страницы Snowplow",
        "id": "<Случайный UUID>",

        "projectId": "<название вашего проекта GCP>",
        "datasetId": "<идентификатор набора данных BigQuery>",
        "tableId": "просмотры страниц",

        "ввод": "обогащенный-полезный-суб",
        "typesTopic": "bq-типы",
        "typesSubscription": "bq-types-sub",
        "badRows": "bq-bad-rows",
        "failedInserts": "bq-failed-Insert",

        "нагрузка": {
            "режим": "ПОТОКОВЫЕ_ВСТАВКИ",
            "повтор": ложь
        },

        "цель": "ОБОГАЩЕННЫЕ_СОБЫТИЯ"
    }
}  

(3) Измените значение «id» на случайный UUID, который вы можете сгенерировать здесь.Допустимое значение, например, "3a27d47f-aeaf-4034-84b6-b1e82ca711d6" .

(4) Измените значение "projectId" на свой идентификатор проекта GCP (например, "snowplow-production-simoahava" ).

(5) Измените значение "datasetId" на идентификатор, который вы только что дали своему набору данных BigQuery, например "Snowplow_simoahava_dataset" .

(6) Убедитесь, что имена тем Pub / Sub и подписки соответствуют тем, которые вы создали ранее в этой главе.

(7) Сохраните файл локально как bigquery_config.json .

(8) Загрузите его во временную корзину, куда вы уже загрузили iglu_resolver.json по адресу:

PHEW! Это все подготовительные работы. Теперь вам нужно просто запустить enricher и загрузчик BQ в новой группе виртуальных экземпляров!

Завершить процесс ETL

Для ETL (извлечение, преобразование и загрузка данных вашего коллектора) мы создадим новый шаблон экземпляра для группы экземпляров с автоматическим масштабированием .

Вы, , можете использовать ту же группу экземпляров, что и ваш коллектор, но это не устойчивый способ запуска конвейера, потому что потоки данных с вашего сайта на сборщик, от вашего сборщика на устройство обогащения и из обогащенного потока на загрузчик BigQuery сильно асимметричен.

Если у вас все яйца в одной корзине, это приведет к избыточности и накладным расходам.

Оптимально, если бы вы также запустили обогащение и загрузчик BQ в их собственных группах, но для этого упражнения я сейчас объединю их вместе.

Шаг 1. Создайте шаблон экземпляра

Поскольку вы выполнили все приготовления в предыдущей главе, этот последний шаг ETL на самом деле довольно прост. Все, что вам нужно сделать, это создать шаблон экземпляра и активировать из него группу экземпляров.

Ну это просто тебе . Мне потребовались часы, часы и часы, чтобы заставить эту вещь работать, так что добро пожаловать!

(1) Перейдите по адресу https://console.cloud.google.com/compute/instanceTemplates/list и нажмите СОЗДАТЬ ШАБЛОН ЭКЗАМЕНА .

(2) Дайте шаблону имя, например snowplow-etl-template .

(3) Убедитесь, что выбрана учетная запись службы Compute Engine по умолчанию , и выберите Установить доступ для каждого API в списке областей доступа.

(4) Измените следующие области API:

  • BigQuery: Включено
  • Cloud Pub / Sub: Включено
  • Compute Engine: Чтение Запись
  • Хранение: Чтение Запись

Оставьте для остальных параметров значения по умолчанию.

(5) Прокрутите вниз и щелкните по заголовку «Управление, безопасность, диски, сети, единоличное владение» .

(6) В Automation скопируйте и вставьте следующий код в сценарий запуска :

  #! / bin / bash
enrich_version = "0.1.0"
bq_version = "0.1.0"
bucket_name = "<название сегмента облачного хранилища>"
project_id = "<идентификатор проекта gcp>"
region = "<регион, где запускать экземпляры потока данных>"

sudo apt-get update
sudo apt-get -y установить default-jre
sudo apt-get -y установить разархивировать

wget https: // dl.bintray.com/snowplow/snowplow-generic/snowplow_beam_enrich_$enrich_version.zip
разархивируйте snowplow_beam_enrich_ $ enrich_version.zip

wget https://dl.bintray.com/snowplow/snowplow-generic/snowplow_bigquery_loader_$bq_version.zip
распаковать snowplow_bigquery_loader_ $ bq_version.zip

wget https://dl.bintray.com/snowplow/snowplow-generic/snowplow_bigquery_mutator_$bq_version.zip
распаковать snowplow_bigquery_mutator_ $ bq_version.zip

gsutil cp gs: //$bucket_name/iglu_resolver.json.
gsutil cp gs: // $ bucket_name / bigquery_config.json.

./beam-enrich-$enrich_version/bin/beam-enrich --runner = DataFlowRunner --project = $ project_id --streaming = true --region = $ region --gcpTempLocation = gs: // $ bucket_name / temp-files --job-name = beam-enrich --raw = projects / $ project_id / subscriptions / good-sub --enriched = projects / $ project_id / themes / enriched-good --bad = projects / $ project_id / themes / enriched- плохо --resolver = iglu_resolver.json

./snowplow-bigquery-mutator-$bq_version/bin/snowplow-bigquery-mutator create --config $ (cat bigquery_config.json | base64 -w 0) --resolver $ (cat iglu_resolver.json | base64 -w 0)

./snowplow-bigquery-mutator-$bq_version/bin/snowplow-bigquery-mutator listen --config $ (cat bigquery_config.json | base64 -w 0) --resolver $ (cat iglu_resolver.json | base64 -w 0) &

./snowplow-bigquery-loader-$bq_version/bin/snowplow-bigquery-loader --config = $ (cat bigquery_config.json | base64 -w 0) --resolver = $ (cat iglu_resolver.json | base64 -w 0) --runner = DataFlowRunner --project = $ project_id --region = $ region --gcpTempLocation = gs: // $ bucket_name / temp-files  

ОБНОВЛЕНИЕ 18 января 2019 г. .

Было бы разумно начать с ограничения автоматического масштабирования заданий Dataflow. В противном случае, поскольку вы работаете с потоковыми вставками, у вас может возникнуть множество запущенных виртуальных машин для поддержки потока обращений.

Чтобы предотвратить неконтролируемое автоматическое масштабирование загрузчика , вы можете ограничить количество доступных рабочих, например, 3 (таким образом, задание использует не более 3 ЦП), или вы можете полностью отключить автоматическое масштабирование, ограничив номер рабочего на 1 .

Чтобы установить максимум 3 рабочих для загрузчика, добавьте это в конец команды snowplow-bigquery-loader :

--maxNumWorkers = 3

Установка максимума на 1 приведет к настройке одного рабочего без автомасштабирования. Чтобы иметь несколько рабочих процессов, но не использовать автомасштабирование, вам также необходимо добавить в загрузчик параметр --autoscalingAlgorithm = NONE .


Вам нужно будет заполнить пять переменных в начале блока кода перед сохранением шаблона экземпляра.

  • enrich_version : Получите последний номер версии Beam Enrich отсюда.
  • bq_version : Получите последний номер версии BigQuery Loader отсюда.
  • bucket_name : введите имя сегмента хранилища для временных файлов, которые вы создали ранее.
  • id_проекта : Введите идентификатор проекта GCE.
  • регион : выберите регион для запуска экземпляров потока данных (необходимо выбрать из этого списка).

После внесения изменений в сценарий запуска нажмите Создать .

Шаг 2. Запустите новую группу экземпляров

Теперь, когда у вас есть шаблон, пора создать и запустить группу экземпляров с автоматическим масштабированием, используя этот шаблон. Идея состоит в том, что когда запросы начинают поступать, вам нужно запускать новые экземпляры для этапов обогащения и загрузки, чтобы задержка не слишком сильно повлияла на сбор данных.

ОБНОВЛЕНИЕ 18 января 2019 г. : вместо создания группы экземпляров с автоматическим масштабированием более чем достаточно просто использовать один компьютер в группе для обработки потока данных! Эта часть руководства изначально была основана на некоторой дезинформации.Вы все еще можете продолжить работу с шаблоном экземпляра, но как только мы дойдем до раздела о группе экземпляров, внимательно прочитайте шаги.

(1) Находясь в списке шаблонов экземпляров , щелкните только что созданный шаблон.

(2) Вверху страницы щелкните СОЗДАТЬ ГРУППУ ЭКЗАМЕНА .

(3) Дайте новой группе описательное имя, например, snowplow-etl-group .

(4) Выберите регион, например.грамм. европа-запад1 .

(5) Убедитесь, что только что созданный шаблон экземпляра выбран в меню Шаблон экземпляра .

ОБНОВЛЕНИЕ 18 января 2019 : Вы можете установить Autoscaling Off . Машина, запускающая задания Dataflow, не требует автоматического масштабирования , а не . Задания Dataflow - это те, которые потребуют больше энергии в зависимости от пропускной способности, но вы можете запустить этот компьютер с одним статическим экземпляром, при необходимости увеличивая масштаб вручную.

(6) Вы можете оставить остальные параметры с их значениями по умолчанию, но, если хотите, вы также можете установить проверку работоспособности на то, что вы используете для экземпляра сборщика.

Когда все будет готово, нажмите Create .

Проверить все

Когда вы создаете группу экземпляров, она запускает сценарий запуска от начала до конца. Вот шаги, которые необходимо предпринять в следующем порядке:

  1. Beam Enrich запускается как новое задание потока данных с использованием iglu_resolver.json для конфигурации. По сути, задание Dataflow запускает новую группу экземпляров GCE для задания.

  2. BigQuery Mutator запускается с помощью команды create , которая создает таблицу просмотров страниц с простой атомарной структурой в наборе данных BigQuery.

  3. Затем мутатор запускается в собственном потоке с командой listen . По сути, это Java-программа, которая прослушивает входящие расширенные запросы, заполняемые в теме enriched-good Pub / Sub.Каждый запрос анализируется на предмет значений и типов данных, и если таблица просмотров страниц, в BigQuery не имеет соответствующего столбца для некоторого значения в запросе (проверенного на соответствие схеме, разрешенной Iglu Resolver), создается новый столбец.

  4. Наконец, загрузчик BigQuery запускается как собственный экземпляр GCE потока данных, и он загружает ваши обогащенные данные в соответствующие столбцы и строки в таблице BigQuery.

Перед тем, как начать отладку , убедитесь, что вы отправляете несколько обращений со своего сайта в сборщик.Так что просматривайте, посещайте разные страницы и проверяйте сетевые запросы, чтобы убедиться, что запросы к вашему сборщику успешно завершаются.

Шаг 1. Убедитесь, что Beam Enrich работает.

Чтобы проверить, работает ли Beam Enrich, перейдите в список заданий Dataflow. Вы должны увидеть beam-enrich в списке со статусом Running .

Шаг 2: Убедитесь, что мутатор создал таблицу

Чтобы проверить, сработала ли команда мутатора create , перейдите в свой набор данных BigQuery и разверните его.Вы должны увидеть таблицу с именем pageviews под ней, и таблица должна быть заполнена несколькими столбцами, такими как app_id , etl_tstamp и т. Д. Эти столбцы являются столбцами атомарных данных по умолчанию, которые использует Snowplow.

Шаг 3. Убедитесь, что мутатор создает дополнительные столбцы там, где это необходимо.

Поскольку вы собираете данные с помощью трекера Google Analytics, вскоре вы должны увидеть несколько новых столбцов, добавленных к описанию таблицы.

Шаг 4. Убедитесь, что задание потока данных загрузчика BigQuery запущено.

Еще раз посетите список заданий Dataflow.Вы должны увидеть что-то вроде main-root-XXXXX-YYYYY в списке со статусом Running .

Шаг 5. Убедитесь, что данные поступают в таблицу BigQuery.

Снова посетите свой набор данных / таблицу BigQuery и выберите таблицу просмотров страниц и .

В редакторе запросов введите следующий запрос и нажмите Выполнить запрос :

  ВЫБРАТЬ * ИЗ `your_dataset_name.pageviews`  

Где your_dataset_name следует заменить на имя вашего набора данных.После завершения запроса вы должны увидеть несколько результатов.

Поиск и устранение неисправностей

Вы можете посетить список экземпляров виртуальных машин и SSH непосредственно в экземпляре ETL.

Там вы можете посетить / var / log / и открыть файл daemon.log для редактирования, например,

  $ pico /var/log/daemon.log  

Это полный журнал процессов экземпляра. Вам нужно будет просмотреть журнал и посмотреть, где находится ошибка.

Есть много вещей, которые могли пойти не так, но наиболее распространенными (по моему собственному опыту) являются:

  1. Неправильные области доступа в шаблоне экземпляра - проверьте еще раз.

  2. Опечатка в iglu_resolver.json или bigquery_config.json , или вы забыли добавить их в правильную корзину облачного хранилища - дважды проверьте резолвер здесь и конфигурацию BigQuery здесь.

  3. Опечатка в скрипте запуска - перепроверьте здесь.

  4. Коллектор не работает - проверьте еще раз.

  5. Нетерпеливость - подождите 10-15 минут, прежде чем повторить все шаги, указанные выше. Возможно, вы слишком поторопились и экземпляр виртуальной машины еще не запустился должным образом.

Заключительные мысли

Это длинное руководство, но я все равно волнуюсь, достаточно ли оно детализировано. Мне немного стыдно за то, что я не могу точно сказать, как следует масштабировать и группировать экземпляры или как оптимизировать систему балансировки нагрузки.Но это вещи, с которыми вам нужно поэкспериментировать самостоятельно или с помощью опытного инженера по данным. Помните, что вы также можете использовать службу Snowplow Insights, чтобы помочь вам настроить конвейер и управлять им!

Я очень предпочитаю пользовательский интерфейс GCP, а не AWS - есть поток , к вещам, а связанные ресурсы сгруппированы и связаны друг с другом логическим образом. Это значительно упрощает переход от одной службы к другой.

Настроить конвейер - это весело (если вы увлекаетесь подобными вещами), но в результате получается огромная таблица данных, заполненная столбцами и строками часто не поддающихся расшифровке данных.Я часто забываю о том, что настоящая работа начинается после того, как конвейер создан. Для понимания данных требуется, по крайней мере, визуализация в таком инструменте, как Data Studio, но вы также можете посмотреть, что Snowplow говорит о моделировании данных.

Я думаю, что Snowplow проделал впечатляющую работу, сделав возможным создание собственного аналитического конвейера с довольно управляемыми затратами. Есть вещи, которые можно было бы сделать гораздо проще, например, использовать контейнеры Docker, предлагаемые Snowplow.

В трубопроводе много движущихся частей. Лично для меня гонка между различными сервисами, обогащающими, измельчающими, изменяющими и загружающими каждый входящий запрос, все еще остается загадкой. В Snowplow есть службы (например, сервер пересылки BigQuery), которые решают эти проблемы, но их настройка выходила за рамки этого руководства.

Есть еще целый мир обогащений, которые я сознательно пропустил. Больно видеть столбцы, например, географические данные показывают null , но я оставлю их для другого руководства.

Следует отметить, что вы должны внимательно следить за прогнозируемыми и фактическими затратами. После того, как вам удастся построить сам конвейер, ваша следующая задача в качестве инженера по обработке данных - искать возможности оптимизации. Имея масштабируемую облачную инфраструктуру, важно понимать часто сложную взаимосвязь между задержкой, масштабированием и стоимостью.

Надеюсь, это руководство было полезным. Я также надеюсь, что он не устареет слишком быстро.

Огромное спасибо Snowplow за помощь и ресурсы при написании этого руководства.Я особенно благодарен Yali Sassoon и Joao Luis за их поддержку.

Как снегоочистители саботируют детей и воздействуют на взрослых

Это статья о воспитании детей. Но если вы не родитель, держитесь - для вас тоже кое-что есть. Потому что всякий раз, когда мы говорим о воспитании детей, также стоит задуматься о том, как вы были родителями и как это повлияло на вас.

Брене Браун о воспитании детей

Я трижды прочитал «Великое дерзновение» Брене Браун.Это важная книга, посвященная уязвимости и трудностям, связанным с эмоциональными скачками. Я постоянно к нему возвращаюсь и с каждым прочтением получаю из него что-то новое.

Каждый раз, открывая книгу заново, я просматривал оглавление, отмечал главу о «искреннем воспитании детей» и думал про себя: «Я могу просто просмотреть эту», потому что до недавнего времени я не был я, родитель. Но после всех трех прочтений я был удивлен, обнаружив, что эта глава стала самой резонансной и волнующей главой в книге.

Вкратце, почему:

«Воспитывать детей, полных надежд и имеющих смелость быть уязвимыми, - значит отступить и позволить им испытать разочарование, справиться с конфликтами, научиться самоутвердиться и получить возможность потерпеть неудачу. Если мы всегда будем следовать за нашими детьми на арену, замалчивать критиков и обеспечивать их победу, они никогда не узнают, что у них есть способность рискнуть самостоятельно ».

Другими словами, если вы поспешите и спасете своего ребенка от борьбы за то, чтобы научиться делать что-то новое, чтобы ему не пришлось испытывать разочарование или неудачи, он не только не научится делать то, с чем боролся. с - они также узнают, что они неспособны.

В защиту отказа

В прошлом году, когда скандал Varsity Blues популяризировал фразу «воспитание детей снегоочистителями», я вернулся к приведенной выше цитате.

«Родители-снегоочистители» стараются устранить любую борьбу или невзгоды на пути своих детей до того, как они с ними столкнутся. Это люди с благими намерениями, которые хотят, как почти все родители, дать своим детям легкую и безболезненную жизнь. (Было бы упущением не отметить: это тоже функция привилегии.) Вместо этого они случайно учат своих детей неуверенности в собственных способностях и компетенциях.

Этот способ случайного выращивания неуверенности в себе существует и в других сферах, помимо воспитания детей. Это влияет на руководство на рабочем месте, супружеские отношения и даже хобби. Несколько лет назад я написал в блоге сообщение о том, как моя попытка изучить керамику была сорвана учителем, который сказал: «Вы делаете это неправильно, просто встаньте и позвольте мне сделать это».

И теперь, когда я сам стал новым родителем, а мой ребенок работает над приобретением новых необычных навыков (переворачивание! Ползание в армии! Гениальный ребенок !!), эта идея снова стала актуальной.Потому что да, гораздо быстрее нести моего ребенка по лестнице, чем позволять ему подниматься по ним ... но тогда я лишаю его способности учиться и учу его тому, что я не верю в его способность приобретать новые навыки.

Строительные леса неснежные

Если вы родитель, который вмешивается, когда ваш ребенок борется, вы, возможно, задаетесь вопросом о «золотом стандарте» - учить своих детей терпеть неудачи, а затем пытаться снова. Это называется строительные леса.

Строительные леса - это когда вы встречаете ребенка там, где он находится, и предлагаете ему что-то немного выше его текущего уровня.Другими словами, «вам нужно научиться ходить, прежде чем вы сможете бегать». Строительные леса учит детей всегда стремиться, понимать, что они могут делать сложные вещи, и иметь установку на рост.

Начните с того места, где они есть, предложите им что-нибудь посложнее и поддержите их, пока они борются. И когда они добиваются успеха благодаря своему упорному труду в достижении цели, радуйтесь, как будто они только что закончили триатлон!

Взрослые дети родителей-снегоочистителей

Мы работали со многими взрослыми клиентами, чьи благонамеренные родители использовали подход «снегоочистителя».И большинство из этих людей переполнены неуверенностью в себе. Мало того, что многим из них не хватает навыков, чтобы убрать свой дом, составить бюджет или устроиться на работу; они также не верят, что способны этому научиться. Послание, которое они получили в годы становления своей жизни, звучало так: «О нет, не беспокойтесь об этом - я могу сделать это намного быстрее / проще / лучше». Для этих клиентов это переводилось как «о нет, не пытайтесь этого - вы медлительны / неуклюжи / глупы / неспособны».

Итак, мы учим этих клиентов заново родить самих себя.Мы поддерживаем их в формировании чувства собственной эффективности и расширения возможностей, а также направляем их к другим профессионалам, которые могут удовлетворить их более конкретные потребности. Например, мы можем направить их к специализированному диетологу, который поможет им развить здоровые отношения с едой, прислушаться к сигналам своего организма и научиться готовить и есть питательную, сытную пищу. Мы можем посоветовать им проконсультироваться с финансовым консультантом, который может научить их составлять бюджет, или тренером по вопросам карьеры, который может научить их составлять резюме.

Но под всем этим мы работаем над уверенностью.

Добавить комментарий