Снегоочистительная машина: Снегоуборщик аккумуляторный GreenWorks 40 В, 4 Ah, 51 см.(ЗУ в комплекте)

1 : любое из различных устройств, используемых для уборки снега.

2 : вынос с обеих лыж, используемый для остановки, замедления или медленного спуска.

засыпанный снегом; уборка снега; снегоочистители

Как родители отнимают у взрослых детей

Сейчас многие из учеников, с которыми она работает, являются иммигрантами или студентами колледжей в первом поколении.

«Читая о скандале, я сочувствую этим родителям, я чувствую», - сказала она. Но «студенты первого поколения, которые проходят здесь, выясняют, как ориентироваться в образовательной системе, которая не всегда была создана для них», - сказала она. «Это меняет их жизнь и жизнь их семей».

Кэти Тран, 22 года, выпускница Пенсильванского университета, дочь иммигрантов из Вьетнама, которые не учились в колледже. «Они действительно оказывают мне сильную эмоциональную поддержку, но на самом деле они не могут сказать мне, что я должен делать, например, о следующих шагах», - сказала она.

По словам г-жи Тран, путь к поступлению в колледж принесет некоторые выгоды. «Я действительно думаю, что у меня есть чувство независимости и уверенности в себе, чего не могло быть у некоторых из моих друзей, родители которых учились в колледже», - сказала она. «У меня были друзья, которые даже не знали, как стирать. Думаю, в некотором смысле я чувствую, что был вынужден стать взрослым намного раньше ».

Научиться решать проблемы, рисковать и преодолевать разочарование - важнейшие жизненные навыки, говорят многие эксперты по развитию детей, и если родители не позволяют своим детям терпеть неудачи, дети их не усваивают.Когда трехлетний ребенок роняет тарелку и разбивает ее, она, вероятно, постарается не уронить ее в следующий раз. Когда 20-летний подросток спит во время теста, он, вероятно, не забудет снова установить будильник.

Снегоуборочные машины зашли так далеко, по их словам, что многие молодые люди находятся в кризисе, не имея этих навыков решения проблем и испытывают рекордный уровень беспокойства. В настоящее время существуют классы для обучения детей отработке неудач в кампусах колледжей по всей стране и даже для дошкольников.

Многие родители, работающие с снегоочистителями, тоже знают, что это проблематично. Но из-за привилегий, давления со стороны сверстников или беспокойства за будущее своих детей они все равно это делают.

Snowplow Analytics привлекает 10 миллионов долларов в рамках серии A2

Созданный для компаний, работающих с данными, Snowplow дает предприятиям возможность создать информационный ресурс, который предоставляет богатые и высококачественные поведенческие данные для поддержки их информационных продуктов. В отличие от поставщиков пакетной аналитики, Snowplow разработан специально для адаптации к конкретным бизнес-потребностям, предоставляя компаниям полный контроль над своими поведенческими данными с гибкостью, позволяющей определять, как данные собираются, структурируются, обрабатываются и моделируются, обеспечивая широкий спектр вариантов использования.Сценарии использования Snowplow варьируются от аналитики пути клиента и маркетинговой атрибуции до аналитики продуктов и оптимизации платного доступа.

Финансирование будет стимулировать дальнейшее расширение Snowplow в США, Европе и Азиатско-Тихоокеанском регионе, включая поддержку глобального сообщества пользователей открытого кода Snowplow. Snowplow также будет использовать капитал для ускорения разработки дорожной карты продукта для групп данных.

Snowplow был отмечен в отчете Gartner Cool Vendors 2020 Report как «крутой поставщик в области маркетинга и аналитики данных» и сообщил о значительном росте в течение 2020 года, поскольку ускоренная цифровая трансформация сделала важность поведенческих данных еще более ясной.

«2020 год был трудным для всех, но в Snowplow мы увидели, что все больше и больше компаний осознают необходимость унификации поведения клиентов на всех платформах таким образом, который не продиктован производителями пакетов», - сказал Алекс Дин, генеральный директор и соучредитель Snowplow. «Сохраняя нашу кривую роста в течение прошлого года, мы рады ускорить нашу глобальную экспансию с этим новым финансированием от Atlantic Bridge и MMC. Кевин и команда Atlantic Bridge обладают глубоким пониманием рынка облачных данных и настоящей интуицией в отношении масштабирования корпоративного программного обеспечения. бизнеса, так что казалось, что он отлично подходит.Мы с нетерпением ждем результатов в 2021 году ».

Кевин Диллон, управляющий партнер Atlantic Bridge, прокомментировал:« Ценность поведенческих данных широко признана, но для этого потребовалось видение Алекса и Яли, чтобы компании могли понять и использовать свои данные в контекст их собственных уникальных продуктов и вариантов использования. Снегоочиститель может стать основным строительным блоком для понимания поведения и принятия более разумных решений. Мы рады быть частью этого пути ».

« Рынок инфраструктуры данных быстро развивается, и эффективное управление поведенческими данными является ключевым компонентом любого предприятия, стремящегося оптимизировать свои цифровые каналы и создать фундаментальный уровень данных мирового класса ». добавил Олли Ричардс, партнер MMC Ventures.«Успех компании и впечатляющий список клиентов в различных секторах подчеркивают аппетит к продукции Snowplow, и мы с нетерпением ждем продолжения поддержки Алекса, Яли и команды Snowplow на следующем этапе роста».

О Snowplow Analytics

Продукт Snowplow - лучшая в своем классе платформа для управления поведенческими данными, созданная для групп обработки данных. Snowplow позволяет вам отслеживать, контекстуализировать, проверять и моделировать поведение ваших клиентов на всей вашей цифровой территории.Ваши поведенческие данные доступны в режиме реального времени и доставляются в ваше хранилище данных по выбору, чтобы обеспечить широкий спектр вариантов использования, от аналитики и отчетности до продуктов для обработки данных и машинного обучения. Продукт Snowplow распространяется как «частный SaaS», работает в вашей собственной облачной среде (AWS и / или Google Cloud) и дает вам полное владение и контроль над вашими данными.

Snowplow имеет более 150 клиентов в широком диапазоне секторов и географических регионов, включая Strava, The Economist, Weebly, Hudl, Auto Trader, Omio и Secret Escapes; Как компания, занимающаяся коммерческим программным обеспечением с открытым исходным кодом (COSS), Snowplow также имеет десятки тысяч пользователей с открытым исходным кодом.

Узнайте больше о Snowplow на snowplowanalytics.com .

Около Atlantic Bridge

Atlantic Bridge - это глобальная инвестиционная компания в области технологий роста с активами на сумму более 1 миллиарда евро под управлением семи фондов, инвестирующая в глубокие технологические компании в Европе и США. Atlantic Bridge поддерживает масштабирование портфельных компаний на международном уровне с глобальной инвестиционной командой и офисами в Лондоне, Пало-Альто, Дублине, Мюнхене и Париже.Посетите http://www.abven.com .

О MMC Ventures

MMC финансирует и помогает масштабировать технологические компании, которые трансформируют сегодняшние рынки. С 2000 года она поддерживает трансформирующие технологические компании на стадии Seed и Series A. MMC стремится к глубокому пониманию базовой технологии и бизнес-модели каждой компании, чтобы помочь принимать более эффективные решения и быть более эффективными партнерами.

Компании, занимающиеся трансформационными технологиями, которые на сегодняшний день поддерживает MMC, включают Gousto, Interactive Investor, NewVoiceMedia, Current Health, Signal AI, Bloom & Wild и Peak.

Изучите исследования MMC и другие полезные идеи на сайте www.mmc.vc.

ИСТОЧНИК Snowplow Analytics

Установите Snowplow на облачную платформу Google

Последнее обновление 18 января 2019 г .: добавлены сведения об ограничениях уровня бесплатного пользования и показано, как избежать выхода из-под контроля заданий потока данных с автоматическим масштабированием .

Я (все еще) большой поклонник Snowplow Analytics. Их модульный подход с открытым исходным кодом к конвейерам DIY-аналитики вдохновил меня написать о них две статьи и провести встречу в Хельсинки.В моем предыдущем руководстве Snowplow с веб-службами Amazon я рассказал вам о настройке конвейера Snowplow с помощью веб-служб Amazon. На этот раз я смотрю на чудесную облачную платформу Google, для которой Snowplow представила поддержку в выпуске начала 2018 года.

Я не буду предлагать исчерпывающего сравнения GCP и AWS и не буду подробно рассказывать вам обо всех возможных настройках, которые вы можете сделать при запуске инстансов и построении конвейера. Их осталось открыть вам самому или проконсультироваться с инженером по обработке данных, который может помочь вам с масштабированием.

На самом деле, установка, которую я вам покажу, во многих местах будет неоптимальной. Это не самая надежная установка для большого потока данных через конвейер, но она предоставит вам исчерпывающий список шагов, которые необходимо выполнить, чтобы все заработало.

Обратите внимание, что Snowplow также предлагает собственную службу Snowplow Insights для настройки и управления конвейером, чтобы вы могли сразу перейти к сбору и анализу данных. Я действительно рекомендую эту услугу, особенно если вы не знаете, как настроить конвейер экономичным и масштабируемым способом.Вы можете понести большие дополнительные расходы, если не знаете, как масштабировать необходимые ресурсы в соответствии с тем, что вам действительно нужно для эффективного анализа.

Если хотите, вы также можете следить за официальной вики-страницей Snowplow. Шаги аналогичны тем, что я прохожу в этом руководстве, хотя я думаю, что это руководство подойдет вам больше, если вы не знакомы с тем, как работает GCP.

Мои навыки визуализации Powerpoint с каждым годом становятся все лучше и лучше!

Информационный бюллетень Simmer

Подпишитесь на информационный бюллетень Simmer, чтобы получать последние новости и материалы от Симо Ахава на свой почтовый ящик!

Слово предупреждения

Это, наверное, не станет для вас сюрпризом, но работа с облачной платформой платная .Если вы впервые пользуетесь, вы должны иметь право на бесплатную пробную версию в размере 300 долларов, которую можно потратить в течение первых 12 месяцев. Этого более чем достаточно, чтобы построить конвейер и протестировать его в течение нескольких дней, но далеко не уедешь.

ОБНОВЛЕНИЕ 18 января 2019 г. : уровень бесплатного пользования дает вам только 8 процессоров всего для всего проекта. Это означает, что вы должны вести учет всех экземпляров, которые вы будете использовать для сборщика и для машины ETL. Начните с небольшого числа, например.грамм. 1 или 2 процессора на экземпляр, чтобы увидеть, как работает Snowplow. Когда у вас есть бюджет, вы можете приступить к более амбициозным настройкам.

Вам нужно внимательно следить за панелью биллинга вашего проекта. Это поможет вам получить представление о том, сколько затрат вы фактически накопили на сегодняшний день, и каковы будут прогнозируемые затраты на весь месяц.

Что вам понадобится

Чтобы следовать этому руководству, вам потребуется:

• Учетная запись Google - что-то, что нужно для входа в службы Google, например, ваш идентификатор Google Mail.

• Кредитная карта - вам нужно будет включить биллинг в своем аккаунте Google Cloud, чтобы активировать некоторые из необходимых нам сервисов.

• Имя личного домена - это необязательно, но необходимо, если вы хотите настроить трекер в качестве защищенной конечной точки HTTPS. Без имени личного домена вы вынуждены использовать только HTTP. Вы можете получить дешевое доменное имя в Google Domains. Возможно, вы, , сможете установить что-то бесплатно с помощью Cloud Endpoints, но это руководство не будет касаться этого.

Удачи! Сообщите мне в комментариях, если какая-то часть этого руководства была особенно неясной.

Первые шаги

Здесь мы настроим проект GCP, убедитесь, что у вас включены необходимые ресурсы, а также мы установим Google Cloud SDK, чтобы вы могли взаимодействовать со своим проектом через локальный терминал.

Шаг 1. Создайте новый проект

Первое, что вам нужно сделать, это создать новый проект Google Cloud.

(1) Перейдите на https: // console.cloud.google.com/cloud-resource-manager/. Не забудьте войти в систему с идентификатором Google, который вы будете использовать для управления этим проектом. Щелкните СОЗДАТЬ ПРОЕКТ .

Если вы впервые используете GCP с этой учетной записью, вы можете увидеть предложение на бесплатный кредит . Возьми это!

(2) Дайте проекту имя.

Для удобства было бы неплохо изменить Project ID на что-нибудь более разборчивое и легкое для понимания.

Если у вас есть Организации и Расположение (например, папки), настроенное для вашей учетной записи Google Cloud, выберите соответствующие из меню.

Кроме того, если у вас уже есть учетная запись Billing Account , выберите ее в соответствующем раскрывающемся меню.

Когда все будет готово, выберите СОЗДАТЬ .

После нажатия кнопки GCP в течение некоторого времени выполнит некоторую загрузку и вращение, после чего вы должны увидеть панель управления новым проектом.Если вы этого не сделаете, обязательно выберите его в меню выбора проекта.

Поздравляем! Вы создали проект.

Шаг 2. Включите биллинг

Вам нужно будет создать платежный аккаунт , чтобы GCP могла выставлять вам счета в случае необходимости (отстой, я знаю).

(1) Перейдите по адресу https://console.cloud.google.com/billing.

(2) Нажмите Добавить платежный счет .

Здесь следуйте инструкциям по добавлению кредитной карты или, если вы имеете право на бесплатную пробную версию , активируйте ее.

Убедитесь, что вы следуете подсказкам, чтобы связать проект Snowpow с только что созданной учетной записью Billing.

Шаг 3. Включите необходимые службы

Затем вам нужно включить службы и API, которые нам понадобятся для начала работы. Эти шаги позволяют настроить сборщик. Когда вы перейдете к этапам обогащения и загрузки BigQuery, вам потребуется включить дополнительные службы.

(1) Перейдите по адресу https://console.cloud.google.com/apis/library.

Вы должны увидеть строку поиска, поэтому начните с поиска Compute Engine API и щелкните соответствующий результат.Нам понадобится Compute Engine для запуска наших виртуальных машин, на которых будет располагаться сборщик Snowplow.

При входе на страницу API Compute Engine просто нажмите синюю кнопку ВКЛЮЧИТЬ вверху.

Когда это будет сделано, вы должны увидеть что-то вроде этого там, где раньше была кнопка Включить :

Теперь выполните те же самые шаги для Cloud Pub / Sub API . Pub / Sub (для Pub lisher / Sub scriber) - это очередь сообщений в реальном времени, которую мы будем использовать для обработки данных, поступающих в конвейер Snowplow.

После того, как вы включите эти службы, вы готовы перейти к следующему шагу!

Шаг 4. Установите Google Cloud SDK

Следующее, что вам нужно сделать, это установить Google Cloud SDK локально на свой компьютер. Это очень удобно, поскольку позволяет получить доступ к проекту GCP из командной строки и позволяет тестировать некоторые службы с локального компьютера, а не искать соответствующие пути через часто сбивающий с толку пользовательский интерфейс.

Чтобы установить SDK, следуйте инструкциям для вашей платформы, начиная с здесь.

После установки SDK вы сможете запускать следующие команды в своем терминале / оболочке:

  $ gcloud авторизация входа
$ gcloud config установить проект PROJECT_ID  

Первая команда выполняет вход в Google Cloud с помощью учетной записи Google, которую вы выбираете в веб-запросе. Вторая команда указывает текущую настройку gcloud на указанный вами идентификатор проекта (замените PROJECT_ID на идентификатор, который вы указали при создании проекта).Конечный результат должен быть примерно таким:

Шаг 5. Настройка учетной записи службы

Последний шаг инициализации - настройка учетной записи службы . Учетная запись службы - это, по сути, учетная запись Google Cloud, которая имеет полный доступ к вашим службам и ресурсам GCP. Это необходимый шаг, если вы хотите запускать службы в GCP программно, а не с помощью своей личной учетной записи Google.

Обратите внимание, что при включении Compute Engine API для своего проекта автоматически создается учетная запись службы Compute Engine по умолчанию.приведенные ниже шаги действительно применимы только в том случае, если вы хотите создать другую учетную запись службы для своего конвейера.

(1) Перейдите по адресу https://console.cloud.google.com/apis/credentials.

(2) Убедитесь, что в меню выбора проектов выбран правильный проект.

(3) Щелкните синий селектор Создать учетные данные и выберите в меню Ключ служебной учетной записи .

Поскольку вы включили Compute Engine API , вы сможете выбрать сервисный аккаунт GCE по умолчанию из раскрывающегося списка.

Не снимая выделения с параметра JSON , выберите Создать .

Браузер должен автоматически загрузить файл JSON, поэтому убедитесь, что вы нашли его в локальных файлах и сохраните его в надежном месте .

На этом этапе было бы неплохо, , создать локальную папку для всего эксперимента Snowplow . В этой локальной папке вы можете хранить этот ключ учетной записи службы и любые временные файлы конфигурации, над которыми вы будете работать, а также другие вещи, такие как исполняемые и двоичные файлы, которые вы в конечном итоге при необходимости загрузите в GCP.

После создания учетной записи службы можно двигаться дальше. Все начальные шаги выполнены, поздравляем!

Настройка тем Pub / Sub

Snowplow использует коллектор в качестве конечной точки ваших запросов трекера. Этот сборщик находится в экземпляре Compute Engine (по сути, виртуальной машине) и обрабатывает запросы, отправляемые вами в конечную точку.

Эти запросы затем публикуются в темах Pub / Sub , откуда они затем передаются по конвейеру для обогащения и анализа.Pub / Sub - это, по сути, конвейер обмена сообщениями в реальном времени, который собирает сообщения в темах , которые затем становятся доступными для подписок .

Обязательно посетите официальную вики-страницу Snowplow для получения дополнительной информации об этой части конвейера.

Шаг 1. Создайте темы Pub / Sub

Первое, что вам нужно сделать, это создать тему в Pub / Sub, который вы включили для своего проекта.

(1) Перейдите на https: // console.cloud.google.com/cloudpubsub/topicList.

(2) Убедитесь, что в селекторе проектов выбран правильный проект.

(3) Нажмите синюю кнопку Создать тему .

(4) Введите good после пути к проекту, как показано на скриншоте ниже, и нажмите CREATE .

(5) Щелкните СОЗДАТЬ ТЕМУ и введите неверно в качестве имени новой темы, а затем щелкните СОЗДАТЬ .

Snowplow использует эти две темы для фильтрации проверяющих совпадений и запросов ( хороший поток ) и тех, которые имеют проблемы и ошибки ( плохой поток ).

Шаг 2. Создайте подписку (необязательно)

Затем вы можете создать подписку , с помощью которой вы можете тестировать поток. Это необязательно, но может быть хорошей идеей, если вы хотите увидеть, как работает конвейер.

(6) Щелкните тему good , чтобы перейти на страницу конфигурации.

(7) Выберите СОЗДАТЬ ПОДПИСКУ в верхней части навигации.

(8) Дайте подписке имя ( test-good ).

(9) Оставьте остальные настройки без изменений и нажмите СОЗДАТЬ .

Теперь, когда вы создали темы Pub / Sub, пора перейти к одному из наиболее сложных шагов этого руководства: настройка самого сборщика .

Создание конечной точки HTTP с помощью сборщика потоков Scala

Snowplow использует сборщик, написанный на Scala для обработки запросов, отправленных с вашего веб-сайта.Эти записи анализируются Scala Stream Collector , а затем распределяются по темам Pub / Sub, которые вы создали в предыдущей главе.

Начнем с простой конечной точки HTTP , используя IP-адрес по умолчанию, назначенный экземпляру Compute Engine, который вы развернете. Это только для проверки того, что весь конвейер работает. Вам нужно настроить собственное доменное имя с конечной точкой HTTPS для фактического трекера!

Шаг 1. Создайте файл конфигурации

В локальном каталоге, в котором вы храните все файлы проекта (например, учетные данные учетной записи службы, которые вы создали ранее), создайте новый файл с именем application.config и скопируйте и вставьте содержимое этого образца конфигурации в.

На данный момент единственная строка, которую вам нужно отредактировать, - это строка с googleProjectId = your-project-id . Измените your-project-id на свой фактический идентификатор проекта Google Cloud.

Держите этот файл под рукой, потому что в ближайшее время в него нужно будет внести некоторые изменения.

Шаг 2. Запустите экземпляр GCE

Теперь вы готовы запустить экземпляр Compute Engine.

ПРИМЕЧАНИЕ! Потому что это всего лишь тест - не забудьте выключить экземпляр, как только закончите, чтобы не накапливать лишних затрат.

(1) Перейдите на https://console.cloud.google.com/compute/instances и убедитесь, что ваш проект выбран в селекторе проектов.

(2) Щелкните Create .

Затем вы перейдете к экрану конфигурации.

(3) Дайте экземпляру имя .

(4) Выберите регион (желательно где-нибудь поблизости) - вы можете использовать зону по умолчанию.

(5) Убедитесь, что созданный вами сервисный аккаунт (или сервисный аккаунт Compute Engine по умолчанию) выбран в соответствующем списке.

(6) Выберите Установить доступ для каждого API в селекторе области действия.

(7) Прокрутите список API и выберите Включено для Cloud Pub / Sub API.

(8) Прокрутите вниз до Брандмауэр и отметьте Разрешить HTTP-трафик . Затем щелкните ссылку Управление, безопасность, диски, сеть, единоличное владение .

(9) Выберите вкладку Networking и введите collector в поле Network tags .

После внесения этих изменений нажмите Create , чтобы запустить экземпляр!

Шаг 3. Создайте правило брандмауэра

Вам необходимо создать правило брандмауэра, которое принимает входящие соединения с вашего веб-сайта.

(1) Перейдите на страницу https://console.cloud.google.com/networking/firewalls/list и убедитесь, что выбран правильный проект.

(2) Нажмите СОЗДАТЬ ПРАВИЛО БЕЙДВОЛЛА .

(3) В открывшейся конфигурации дайте правилу имя, например.грамм. правила межсетевого экрана снегоочистителя .

(4) Прокрутите вниз до Целевые теги и введите имя тега, которое вы указали в конце предыдущего шага (сборщик , если вы использовали мой пример).

(5) Убедитесь, что IP-диапазоны выбран в меню Source filter , и введите 0.0.0.0/0 в поле Source IP range .

(6) В разделе «Протоколы и порты » проверьте tcp и введите 8080 в качестве значения порта.

Когда все будет готово, нажмите Create , чтобы завершить настройку брандмауэра.

Шаг 4. Создайте сегмент хранилища для файла конфигурации

Следующее, что вам нужно сделать, это загрузить файл конфигурации для коллектора в корзину Cloud Storage. Это связано с тем, что файл должен быть доступен для использования вашим экземпляром, и очень удобно иметь файл, доступный в Google Cloud, поскольку учетная запись службы может просто извлечь файл прямо из корзины.

(1) Перейдите на страницу https://console.cloud.google.com/storage/browser и, как всегда, убедитесь, что у вас выбран правильный проект, прежде чем нажимать Создать корзину .

(2) Дайте ковшу описательное (и уникальное) имя, например, снегоочиститель-ваше имя-ведро-сборщик .

(3) Вы можете оставить остальные настройки с их значениями по умолчанию, затем нажмите Create .

(4) В открывшемся представлении щелкните Загрузить файлы , найдите приложение .config , который вы скачали ранее, и загрузите его в корзину.

Молодец! Теперь вы готовы подключить свой экземпляр GCE и запустить сборщик!

Шаг 5. SSH в экземпляр Compute Engine

Теперь, когда у вас есть виртуальная машина, работающая в облаке, и у вас есть файл конфигурации, загруженный в корзину облачного хранилища, следующим шагом будет подключение к виртуальной машине, загрузка всех оставшихся файлов и запуск сборщика.

Очень просто и тривиально выполнить следующие действия с помощью Google Cloud SDK на вашем локальном компьютере.Если вы хотите попробовать, выполните соответствующие действия в вики-странице Snowplow.

(1) Перейдите по адресу https://console.cloud.google.com/compute/instances.

(2) Щелкните параметр SSH рядом с вашим экземпляром.

(3) Посетите https://dl.bintray.com/snowplow/snowplow-generic/ и найдите файл, который начинается с snowplow_scala_stream_collector_google_pubsub_ , и проверьте, какой номер последней версии не имеет rcl суффикс.Запишите этот номер версии (например, 0.14.0 ), скачивать файл не нужно.

(4) Затем в окне SSH выполните следующие команды по порядку, нажимая Enter после каждой команды.

  $ sudo apt-get update
$ sudo apt-get -y установить default-jre
$ sudo apt-get -y установить распаковать
$ wget https://dl.bintray.com/snowplow/snowplow-generic/snowplow_scala_stream_collector_google_pubsub_.zip
$ gsutil cp gs: // <ИМЯ-ВЕДРО> / application.конф.
$ unzip snowplow_scala_stream_collector_google_pubsub_  .zip
$ java -jar Snowplow-Stream-Collector-google-pubsub- <ВЕРСИЯ> .jar --config application.conf  

Замените все экземпляры последней версией ZIP-файла сборщика, который вы зарегистрировали в (3).

Замените именем, которое вы дали ведру облачного хранилища на предыдущем шаге (например, snowplow-yourname-collector-bucket ).

После выполнения последней команды, если все настроено правильно, вы должны увидеть следующий вывод в оболочке экземпляра:

Теперь вы готовы отправить тестовый запрос на конечную точку, после чего вы можете проверить свою подписку Pub / Sub, если она получила сообщение!

Шаг 6. Отправьте тестовый запрос и убедитесь, что он был опубликован в Pub / Sub

Чтобы отправить запрос, сначала необходимо проверить внешний IP-адрес вашего экземпляра Cloud.

(1) Перейдите на https: // console.cloud.google.com/compute/instances и щелкните имя экземпляра Snowplow.

(2) Скопируйте IP-адрес из поля Внешний IP-адрес .

Следующий шаг требует, чтобы вы отправили запрос HTTP POST с определенной полезной нагрузкой на эту конечную IP-точку. Есть много способов сделать это - например, вы можете использовать консоль JavaScript веб-браузера.

Для быстрого тестирования конечных точек HTTP я предпочитаю использовать curl, инструмент командной строки, доступный практически в любом терминале.Если вы используете операционную систему, в которой нет curl, я рекомендую скачать и установить ее отсюда.

(3) Откройте терминал на локальном компьютере и скопируйте и вставьте следующую команду, переключив на фактический внешний IP-адрес, который вы скопировали из настроек экземпляра GCE.

  $ curl -d "& e = pv & page = curl-test & url = http% 3A% 2F% 2Fjust-testing.com & aid = snowplow-test" -X POST http: // : 8080 / com.snowplowanalytics.iglu / v1  

Полезная нагрузка очень проста - в основном у нее всего четыре параметра:

Конечная точка имеет суффикс /com.snowplowanalytics.iglu/v1 для обозначения схемы, которую вы будете использовать для обработки и проверки входящих данных. Поскольку мы работаем с наиболее готовым решением, доступным для тестирования, вы можете использовать эту схему по умолчанию на данный момент.

Позже мы будем использовать плагин Google Analytics, чтобы упростить вещи и отправить более полную полезную нагрузку, но для целей тестирования этого достаточно.

(4) Если все работает, в качестве ответа вы должны увидеть код состояния ОК.

Теперь вы можете проверить, была ли ваша запись опубликована в good Pub / Sub топике . Чтобы проверить это, вам нужно вытащить недавних записей из темы, используя подписку, которую вы создали ранее. Самый простой способ сделать это - использовать Google Cloud SDK, который вы должны теперь установить и настроить на своем локальном компьютере.

(5) Вам понадобится следующая команда:

  $ gcloud pubsub subscriptions pull --auto-ack test-good  

Где test-good - это имя, которое вы дали подписке при ее создании.Если это сработало, вы должны увидеть следующий результат:

Не беспокойтесь о том, что он выглядит искаженным. Это запрос, хранящийся в двоичном формате Thrift. Вы должны увидеть всевозможные интересные элементы, такие как IP-адрес вашего локального компьютера, строку User-Agent (пока только curl ) и саму полезную нагрузку данных. Если вы все это видите в теме good Pub / Sub, значит, все работает!

Вы успешно создали сборщик за конечной точкой HTTP.Вы можете перейти к стадии обогащения, но я настоятельно рекомендую вам сначала остановить экземпляр GCE, чтобы у вас не накапливались дополнительные расходы на его запуск.

Я также рекомендую вам продолжить со следующей главы, где вы узнаете, как использовать собственный домен в качестве защищенной HTTPS конечной точки для сборщика. Использование HTTP наносит ущерб, и вы действительно не можете создать готовую к работе конечную точку с одним экземпляром GCE за протоколом HTTP.

Создайте конечную точку HTTPS с личным доменным именем

Этот шаг фактически заменяет предыдущую главу.Вместо использования эфемерного внешнего IP-адреса за протоколом HTTP мы назначим нашему экземпляру виртуальной машины статический IP-адрес . Кроме того, мы настроим пользовательское доменное имя, указывающее на этот статический IP-адрес, и все будет работать по протоколу HTTPS.

Тем не менее, вы все равно захотите прочитать предыдущую главу. Мы будем делать здесь много похожего.

ВАЖНО! Если вы хотите пропустить чтение предыдущей главы, обратите внимание, что вы, , должны выполнить шаги (1) и (4) из предыдущей главы, прежде чем переходить к конечной точке HTTPS.

По сути, так должен выглядеть конечный коллекционный продукт. Вы используете систему с балансировкой нагрузки для автоматического масштабирования экземпляров с входящим трафиком, и вы сможете избежать досадных межпротокольных ошибок из-за использования HTTPS в качестве единственной конечной точки. Также есть дополнительная безопасность.

Шаг 1. Создайте шаблон экземпляра

Вместо работы с одним экземпляром GCE мы будем использовать кластер из экземпляров, которые будут автоматически масштабироваться вверх и вниз вместе с трафиком.Это, естественно, отразится на структуре затрат ваших ежемесячных счетов-фактур GCP, поэтому следите за предполагаемыми расходами на панели инструментов.

(1) Если вы следовали предыдущей главе, вы можете продолжить и удалить экземпляр GCE и правило брандмауэра. Здесь вы начнете с нуля.

(2) Вы можете сохранить файл application.conf в том виде, в каком он находится в сегменте хранилища. Здесь применяются те же настройки, которые вы использовали в предыдущей главе.

(3) Перейдите на https: // console.cloud.google.com/compute/instanceTemplates/list и нажмите Создать шаблон экземпляра .

Шаблон экземпляра - это то, что каждая новая виртуальная машина будет использовать в качестве своего «шаблона», что означает, что она унаследует настройки этого шаблона, а также сценарий запуска, который запустит сам сборщик.

Шаги для шаблона экземпляра почти такие же, как для отдельного экземпляра GCE из предыдущей главы, но давайте все равно пройдемся по ним.

(4) Дайте описательное имя экземпляру.

(5) Убедитесь, что выбрана сервисная учетная запись Compute Engine по умолчанию.

(6) Выберите Установите доступ для каждого API в списке Access Scopes .

(7) Прокрутите список до Cloud Pub / Sub и выберите Включить .

(8) В брандмауэре выберите Разрешить HTTP-трафик .

(9) Разверните Управление, безопасность, диски, сеть, индивидуальная аренда аккордеон.

(10) Прокрутите вниз до Сценарий запуска и скопируйте и вставьте следующий код в:

  #! / bin / bash
sudo apt-get update
sudo apt-get -y установить default-jre
sudo apt-get -y установить разархивировать
archive = snowplow_scala_stream_collector_google_pubsub_  .zip
wget https://dl.bintray.com/snowplow/snowplow-generic/$archive
gsutil cp gs: // <ИМЯ-ВЕДОМ> /application.conf.
распаковать $ архив
java -jar snowplow-stream-collector-google-pubsub- <ВЕРСИЯ>.jar --config application.conf &  

(11) Отредактируйте два экземпляра с последним номером версии, который вы можете найти для префикса snowplow_scala_stream_collector_google_pubsub_ здесь (не используйте версию с префиксом _rcl ). На момент написания последней версии была 0.14.0 .

(12) Замените именем корзины Cloud Storage, в которой хранится приложение .conf файл.

Этот сценарий запуска запускается всякий раз, когда с этим шаблоном создается новый экземпляр. Он загружает все зависимости и запускает файл Java сборщика.

(13) Щелкните, чтобы открыть вкладку Networking , прокрутите до Network tags и добавьте коллектор в качестве тега.

(14) Нажмите Создать , когда закончите.

Шаг 2. Создайте правило брандмауэра

Вам необходимо создать правило брандмауэра , чтобы разрешить внешние подключения к вашим экземплярам GCE.

(1) Перейдите на страницу https://console.cloud.google.com/networking/firewalls/list и нажмите СОЗДАТЬ ПРАВИЛО БЕЙДВОЕЛА .

(2) Дайте правилу имя.

(3) Прокрутите вниз до Целевые теги и введите в поле коллектор .

(4) В Диапазон IP источника , тип 0.0.0.0/0 .

(5) Установите флажок рядом с TCP в разделе «Протоколы и порты» (при выборе Указанные протоколы и порты выбраны ) и введите 8080 .

(6) Нажмите Создать , когда будете готовы.

Шаг 2. Создайте группу экземпляров

Затем нам нужно создать группу экземпляров , которая будет использоваться балансировщиком нагрузки в качестве серверной службы.

(1) Прокрутите до https://console.cloud.google.com/compute/instanceGroups/list и нажмите Создать группу экземпляров .

(2) Дайте группе описательное имя.

(3) Вы можете установить Location ближе к дому, если хотите.

(4) Выберите шаблон экземпляра, созданный на предыдущем шаге, из селектора Шаблон экземпляра .

ОБНОВЛЕНИЕ 18 января 2019 : вы также можете установить Autoscaling Off . Это означает, что экземпляр не будет автоматически создавать новые машины. Вы можете начать с этого, а затем перейти к настройке автомасштабирования, если обнаружите, что Collector сильно отстает.

(5) Прокрутите вниз до Проверка работоспособности , щелкните меню и выберите Создать проверку работоспособности .

(6) Задайте следующие параметры:

• Имя : описательное имя
• Протокол : HTTP
• Порт : 8080
• Путь запроса : / health
• Интервал проверки : 10 секунд
• Порог неисправности : 3 последовательных отказа

Для остальных параметров можно оставить значения по умолчанию.

(7) Нажмите Сохранить и продолжить после завершения настройки проверки работоспособности.

(8) Щелкните Create , чтобы завершить создание группы экземпляров.

После того, как вы создадите группу, вы должны увидеть, как она загружается на некоторое время, после чего вы увидите, что группа была создана и новый экземпляр уже запущен!

На этом этапе вы можете быстро проверить, работает ли экземпляр.

(9) Перейдите по адресу https://console.cloud.google.com/compute/instances и скопируйте IP-адрес из поля Внешний IP-адрес рядом с экземпляром, созданным из вашей группы экземпляров.

(10) Откройте программное обеспечение терминала и выполните следующую команду:

  $ curl http: // : 8080 / health  

Замените на скопированный IP-адрес.

В качестве ответа вы должны увидеть сообщение OK .

Далее попробуйте:

  $ curl http: // : 8080 / i  

Вы должны увидеть искаженный ответ в формате GIF (что-то вроде GIF89a ????!?, D; ).

Если вы видите эти два, ваш экземпляр работает, и вы успешно создали конечную точку HTTP.

А? Именно это вы и сделали в предыдущей главе!

Но, используя группу экземпляров , вы теперь готовы к самому большому шагу здесь: созданию балансировщика нагрузки.

Шаг 3. Создайте балансировщик нагрузки

Назначение балансировщика нагрузки - автоматическое масштабирование вашей системы вверх и вниз в зависимости от таких вещей, как скачки трафика и загрузка ЦП.Он работает, устанавливая один IP-адрес в общедоступном Интернете, который затем туннелирует / проксирует трафик на все необходимые внутренние IP-адреса (в основном ваши экземпляры GCE), без ведома внешнего мира.

Другое преимущество балансировщика нагрузки заключается в том, что мы можем использовать его для назначения балансировщику статического IP-адреса , а со статическим IP-адресом мы можем применить наше пользовательское доменное имя , чтобы SSL-сертификат, управляемый Google, может применяться к конечной точке.

Итак, на этом этапе много всего, обратите внимание!

(1) Перейдите на страницу https://console.cloud.google.com/net-services/loadbalancing/loadBalancers/list и нажмите Создать балансировщик нагрузки .

(2) Щелкните Start configuration на панели HTTP (S) Load Balancing .

(3) Дайте подсистеме балансировки нагрузки имя, нажмите Конфигурация бэкэнд , затем Создайте или выберите бэкэнд-службы и бэкэнд-сегменты , затем выберите Бэкэнд-службы -> Создать бэкэнд-службу .

(4) Дайте имя серверной службе.

(5) Оставьте для всех остальных параметров значения по умолчанию, но выберите группу экземпляров , созданную вами ранее, в соответствующем меню. Установите 8080 в поле Номера портов и выберите Проверка работоспособности , которую вы также создали ранее, в меню Проверка работоспособности .

(6) Нажмите Создать , когда будете готовы.

(7) Щелкните открыть Хост и правила пути и убедитесь, что созданная вами серверная служба отображается в правиле.

(8) Затем нажмите Конфигурация внешнего интерфейса .

(9) Дайте имя внешней службе.

(10) Выберите HTTPS в качестве протокола .

(11) Выберите список IP-адрес и нажмите , создайте IP-адрес .

(12) Выберите имя для IP-адреса и нажмите ЗАБРОНИРОВАТЬ .

(13) Убедитесь, что новый IP-адрес выбран в конфигурации внешнего интерфейса, и скопируйте IP-адрес в текстовый редактор или что-то еще .Он понадобится вам при настройке DNS вашего личного доменного имени!

(14) Убедитесь, что 443 установлен как порт .

(15) В меню Сертификаты выберите Создать новый сертификат .

(16) Дайте новому сертификату имя.

(17) Выберите Создать сертификат, управляемый Google .

(18) Введите имя домена, который будет указывать на ваш сборщик, в поле Domains .

(19) Когда все будет готово, нажмите Create .

(20) По завершении настройки внешнего интерфейса нажмите Готово .

(21) Нажмите Просмотреть и завершить , чтобы увидеть все изменения. Вы, вероятно, увидите, что ваш сертификат по-прежнему имеет статус PROVISIONING , потому что вы еще не обновили DNS своего домена.

(22) Если все устраивает, нажмите Create , чтобы создать балансировщик нагрузки.

Шаг 4. Настройте DNS

На этом этапе вам нужно перейти в настройки DNS для пользовательского доменного имени, которое вы хотите указать своему сборщику балансировки нагрузки.

Вам необходимо создать запись A для имени домена, которая указывает на статический IP-адрес , который вы создали для внешнего интерфейса балансировщика нагрузки выше. Вы можете установить TTL примерно на 600 секунд, чтобы быстрее увидеть изменения.

Вот как это будет выглядеть в GoDaddy.

После настройки DNS потребуется некоторое время, чтобы новое имя определилось. Вы можете проверить статус, запустив это в своем терминале:

  $ host tracker.gtmtools.com  

Замените tracker.gtmtools.com на доменное имя, которое вы настроили в DNS. Если это сработает, вы должны увидеть ответ с настроенным IP-адресом.

Шаг 5. Тестирование всего

После того, как вы настроили доменное имя и оно преобразовалось в правильный IP-адрес, вам все равно может потребоваться некоторое время, чтобы предоставить сертификат SSL для имени домена.Это может занять от пары минут до нескольких часов, так что наберитесь терпения.

Вы можете проверить состояние вашей системы, перейдя к списку балансировщиков нагрузки и щелкнув созданный вами балансировщик нагрузки.

Интерфейс должен показать зеленую галочку рядом с именем вашего сертификата, чтобы указать, что сертификат был назначен.

В серверной службе должен быть создан один работоспособный экземпляр.

Если все в порядке, следующим шагом будет проверка самой конечной точки.Откройте терминал и выполните следующую команду:

  $ curl -d "& e = pv & page = https-test & url = https% 3A% 2F% 2Fjust-testing.com & aid = snowplow-test" -X POST https: //  /com.snowplowanalytics.iglu/v1  

Замените именем домена, которое вы настроили так, чтобы указывать на балансировщик нагрузки.

Если это сработало, вы должны увидеть ответ OK .

Затем вы можете попробовать получить полезную нагрузку из темы Pub / Sub с помощью:

  $ gcloud pubsub subscriptions pull --auto-ack test-good  

В качестве ответа вы должны увидеть что-то вроде этого:

Если вы это видите, поздравляю, теперь у вас есть конечная точка HTTPS для вашего коллектора!

Если что-то не так, вам нужно сузить круг проблем.Проверьте свои страницы Google Compute Engine и убедитесь, что работает исправный экземпляр GCE. Вы даже можете подключиться к экземпляру по SSH, перейти в каталог / var / log / и открыть файл daemon.log для редактирования, чтобы узнать, возникла ли проблема со сценарием запуска.

Кроме этого, очень трудно сказать, каков вероятный источник проблемы. Лично я сначала сделал много ошибок при настройке портов и настройке отдельных компонентов. Но если вы будете следовать этому руководству до буквы, все будет в порядке.

Иногда проблема заключается в том, что вам просто нужно дождаться разрешения DNS и присвоения сертификата новому доменному имени. Это может занять некоторое время.

Далее, , обогащение и загрузка данных в BigQuery !

Примечание! Если вы собираетесь сделать перерыв сейчас, не забудьте ОСТАНОВИТЬ свой экземпляр GCE. Вы всегда можете перезапустить его, когда будете готовы к работе. Вы не хотите накапливать какие-либо нежелательные расходы из-за того, что экземпляр работает без цели!

Настроить трекер Google Analytics

Прежде чем мы перейдем к обогащению, сейчас самое время настроить трекер .Для этой цели мы будем использовать плагин Snowplow для Google Analytics, потому что это простой способ использовать существующее отслеживание на вашем сайте. Если хотите, можете смело использовать обычный JavaScript трекер Snowplow.

Для начала перейдите к моему инструменту customTask Builder Tool.

(1) Щелкните параметр с надписью Copy Hits to Snowplow Collector Endpoint .

(2) Щелкните Копировать в буфер обмена .

(3) Затем в Диспетчере тегов Google создайте новую пользовательскую переменную JavaScript и вставьте туда содержимое буфера обмена.

(4) В начале блока кода удалите var _customTask = , чтобы первые символы блока были function () {.

(5) В конце блока удалите точку с запятой, которая является самым последним символом блока.

(6) Измените строку, начинающуюся с var snowplowEndpoint = '...'; , чтобы строка содержала URL-адрес конечной точки вашего сборщика.

(7) Сохраните переменную с каким-либо именем, например.грамм. JS - Дубликатор снегоочистителя .

(8) Затем откройте тег Page View , отметьте Включить переопределение настроек в этом теге , прокрутите вниз до Дополнительные настройки > Поля для установки и добавьте новое поле:

Имя поля : customTask
Значение : {{JS - Дубликатор Snowplow}}

Вот и все, что касается трекера. Теперь это работает так: всякий раз, когда срабатывает ваш тег просмотра страницы, он копирует полезные данные в конечную точку сборщика Snowplow.

Если хотите, вы можете опубликовать свой контейнер сейчас, после чего каждый посетитель вашего веб-сайта начнет отправлять эти просмотры страниц вашему сборщику. Однако я рекомендую вам сейчас использовать режим предварительного просмотра, чтобы сборщику отправлялось только ваших просмотров страниц.

После того, как конвейер будет запущен, вы можете начать сбор более полных данных от ваших посетителей.

Подготовьте этап ETL

Перед тем, как перейти к извлечению, преобразованию и загрузке (ETL) данных вашего коллектора, нам необходимо провести некоторые приготовления.

Шаг 1. Включите Dataflow API

Для процесса обогащения и загрузчика BigQuery требуется, чтобы была включена новая служба.

(1) Перейдите к библиотеке API.

(2) Найдите поток данных и щелкните селектор Dataflow API .

Cloud Dataflow позволяет обогащать поток данных с минимальной задержкой. Это именно то, что нам нужно. Нам нужно, чтобы обогатитель извлекал события для темы Pub / Sub , в которую их записывает сборщик, обогащает и измельчает до нужного формата и записывает обратно в тему Pub / Sub для загрузки BigQuery.

(3) Нажмите кнопку ВКЛЮЧИТЬ на странице API, чтобы включить эту службу.

Шаг 2. Создайте необходимые темы Pub / Sub и подписки

К настоящему времени у вас должно быть две темы Pub / Sub , хороших и плохих для обращений, обработанных вашим сборщиком.

Нам нужно будет создать несколько дополнительных тем и подписок для оставшихся этапов конвейера.

(1) Перейдите на https: // console.cloud.google.com/cloudpubsub/topicList.

(2) Щелкните, чтобы открыть тему good , и щелкните Create Subscription . Дайте подписке имя good-sub .

(3) Затем создайте следующие темы:

1. bq-bad-rows
2. bq-отказавшие вставки
3. Типы БК
4. обогащенный-плохой
5. обогащенный-хороший

(4) Затем щелкните открыть bq-types и создайте для него новую подписку с именем bq-types-sub .

(5) Наконец, щелкните «Открыть enriched-good » и создайте для него новую подписку с именем enriched-good-sub .

Вот как должен выглядеть список тем:

Вот как должен выглядеть список подписки:

Конечно, вы можете создать дополнительные подписки для тестирования и отладки, но это именно то, что конкретно необходимо на следующих этапах конвейера.

Шаг 3. Создайте новую корзину для временных файлов

Вам потребуется создать новую корзину для временных файлов, созданных в процессе обогащения.Но это хорошее место для хранения некоторых файлов, необходимых на этапах обогащения и загрузки.

(1) Перейдите по адресу https://console.cloud.google.com/storage/browser/.

(2) Щелкните СОЗДАТЬ ВЕДРО и создайте новый ковш с именем snowplow-yourname-temp , например:

(3) Щелкните это ведро и щелкните Создать папку и назовите новую папку temp-files :

Шаг 4: Создайте файл iglu_resolver.конфигурация json

Snowplow использует так называемые преобразователи для автоматической идентификации параметров каждого входящего попадания. Это необходимо по многим причинам, главным из которых является проверка попадания (для выявления действительных запросов из недействительных), обогащение и измельчение обращений до надлежащего формата данных, а также изменение и загрузка данных в таблицы BigQuery.

(1) Загрузите отсюда файл iglu_resolver.json и откройте его для редактирования.

(2) Измените два параметра vendorPrefixes , чтобы они также включали пространство имен Google Analytics ( Примечание! Вам не нужно этого делать, если вы используете обычный трекер JavaScript Snowplow).

(3) Сохраните файл локально.

(4) Перейдите по адресу https://console.cloud.google.com/storage/browser/, нажмите, чтобы открыть только что созданную корзину временных файлов, и загрузите измененный iglu_resolver.json в корень этой корзины. (так что , а не в папке temp-files ).

С этой конфигурацией резолвера вы даете команду обогатителю и загрузчику, которые обращаются с использованием пространства имен Google Analytics , возможно, поступит .

Шаг 5. Создайте новый набор данных BigQuery

Прежде чем двигаться дальше, вам нужно создать новый набор данных в BigQuery, который будет содержать таблицу, в которой будут размещаться ваши данные.

(1) Перейдите на https://console.cloud.google.com/bigquery и выберите свой проект в селекторе слева.Щелкните СОЗДАТЬ НАБОР ДАННЫХ .

(2) Присвойте набору данных идентификатор, например snowplow_yourname_dataset , и нажмите Create dataset .

ВНИМАНИЕ! На этом этапе вы можете просто создать новую таблицу вручную и разделить эту таблицу по столбцу Derive_tstamp . Таким образом, таблица BigQuery автоматически разбивается на разделы по дате обращения, что упрощает управление и запросы по дате.

В этом руководстве не создается разделенная таблица, чтобы вы могли увидеть, как работает мутатор.

Шаг 6. Создайте файл конфигурации BigQuery

(1) Откройте новый файл для редактирования в текстовом редакторе .

(2) Скопируйте и вставьте следующее в:

  {
    "schema": "iglu: com.snowplowanalytics.snowplow.storage/bigquery_config/jsonschema/1-0-0",
    "данные": {
        "name": "Данные просмотра страницы Snowplow",
        "id": "<Случайный UUID>",

        "projectId": "<название вашего проекта GCP>",
        "datasetId": "<идентификатор набора данных BigQuery>",
        "tableId": "просмотры страниц",

        "ввод": "обогащенный-полезный-суб",
        "typesTopic": "bq-типы",
        "typesSubscription": "bq-types-sub",
        "badRows": "bq-bad-rows",
        "failedInserts": "bq-failed-Insert",

        "нагрузка": {
            "режим": "ПОТОКОВЫЕ_ВСТАВКИ",
            "повтор": ложь
        },

        "цель": "ОБОГАЩЕННЫЕ_СОБЫТИЯ"
    }
}  

(3) Измените значение «id» на случайный UUID, который вы можете сгенерировать здесь.Допустимое значение, например, "3a27d47f-aeaf-4034-84b6-b1e82ca711d6" .

(4) Измените значение "projectId" на свой идентификатор проекта GCP (например, "snowplow-production-simoahava" ).

(5) Измените значение "datasetId" на идентификатор, который вы только что дали своему набору данных BigQuery, например "Snowplow_simoahava_dataset" .

(6) Убедитесь, что имена тем Pub / Sub и подписки соответствуют тем, которые вы создали ранее в этой главе.

(7) Сохраните файл локально как bigquery_config.json .

(8) Загрузите его во временную корзину, куда вы уже загрузили iglu_resolver.json по адресу:

PHEW! Это все подготовительные работы. Теперь вам нужно просто запустить enricher и загрузчик BQ в новой группе виртуальных экземпляров!

Завершить процесс ETL

Для ETL (извлечение, преобразование и загрузка данных вашего коллектора) мы создадим новый шаблон экземпляра для группы экземпляров с автоматическим масштабированием .

Вы, , можете использовать ту же группу экземпляров, что и ваш коллектор, но это не устойчивый способ запуска конвейера, потому что потоки данных с вашего сайта на сборщик, от вашего сборщика на устройство обогащения и из обогащенного потока на загрузчик BigQuery сильно асимметричен.

Если у вас все яйца в одной корзине, это приведет к избыточности и накладным расходам.

Оптимально, если бы вы также запустили обогащение и загрузчик BQ в их собственных группах, но для этого упражнения я сейчас объединю их вместе.

Шаг 1. Создайте шаблон экземпляра

Поскольку вы выполнили все приготовления в предыдущей главе, этот последний шаг ETL на самом деле довольно прост. Все, что вам нужно сделать, это создать шаблон экземпляра и активировать из него группу экземпляров.

Ну это просто тебе . Мне потребовались часы, часы и часы, чтобы заставить эту вещь работать, так что добро пожаловать!

(1) Перейдите по адресу https://console.cloud.google.com/compute/instanceTemplates/list и нажмите СОЗДАТЬ ШАБЛОН ЭКЗАМЕНА .

(2) Дайте шаблону имя, например snowplow-etl-template .

(3) Убедитесь, что выбрана учетная запись службы Compute Engine по умолчанию , и выберите Установить доступ для каждого API в списке областей доступа.

(4) Измените следующие области API:

• BigQuery: Включено
• Cloud Pub / Sub: Включено
• Compute Engine: Чтение Запись
• Хранение: Чтение Запись

Оставьте для остальных параметров значения по умолчанию.

(5) Прокрутите вниз и щелкните по заголовку «Управление, безопасность, диски, сети, единоличное владение» .

(6) В Automation скопируйте и вставьте следующий код в сценарий запуска :

  #! / bin / bash
enrich_version = "0.1.0"
bq_version = "0.1.0"
bucket_name = "<название сегмента облачного хранилища>"
project_id = "<идентификатор проекта gcp>"
region = "<регион, где запускать экземпляры потока данных>"

sudo apt-get update
sudo apt-get -y установить default-jre
sudo apt-get -y установить разархивировать

wget https: // dl.bintray.com/snowplow/snowplow-generic/snowplow_beam_enrich_$enrich_version.zip
разархивируйте snowplow_beam_enrich_ $ enrich_version.zip

wget https://dl.bintray.com/snowplow/snowplow-generic/snowplow_bigquery_loader_$bq_version.zip
распаковать snowplow_bigquery_loader_ $ bq_version.zip

wget https://dl.bintray.com/snowplow/snowplow-generic/snowplow_bigquery_mutator_$bq_version.zip
распаковать snowplow_bigquery_mutator_ $ bq_version.zip

gsutil cp gs: //$bucket_name/iglu_resolver.json.
gsutil cp gs: // $ bucket_name / bigquery_config.json.

./beam-enrich-$enrich_version/bin/beam-enrich --runner = DataFlowRunner --project = $ project_id --streaming = true --region = $ region --gcpTempLocation = gs: // $ bucket_name / temp-files --job-name = beam-enrich --raw = projects / $ project_id / subscriptions / good-sub --enriched = projects / $ project_id / themes / enriched-good --bad = projects / $ project_id / themes / enriched- плохо --resolver = iglu_resolver.json

./snowplow-bigquery-mutator-$bq_version/bin/snowplow-bigquery-mutator create --config $ (cat bigquery_config.json | base64 -w 0) --resolver $ (cat iglu_resolver.json | base64 -w 0)

./snowplow-bigquery-mutator-$bq_version/bin/snowplow-bigquery-mutator listen --config $ (cat bigquery_config.json | base64 -w 0) --resolver $ (cat iglu_resolver.json | base64 -w 0) &

./snowplow-bigquery-loader-$bq_version/bin/snowplow-bigquery-loader --config = $ (cat bigquery_config.json | base64 -w 0) --resolver = $ (cat iglu_resolver.json | base64 -w 0) --runner = DataFlowRunner --project = $ project_id --region = $ region --gcpTempLocation = gs: // $ bucket_name / temp-files  

ОБНОВЛЕНИЕ 18 января 2019 г. .

Было бы разумно начать с ограничения автоматического масштабирования заданий Dataflow. В противном случае, поскольку вы работаете с потоковыми вставками, у вас может возникнуть множество запущенных виртуальных машин для поддержки потока обращений.

Чтобы предотвратить неконтролируемое автоматическое масштабирование загрузчика , вы можете ограничить количество доступных рабочих, например, 3 (таким образом, задание использует не более 3 ЦП), или вы можете полностью отключить автоматическое масштабирование, ограничив номер рабочего на 1 .

Чтобы установить максимум 3 рабочих для загрузчика, добавьте это в конец команды snowplow-bigquery-loader :

--maxNumWorkers = 3

Установка максимума на 1 приведет к настройке одного рабочего без автомасштабирования. Чтобы иметь несколько рабочих процессов, но не использовать автомасштабирование, вам также необходимо добавить в загрузчик параметр --autoscalingAlgorithm = NONE .

Вам нужно будет заполнить пять переменных в начале блока кода перед сохранением шаблона экземпляра.

• enrich_version : Получите последний номер версии Beam Enrich отсюда.
• bq_version : Получите последний номер версии BigQuery Loader отсюда.
• bucket_name : введите имя сегмента хранилища для временных файлов, которые вы создали ранее.
• id_проекта : Введите идентификатор проекта GCE.
• регион : выберите регион для запуска экземпляров потока данных (необходимо выбрать из этого списка).

После внесения изменений в сценарий запуска нажмите Создать .

Шаг 2. Запустите новую группу экземпляров

Теперь, когда у вас есть шаблон, пора создать и запустить группу экземпляров с автоматическим масштабированием, используя этот шаблон. Идея состоит в том, что когда запросы начинают поступать, вам нужно запускать новые экземпляры для этапов обогащения и загрузки, чтобы задержка не слишком сильно повлияла на сбор данных.

ОБНОВЛЕНИЕ 18 января 2019 г. : вместо создания группы экземпляров с автоматическим масштабированием более чем достаточно просто использовать один компьютер в группе для обработки потока данных! Эта часть руководства изначально была основана на некоторой дезинформации.Вы все еще можете продолжить работу с шаблоном экземпляра, но как только мы дойдем до раздела о группе экземпляров, внимательно прочитайте шаги.

(1) Находясь в списке шаблонов экземпляров , щелкните только что созданный шаблон.

(2) Вверху страницы щелкните СОЗДАТЬ ГРУППУ ЭКЗАМЕНА .

(3) Дайте новой группе описательное имя, например, snowplow-etl-group .

(4) Выберите регион, например.грамм. европа-запад1 .

(5) Убедитесь, что только что созданный шаблон экземпляра выбран в меню Шаблон экземпляра .

ОБНОВЛЕНИЕ 18 января 2019 : Вы можете установить Autoscaling Off . Машина, запускающая задания Dataflow, не требует автоматического масштабирования , а не . Задания Dataflow - это те, которые потребуют больше энергии в зависимости от пропускной способности, но вы можете запустить этот компьютер с одним статическим экземпляром, при необходимости увеличивая масштаб вручную.

(6) Вы можете оставить остальные параметры с их значениями по умолчанию, но, если хотите, вы также можете установить проверку работоспособности на то, что вы используете для экземпляра сборщика.

Когда все будет готово, нажмите Create .

Проверить все

Когда вы создаете группу экземпляров, она запускает сценарий запуска от начала до конца. Вот шаги, которые необходимо предпринять в следующем порядке: