今天闲着没事儿，坐这里回顾一下云化ES服务时需要注意的一些点，想到哪儿写到哪儿。
概述
产品形态
在云上提供ES的托管服务，产品的呈现状态显然就是一个ES集群，由于ES天然支持节点角色的划分，所有申请的ES集群也可能存在不同的角色，例如专用主节点，专用协调节点，专用数据节点等等；同时由于Kibana和ES的紧密关系，也可以选择性为用户提供一个Kibana节点。
同样用户申请的集群里面，也可能会包括LB，管理节点等一些用户不可见的资源。
用户可以通过UI去实现对ES集群的管理，创建，编配，扩缩容，执行ES的一些功能例如创建模版创建快照等等；同时也可以通过LB对外暴露的域名/IP通过Client对ES集群进行访问
架构思路
ES集群的编排管理可以基于一个云原生容器管理平台，例如k8s；容器管理平台之上是管理层，直接处理UI的RPC指令，负责通过任务流去控制ES集群的创建编配等流程以及代理用户通过UI对ES集群的一些管理查询指令。
如果采用k8s，还可以把“通过任务流去控制ES集群的创建编配等流程”下沉到ES Operator中，那么控制层就只是用于收集展现ES集群的信息，以及代理用户通过UI对ES集群的一些管理查询指令。
同时对于不同产品线后端控制层的共有功能模块，应该抽离成一个商业中台，例如订单管理，用户认证，支付信息等等
ES的控制层就变得更薄了。
一些关键点
代理设计
跟好几家公司在聊的时候发现这个似乎是业界的通用方案，在处于某个VPC内的集群内部设立一个代理（agent）节点，或者叫管理节点，负责与外部管理层的通信。外部管理层通过这个节点对业务集群进行管理。
这里需要额外设计的是如何跨vpc访问agent节点，通常这个是需要从云原生容器管理平台去解决的一个强需求。在ES中类似情况的还有kibana节点。
同时在每个业务节点上也需要添加相应的agent接口，以便在原生支持的接口上丰富更多的运维/功能接口。
与云原生平台整合
云原生平台会提供一些功能，来保障高可用，故障转移等功能，需要在设计过程中考虑到。例如，通过一些探针，来检查启动容器/业务的健康状况；在容器上通过标签来指定需要收集的日志的位置，平台会进行收集。。。等等，这也是需要考虑的点。
镜像构建与管理
考虑到开源产品自身的多版本，以及我们的代码的不断迭代，如何去构建镜像，管理版本，同样是一个非常复杂的问题，有一些需要关注的点：
- 跟业务相关的节点一定要与不相关的功能解耦，譬如ES的数据节点，尽量只有ES的原生功能。因为对额外功能的改动产生的升级过程，会对业务带来直接的影响，应该尽量避免这种升级操作。把可能需要频繁修改的功能，代码，都放到对用户不可见的节点上。
- 构建过程可以利用dockerfile，make，sh脚本等等多个工具，但是注意构建过程要清晰易懂，最后构建的结果一定要精简。例如dockerfile应采用两阶段构建，避免构建阶段的依赖进入最后的部署镜像中。
- 原生镜像版本的管理也是一个复杂的问题，ES的版本多如牛毛，我们不要去重复打版本，或者重复存储，如何通过版本号动态获取，是我们设计的一个难点。
创建过程
创建是最基本的一个过程，根据用户对集群配置的设定，启动一个对应的集群。
创建过程可以抽象成一个任务流，假如拆分成基于k8s的人工操作，就类似于：
- 在DB中插入新集群信息
- 填充agent节点相关配置信息到相关chart中，并进行install操作启动容器
- 填充master节点相关配置信息到相关chart中，并进行install操作启动容器
- 填充协调节点相关配置信息到相关chart中，并进行install操作启动容器
- 填充数据节点相关配置信息到相关chart中，并进行install操作启动容器
- 填充kibana节点相关配置信息到相关chart中，并进行install操作启动容器
- 配置网络资源，各种探针健康检查，日志收集等等
- 更新数据库信息，检查集群健康状态正常并返回
这个任务流可以通过代码实现自动化，但是需要注意其中的故障处理。
变配与扩缩容
这个过程可以细分到很多情况：
- 主节点，协调节点，数据节点的变配与扩缩容
- 节点计算资源/存储（硬盘）资源的扩缩容
- 节点垂直/水平方向的扩缩容
其中任意组合，会产生很多中情况，每种情况都需要具体情况具体分析
但是核心思想是：不能够停服务
场景一：数据节点垂直变配
假设所有的数据节点配置从4C8G变配为8C16G，应该怎么设计这个变配过程？反之呢？
垂直扩缩容的过程相对简单，因为也不涉及到ES的数据的重新分配，可以直接利用云平台的更新容器规格，并进行滚动重启。需要注意的是，首先需要暂停ES分片的自动分配过程。
另外，在滚动重启过程中，可能出现业务受到影响的情况，是否可以通过蓝绿部署来解决这个问题呢？我认为在ES这种计算存储不分离的情况下比较难，因为一旦牵扯到数据迁移，就变得更复杂了。
场景二：数据节点水平变配
假设所有的数据节点数量从4变配为8，应该怎么设计这个变配过程？反之呢
水平扩容的过程很好理解：
- 同样，首先需要暂停ES分片的自动分配过程
- 将新扩的容器调用云原生平台创建出来
- 更新旧的节点的配置，将新的容器添加到路由表中，因为修改了配置所以还需要进行滚动重启
- 重新开启ES分片的自动分配过程，ES能够对外提供服务
水平缩容过程：
我之前工作的公司的共有云，并不支持数据节点的水平缩容，这个过程相对复杂，但是也可以大致分解成如下流程
- 首先需要暂停ES分片的自动分配过程
- 确定要缩容的容器编号，以及保留的容器编号
- 调用ES的分片重新分配接口，依次将需要缩容的上的分片移动走；这一步相对复杂，需要考虑多种情况，例如有分片无法分配导致集群状态变黄，或者主分片的移动导致业务受到影响等等
- 更新节点路由配置，滚动重启
- 打开ES分片的自动分配过程
场景三：数据节点存储变配
假设所有数据节点的磁盘规格发生更改？（假设我们使用的网络存储云盘）
这个问题比较复杂，最理想的情况是，云盘这个云服务本身支持动态扩缩容，即，扩容过程中，不会影响我当前读写，并且数据不会丢失，那么只需要选择修改容器的挂载规格即可，甚至不需要重启；也就是将复杂度转移到了云盘这个云服务本身。
如果不具备这种形式的云盘，那就比较蛋疼了，需要迁移数据，重新挂载，再重新迁移回数据，这个过程就会复杂很多，也会影响业务的使用。
还有很多其他过程，但是分析的思路是类似的，不再赘述了
总结
写了几个小时，回忆了一下自己在做ES云化过程中遇到的一些问题，其中很多细节已经记不住了，但是大体思路是对的，别的有状态分布式系统也基本上会遇到类似的问题。以此作为一个总结吧。
um46s1
прайсы специальная оценка условий труда реестр организаций соут
The Purkinje neuron I where can i buy priligy in usa Mol Cell Neurosci 2010; 45 132 138
Breast Cancer Res Treat 2006; 99 215 220 priligy canada
Bartel C, et al priligy in usa When we have sex, particular males during ejaculation, their prolactin levels go up, thereby reducing the desire for sex immediately after
cost of cytotec without prescription phenytoin tadalis 5mg tunisie prix Current policy makers and judges are often not frequent internet users themselves and therefore don t understand that the complexity and dynamics of the net make services such as The Pirate Bay resilient to simple traditional legal enforcement measures
Reliable HVAC Repair Services https://serviceorangecounty.com stay comfortable year-round with our professional HVAC repair services. Our experienced team is dedicated to diagnosing and resolving heating, cooling, and ventilation issues quickly and effectively.
МТЮ Лизинг https://depo.rent предоставляет аренду автомобилей в Крыму, включая Симферополь. Удобный онлайн-сервис позволяет оформить аренду на сайте за несколько минут. Широкий выбор автомобилей и выгодные условия делают поездки по региону комфортными и доступными.
soap2day secure access soap2day alternative
двери экошпон скрытые двери под покраску
Plinko se ha convertido https://medium.com/@kostumchik.kiev.ua/todo-sobre-el-juego-de-plinko-en-m%C3%A9xico-instrucciones-demos-opiniones-y-m%C3%A1s-d1fde2d99338 en una de las opciones favoritas de los jugadores de casinos en Mexico. Conocido por su simplicidad y gran potencial de ganancias, este adictivo juego ahora cuenta con una plataforma oficial en Mexico.
Онлайн-журнал о строительстве https://zip.org.ua практичные советы, современные технологии, тренды дизайна и архитектуры. Всё о строительных материалах, ремонте, благоустройстве и инновациях в одной удобной платформе.
интернет казино с хорошей репутацией казино онлайн рейтинг 2024
Рейтинг лучших онлайн-казино https://lastdepcasino.ru с быстрыми выплатами и честной игрой. Подробные обзоры, бонусы для новых игроков и актуальные акции.
Stylish Cat Products Cat Grooming Supplies
Ваш гид в мире автомобилей https://clothes-outletstore.com тест-драйвы, советы по ремонту и последние тенденции индустрии.
Автомобильный журнал https://automobile.kyiv.ua с фокусом на практичность. Ремонт, уход за авто, обзор технологий и советы по эксплуатации.
Всё о машинах https://avtomobilist.kyiv.ua тест-драйвы, сравнения моделей, авто новости, советы по ремонту и уходу.
Авто журнал https://avtonews.kyiv.ua новости автопрома, сравнения моделей, тест-драйвы, советы по ремонту и уходу.
Всё о машинах https://black-star.com.ua авто новости, тест-драйвы, обзоры моделей, рейтинги, инструкции по обслуживанию и ремонту.
Авто портал https://autonovosti.kyiv.ua актуальные новости, обзоры авто, тест-драйвы, инструкции по ремонту и тюнингу. Минимум текста, максимум полезной информации.
Всё о самогоноварении https://brewsugar.ru на одном сайте: от истории напитка до современных технологий перегонки.
Всё об авто https://road.kyiv.ua в одном месте: новости, тест-драйвы, сравнения, характеристики, ремонт и уход. Автомобильный онлайн-журнал — ваш эксперт в мире машин.
Место для общения на любые темы https://xn--9i1b12ab68a.com/ актуальные вопросы, обмен опытом, интересные дискуссии. Здесь найдётся тема для каждого.
Перевозка товаров из Китая https://chinaex.ru в Россию под ключ: авиа, море, автотранспорт. Гарантия сроков и сохранности груза.
Женский портал https://abuki.info мода, красота, здоровье, семья, карьера. Советы, тренды, лайфхаки, рецепты и всё, что важно для современных женщин.
Автомобильный онлайн-журнал https://simpsonsua.com.ua предлагает свежие новости, обзоры авто, тест-драйвы, рейтинги и полезные советы для водителей.
Мода, здоровье, красота https://gratransymas.com семья, кулинария, карьера. Женский портал — полезные советы и свежие идеи для каждой.
Познавательный портал для детей https://detiwki.com.ua обучающие материалы, интересные факты, научные эксперименты, игры и задания для развития кругозора.
Женский онлайн-журнал https://womanfashion.com.ua секреты красоты, модные тренды, здоровье, отношения, семья, кулинария и карьера. Всё, что важно и интересно.
Discover the latest game codes https://pocket-codes.com detailed guides, and expertly crafted tier lists to enhance your gaming experience. Unlock rewards, master strategies, and dominate every level with our curated content. Perfect for gamers seeking an edge!
продажа офисной мебели мебель для персонала в офис
Женский онлайн-журнал https://stylewoman.kyiv.ua стиль, уход, здоровье, отношения, семья, кулинарные рецепты, психология и карьера.
мебель офисная купить спб мебель офиса премиум
Всё о туризме https://atrium.if.ua маршруты, путеводители, советы по отдыху, обзор отелей и лайфхаки. Туристический портал — ваш помощник в путешествиях.
Всё для путешествий https://cmc.com.ua уникальные маршруты, гиды по городам, актуальные акции на туры и полезные статьи для туристов.
Туристический портал https://aliana.com.ua лучшие маршруты, путеводители, советы путешественникам, обзоры отелей.
Статьи о путешествиях https://deluxtour.com.ua гиды по направлениям, лайфхаки для отдыха, советы по сбору багажа и туристические обзоры.
Путешествия по Греции https://cpcfpu.org.ua лучшие курорты, гиды по островам, экскурсии, пляжи и советы по планированию отпуска.
Туристический журнал https://elnik.kiev.ua свежие идеи для путешествий, обзоры курортов, гиды по городам, советы для самостоятельных поездок и туристические новости.
Туристический портал https://feokurort.com.ua необычные маршруты, вдохновляющие истории, секреты бюджетных путешествий, советы по визам и топовые направления для отдыха.
Статьи о туризме и путешествиях https://inhotel.com.ua маршруты, гиды по достопримечательностям, советы по планированию поездок, рекомендации по отелям и лайфхаки для туристов.
Гиды по странам https://hotel-atlantika.com.ua экскурсии по городам, советы по выбору жилья и маршрутов. Туристический журнал — всё для комфортного и яркого путешествия.
Комплексный ремонт квартир https://anti-orange.com.ua и домов от Студии ремонта. Полный цикл работ: от дизайна до финишной отделки.
Строительная компания https://as-el.com.ua выполняем строительство жилых и коммерческих объектов под ключ. Полный цикл: проектирование, согласование, строительство и отделка.
На строительном портале https://avian.org.ua вы найдете всё: от пошаговых инструкций до списка лучших подрядчиков. Помогаем реализовать проекты любой сложности быстро и удобно.
Строительный портал https://ateku.org.ua ваш гид в мире строительства и ремонта. Полезные статьи, обзоры материалов, советы по выбору подрядчиков и идеи дизайна.
Портал по ремонту https://azst.com.ua всё для вашего ремонта: подбор подрядчиков, советы по выбору материалов, готовые решения для интерьера и проверенные рекомендации.
Всё о ремонте на одном сайте https://comart.com.ua Портал по ремонту предлагает обзоры материалов, рейтинги специалистов, советы экспертов и примеры готовых проектов для вдохновения.
Журнал по ремонту https://domtut.com.ua и строительству – советы, идеи и обзоры. Узнайте о трендах, изучите технологии и воплотите свои строительные или дизайнерские задумки легко и эффективно.
Портал о ремонте https://eeu-a.kiev.ua всё для тех, кто ремонтирует: пошаговые инструкции, идеи дизайна, обзор материалов и подбор подрядчиков.
Журнал по ремонту и строительству https://diasoft.kiev.ua гид по современным тенденциям. Полезные статьи, лайфхаки, инструкции и обзор решений для дома и офиса.
Новости технологий https://helikon.com.ua все о последних IT-разработках, гаджетах и научных открытиях. Свежие обзоры, аналитика и тренды высоких технологий.
оценка профессиональных рисков в строительстве в Москве проведение оценки профессиональных рисков на рабочих местах
Строительный онлайн журнал https://inter-biz.com.ua руководства по проектам любой сложности. Советы экспертов, подбор материалов, идеи дизайна и новинки рынка.
Строительные технологии https://ibss.org.ua новейшие разработки и решения в строительной сфере. Материалы, оборудование, инновации и тренды для профессионалов и застройщиков.
Сайт о строительстве и ремонте https://hydromech.kiev.ua полезные советы, инструкции, обзоры материалов и технологий. Все этапы: от фундамента до отделки.
Все о строительстве и ремонте https://kennan.kiev.ua практичные рекомендации, идеи интерьеров, новинки рынка и советы профессионалов.
Дизайн интерьера и территории https://lbook.com.ua идеи оформления жилых и коммерческих пространств. Современные тренды, советы экспертов и решения для создания стильного и функционального пространства.
Асфальтирование и ремонт дорог https://mia.km.ua информация о технологиях укладки асфальта, методах ремонта покрытий и современных материалах.
Kompaktni zarizeni mikrosluchatko bluetooth poskytuje spolehlivy prenos, pevny, nenapadny design a pohodlne se nosi v kazde situaci.
Сайт про ремонт https://odessajs.org.ua полезные советы, инструкции, подбор материалов и идеи дизайна. Всё, что нужно для качественного и продуманного ремонта любого помещения.
Онлайн-журнал о строительстве https://mts-slil.info свежие новости, обзоры инноваций, рекомендации по ремонту и строительству.
Мастерская креативных идей https://rusproekt.org пространство для творчества и инноваций. Уникальные решения для дизайна, декора и проектов любого масштаба.
Онлайн журнал о ремонте https://prezent-house.com.ua статьи, лайфхаки и решения для всех этапов ремонта: от планирования до отделки. Практичные рекомендации и идеи для вашего дома.
Журнал о строительстве и ремонте https://selma.com.ua советы экспертов, обзор материалов, тренды в интерьере и готовые решения для качественного ремонта вашего дома или офиса.
Портал о ремонте https://rvps.kiev.ua практичные рекомендации, дизайн-идеи, современные технологии и инструкции для успешного ремонта любого уровня сложно
Сайт о дизайне интерьера и территории https://sinega.com.ua тренды в дизайне помещений и благоустройстве территорий.
Информационный портал о ремонте https://sevgr.org.ua практичные советы, проверенные методики и новинки рынка. Помощь в планировании, выборе подрядчиков и создании идеального пространства.
Портал об архитектуре https://solution-ltd.com.ua информация о культовых проектах, новые технологии строительства, эстетика пространств и актуальные решения для городов и частных
Архитектурный портал https://skol.if.ua новости архитектуры, современные проекты, градостроительные решения и обзоры мировых трендов.
Информационный портал о ремонте https://stinol.com.ua практичные советы, проверенные методики и новинки рынка. Помощь в планировании, выборе подрядчиков и создании идеального пространства.
Гид по ремонту https://techproduct.com.ua идеи и советы для самостоятельного ремонта: экономичные решения, готовые проекты, обзоры материалов и дизайнерские лайфхаки.
Журнал про строительство и ремонт https://ukrainianpages.com.ua профессиональные статьи о ремонте любой сложности. Как оптимизировать расходы, найти подрядчиков и добиться идеального результата.
Find the best https://onlinecasinocanada.shop offers! Explore top-rated casinos with free spins and bonus cash for new players. Start playing without risking your funds.
Журнал про строительство и ремонт https://ukrainianpages.com.ua профессиональные статьи о ремонте любой сложности. Как оптимизировать расходы, найти подрядчиков и добиться идеального результата.
Смотреть индийские фильмы онлайн https://kinoindia.tv подборка лучших фильмов с уникальным колоритом. Бесплатный доступ и ежедневное обновление каталога.
Автодоставка из Китая https://china-top.ru быстрая и надежная транспортировка товаров. Полный цикл: от оформления документов до доставки на склад клиента.
Назальный спрей Серебряный Углерон надежная защита вашего дыхания. Активный углерод и ионы серебра очищают носовые ходы, увлажняют слизистую и помогают бороться с бактериями.
Free Online Games online games your gateway to a world of free online entertainment! Explore a vast collection of games, from puzzles and card games to action and arcade classics. Play instantly on any device without registration or downloads
гелиевые шары купить шарики надувные дешево
воздушные шарики шары на заказ с доставкой
Техосмотр категория E диагностика автомобиля
VIP подарки для руководителя, бизнес сувениры https://podarki-suveniry-vip.ru
тинькофф платинум отзывы как получить карту тинькофф платинум
Летайте выгодно с Pegasus предлагаем доступные билеты, удобные маршруты и современный сервис. Внутренние и международные рейсы для комфортных путешествий.
Оценка профессиональных рисков https://ocenka-riskov-msk.ru комплексная услуга для выявления, анализа и снижения угроз на рабочем месте.
Наши бюстгальтер с кружевом предлагают идеальное сочетание стиля и комфорта. Выберите бюстгальтер без косточек для мягкой поддержки или кружевной бюстгальтер для романтичного образа. Для будущих мам подойдут бюстгальтеры для беременных и бюстгальтеры для кормления. Обратите внимание на бюстгальтер с пуш-ап для эффекта увеличения груди и комфортные бюстгальтеры для повседневного ношения.
sex frauen wien hausfrauensex wien
Предлагаем стекла для спецтехники https://steklo-ufa.ru любых типов и размеров. Прочные, устойчивые к ударам и погодным условиям материалы.
Производство шпона в Москве https://shpon-massiv.ru качественный шпон из натурального дерева для мебели, дверей и отделки. Широкий выбор пород, гибкие размеры и выгодные цены.
Инженерные изыскания в Москве https://geology-kaluga.ru точные исследования для строительства и проектирования. Геологические, гидрологические, экологические и геодезические работы для строительства.
Геосинтетические материалы https://geobentomat.ru надежное решение для строительства и укрепления грунтов. Геотекстиль, георешетки, геомембраны и другие материалы для дренажа, армирования и защиты конструкций.
Torlab.net https://torlab.net новый торрент-трекер для поиска и обмена файлами! Здесь вы найдете фильмы, игры, музыку, софт и многое другое. Быстрая скорость загрузки, удобный интерфейс и активное сообщество. Подключайтесь, делитесь, скачивайте — ваш доступ к миру качественного контента!
Доставка дизельного топлива https://neftegazlogistic.ru в Москве – оперативно и качественно! Поставляем ДТ для автотранспорта, строительной и спецтехники. Гарантия чистоты топлива, выгодные цены и быстрая доставка прямо на объект.
https://rxguides.net/codes Unlock the latest Roblox codes for exclusive rewards and boosts! Stay updated with fresh codes to enhance your gameplay and level up faster. Don’t miss out on special items and bonuses to get ahead in your favorite Roblox games!
register as a seller, choose products with high demand, and list them with optimized descriptions. use amazon’s advertising services to increase product visibility. learn how to sell on amazon and build a successful ecommerce business.
bilan o’yin-kulgi dunyosiga xush kelibsiz 1win O’zbekiston! 1000 dan ortiq o’yinlar, jonli dilerlar, sport va e-sport bir joyda. Saxiy bonuslar, tezkor depozitlar va qulay pul olish. O’ynang, g’alaba qozoning va yangi his-tuyg’ularga qayting!
Discover the best game codes https://rxguides.net in-depth guides, and updated tier lists for your favorite games! Unlock exclusive rewards, master gameplay strategies, and find the top characters or items to dominate the competition.
фільм вийшла дивитися онлайн uakino.lu
фільм повністю онлайн дивитися фільми онлайн безкоштовно без реєстрації
фільм повністю онлайн дивитися фільми онлайн безкоштовно без реєстрації
Online casinos website are thousands of slots, live games, profitable promotions and instant wins. Try your luck in a comfortable and safe environment, enjoying the excitement at any time and from any device.
Откройте для себя инновации с samsung galaxy s23 широкий выбор смартфонов, планшетов, телевизоров и бытовой техники. Выгодные цены, гарантия качества и быстрая доставка. Закажите оригинальную продукцию Samsung прямо сейчас и наслаждайтесь технологиями будущего!
yacht hire yacht rental sharjah
rent a yacht for a day booking yacht in dubai