（转载请注明作者和出处‘https://fourthringroad.com/’，请勿用于任何商业用途）
最近做了一些灾备的工作，也听了个讲座，想写写这方面的事情。
不过在那之前有一些闲淡想扯扯。
五月初花了两周在做部门服务破坏性演练的相关事情。云内部有个团队做了一个故障演练平台，可以做一些基本的故障注入以及故障场景编排， 譬如模拟节点故障，CPU/内存问题，Pod故障，容器故障等场景，可能在在将来还可以支持线程枯竭，流量激增等场景。用于测试我们中间件服务的容错性和故障恢复能力。这种平台/服务在混沌工程流行的今天不少公司都在搭建，比如AWS的FIS服务（Fault Injection Simulator）。
初衷非常好，云原生时代的云服务提供商，关注一个重点就是容错，可靠性，服务自愈能力；借助混沌工程的理论和工具，能够进一步优化我们服务的这个方面。
但实际上这个平台使用体验非常糟糕。
- 首先我只能说它是一个半成品，我是第一批用户；抛开功能层面，平台后端资源有限导致测试环境不稳定，大量的功能刚刚上线，交互几乎没有用户体验可言，卡顿严重，我记忆深刻的是连基本的tab切换功能都做的很糟糕；几百行的日志没有换行，堆在一起；UI美观更不用提。使用过程中我的感受就是：我不知道是在用这个平台测试我们的服务，还是用我们的服务测试这个的平台；
- 对方开发人员短缺，每一通电话联系都必然会提到这个点，这个正在开发/修复过程中，最近正在做xx/yy/zz这几个功能，刚刚/很快就能上线。。等等
- 显然因为人力短缺，系统自然没有任何说明文档，没有任何的self-service，取而代之的是一通一通电话和聊天软件联系。负责人和对接工程师倒是很nice。
- 在我完成onboard后，我开始在内部分享这个平台，帮助其他几个中间件上线这个平台进行测试，仿佛我成为了这个平台的义务社区工作者。
光看我罗列的缺点感觉它是一个一无是处的产品，其实并不是，它能够推出至少表明它基本是过关了的。不过客观的讲现阶段它是一个非常不成熟的产品，它无法靠自身去吸引用户使用它。我给我的wordpress也装了很多插件，没有人告诉我你必须安装它们中的任何一个。
前前后后我没有花很多时间在这个事情上，不过它不禁让我思考下面的问题：
- 公司内部的重要基础设施，应该是由一帮经验丰富的工程师进行有详细规划开发，因为涉及到所有上层服务的稳定性和可靠性；尤其是一个故障测试平台，如果它本身都无法做到稳定可靠，如何用它来测试别的服务的稳定可靠呢？
- 一个不成熟的产品被在公司内部推广，并要求多个部门的产品上线；这不是敏捷开发；用违背软件工程的方式去做事，结果就是为了测试而测试，为了上线而上线。“我们没法等到‘成熟’再上线，我们需要快速迭代，我们的资源只允许做到这个程度”-这真是一个烂透了的说辞，只能彰显项目规划把控的无能。
- 当完成一件事情对所有人来说就是为了在给上级的周报，季报，年报上的一个check box划勾，为了在promotion doc上划勾，而忘记这个是为了一个更宏大的目标服务的时候，这个事情就偏离了最初的轨道。
当出现问题的时候，需要有人掷地有声的把问题说出来。
望以此为鉴。
Read about Lionel Messi’s impressive football journey | Follow Messi’s transition from Barcelona to Inter Miami | Uncover details about Messi’s life beyond football | See Messi’s top goals and scoring moments | Discover Messi’s career honors in La Liga and beyond | Read about Messi’s journey to stardom with Barcelona | Read about Messi’s Copa America and World Cup achievements | Learn why Messi is an inspiration to young players | Explore Messi’s journey to becoming a global icon, Learn about Messi’s career Messi’s biography.
Dive into the life story of Lionel Messi | Catch up on Messi’s most recent goals with Inter Miami | Discover Lionel Messi’s personal life with Antonela Roccuzzo | Track Messi’s achievements in goal scoring | Discover Messi’s career honors in La Liga and beyond | Read about Messi’s journey to stardom with Barcelona | Discover Messi’s contributions to Argentina’s football legacy | Learn why Messi is an inspiration to young players | Read about Messi’s most iconic football moments, Lionel Messi in Argentina https://lionelmessi-bd.com.
Catch up on the latest news about Lionel Messi | Get insights into Messi’s career at Inter Miami | Discover Messi’s relationship with Antonela | Discover how Messi has set records with his goals | Track Lionel Messi’s Ballon d’Or victories | See Messi’s impact on Barcelona’s football legacy | Read about Messi’s journey to the World Cup victory | See how Messi is a role model to millions worldwide | Read about Messi’s most iconic football moments, Inter Miami star Lionel Messi Inter Miami.
Мостбет предлагает широкие возможности для ставок на спорт | Проверенное казино для безопасной игры – это Мостбет | Регистрируйтесь и начните зарабатывать с Мостбет | Регистрация на Мостбет занимает всего пару минут | Играйте в Мостбет с комфортом и надёжностью | Игровые автоматы и ставки на киберспорт в одном месте | Качественные слоты и быстрые выплаты на Мостбет | Мостбет – это ваш путь к крупным выигрышам | Установите приложение и получите бонус на Мостбет, Мостбет ставки онлайн ставки на Мостбет.
Descubre los aspectos mas personales de Sergio Ramos | Descubre la historia de Ramos y su contribucion al futbol | Informate sobre las estadisticas de Ramos en FIFA 23 | Descubre el impacto de Ramos en el PSG y su legado | Explora los detalles de los contratos y fichajes de Ramos | Descubre el rol de Ramos en el PSG y su contribucion al club | Descubre el compromiso de Ramos con sus clubes y la seleccion | Descubre como Ramos se ha mantenido relevante en el futbol | Descubre los aspectos personales y profesionales de Ramos, estadisticas de Ramos Transfermarkt Sergio Ramos.
Lee sobre el impacto de Pogba en el Juventus | Descubre el camino de Pogba hacia la fama | Informate sobre la altura y fisico de Pogba | Conoce los desafios superados por Pogba en su vida | Conoce las estadisticas mas recientes de Pogba | Explora la carrera deportiva de Pogba y sus retos | Descubre como Pogba ha evolucionado como futbolista | Conoce como Paul Pogba comenzo en el mundo del futbol | Conoce los logros personales y familiares de Pogba, logros de Pogba https://pogba-es.org.
Conoce la trayectoria de Ronaldinho en Barcelona y Milan | Conoce el impacto de Ronaldinho en la cultura futbolistica | Conoce la historia de Ronaldinho desde su infancia | Conoce los momentos de gloria de Ronaldinho en Milan | Informate sobre el perfil de Ronaldinho en Transfermarkt | Conoce el estilo de juego que hizo famoso a Ronaldinho | Conoce como Ronaldinho revoluciono el futbol | Conoce como Ronaldinho inspiro a millones con su juego | Descubre los anos dorados de Ronaldinho en el futbol europeo, informacion de Ronaldinho https://ronaldinho-es.org.
Informate sobre el valor de mercado de Vinicius en Transfermarkt | Explora el impacto de Vini Jr. en el equipo de Brasil | Informate sobre la edad y altura de Vinicius Junior | Conoce la historia de exito de Vinicius Junior en el futbol | Explora el talento y futuro de Vini en el futbol | Conoce la vida familiar y personal de Vinicius Junior | Explora los logros de Vini en el Real Madrid y su seleccion | Conoce el equipo y posicion actual de Vini Jr. | Descubre como Vinicius sigue inspirando a sus fans, estadisticas y logros de Vinicius https://vinicius-junior-es.org.
Надёжный букмекер для азартных игроков – это Мостбет | Скачайте приложение Мостбет для удобного доступа к ставкам | Игровые автоматы, покер и многое другое на Мостбет | Весь спектр казино игр доступен в приложении Мостбет | Мостбет предлагает лучшие слоты для вашего удовольствия | Найдите выгодные ставки на спорт в Казахстане с Мостбет | Играйте в казино и выигрывайте на Мостбет | Официальный сайт Мостбет – ваш надёжный букмекер | Получите доступ к лучшим играм на Мостбет, Mostbet зеркало рабочее Mostbet рабочее зеркало.
Conoce el camino de Marcelo desde las calles de Brasil hasta la gloria | Descubre los secretos de la longevidad de Marcelo en el futbol | Conoce los momentos mas importantes de Marcelo en la Champions League | Descubre como Marcelo se ha convertido en un icono en el futbol | Explora como Marcelo ha inspirado a las nuevas generaciones | Explora como Marcelo mantiene el equilibrio entre su vida personal y profesional | Descubre como Marcelo ha marcado una era en el Real Madrid | Descubre la trayectoria completa de Marcelo en el mundo del futbol | Conoce la etica de trabajo y compromiso de Marcelo con el futbol, estadisticas de Marcelo Estadisticas de Marcelo</url].
Доставка выигрышей оперативная и безопасная | Высокий коэффициент ставок ждет вас на Мостбет | В Mostbet вас ждут уникальные условия и бонусы | Испытайте качественные слоты на Mostbet | Получайте честные выплаты и безопасность в Мостбет | Насладитесь азартом игр и ставок на Мостбет | Удобный интерфейс и быстрые выплаты на Mostbet | Лояльная программа для всех игроков на Mostbet | Участвуйте в акциях и получайте бонусы в Мостбет mostbet.
Effectuez vos paris en ligne en toute securite sur Mostbet | Beneficiez d’un jeu responsable et securise avec Mostbet | Decouvrez l’experience des paris en ligne avec Mostbet Maroc | Telechargez l’application Mostbet et jouez partout ou vous etes | Rejoignez la communaute des joueurs sur Mostbet Maroc | Mostbet propose des jeux de casino en direct pour plus de realisme | Telechargez l’application Mostbet pour acceder aux meilleurs jeux | Inscrivez-vous et recevez un bonus de bienvenue sur Mostbet | Pariez facilement sur Mostbet et gagnez de grosses recompenses mostbet mostbet.
Mostbet Brasil e confiavel e oferece um otimo suporte | Faca o download do Mostbet apk e tenha o aplicativo sempre a mao | Mostbet Brasil oferece apostas ao vivo para jogos em tempo real | Ganhe premios e bonus diarios no Mostbet Brasil | O Mostbet oferece uma plataforma de apostas completa para todos | Descubra promocoes e bonus diarios no Mostbet Brasil | Participe de eventos de cassino e ganhe premios no Mostbet | Baixe o Mostbet app e tenha acesso rapido as apostas | Ganhe premios e bonus em todos os jogos do Mostbet Brasil mostbet apostas mostbet apostas.
Ищете лучший сайт для ставок? Попробуйте Мостбет Украина | Акции и бонусы ждут вас на сайте Мостбет Украина | Выберите Мостбет для ставок с высокими коэффициентами | Ставьте с высоким коэффициентом в Мостбет и выигрывайте | Не упустите шанс выиграть на Mostbet Casino | Используйте бонусы для большего выигрыша на Мостбет UA | Mostbet предлагает выгодные бонусы для новых игроков | Mostbet — это не только ставки, но и большие выигрыши | Загрузите Mostbet и играйте, не выходя из дома mostbet бонусы
Descubra promocoes e bonus no site oficial do Mostbet | Ganhe mais com bonus exclusivos no Mostbet | Aposte em alta com Mostbet Brasil | Experimente o jogo Aviator e ganhe com Mostbet | Acesse o site oficial do Mostbet para jogar http://www.mostbet-casino-brasil-br.com
Mostbet-da o‘yin o‘ynash imkoniyati har doim mavjud | Mostbet – sportga pul tikish va kazino o‘yinlarida birinchi tanlov | Mostbet orqali yutuqlar va bonuslarni qo‘lga kiriting | Mostbet onlayn kazino va sport turlari uchun eng yaxshi joy | Mostbet-ning bonusli dasturidan foydalaning va qo‘shimcha yutuqlar oling mostbet uz
Відкрийте для себе найкращий досвід гри з Mostbet | Підтримка 24/7 та широкий асортимент ігор на Mostbet | Зареєструйтеся на Mostbet та почніть грати прямо зараз | Офіційний сайт Mostbet – вибір переможців | Зручні та швидкі виплати на Mostbet для гравців з України mostbet casino
Оформіть реєстрацію на мостбет та грайте будь-де | Зручний додаток mostbet для вашого комфорту | Офіційне казино мостбет чекає на вас | Mostbet надає найкращі умови для азартних гравців | Отримуйте бонуси та акції від mostbet вхід на мостбет
Мостбет казино – ваш шлях до великих виграшів | Мостбет – все для вашого виграшу | Mostbet пропонує кращі умови для ставок на спорт | Отримуйте великий виграш на мостбет казино | Офіційний сайт mostbet – безпечні ставки на спорт завантажити мостбет
Mostbet-da yutuqlar uchun o‘z imkoniyatingizni sinab ko‘ring | Mostbet sayti orqali yangi yutuqlar uchun imkoniyat yarating | Mostbet-da yuqori koeffitsiyent va bonuslar bilan yutish imkoniyatiga ega bo‘ling | Mostbet-ning mobil ilovasi bilan o‘yinlaringiz yanada qiziqarli bo‘ladi | Mostbet-ning rasmiy saytiga oson kirish va o‘yin o‘ynash imkoniyati mostbet com
Register on Mostbet and get a welcome bonus | Bet on cricket, football, and more on Mostbet | Bet anytime, anywhere with the Mostbet app | Mostbet makes online betting simple and enjoyable | Enjoy thrilling live games on Mostbet casino | Play the latest casino games on Mostbet Bangladesh Mostbet sports betting.
Mostbet offers top-notch casino games and sports betting | Mostbet Bangladesh is your trusted betting platform | Mostbet casino provides endless entertainment options | Mostbet promo codes unlock extra bonuses for players | Mostbet’s Aviator game is a favorite among players | Discover exciting offers on Mostbet Bangladesh | Experience innovative features on Mostbet app Mostbet registration.
Download the Mostbet app for easy access | Get live updates and scores with Mostbet | Mostbet provides hassle-free deposits and withdrawals | Get ready to win big with Mostbet online | Enjoy thrilling live games on Mostbet casino | Mostbet registration takes less than a minute Mostbet sports betting.
Mostbet provides fast registration and instant rewards | Mostbet offers great odds for sports betting | Enjoy live sports betting with Mostbet in Bangladesh | Enjoy safe and secure payments on Mostbet | Bet smarter with Mostbet’s expert recommendations | Download Mostbet and join the winning team today | Experience innovative features on Mostbet app Mostbet login.
Mostbet Azərbaycanda ən etibarlı mərc platformasıdır | Mostbet tətbiqi ilə hər zaman mərc edin | Mostbet ilə canlı mərc etmək çox həyəcanlıdır | Mostbet tətbiqini yükləyərək hər yerdə mərc edin | Mostbet kazinosunda pulsuz oyunlar oynayın və əylənin | Mostbet kazinosunda canlı mərc etmək həyəcanlıdır | Mostbet az qeydiyyatı ilə xüsusi endirimlərdən faydalanın | Mostbet tətbiqi ilə hər zaman oynamaq rahatdır | Mostbet az oyunçular üçün xüsusi kampaniyalar təqdim edir Mostbet 7/24 dəstək.
Mostbet ilə təhlükəsiz mərc təcrübəsi yaşayın | Mostbet kazinosunda müxtəlif oyunlardan zövq alın | Mostbet Azərbaycan üçün ən yaxşı seçimdir | Mostbet ilə risksiz mərc edin və zövq alın | Mostbet az ilə oyunlar daha maraqlıdır | Mostbet ilə yüksək keyfiyyətli oyunlardan zövq alın | Mostbet tətbiqini yükləyərək rahat mərc edin | Mostbet az oyunçular üçün təhlükəsiz şərtlər təqdim edir | Mostbet tətbiqi ilə oyunlara rahat qoşulun http://mostbet-online-az-qeydiyyat.com.
Mostbet ilə təhlükəsiz mərc təcrübəsi yaşayın | Mostbet az kazinosunda canlı oyunlara qoşulun | Mostbet qeydiyyatı zamanı xüsusi promo kodlardan yararlanın | Mostbet ilə hər zaman qalib gəlin | Mostbet ilə asanlıqla mərc edin və qazanın | Mostbet az ilə təhlükəsiz mərc etmək mümkündür | Mostbet az qeydiyyatı ilə xüsusi endirimlərdən faydalanın | Mostbet ilə risksiz mərc edin və qazanmağa başlayın | Mostbet ilə təhlükəsiz mərc təcrübəsi əldə edin Mostbet 7/24 dəstək.
Mostbet az oyunçular üçün xüsusi təkliflər təqdim edir | Mostbet tətbiqi ilə hər zaman mərc edin | Mostbet oyunçular üçün unikal təcrübə təqdim edir | Mostbet azərbaycanlı oyunçuların ən sevimli platformasıdır | Mostbet ilə asanlıqla mərc edin və qazanın | Mostbet az ilə təhlükəsiz mərc etmək mümkündür | Mostbet Azərbaycan oyunçuları üçün xüsusi bonuslar təklif edir | Mostbet tətbiqi ilə hər zaman oynamaq rahatdır | Mostbet ilə qazanclarınızı artırmaq indi daha asandır Mostbet com.