「ここは俺に任せておまえは先に行け」hacomono運用保守部の紹介

運用保守部のマネージャのよこちゃん(@jikun)と、まっつん(@pagu_o28)です

最近10年ぶりに冷蔵庫を買い替えました。

製氷に時間が掛かるようになった、薄汚れてきたこと以外は特に問題なかったのですが、何となく白物家電の寿命は10年くらいかなと思ったことがきっかけでした。

特に日本製の家電や自動車の寿命は長く1度買ってしまえば滅多に故障もないし手入れも最小限で済むのがありがたいなと思います。

うちの妻は何に対しても同じ感覚を持っており、私が新規機能の開発担当ではないと知ると物凄く驚かれたことがあります。

「新規機能作ってないの？なんでそんなに忙しいの？」

SaaSに限らず自分たちで事業展開し必要なソフトウェアを内製している場合、エンジニアには新規機能開発以外の多数のタスクが降ってきます

社内外からの問い合わせ対応
インシデント対応
バグ修正
ミドルウェアのバージョンアップ
脆弱性対応
利用者増に伴うパフォーマンス問題の対応
管理機能が不十分な場合は、ログやデータの集計、データ更新,削除など
他にも沢山

(これらの新規機能開発以外のタスクを運用や運用保守と呼ぶことが多いと思いますので、この記事ではそのような意図で使います。)

hacomonoでは開発チームが運用保守も行っておりましたが、ビジネスの急拡大によってお客様の数も増え社員の数も増えると仕様やシステムの挙動に関する問い合わせが右肩上がりで増加しました。

問い合わせについては一旦サポートチームが受けてくれ、回答出来るものはその場で回答してくれますが、サポートチームで回答できないものが開発チームへエスカレーションされてきます。

これが現在では月に150件以上あります。

精鋭揃いのサポートチームからエスカレーションされてくるため、秒殺出来るような問い合わせはほぼありません。

そのため外部の協力会社様にお願いして問い合わせのハンドリングや回答をお願いしつつ、溢れたものを社員のエンジニアが日替わりでサポートする体制をとっておりました。

しかし、2023/03ごろから日替わりエンジニアの負荷が限界を超え始めました。

管理サイトでは対応できない大量のデータ削除などの依頼も来はじめ、日替わり担当の日にアサインされたチケットはそのチケットが完了するまで担当するというルールのため数日に渡ってプロダクト開発ではなく運用保守に時間を割かれるようになりました。

hacomonoでは現在まで2週間スプリントでリリースしていますが、各エンジニアが最低1回、または2回エスカレーション対応の担当となるため、エスカレーション担当日に、どんなチケットがアサインされるかでスプリントの達成度にも影響が出るようになり、いつしか畏怖の念を込めて「エスカレガチャ」と呼ばれるようになりました。

7月ごろから運用保守を担当するにあたり、協力会社様と日替わり担当で構成されている状況を組織化しナレッジの蓄積と改善に向けた主体的なアクションを取る組織が必要だと痛感しました。

そして8月から正式組織として運用保守部をスタートさせました。

プロダクト開発チームが運用を行うことで自分たちのプロダクトに反映し、運用が発生しにくいプロダクトに出来るメリットがあるものの、この忙しすぎる状況をまず沈静化させないと運用を考えたプロダクト作りもままならないと考えたためです。

そのため内部的なミッションを「ここは俺に任せておまえは先に行け」にしました。

目の前の運用はやるから、プロダクト開発や運用が発生しないような大規模な改善をよろしくね♪という願いを込めております。