どうもみゅーとんです.
最近パフォーマンス周りで問題をおこしかけてしまったので, パフォーマンスの劣化を抑制する方法を調べてみました.

概要

3 行でまとめ

public repository であれば, CodSpeed を無料で利用できる
main ブランチでのパフォーマンスを計測しておき, Pull Request で劣化したら警告してくれる
CodSpeed から, 内部処理を詳細に追うことができる

前提知識

vitest でパフォーマンステストを行う構成ができていることが条件になります.
導入方法についてはこの記事を確認してください. techblog.hacomono.jp

CodSpeed とは

docs.codspeed.io

なんて読むんでしょうか・・？私はコードスピードと呼んでいますが, コッドスピードのほうが正しそう・・？

GitHub Actions で実行した Python, Rust, JavaScript のベンチマークテスト結果を使って, パフォーマンスリグレッションテストを行ってくれる

GitHub Repository と連携するとすぐに利用可能になり, JS の場合だと tinybench の実行結果を Actions から CodSpeed に送り, 詳細を表示してくれるようになります.

PullRequest 作成時に main ブランチとの比較でパフォーマンス劣化 (デフォルトで 10% の劣化) があれば, 教えてくれる機能があり, 大幅なパフォーマンス劣化を検知できます.

なんと, Public Repository では無料で利用できます.

導入してみた

今パフォーマンス周りで最も気になっているのは, hacomono-lib で OSS として公開している json-origami なので, これに導入してみました.

通常は tinybench での実行に対して手を入れるようですが, vitest の benchmark test から tinybench を使っている場合は vitest 用のプラグインを導入すれば良いようです.

vitest を利用している場合の専用のマニュアルが存在しました. docs.codspeed.io

導入方法

vitest の設定を追加

@codspeed/vitest-plugin を導入し, vitest.config.ts にプラグインとして追加します.

yarn add -D @codspeed/vitest-plugin

+import codspeed from '@codspeed/vitest-plugin'
 import { defineConfig } from 'vitest/config'

 export default defineConfig({
+  plugins: [codspeed()],
   test: {
     benchmark: {
       include: ['test/**/*.bench.(js|ts)'],
     },
   },
 })

GitHub Actions を設定

main ブランチと, current Pull Request で実行したいので, 以下のように設定しました.

name: Codspeed Benchmarks

permissions:
  contents: read
  packages: read
  pull-requests: write

on:
  push:
    branches:
      - "main"
  pull_request:
    types: [opened, synchronize, reopened, ready_for_review]
    paths:
      - ".github/workflows/benchmarks.yml"
      - "src"
      - "package.json"
      - "vitest.config.ts"
      - "yarn.lock"

jobs:
  init__node:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: ./.github/actions/init-node

  benchmarks:
    runs-on: ubuntu-latest
    needs:
      - init__node
    steps:
      - uses: actions/checkout@v4
      - uses: ./.github/actions/init-node

      - name: Run benchmarks
        uses: CodSpeedHQ/action@v2
        with:
          run: yarn bench
          token: ${{ secrets.CODSPEED_TOKEN }}