하이퍼파라미터 튜닝 과정 시각화

!pip install keras-tuner -q

import numpy as np
import keras_tuner
import keras
from keras import layers

(x_train, y_train), (x_test, y_test) = keras.datasets.mnist.load_data()
# 픽셀 값을 [0, 1] 범위로 정규화합니다.
x_train = x_train.astype("float32") / 255
x_test = x_test.astype("float32") / 255
# 이미지에 채널 차원을 추가합니다.
x_train = np.expand_dims(x_train, -1)
x_test = np.expand_dims(x_test, -1)
# 데이터의 모양을 출력합니다.
print(x_train.shape)
print(y_train.shape)
print(x_test.shape)
print(y_test.shape)

def build_model(hp):
    inputs = keras.Input(shape=(28, 28, 1))
    # 모델 타입은 MLP 또는 CNN일 수 있습니다.
    model_type = hp.Choice("model_type", ["mlp", "cnn"])
    x = inputs
    if model_type == "mlp":
        x = layers.Flatten()(x)
        # MLP의 레이어 수는 하이퍼파라미터입니다.
        for i in range(hp.Int("mlp_layers", 1, 3)):
            # 각 레이어의 유닛 수는, 다른 이름을 가진 하이퍼파라미터입니다.
            x = layers.Dense(
                units=hp.Int(f"units_{i}", 32, 128, step=32),
                activation="relu",
            )(x)
    else:
        # CNN의 레이어 수도 하이퍼파라미터입니다.
        for i in range(hp.Int("cnn_layers", 1, 3)):
            x = layers.Conv2D(
                hp.Int(f"filters_{i}", 32, 128, step=32),
                kernel_size=(3, 3),
                activation="relu",
            )(x)
            x = layers.MaxPooling2D(pool_size=(2, 2))(x)
        x = layers.Flatten()(x)

    # 드롭아웃 레이어를 사용할지 여부는 하이퍼파라미터입니다.
    if hp.Boolean("dropout"):
        x = layers.Dropout(0.5)(x)

    # 마지막 레이어는 10개의 유닛을 포함하며, 이는 클래스 수와 동일합니다.
    outputs = layers.Dense(units=10, activation="softmax")(x)
    model = keras.Model(inputs=inputs, outputs=outputs)

    # 모델을 컴파일합니다.
    model.compile(
        loss="sparse_categorical_crossentropy",
        metrics=["accuracy"],
        optimizer="adam",
    )
    return model

# `HyperParameters`를 초기화하고 값을 설정합니다.
hp = keras_tuner.HyperParameters()
hp.values["model_type"] = "cnn"
# `HyperParameters`를 사용하여 모델을 빌드합니다.
model = build_model(hp)
# 모델이 데이터에서 실행되는지 테스트합니다.
model(x_train[:100])
# 모델의 요약을 출력합니다.
model.summary()

# MLP 모델에 대해서도 동일하게 실행합니다.
hp.values["model_type"] = "mlp"
model = build_model(hp)
model(x_train[:100])
model.summary()

tuner = keras_tuner.RandomSearch(
    build_model,
    max_trials=10,
    # 같은 디렉토리에서 이전 검색을 다시 시작하지 않도록 설정합니다.
    overwrite=True,
    objective="val_accuracy",
    # 중간 결과를 저장할 디렉토리를 설정합니다.
    directory="/tmp/tb",
)

tuner.search(
    x_train,
    y_train,
    validation_split=0.2,
    epochs=2,
    # TensorBoard 콜백을 사용합니다.
    # 로그는 "/tmp/tb_logs"에 기록됩니다.
    callbacks=[keras.callbacks.TensorBoard("/tmp/tb_logs")],
)

%load_ext tensorboard

%tensorboard --logdir /tmp/tb_logs