머신러닝 프로젝트 전 과정: 데이터 수집부터 모델 배포까지

데이터 수집 → 전처리 → 모델 학습 → 배포  (끝)

문제 정의
    ↓
데이터 수집 ←──────────────────┐
    ↓                          │
EDA (탐색적 분석)              │ 반복
    ↓                          │
데이터 전처리 ←────────────────┤
    ↓                          │
모델 학습 & 평가 ──────────────┘
    ↓
배포
    ↓
모니터링 → (다시 데이터 수집으로)

import pandas as pd
import numpy as np

# 데이터 로드
df = pd.read_csv('apartments.csv')

# 1. 기본 구조 파악
print(df.shape)       # (10000, 12) → 10,000행, 12개 컬럼
print(df.dtypes)      # 각 컬럼의 데이터 타입
print(df.head())      # 첫 5행 확인

# 2. 결측치 확인
print(df.isnull().sum())
# area          0
# floor        23   ← 23개 결측치
# built_year  156   ← 156개 결측치
# price         0

# 3. 기본 통계
print(df.describe())
#         area        floor        price
# mean   84.3         8.2       45000.0
# std    21.5         4.1       18000.0
# min    20.0         1.0        8000.0
# max   200.0        30.0      350000.0

# 4. 타겟 변수(가격) 분포 확인
import matplotlib.pyplot as plt

df['price'].hist(bins=50)
plt.title('가격 분포')
plt.xlabel('가격 (만원)')
plt.show()

# 5. 주요 특성과 타겟의 관계
correlation = df.corr()['price'].sort_values(ascending=False)
print(correlation)
# area          0.72   ← 면적이 가격과 가장 강한 상관관계
# floor         0.31
# built_year   -0.18   ← 건축연도가 오래될수록 가격이 낮은 경향

from sklearn.impute import SimpleImputer

# 숫자형 결측치 → 중앙값으로 대체
imputer = SimpleImputer(strategy='median')
df[['floor', 'built_year']] = imputer.fit_transform(df[['floor', 'built_year']])

# 지역(구) 컬럼이 문자열인 경우
df = pd.get_dummies(df, columns=['district'], drop_first=True)
# '강남구', '서초구', '마포구' → 0/1 컬럼들로 변환

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_scaled = scaler.fit_transform(X_train)
# 평균 0, 표준편차 1로 정규화

from sklearn.model_selection import train_test_split

X = df.drop('price', axis=1)
y = df['price']

# 훈련(80%) / 테스트(20%) 분리
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

print(f"훈련 데이터: {X_train.shape[0]}건")
print(f"테스트 데이터: {X_test.shape[0]}건")

from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error

# 베이스라인: 선형 회귀
model = LinearRegression()
model.fit(X_train, y_train)

y_pred = model.predict(X_test)
mae = mean_absolute_error(y_test, y_pred)
print(f"MAE: {mae:,.0f}만원")
# MAE: 3,240만원

from sklearn.ensemble import RandomForestRegressor

# 더 복잡한 모델 시도
rf_model = RandomForestRegressor(n_estimators=100, random_state=42)
rf_model.fit(X_train, y_train)

y_pred_rf = rf_model.predict(X_test)
mae_rf = mean_absolute_error(y_test, y_pred_rf)
print(f"랜덤 포레스트 MAE: {mae_rf:,.0f}만원")
# 랜덤 포레스트 MAE: 1,820만원  ← 목표 달성!

# 학습된 모델 저장
import joblib

joblib.dump(rf_model, 'apartment_price_model.pkl')
joblib.dump(scaler, 'scaler.pkl')

# FastAPI로 예측 서비스 만들기
from fastapi import FastAPI
import joblib
import numpy as np

app = FastAPI()
model = joblib.load('apartment_price_model.pkl')
scaler = joblib.load('scaler.pkl')

@app.post("/predict")
def predict_price(area: float, floor: int, built_year: int):
    features = np.array([[area, floor, built_year]])
    features_scaled = scaler.transform(features)
    price = model.predict(features_scaled)[0]
    return {"predicted_price": round(price, -2)}  # 100만원 단위로 반올림

# ❌ 잘못된 순서: 전체 데이터로 fit → 분리
X_scaled = scaler.fit_transform(X)  # 테스트 데이터 정보가 포함됨
X_train, X_test = train_test_split(X_scaled, ...)

# ✅ 올바른 순서: 분리 → 훈련 데이터로만 fit
X_train, X_test = train_test_split(X, ...)
X_train_scaled = scaler.fit_transform(X_train)   # 훈련 데이터로만 fit
X_test_scaled = scaler.transform(X_test)          # transform만 적용