19a6-기술사-핵심토픽-인공지능

SVM 그릴 때는 x1,x2 축 있어야 함.

활성화 함수 나오면 개념도형 표로. 그리고 설명쪽에 식 써주기.

기계학습

I. 데이터기반 패턴학습, 기계학습의 개요

• 개념: 데이터로 패턴학습, 예측·판단하는 알고리즘

• 특징: (1) 데이터 많을수록 성능 향상 (2) 명시적 규칙없이 자율학습

• 경험(데이터) 통한 성능개선 알고리즘

II. 기계학습의 구성도 및 구성요소

가. 기계학습의 구성도

[데이터 수집]→[전처리/특징추출]→[모델 학습]
   ↑                          ↓
[피드백]←[모델 평가]←[예측/추론]←[학습된 모델]

• 데이터→학습→평가 순환 구조

나. 기계학습의 구성요소

구분	구성요소	설명
학습방식	지도학습	정답 라벨 기반 학습
학습방식	비지도학습	라벨없이 군집·차원축소
학습방식	강화학습	보상기반 행동 최적화
구성요소	특징(Feature)	입력데이터 속성값
구성요소	모델/알고리즘	패턴 학습하는 함수구조
구성요소	손실함수	예측오차 정량화 지표

• 학습방식 3유형, 핵심요소로 구성

III. 기계학습 추가정보

구분	내용	비고
비교	딥러닝은 신경망기반 하위분야	표현학습 자동화
관련기술	AutoML로 모델선정 자동화	최신 트렌드
시사점	과적합 방지, 데이터품질 중요	실무 적용 이슈

• 딥러닝 포함관계, 데이터품질 핵심

K-Means Clustering

I. 거리기반 군집화, K-Means Clustering의 개요

• 개념: 중심점 기반 K개 군집 반복분할 알고리즘

• 특징: (1) 유클리드 거리 기반 그룹화 (2) 중심점 반복갱신 수렴

• 데이터를 K개 그룹으로 반복 분할

II. K-Means Clustering의 구성도 및 구성요소

가. K-Means Clustering의 구성도

[초기 중심점 K개 선정]
      ↓
[각 데이터→최근접 중심 할당] ←──┐
      ↓                   │
[군집별 중심점 재계산]         │
      ↓                   │
[중심점 변화 있음?] ──있음─────┘
      ↓ 없음(수렴)
   [군집화 완료]

• 할당·재계산 반복 후 수렴

나. K-Means Clustering의 구성요소

구분	구성요소	설명
입력요소	K값	목표 군집 개수
입력요소	초기 중심점	랜덤/K-Means++ 선정
알고리즘	할당단계	최근접 중심 데이터 배정
알고리즘	갱신단계	군집평균으로 중심 이동
평가요소	SSE	군집내 거리제곱합
평가요소	실루엣계수	군집 응집·분리도

• 입력·알고리즘·평가 3범주 구성

III. K-Means Clustering 추가정보

구분	내용	비고
관련기술	K-Means++로 초기화 개선	수렴속도 향상
비교	계층적 군집화 대비 대용량 유리	사전 K값 필요
시사점	이상치에 민감, 전처리 중요	실무 적용시 유의

• K-Means++ 개선, 이상치 민감 유의

• K-Means++: K-Means의 초기 중심점 선정 방식을 개선한 기법. 완전 랜덤 대신, 기존 중심점들과 거리가 먼 점일수록 다음 중심점으로 뽑힐 확률을 높여(D(x)² 비례 확률) 지역 최적해에 빠질 위험을 줄이고 수렴 속도를 높임.

• SSE (오차제곱합): 각 데이터와 소속 군집 중심점 간 거리의 제곱합. K-Means가 매 반복마다 최소화하는 목적함수이자, 군집 내 응집도를 나타내는 평가지표. K가 커질수록 무조건 감소하므로 Elbow Method로 최적 K를 찾는 데 사용.

• 실루엣 계수: 응집도(a)와 분리도(b)를 함께 반영하는 지표. $s(i)=\frac{b(i)-a(i)}{\max (a(i),b(i))}$, 범위는 -1~+1이며 +1에 가까울수록 군집화가 잘 된 것. SSE와 달리 군집 간 분리 정도까지 평가하므로 최적 K 판단에 더 명확한 기준을 제공.

• Elbow Method: K를 1부터 늘려가며 각 K에서의 SSE를 계산해 그래프로 그리는 방법. K가 커질수록 SSE는 단조 감소하지만, 어느 지점부터 감소폭이 급격히 완만해지는 “팔꿈치(elbow)” 모양이 나타나는데, 이 지점을 최적 K로 선택. SSE만 활용하므로 판단이 다소 주관적(육안 판단)이라, 실루엣 계수와 함께 보완적으로 사용하는 경우가 많음.

DBSCAN

• 두음: 코보노

I. 밀도기반 군집화기법, DBSCAN의 개요

Density Based Spatial Clustering of Application with Noise

• 개념: 밀도 기반 노이즈 포함 군집화 알고리즘

• 특징: (1) 임의형태 군집 탐지 가능 (2) 이상치 자동 식별

• 밀도 연결성 기반 비지도 군집화

II. DBSCAN의 구성도 및 구성요소

가. DBSCAN의 구성도

[Core Point]─eps반경내 minPts이상─▶[군집형성]
     │
     ├─▶[Border Point](core 인접, 밀도조건 미달)
     │
     └─▶[Noise Point](어느 군집에도 미속)

[전체 흐름] 임의점 선택→eps내 이웃탐색→
minPts충족시 core지정→밀도연결 확장→군집완성

• Core→Border→Noise 순 점 분류구조

나. DBSCAN의 구성요소

구분	구성요소	설명
파라미터	eps	이웃 판단 반경값
파라미터	minPts	군집형성 최소점개수
점유형	Core Point	반경내 밀도조건 충족점
점유형	Border Point	core에 인접한 경계점
점유형	Noise Point	군집미속 이상치점
연산	Range Query	이웃점 탐색 연산

• 파라미터·점유형·연산 3범주 구성

III. DBSCAN 추가정보

구분	내용	비고
비교	K-means 대비 군집수 사전지정 불필요	형태제약 없음
한계	밀도편차 큰 데이터서 성능저하	OPTICS로 개선
시사점	이상치탐지·공간데이터 분석 활용	실무적용 용이

• 비구형군집·노이즈처리 강점 보유

DBSCAN 상세설명

DBSCAN(Density-Based Spatial Clustering of Applications with Noise)은 밀도 기반 군집화 알고리즘입니다. 전체 그림을 먼저 잡고, 각 요소가 어떻게 맞물리는지 순서대로 설명드리겠습니다.

1. 전체 구조와 목표

DBSCAN이 풀고자 하는 문제는 “군집 개수를 미리 몰라도, 임의의 모양을 가진 군집을 노이즈와 함께 자동으로 찾아내는 것”입니다. 이를 위한 구성요소들의 관계는 이렇습니다.

[파라미터: eps, minPts]
        │
        ▼
[점 분류: Core / Border / Noise]
        │
        ▼
[도달 관계: 직접밀도도달 → 밀도도달 → 밀도연결]
        │
        ▼
[군집 형성: 밀도연결된 점들의 최대집합]

즉 파라미터 2개 → 점의 역할 분류 → 점 사이의 연결 관계 정의 → 그 관계로 군집을 만드는 순서로 이해하면 됩니다.

2. 핵심 파라미터

• eps(ε): 이웃으로 인정할 반경
• minPts: core point로 인정받기 위한 eps 반경 내 최소 점 개수

이 둘이 알고리즘 전체의 “밀도 기준”을 결정합니다.

3. 점의 분류

유형	조건
Core Point	eps 반경 내 점 개수 ≥ minPts
Border Point	자신은 minPts 미달이지만, core point의 eps 반경 안에 속함
Noise Point	core point도 아니고, 어떤 core point의 이웃도 아님

4. 도달 관계 (이전 답변 정리)

1. 직접 밀도 도달: Q가 core P의 eps 반경 안에 있음
2. 밀도 도달: core point 사슬을 통해 연쇄적으로 도달 가능(비대칭)
3. 밀도 연결: 어떤 공통 core O로부터 P, Q 둘 다 도달 가능(대칭) → 이 관계로 군집이 정의됨

5. 알고리즘 동작 순서

1. 방문하지 않은 점 P를 임의로 선택
2. P의 eps 반경 내 이웃 조회(Range Query)
3. 이웃 수가 minPts 이상이면 P를 core로 지정하고 새 군집 시작
4. 그 이웃들을 순차 확장(이웃의 이웃도 core면 계속 확장) → 밀도연결된 점 모두 같은 군집으로 편입
5. 이웃 수가 minPts 미만이면 일단 noise로 표시(단, 나중에 다른 core의 border로 편입될 수 있음)
6. 모든 점을 방문할 때까지 1~5 반복

6. 장단점

장점

• 군집 개수를 사전에 지정할 필요 없음 (K-means와 대비)
• 원형이 아닌 임의의 형태(초승달, 나선형 등) 군집도 탐지
• 이상치(noise)를 자연스럽게 걸러냄

단점

• eps, minPts 값에 결과가 민감함
• 군집마다 밀도 차이가 크면 하나의 eps로 모두 잘 잡아내기 어려움 → 이 한계를 보완한 것이 OPTICS, HDBSCAN 같은 확장 알고리즘
• 고차원 데이터에서는 거리 계산이 무의미해지는 “차원의 저주” 영향을 받음

7. 실무 적용

공간 데이터 분석(GPS 궤적, 지리정보), 이상치 탐지(사기 탐지, 센서 이상값), 이미지 세그멘테이션 등에서 활용됩니다. minPts는 보통 데이터 차원(d) 대비 2d 이상을 권장하며, eps는 k-distance graph(k=minPts)를 그려서 급격히 꺾이는 지점(“elbow”)을 기준으로 정하는 방법이 일반적입니다.

SVM(Support Vector Machine)

I. 최대마진 분류기, SVM의 개요

• 개념: 마진 최대화 기반 이진분류 지도학습

• 특징: (1) 서포트벡터로 결정경계 결정 (2) 커널기법으로 비선형 확장

• 마진 최대화로 일반화성능 확보

II. SVM의 구성도 및 구성요소

가. SVM의 구성도

                    마진(margin)
                  ◄──────┼──────►
 [클래스A●] [서포트벡터] [결정초평면] [서포트벡터] [클래스B■]
              ●          │         ■
              ●          │         ■
                     (w·x+b=0)

   ↓ 비선형 데이터
[커널함수 Φ(x)] → [고차원 공간 매핑] → [선형분리 수행]

• 서포트벡터 기준 마진 최대화 초평면

• OSH: 최적분리초평면

나. SVM의 구성요소

구분	구성요소	설명
경계요소	결정초평면	클래스 구분 기준면
경계요소	서포트벡터	마진 결정 핵심데이터
학습요소	마진	초평면-데이터 최소거리
학습요소	파라미터(w,b)	초평면 방향·위치 결정
확장요소	커널함수	비선형 데이터 변환
확장요소	슬랙변수	오분류 허용 정도

• 경계·학습·확장 3범주로 구성

III. SVM 추가정보

구분	내용	비고
커널종류	선형·다항·RBF·시그모이드	문제특성별 선택
비교	로지스틱회귀 대비 마진기반 강건	소규모데이터 유리
시사점	고차원·소량데이터 분류 적합	텍스트·이미지 활용

• RBF커널 범용성, 소량데이터 강점

인공신경망

I. 뇌신경 모방 학습모델, 인공신경망의 개요

• 개념: 뉴런구조 모방한 기계학습 알고리즘

• 특징: (1) 다층 노드간 가중치 학습 (2) 비선형 패턴 인식 가능

• 뉴런 모방한 병렬분산 학습구조

II. 인공신경망의 구성도 및 구성요소

가. 인공신경망의 구성도

[입력층]→[은닉층1]→[은닉층2]→...→[출력층]
   ↑           ↑           ↑
 가중치      활성화함수    역전파(오차보정)

• 입력~출력층 순전파, 오차 역전파 학습

나. 인공신경망의 구성요소

구분	구성요소	설명
구조	입력층	외부데이터 수신
구조	은닉층	특징추출·연산수행
구조	출력층	최종결과 산출
학습요소	가중치	노드간 연결강도
학습요소	활성화함수	비선형 출력변환
학습요소	손실함수	예측오차 계산

• 구조요소와 학습요소로 대별

III. 인공신경망 추가정보

구분	내용	비고
관련기술	딥러닝으로 다층화 확장	CNN·RNN 파생
비교	퍼셉트론 대비 다층 비선형화	표현력 향상
시사점	영상·음성인식 등 실무적용	산업 전반 확산

• 딥러닝 기반으로 발전, 산업적용 확대

피드포워드 뉴럴 네트워크

I. 전방향 신경망, 피드포워드 뉴럴 네트워크의 개요

• 개념: 입력→출력 단방향 전파 신경망

• 특징: (1) 순환 없는 단방향 연결 (2) 계층별 완전/부분 연결

• 입력에서 출력으로 순차 전파하는 구조

II. 피드포워드 뉴럴 네트워크의 구성도 및 구성요소

가. 피드포워드 뉴럴 네트워크의 구성도

[입력층]→[은닉층1]→[은닉층2]→...→[출력층]
   (가중치·편향, 활성화함수 적용)
   ←──── 역전파(학습 시 오차 전달) ────

• 순전파와 역전파로 학습 수행

나. 피드포워드 뉴럴 네트워크의 구성요소

구분	구성요소	설명
구조	입력층	특징벡터 입력 수용
구조	은닉층	비선형 변환 반복 수행
구조	출력층	최종 예측값 산출
학습요소	가중치·편향	뉴런 간 연결강도 저장
학습요소	활성화함수	비선형성 부여
학습요소	손실함수·역전파	오차 계산 후 가중치 갱신

• 구조요소와 학습요소로 대별

III. 피드포워드 뉴럴 네트워크 추가정보

구분	내용	비고
비교	RNN과 달리 순환·기억 없음	시계열 처리 부적합
관련기술	CNN·MLP의 기본 구조	딥러닝 기초 모델
시사점	과적합 방지 위해 정규화 필요	드롭아웃 등 활용

• RNN 대비 단순구조, 딥러닝 기초

인공신경망의 역전파

I. 오차 기반 가중치 학습, 역전파의 개요

• 개념: 출력오차 역방향 전파, 가중치 갱신 알고리즘

• 특징: (1) 연쇄법칙 기반 미분 계산 (2) 경사하강법 결합 학습

• 오차 역전파로 가중치 최적화 수행

II. 역전파의 구성도 및 구성요소

가. 역전파의 구성도

① Forward Pass
[입력]→(W1)→[은닉층]→(W2)→[출력]→[Loss]
                               ↓
[입력]←(W1갱신)←[은닉층]←(W2갱신)←[오차]
② Backward Pass

• 순전파 후 오차 역방향 전달·갱신

나. 역전파의 구성요소

구분	구성요소	설명
계산단계	순전파	입력→출력 예측값 산출
계산단계	역전파	출력오차 역방향 전달
핵심요소	손실함수	예측·정답 오차 정량화
핵심요소	경사도	가중치별 오차 기울기
최적화	가중치 갱신식	경사하강법 적용 갱신
최적화	학습률	갱신폭 조절 파라미터

• 순전파·역전파·최적화 단계로 구성

III. 역전파 추가정보

구분	내용	비고
문제점	기울기소실 심층망서 발생	ReLU로 완화
관련기술	Adam 등 최적화기법 결합	수렴속도 개선
시사점	딥러닝 학습 핵심 근간 기술	CNN·RNN 공통 적용

• 기울기소실 유의, 최적화기법 병행 적용

인공신경망의 활성화 함수

• 두음: 단양 선비, 항경계시렐 탄

• 단극형

• 양극형

• 선형

• 비선형

• 항등함수

• 경사함수

• 계단함수

• Sigmoid

• ReLU

• Tanh

I. 비선형 변환함수, 활성화 함수의 개요

• 개념: 뉴런 출력값 결정하는 비선형 함수

• 특징: (1) 비선형성 부여로 표현력 확장 (2) 역전파 위한 미분 가능성

• 비선형 변환으로 복잡한 패턴 학습 가능

II. 활성화 함수의 구성도 및 구성요소

가. 활성화 함수의 구성도

[입력 x] → [가중합 Σ(wx+b)]
              ↓
        [활성화 함수 f(z)]
              ↓
        [출력 y = f(z)]
              ↓
     (다음 레이어로 전달, 역전파시 미분값 사용)

• 가중합 결과에 비선형함수 적용 후 전달

II-나. 활성화 함수의 구성요소

구분	구성요소	설명
초기형	항등함수	입력값 그대로 출력
초기형	경사함수	일정구간 선형 증가
초기형	계단함수	임계값 기준 0/1 출력
실용형	Sigmoid	출력 0~1 확률 표현
실용형	ReLU	음수 0, 양수 그대로
실용형	Tanh	출력 -1~1 중심화

• 초기형(단순)·실용형(현대) 2범주로 구성

III. 인공신경망의 활성화 함수 추가정보

구분	내용	비고
비교	Sigmoid 대비 ReLU 기울기소실 완화	은닉층 주로 ReLU 사용
관련기술	Swish, Mish 등 신규함수 등장	성능개선 목적
시사점	출력층은 과제유형별 함수 선택 필요	회귀·분류 구분 적용

• 기울기소실 완화 방향으로 발전 추세

활성화 함수를 이 네 가지 기준(단극성, 양극성, 선형, 비선형)으로 나눠 설명하면 다음과 같습니다.

출력 범위 기준: 단극성 vs 양극성

단극성(Unipolar)

• 출력값이 0~1 범위 (또는 0 이상의 양수 범위)로 나옴
• 예: Sigmoid (01), ReLU (0∞)
• “있다/없다”, “활성/비활성”처럼 존재 여부나 확률을 표현할 때 적합
• 신호가 항상 양수 쪽으로만 치우치므로, 학습 시 가중치 업데이트 방향이 한쪽으로 쏠리는 경향(zig-zag 문제)이 생길 수 있음

양극성(Bipolar)

• 출력값이 음수와 양수를 모두 포함 (예: -1~1)
• 예: Tanh (-1~1), 부호함수(sign function)
• 평균이 0에 가까워(zero-centered) 학습이 더 안정적인 경우가 많음
• 억제(inhibition)와 흥분(excitation)을 모두 표현 가능

함수 형태 기준: 선형 vs 비선형

선형(Linear)

• 입력과 출력이 비례 관계 (f(x) = ax + b 형태)
• 문제점: 여러 층을 쌓아도 결국 하나의 선형 변환으로 축약됨 → 은닉층을 아무리 늘려도 복잡한 패턴(비선형 문제)을 학습할 수 없음
• 실제로는 출력층(회귀 문제)에서 제한적으로 사용

비선형(Nonlinear)

• 입력과 출력이 비례하지 않는 곡선 형태 (Sigmoid, Tanh, ReLU 등 대부분의 활성화 함수)
• 층을 쌓을수록 표현 가능한 함수 공간이 기하급수적으로 확장 → 딥러닝의 핵심 전제
• 신경망이 XOR 같은 비선형 분리 문제를 풀 수 있는 이유

정리하면

구분	축	의미	대표 예시
출력 범위	단극성	0~1 또는 양수만	Sigmoid, ReLU
출력 범위	양극성	음수~양수 포함	Tanh, sign
함수 형태	선형	비례관계, 단순합성	Identity
함수 형태	비선형	복잡한 패턴 표현	대부분의 활성화함수

두 축은 서로 독립적인 분류 기준이라, 예를 들어 Tanh는 “양극성이면서 비선형”이고 Sigmoid는 “단극성이면서 비선형”입니다. 시험 답안에서는 이 두 축을 교차해서 표로 정리하면 구조가 잘 드러납니다.

딥러닝

I. 다층신경망 기반 학습, 딥러닝의 개요

• 개념: 은닉층이 복수인 다층신경망으로 데이터 특징 자동학습

• 특징: (1) 비선형 다층구조 표현학습 (2) 대량데이터 기반 자동특징추출

• 다층신경망 통해 데이터 스스로 특징 학습

II. 딥러닝의 구성도 및 구성요소

가. 딥러닝의 구성도

[입력층] → [은닉층1] → [은닉층2] → [출력층] → [예측값]
                                              │
                                         손실함수 계산
                                              │
                                              ▼
[입력층] ← [은닉층1] ← [은닉층2] ← [출력층] ← (오차 역전파)
              (가중치 경사하강법으로 갱신)

• 순전파·역전파 반복으로 가중치 최적화

나. 딥러닝의 구성요소

구분	구성요소	설명
구조요소	뉴런/퍼셉트론	입력 가중합 후 활성화
구조요소	은닉층	비선형 특징 추출 계층
학습요소	손실함수	예측-정답 오차 산출
학습요소	옵티마이저	가중치 갱신 알고리즘
기법요소	활성화함수	비선형성 부여(ReLU 등)
기법요소	정규화	과적합 방지(Dropout 등)

• 구조·학습·기법 3범주로 구성

III. 딥러닝 추가정보

구분	내용	비고
관련기술	CNN·RNN·Transformer 등 분화	응용분야별 특화구조
비교	머신러닝 대비 특징추출 자동화	수작업 특징공학 불요
시사점	대규모 연산자원·데이터 필수	GPU/TPU 인프라 요구

• 응용구조 다양화, 연산자원 의존 심화

파라미터

• 두음: 학은배 편가, 매그렌베

• 하이퍼파리미터

  • 학습률
  • 은닉층 개수
  • 배치 크기

• 파라미터

  • 편향
  • 가중치

• 하이퍼파라미터 최적화 기법

  • Manual Search
  • Grid Search
  • Random Search
  • Bayesian Optimization

I. 모델 내부 학습 변수, 파라미터의 개요

• 개념: 학습으로 값 결정되는 모델 내부변수

• 특징: (1) 데이터 학습통해 자동 갱신 (2) 가중치·편향 등 형태

• 학습과정서 최적화되는 모델 내부값

II. 파라미터의 구성도 및 구성요소

가. 파라미터의 구성도

[입력데이터] → [모델구조]
                 ├─ Weight(가중치)
                 ├─ Bias(편향)
                 └─ [학습알고리즘] → 파라미터 갱신
                         ↓
                    [손실함수 최소화]

• 손실함수 기반 반복 갱신 구조

나. 파라미터의 구성요소

구분	구성요소	설명
신경망계열	Weight	입력 중요도 조절값
신경망계열	Bias	활성화 임계 조정값
통계모델계열	회귀계수	변수 영향력 크기
통계모델계열	절편	기본 출력 기준값
갱신방식	경사하강 결과값	오차역전파로 산출
갱신방식	옵티마이저 산출값	Adam 등으로 조정

• 신경망·통계·갱신방식 구성

III. 파라미터 추가정보

구분	내용	비고
비교	하이퍼파라미터는 사람이 설정	파라미터는 자동학습
관련기술	대규모모델 파라미터수 급증	GPT 등 수천억개
시사점	파라미터수 과다시 과적합 우려	정규화 필요

• 자동학습·규모증가·과적합 유의

하이퍼파라미터

I. 학습전 사전설정 변수, 하이퍼파라미터의 개요

• 개념: 학습시작 전 사람이 정하는 설정값

• 특징: (1) 학습과정 미갱신 고정값 (2) 모델성능 좌우 요인

• 학습환경 결정하는 사전 설정변수

II. 하이퍼파라미터의 구성도 및 구성요소

가. 하이퍼파라미터의 구성도

[하이퍼파라미터 설정]
   ├─ 학습률, 배치크기, Epoch
   ├─ 네트워크 구조(층수, 노드수)
   └─ 정규화 계수
        ↓
   [모델 학습 수행] → [검증셋 평가]
        ↓
   [튜닝 반복] (Grid/Random/Bayesian)

• 설정→학습→평가→튜닝 반복구조

나. 하이퍼파라미터의 구성요소

구분	구성요소	설명
학습관련	학습률	파라미터 갱신 폭
학습관련	배치크기	1회 학습 데이터양
학습관련	Epoch수	전체데이터 반복횟수
구조관련	은닉층 수	네트워크 깊이 결정
구조관련	노드 수	층별 뉴런 개수
정규화관련	Dropout율	과적합 방지 비율

• 학습·구조·정규화 3범주 구성

III. 하이퍼파라미터 추가정보

구분	내용	비고
비교	파라미터는 학습결과, 이는 사전조건	역할 상이
관련기술	Bayesian Optimization 튜닝 확산	AutoML 연계
시사점	튜닝품질이 모델성능 직결	실험관리 중요

• 사전설정·자동튜닝·성능직결 강조

하이퍼파라미터 최적화 기법

• 두음: 매그렌베

I. 모델성능 좌우 변수탐색, 하이퍼파라미터 최적화 기법의 개요

• 개념: 최적 하이퍼파라미터 조합 탐색 기법

• 특징: (1) 모델성능·일반화 성능 향상 (2) 탐색공간·비용 상충 관계

• 학습외적 변수 조정으로 성능 극대화

II. 하이퍼파라미터 최적화 기법의 구성도 및 구성요소

가. 하이퍼파라미터 최적화 기법의 구성도

[탐색공간 정의] → [탐색전략 선택]
                     ├─ Manual Search
                     ├─ Grid Search
                     ├─ Random Search
                     └─ Bayesian Optimization
                          ↓
              [평가(검증셋)] → [최적 조합 선정] → (반복/수렴)

• 정의→탐색→평가 반복적 수렴 구조

나. 하이퍼파라미터 최적화 기법의 구성요소

구분	구성요소	설명
수동탐색	Manual Search	경험기반 수작업 튜닝
수동탐색	도메인지식 활용	전문가 휴리스틱 반영
정적탐색	Grid Search	격자형 전조합 탐색
정적탐색	Random Search	무작위 표본 탐색
모델기반	Bayesian Optimization	확률모델기반 순차탐색
모델기반	획득함수(Acquisition)	다음탐색점 결정기준

• 수동탐색·정적탐색·모델기반 3범주로 구성

III. 하이퍼파라미터 최적화 기법 추가정보

구분	내용	비고
비교	Grid는 완전탐색·고비용	차원증가시 비효율
비교	Random은 고차원서 효율적	중요변수 우선탐색
관련기술	Bayesian은 대리모델(GP) 활용	적은 시도로 수렴

• 탐색비용·정확도 상충 고려 선택

교차검증 (k-fold Cross Validation)

I. 모델일반화 성능 검증기법, 교차검증의 개요

• 개념: 데이터 분할 반복학습 통한 성능평가 기법

• 특징: (1) 전체데이터 학습·검증 활용 (2) 과적합 방지 및 일반화 평가

• 데이터 분할 반복검증으로 신뢰성 확보

II. 교차검증의 구성도 및 구성요소

가. 교차검증의 구성도

[전체 데이터셋]
   → [K개 Fold 분할] (Fold1~FoldK)
       → [K-1개 Fold: 학습] + [1개 Fold: 검증]
       → (K회 반복, 검증Fold 순환)
   → [K개 성능지표 산출]
   → [평균·분산 계산] → [최종 성능 추정]

• Fold 순환학습 후 평균으로 성능 추정

나. 교차검증의 구성요소

구분	구성요소	설명
분할방식	K-Fold	K개 등분할 순차검증
분할방식	Stratified K-Fold	클래스비율 유지분할
분할방식	Leave-One-Out	1개 샘플만 검증용
평가지표	정확도/오차	Fold별 성능 산출
평가지표	평균·표준편차	K회 결과 통계처리
적용대상	하이퍼파라미터	튜닝시 검증기준

• 분할방식·평가지표·적용대상으로 구성

III. 교차검증 추가정보

구분	내용	비고
비교	홀드아웃 대비 데이터효율 우수	소량데이터 유리
관련기술	중첩교차검증(Nested CV)	튜닝·평가 분리
시사점	연산비용 증가 트레이드오프	K값 설계중요

• 데이터효율 우수하나 연산비용 고려필요

머신러닝 모델 평가방법

I. 학습·검증·평가 체계, 머신러닝 모델 평가방법의 개요

• 개념: 모델의 일반화 성능 측정·검증 기법

• 특징: (1) 데이터 분할로 과적합 방지 (2) 검증기법으로 신뢰도 확보

• 데이터 분할과 검증기법으로 성능 객관화

II. 머신러닝 모델 평가방법의 구성도 및 구성요소

가. 머신러닝 모델 평가방법의 구성도

[전체 데이터]
     ├─▶ [Training Set] ─▶ 모델 학습
     ├─▶ [Validation Set] ─▶ 하이퍼파라미터 튜닝
     └─▶ [Test Set] ─▶ 최종 성능평가

[검증방법]
 Train Validation ─ 1회 분할
 Cross Validation ─ K-Fold 반복
 Bootstrap ─ 복원추출 반복

• 데이터 3분할과 검증방법 3유형 결합

나. 머신러닝 모델 평가방법의 구성요소

구분	구성요소	설명
데이터	Training Set	모델 파라미터 학습용
데이터	Validation Set	모델선택·튜닝용
데이터	Test Set	최종 일반화 성능평가
검증방법	Train Validation	데이터 1회 분할검증
검증방법	Cross Validation	K개 폴드 교차검증
검증방법	Bootstrap	복원추출 재표본검증

• 데이터 분할과 검증기법 유기적 연계

III. 머신러닝 모델 평가방법 추가정보

구분	내용	비고
비교	CV, Train Val보다 편향·분산 낮음	연산비용 증가
비교	Bootstrap, 소규모 데이터 유리	중복추출 발생
시사점	대용량은 Train Val, 소량은 CV·Bootstrap	데이터 규모별 선택

• 데이터 규모·연산자원 고려한 기법 선택

머신러닝 보안 취약점

I. AI/ML 시스템 위협요소, 머신러닝 보안 취약점의 개요

• 개념: ML모델 대상 공격 취약 지점 총칭

• 특징: (1) 데이터 의존적 공격면 (2) 탐지·방어 난이도 높음

• 학습·추론 전주기 걸친 보안위협

II. 머신러닝 보안 취약점의 구성도 및 구성요소

가. 머신러닝 보안 취약점의 구성도

        [학습단계]              [배포/추론단계]
    ┌─────────────────┐    ┌─────────────────┐
    │ 데이터 포이즈닝     │    │  적대적 예제       │
    │ 백도어 삽입        │    │  회피공격         │
    └─────────────────┘    └─────────────────┘
             ↓                      ↓
        ┌───────────────────────────────┐
        │         [정보유출 위협]          │
        │     모델추출공격 · 멤버십추론공격    │
        │    (배포된 모델에 반복질의로 발생)   │
        └───────────────────────────────┘

• 파이프라인 단계별 공격 지점 상이

나. 머신러닝 보안 취약점의 구성요소

구분	구성요소	설명
학습단계	데이터 포이즈닝	악성데이터 주입 학습왜곡
학습단계	백도어 삽입	트리거 반응 오작동 유발
추론단계	적대적 예제(Adversarial)	미세변조로 오분류 유도
추론단계	회피공격(Evasion)	탐지시스템 우회 시도
정보유출	모델추출공격	질의반복 모델복제
정보유출	멤버십추론공격	학습데이터 포함여부 추정

• 학습·추론·정보유출 3범주 위협

III. 머신러닝 보안 취약점 추가정보

구분	내용	비고
표준/프레임워크	MITRE ATLAS, OWASP ML Top10	위협체계 표준화
관련기술	적대적 학습(Adversarial Training)	강건성 향상 방어법
시사점	입력검증·모델워터마킹 병행필요	다층방어 전략

• MITRE ATLAS 기반 위협 표준화 진행

초거대 AI

I. 대규모 파라미터 기반 차세대 AI, 초거대 AI의 개요

• 개념: 초대형 파라미터 학습한 범용 AI 모델

• 특징: (1) 자기지도학습 기반 대규모 사전학습 (2) 멀티태스킹·전이학습 가능

• 대량데이터·연산으로 범용지능 구현

II. 초거대 AI의 구성도 및 구성요소

가. 초거대 AI의 구성도

[데이터 수집/전처리]
      ↓
[대규모 컴퓨팅 인프라](GPU클러스터)
      ↓
[사전학습](자기지도학습, Transformer)
      ↓
[파인튜닝/정렬](RLHF, Instruction Tuning)
      ↓
[서비스 응용](멀티모달, API제공)
      ↓
(피드백 데이터 → 재학습 루프)

• 수집~응용 전주기 순환 구조

나. 초거대 AI의 구성요소

구분	구성요소	설명
인프라	GPU/NPU 클러스터	대규모 병렬연산 처리
인프라	분산학습 프레임워크	노드간 학습 부하분산
모델	Transformer 아키텍처	어텐션기반 문맥학습
모델	파라미터(수천억개)	지식 저장·표현 단위
데이터	대규모 사전학습데이터	웹문서·코퍼스 활용
데이터	정렬데이터(RLHF)	인간선호 반영 튜닝

• 인프라·모델·데이터 3요소로 구성

Transformer: ‘Attention is All You Need’ 논문에서 제안됨. Self-Attention, 대규모 병렬처리 등이 키워드. RLHF: Reinforcement Learning with Human Feedback

III. 초거대 AI 추가정보

구분	내용	비고
관련기술	초거대 생성형AI로 융합 확산	LLM·멀티모달 결합
이슈	편향성·비윤리성 논란 존재	학습데이터 편중 원인
시사점	고비용 인프라, 소수기업 독점화	규제·거버넌스 필요

• 생성형 융합·윤리이슈·독점화 쟁점

국가 초거대 AI 플랫폼

• 두음: ADIOS (AI Model, Data, Infra, Operation, Service)

I. 정부·민간 AI자원 공동활용, 국가 초거대 AI 플랫폼의 개요

• 개념: 국가 차원 AI자원 공동활용 기반체계

• 특징: (1) GPU·데이터 국가차원 확보 (2) 민간·정부모델 이원화 운영

• 인프라·데이터 공동활용, AI주권 확보 목적

II. 국가 초거대 AI 플랫폼의 구성도 및 구성요소

가. 국가 초거대 AI 플랫폼의 구성도

        [정책·제도 기반: 범국가 AI 혁신 제도·문화]
                     │
   ┌─────────┬─────────┬─────────┬─────────┐
  [모델]     [데이터]   [인프라]   [운영]      [서비스]
 파운데이션   데이터연합  AI컴퓨팅센터 민관협력SPC   대국민·산업
 정부전용모델  보안정책    국가망     법제도정비    응용서비스
   └─────────┴─────────┴─────────┴─────────┘
                     │
              (전 계층 유기적 연계)

• 모델-데이터-인프라-운영-서비스 순환구조

나. 국가 초거대 AI 플랫폼의 구성요소

구분	구성요소	설명
AI모델	파운데이션모델	민간 독자 초거대모델 개발
AI모델	정부전용모델	Private Gov-GPT 폐쇄운영
데이터	데이터연합	산업·공공데이터 장기축적
데이터	데이터보안정책	AI 데이터 안전활용 기준
인프라	AI컴퓨팅센터	GPU·NPU 1.5만장 구축
인프라	국가망·클라우드	초고속 연계 네트워크
운영	민관협력SPC	운영법인 설립·관리
운영	법제도정비	AI 혁신 제도·문화정착
서비스	대국민서비스	행정업무 자동화 통합
서비스	산업응용서비스	도메인특화 API제공

• 모델·데이터·인프라·운영·서비스 균형 구성

III. 국가 초거대 AI 플랫폼 추가정보

구분	내용	비고
공식표현	3대 추진전략 형태로 명시	정부 공식자료 표현
해외사례	미·중 대규모 인프라 경쟁	자국 컴퓨팅주권 확보
시사점	인프라·데이터 투자 병행필요	어느한쪽 편중시 한계

공공부문 초거대 AI 도입·활용 가이드라인

I. 공공AI 도입 안전지침서, 공공부문 초거대 AI 가이드라인의 개요

• 개념: 공공기관 초거대AI 도입 지침서

• 특징: (1) 전략목표 기반 과제 선별 (2) 도입-보안-성과 全주기 관리

• 디지털플랫폼정부위원회·NIA 주관 공공AI 도입 표준지침

II. 공공부문 초거대 AI 가이드라인의 구성도 및 구성요소

가. 가이드라인의 구성도

[전략목표] → [도입절차·고려사항] → [성과관리]
   (Why)         (How)       (Check)
     │              │           │
사회문제해결    인프라구축방식       투입·과정
대국민혁신      보안등급/RAG     산출·결과지표
업무효율화      벡터DB 구축          │
                          (피드백→전략재조정)

• 전략수립→집행→평가 순환구조

나. 가이드라인의 구성요소

구분	구성요소	설명
전략목표	사회문제 해결	국민 체감 현안 해결
전략목표	대국민 서비스혁신	행정서비스 품질 향상
도입절차	인프라 구축방식	공통기반·자체구현 선택
도입절차	보안통제 체계	국가망 보안등급 분류
성과관리	생애주기 지표	투입·과정·산출·결과
성과관리	성과지표 활용	계획수립 단계 반영

• 전략·절차·성과 3범주 체계화

III. 공공부문 초거대 AI 가이드라인 추가정보

구분	내용	비고
버전동향	1.0(24.4)→2.0(25.4) 개정	RAG·보안등급 추가
관련기술	RAG·벡터DB 학습방식 신규	최신기술 반영
시사점	무분별 도입 지양, 목표연계 추진	전략적 필터링 기능

• 1.0 대비 보안·성과관리 체계 강화

프롬프트 엔지니어링

I. 생성형 AI 입력 최적화 기법, 프롬프트 엔지니어링의 개요

• 개념: LLM 출력 품질 높이는 입력 설계 기법

• 특징: (1) 모델 재학습 없이 성능 개선 (2) 반복적 시행착오 기반 최적화

• 입력문 구조화로 원하는 출력 유도

II. 프롬프트 엔지니어링의 구성도 및 구성요소

가. 프롬프트 엔지니어링의 구성도

[Task 정의]→[Context 제공]→[Instruction 작성]
      ↓
[Few-shot 예시 삽입]→[출력형식 지정]
      ↓
[모델 실행]→[출력 평가]→(피드백 반영, 재설계)

• 정의~평가 순환적 반복 구조

나. 프롬프트 엔지니어링의 구성요소

구분	구성요소	설명
기법요소	Zero-shot	예시 없이 지시만 제공
기법요소	Few-shot	소수 예시로 패턴 학습
기법요소	Chain-of-Thought	단계적 추론 유도
구조요소	System Prompt	역할·규칙 사전 정의
구조요소	Output Format	출력 형식 명시 지정
평가요소	프롬프트 튜닝	반복 개선·검증

• 기법·구조·평가 3범주로 구성

III. 프롬프트 엔지니어링 추가정보

구분	내용	비고
관련기술	RAG와 결합해 근거 강화	검색증강생성 연계
비교	파인튜닝 대비 저비용 즉시적용	가중치 미변경
시사점	환각 감소, 응답 일관성 향상	실무 도입효과

• RAG 연계, 저비용 즉시개선 특징

하네스 엔지니어링(AI Harness Engineering)

I. AI 에이전트 실행환경 설계기법, 하네스 엔지니어링의 개요

• 개념: LLM 감싸 에이전트화하는 설계기법

• 특징: (1) 프롬프트·도구·컨텍스트 통합관리 (2) 모델외부 제어루프 구성

• LLM을 실행가능 에이전트로 전환하는 설계기술

II. 하네스 엔지니어링의 구성도 및 구성요소

가. 하네스 엔지니어링의 구성도

• Prompt·Tool·Context가 루프 순환 구동

나. 하네스 엔지니어링의 구성요소

구분	구성요소	설명
프롬프트계층	시스템프롬프트	역할·규칙·페르소나 정의
프롬프트계층	지시문 관리	태스크별 동적 삽입
도구계층	도구 레지스트리	함수콜 스키마 등록
도구계층	실행 샌드박스	코드·명령 격리 실행
상태계층	컨텍스트 윈도우	대화·기억 관리
상태계층	오케스트레이션 루프	계획-실행-관찰 반복

• 프롬프트·도구·상태 3계층 구조

III. 하네스 엔지니어링 추가정보

구분	내용	비고
관련기술	Claude Code·Devin 등 적용	실무 에이전트 사례
비교	파인튜닝 대비 모델변경 불요	저비용 신속개선
시사점	컨텍스트 엔지니어링과 결합필수	성능좌우 핵심요소

• 모델불변, 외부구조 개선 중심 접근

AI 거버넌스

I. AI 리스크·가치 균형체계, AI 거버넌스의 개요

• 개념: AI 신뢰성 확보 위한 통제·관리체계

• 특징: (1) 전략-위험-성과 연계 관리 (2) 원칙-조직-프로세스 3층 구조

• AI 활용 신뢰성·책임성 확보 체계

II. AI 거버넌스의 구성도 및 구성요소

가. AI 거버넌스의 구성도

                [ AI 거버넌스 ]
                      |
   ┌──────────┬──────────┬──────────┬─────────┐
[전략적연계]  [자원관리]   [가치전달]   [위험관리]   [성과측정]
   비즈니스     인력/       ROI/       편향/      KPI/
   목표정렬     인프라      비즈니스     보안/윤리   감사지표
              투입       가치실현      리스크      측정
   └──────────┴──────────┴──────────┴──────────┘
                      |
        [원칙] → [조직] → [프로세스] (실행 수단)

• 5대 영역을 원칙·조직·프로세스로 실행

나. AI 거버넌스의 구성요소

구분	구성요소	설명
원칙	AI 윤리원칙	공정성·투명성 기준
원칙	책임성 원칙	의사결정 추적·설명
조직	AI 거버넌스위원회	정책수립·심의기구
조직	CAIO(최고AI책임자)	전사 AI 총괄책임
프로세스	리스크평가 프로세스	모델 위험 사전진단
프로세스	모니터링·감사 프로세스	운영중 성과·이상 점검

• 원칙 기반 조직이 프로세스로 실행

III. AI 거버넌스 추가정보

구분	내용	비고
표준	ISO/IEC 42001 AI경영시스템	국제표준
관련기술	NIST AI RMF 활용확대	리스크관리 프레임워크
시사점	EU AI Act 등 규제대응 필요	법적 리스크 관리

• 국제표준·규제 정합성 확보 추세

AI 윤리

I. AI 개발·적용 시 준수사항, AI 윤리의 개요

• 개념: AI 설계·운영 시 준수할 도덕적 원칙

• 특징: (1) 인간 중심 가치 지향 (2) 전 생애주기 걸쳐 적용

• 신뢰가능 AI 위한 규범적 기준체계

II. AI 윤리의 구성도 및 구성요소

가. AI 윤리의 구성도

 [데이터 수집] → [모델 개발] → [검증·평가] → [배포·운영] → [모니터링]
     ↓            ↓           ↓            ↓          ↓
 [프라이버시]   [공정성/편향] [투명성/설명가능성] [책임성/안전] [지속감사]
      └────────────윤리 거버넌스(전 단계 공통)────────────┘

• 개발 전 단계에 걸친 윤리 통제점 존재

나. AI 윤리의 구성요소

구분	구성요소	설명
기술적 요소	편향/공정성	데이터·모델 편향 제거
기술적 요소	투명성/설명가능성	의사결정 근거 제시
기술적 요소	견고성/안전성	오작동·오남용 방지
관리적 요소	프라이버시 보호	개인정보 수집·활용 제한
관리적 요소	책임성	주체별 책임소재 명확화
사회적 요소	인간 통제권	인간 개입·감독 보장

• 기술·관리·사회 3범주로 구성

III. AI 윤리 추가정보

구분	내용	비고
표준/제도	EU AI Act 위험등급 규제	글로벌 규제 동향
표준/제도	국내 AI기본법 제정	2026년 시행
시사점	윤리 내재화된 설계 필요	Ethics by Design

• 규제 강화 추세, 설계단계 내재화 중요