HTTP DATASET CSIC 2010에는 자동으로 생성된 수천 개의 웹 요청이 포함되어 있습니다. 
웹 공격 방지 시스템 테스트에 사용할 수 있습니다. CSIC의 정보 보안 연구소에서 개발되었습니다.

출처 - https://www.tic.itefi.csic.es/dataset/

머신러닝 알고리즘

머신러닝은 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 
강화 학습(Reinforcement Learning)으로 구분됩니다.

그 중 지도 학습과 비지도 학습의 차이점은 학습 결과에 대한 사전 지식의 존재 유무입니다. 
지도 학습은 학습 결과에 대한 사전 지식이 존재하므로 분류(classification)와 회귀(regression)가 가능하고, 
비지도 학습은 학습 결과에 대한 사전 지식이 존재하지 않으므로 비슷한 데이터들을 군집화 하여 결과를 예측합니다.  

이번 프로젝트에서 활용한 지도 학습의 알고리즘은 다음과 같습니다.

1. Logistic Regression(로지스틱 회귀)

   로지스틱 회귀의 목적은 일반적인 회귀 분석의 목표와 동일하게 종속 변수와 독립 변수간의 관계를 구체적인 함수로 나타내어 향후 예측 모델에 사용하는 것입니다.

   하지만 로지스틱 회귀는 선형 회귀 분석과는 다르게 종속 변수가 범주형 데이터를 대상으로 하며 입력 데이터가 주어졌을 때 해당 데이터의 결과가 특정 분류로 나뉘기 때문에 일종의 분류 (classification) 기법으로도 볼 수 있습니다.

2. Decision Tree(결정 트리)

   결정 트리는 데이터를 분석해서 데이터 사이에 존재하는 패턴을 예측 가능한 규칙의 조합으로 나타내는 것입니다. 결정 트리는 분류와 회귀 모두 가능합니다. 즉, 범주나 연속형 수치 모두 예측할 수 있습니다.

3. Random forests(랜덤 포레스트)

   랜덤 포레스트는 훈련 과정에서 구성한 다수의 결정 트리로부터 부류(분류) 또는 평균 예측치(회귀 분석)를 출력합니다.

4. LightGBM(Gradient Boosting Machine, 점진적 부스팅 머신)

   LightGBM은 일반적인 균형 트리 분할 방식(Level Wise)과 다르게 리프 중심 트리 분할 방식(Leaf Wise)을 이용합니다. 이 방법은 트리의 균형을 맞추지 않고 최대 손실 값(max delta loss)을 가지는 리프 노드를 지속적으로 분할하면서 트리가 깊어지고 비대칭 적인 트리를 만듭니다.

   하지만 이 방법으로 트리를 계속해서 분할하게 되면 균형 트리 분할 방식보다 예측 오류 손실을 최소화할 수 있습니다.

   Light GBM은 말 그대로 가볍고 속도가 빠르다는 장점이 있습니다. Light GBM은 큰 사이즈의 데이터를 다룰 수 있고 실행시킬 때 적은 메모리를 차지합니다.

5. SVM(Support Vector Machine, 서포트 벡터 머신)

   SVM은 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할지 판단하는 비확률적 이진 선형 분류 모델을 만듭니다. 만들어진 분류 모델은 데이터가 사상된 공간에서 경계로 표현되는데 그 중 가장 큰 폭을 가진 경계를 찾는 알고리즘입니다.

6. SGD(Stochastic Gradient Descent, 확률적 경사 하강법)

   확률적 경사 하강법은 추출된 데이터 한개에 대해서 gradient를 계산하고 경사 하강 알고리즘을 적용하는 방법입니다. 전체 데이터를 사용하는 것이 아닌 랜덤하게 추출한 일부 데이터만을 사용하므로 학습 중간 과정에서 결과의 진폭이 크고 불안정하고 속도가 매우 빠르다. 또한, 데이터를 하나씩 처리하기 때문에 오차율이 크고 GPU의 성능을 모두 활용하지 못합니다.

용어 정리

• Accuracy(정확도) - 올바르게 예측된 데이터의 수를 전체 데이터의 수로 나눈 값
• F1 Score - precision과 recall의 조화평균
  • Precision(정밀도) - 모델이 True로 예측한 데이터 중 실제로 True인 데이터의 수
  • Recall(재현율) - 실제로 True인 데이터를 모델이 True라고 인식한 데이터의 수

첫번째 방법은 다음과 같다.

def solution(num):
    answer = 0
    while num > 0:
        answer += num % 10
        num //= 10
    return answer

answer에 num을 10으로 나눈 나머지를 더하는 과정을 num을 10으로 나눈 몫이 0보다 클 동안 반복한다.

두번째 방법은 다음과 같다.

def solution(num):
    return sum([int(i) for i in str(num)])

int num을 string으로 변환하고 한 자리씩 다시 int로 list에 저장한다. 그리고 sum()을 사용해서 list에 있는 원소를 모두 더한다.

단일치환암호는 '단일문자치환암호'라고도 하며, 항상 문자에 대해서는 같은 문자로 치환하는 방식이다. 예를 들어, 앞서 A를 H로 치환했다면 하나의 키를 통해 암호화된 문서에서 나타나는 모든 H는 평문의 A가 된다.

출처 - 해시넷 위키

암호문의 알파벳 빈도수 분석하기

1. 'Substitution ciper tool' 사이트 사용하기

http://www.chaos.org.uk/~eddy/craft/substitute.html

위 사이트에 접속하여 text area에 단일치환암호로 암호화된 암호문을 입력하면 해당 암호문의 알파벳 및 특수문자, 숫자의 빈도수를 계산하고 빈도수가 높은 순서로 정렬해서 알려준다.

2. 코드 작성하기(Python)

전체 코드는 다음과 같다.

filename = 'ciphertext.txt' // 원하는 파일명 사용

with open(filename, 'r', encoding='utf-8') as data:
    ct = data.read()
ct_msg = ct.upper()

Alphabet = 'ABCDEFGHIJKLMNOPQRSTUVWXYZ'

ct_freq = {}

for i in range(0, 26):
    ct_freq[Alphabet[i]] = 0

for ch in ct_msg:
    if ch in Alphabet:
        idx = Alphabet.find(ch)
        ct_freq[Alphabet[idx]] += 1

ct_freq_sort = sorted(ct_freq.items(), key=(lambda x:x[1]), reverse=True)

for key, value in ct_freq_sort:
    print(key, " : ", value) // key는 알파벳, value는 빈도수

암호문을 txt 파일에 작성하고 위 코드를 실행시키면 해당 암호문의 알파벳 빈도수를 계산해서 빈도수가 높은 순서로 정렬하여 출력한다.

치환표 찾고 평문으로 복호화하기

빈도수 분석 결과와 일반적인 알파벳 출현 빈도 분석표 비교하기

일반적인 알파벳 출현 빈도는 다음과 같다.

암호문의 알파벳 빈도수와 일반적으로 사용되는 알파벳의 빈도수를 비교한 후 알고 있는 영 어 단어 및 문법을 활용하여 변환한다.

예시는 다음과 같다.

1. 암호문의 최빈도를 갖는 문자 i를 e로 변환한다.
2. 자주 나오는 opi(i는 e로 변환)를 관사 the로 추정하여 변환한다.
3. 혼자 사용되는 b는 관사 a로 추정하여 변환한다. ...

복호화한 평문의 알파벳 빈도수를 분석한다.

filename = 'plaintext.txt' // 원하는 파일명 사용

with open(filename, 'r', encoding='utf-8') as data:
    pt = data.read()
pt_msg = pt.upper()

Alphabet = 'ABCDEFGHIJKLMNOPQRSTUVWXYZ'

pt_freq = {}

for i in range(0, 26):
    pt_freq[Alphabet[i]] = 0

for ch in pt_msg:
    if ch in Alphabet:
        idx = Alphabet.find(ch)
        pt_freq[Alphabet[idx]] += 1

pt_freq_sort = sorted(pt_freq.items(), key=(lambda x:x[1]), reverse=True)

for key, value in pt_freq_sort:
    print(key, " : ", value)

복호화한 평문의 알파벳 빈도수를 분석하여 암호문의 알파벳 빈도수를 통해 치환표를 출력한다.

print("암호문 -> 평문")
for ct_key, ct_value in ct_freq_sort:
    for pt_key, pt_value in pt_freq_sort:
        if ct_value == pt_value:
            print("   ", ct_key, " -> ", pt_key)

느낀 점

단일치환암호의 암호문을 입력하자마자 해당 암호문을 복호화 시켜주는 코드를 작성하고 싶었지만 고려해야 할 사항과 시간적 제약이 있어서 완성하지 못했다. 나중에 시간이 된다면 마무리하고 싶다.