이를 배포 시 서버 스토리지(S3) 에서 가져와 사용할 수 있도록 S3 API 를 스프링 부트에 연동하여 이미지 업로드가 잘 되는지 테스트를 진행하였다.

처음 API 연동을 하는데 있어 어려움이 많았는데 @duswnsxnxn 께 많은 도움을 받았다.

구현한 내용에서 문제점은 다음과 같았다.

에러 로그

try-catch 의 예외를 IOException 으로 지정하여 예외를 던져주지 못해 에러 로그를 확인하지 못하고 있었음.. 최상위 예외인 Exception 으로 catch 하여 에러 로그를 확인했다. com.amazonaws.services.s3.model.AmazonS3Exception: The bucket does not allow ACLs (Service: Amazon S3; Status Code: 400; Error Code: AccessControlListNotSupported; Request ID: ECWDZKD95SFQNE7B; S3 Extended Request ID: Lyy8ya1kOYoj5oNlu6FQPFynTPTjpUahryB0uLqP5mxIbkVlAQ7HD4aLk1JzMJjDhLBz18e9xadnhGP/fEyQ9g==; Proxy: null) 이런 예외가 발생하였다.

발생하는 이유를 찾기 위해서는 자바 라이브러리를 계속 파고 들어가는 수 밖에 없는 한계가 있어서 정책 설정을 다시 보니

이미 퍼블릭 액세스를 허용한다고 설정 되어 있었지만 .withCannedAcl(CannedAccessControlList.PublicRead) 메서드로 인해 예외가 발생하는 것이었다.

그래서 권한 정책에 putObjectAcl 정책을 추가해주고 ACL 설정까지 활성화 해주어서야 이 메서드가 제대로 동작을 하였고

권한 정책 추가

ACL 활성화

ACL 설정을 비활성화 할 것을 AWS 에서 권장하니 메서드를 굳이 추가해줄 필요는 없다고 생각했다..

그래도 S3 연동을 하고 이미지 업로드를 해보면서 발생할 수 있는 문제에 대해 고민해볼 수 있는 시간이 되어서 좋았다.

스프링 기반 애플리케이션의 인증과 권한을 담당하는 하위 프레임 워크

인증과 인가

인증 : 사용자가 어떤 행위를 할 때 본인이 맞는지를 확인하는 절차

인가 : 인증이 완료된 사용자가 요청된 자원에 접근을 할 수 있는지 결정하는 절차

인증 방식에 대해

1. credential 기반 인증 : 사용자명과 비밀번호를 이용한 방식
2. 이중 인증(twofactor 인증) : 사용자가 입력한 개인 정보를 인증 후, 다른 인증 체계(예: 물리적인 카드)를 이용하여 두가지의 조합으로 인증하는 방식
3. 하드웨어 인증 : 자동차 키와 같은 방식

spring security 는 credential 방식의 인증을 취한다.

• principal : 아이디, (spring security 로 부터 보호받는 자원(resurce) 으로 접근하는 대상)
• credential : 비밀번호, (resource 에 접근하는 대상의 비밀번호)

주요 모듈로는 이렇게 몇가지가 있는데 주요한 모듈을 중심으로 살펴보자

SecurityContextHolder

보안 컨텍스트 보관함? 뜻을 보면 보안 컨텍스트를 가지고 있는 객체인 것으로 유추가 된다.

조금 자세한 설명은 이렇다.

보안 주체의 세부 정보를 포함하여 응용 프로그램의 현재 보안 컨텍스트에 대한 세부 정보가 저장된다. SecurityContextHolder는 기본적으로 SecurityContextHolder.MODE_INHERITABLETHREADLOCAL 방법과SecurityContextHolder.MODE_THREADLOCAL 방법을 제공한다.

SecurityContext

Authentication을 보관하는 역할을 하며, SecurityContext를 통해 Authentication 객체를 꺼내올 수 있다.

Authentication을 보관한다.. SecurityContext를 통해 Authentication 객체를 얻는다..!

Authentication

Authentication는 현재 접근하는 주체의 정보와 권한을 담는 인터페이스이다.

Authentication 객체는 Security Context에 저장되며, SecurityContextHolder를 통해 SecurityContext에 접근하고, SecurityContext를 통해 Authentication에 접근할 수 있다.

UsernamePasswordAuthenticationToken

UsernamePasswordAuthenticationToken은 Authentication을 implements한 AbstractAuthenticationToken의 하위 클래스로, User의 ID가 Principal 역할을 하고, Password가 Credential의 역할을 한다.

UsernamePasswordAuthenticationToken의 첫 번째 생성자는 인증 전의 객체를 생성하고, 두번째 생성자는 인증이 완려된 객체를 생성한다.

이건 코드가 같이 있으면 이해가 빠를 것 같아서 첨부해보았다.

public class UsernamePasswordAuthenticationToken extends AbstractAuthenticationToken {
    // 주로 사용자의 ID에 해당함
    private final Object principal;
    // 주로 사용자의 PW에 해당함
    private Object credentials;

    // 인증 완료 전의 객체 생성
    public UsernamePasswordAuthenticationToken(Object principal, Object credentials) {
        super(null);
        this.principal = principal;
        this.credentials = credentials;
        setAuthenticated(false);
    }

    // 인증 완료 후의 객체 생성
    public UsernamePasswordAuthenticationToken(Object principal, Object credentials,
            Collection<? extends GrantedAuthority> authorities) {
        super(authorities);
        this.principal = principal;
        this.credentials = credentials;
        super.setAuthenticated(true); // must use super, as we override
    }
}

public abstract class AbstractAuthenticationToken implements Authentication, CredentialsContainer {
}

간단하게 스프링 시큐리티 이용하기

implementation 'org.springframework.boot:spring-boot-starter-security'
implementation 'org.thymeleaf.extras:thymeleaf-extras-springsecurity6:3.1.1.RELEASE'

이렇게 라이브러리를 설치만 하게 되면

다음과 같은 화면이 나타난다.

기본적으로 인증되지 않은 사용자는 서비스를 사용할 수 없게끔 되어 있다.

따라서 인증을 위한 로그인 화면이 나타나는 것

라이브러리를 추가한 뒤 rebuild를 진행하고

요청들이 스프링 시큐리티의 제어를 받을 수 있도록 시큐리티 설정을 다음과 같이 해준다

@Configuration // 스프링의 환경설정 파일임을 의미하는 애너테이션 -> 스프링 시큐리티 설정을 위해 사용되었음
@EnableWebSecurity //모든 요청 URL이 스프링 시큐리티의 제어를 받도록 만드는 애너테이션
public class SecurityConfig {

    @Bean
    SecurityFilterChain filterChain(HttpSecurity http) throws Exception{
        http.authorizeHttpRequests().requestMatchers(
                new AntPathRequestMatcher("/**")).permitAll();
        return http.build();
    }
}

추가 설명

@EnableWebSecurity 애너테이션을 사용하면 내부적으로 SpringSecurityFilterChain이 동작하여 URL 필터가 적용된다.

스프링 시큐리티 설정은 SecurityFilterChain을 통해서 할 수 있는데 밑의 코드의 의미는 모든 인증되지 않은 요청을 허락한다는 의미이다. → 로그인을 하지 않아도 모든 페이지에 접근 가능

http.authorizeHttpRequests().requestMatchers(
    new AntPathRequestMatcher("/**")).permitAll();

더 정리하지는 못했지만 지금 당장 너무 많은 것을 집어 넣기 보다는 내게 필요한 지식을 정리하려고 하자 😚

Reference

[SpringBoot] Spring Security란?

ResponseEntity에는 사용자의  HttpRequest에 대한 응답 데이터가 포함된다.

또한, HTTP 아케텍쳐 형태에 맞게 Response를 보내주는 것에도 의미가 있다.

에러코드와 같은 http 상태코드를 전송하고 싶은 데이터와 함께 전송 → 조금 더 세밀한 제어가 필요한 경우에 사용된다.

ResponseEntity는 HttpEntity를 상속받고 사용자의 응답 데이터가 포함된 클래스이기 때문에

1. HttpStatus
2. HttpHeaders
3. HttpBody

를 포함한다.

HTTP Header/Body 차이

http header에는 (요청/응답)에 대한 요구사항,

http body에는 그 내용이 적혀있고,

Response header 에는 웹서버가 웹브라우저에 응답하는 메시지가 들어있고, Reponse body에 데이터 값이 들어가있다

요약

→ ResponseEntity 클래스를 사용하면, 결과값! 상태코드! 헤더값!을 모두 프론트에 넘겨줄 수 있고, 에러코드 또한 섬세하게 설정해서 보내줄 수 있다는 장점이 있다!

참고 블로그

ResponseEntity란 - 개념, 구조, 사용법, 사용하는 이유

브라우저 ↔ 서버 사이에서 정보(id, pw …)들을 주고 받을 때 쿠키를 사용하고 이는 요청을 하고 다시 요청을 할 때 같은 요청임을 의미하는 입장권이 개념이었다.

그런데 앱 같은 경우,

아이폰, 안드로이드 앱 ↔ 웹서버 간은 쿠키 발행을 하지 않는다. 앱은 웹이 아니기 때문

웹

요청 : ID/PW

요청 : 제목/내용 → 한 번 인증을 하고 나면 그 다음에는 id/pw 를 다시 보내지 않아도 된다 (쿠키가 대신 해줌)

요청 : 제목/내용

웹은 쿠키가 요청마다 계속 ID/PW를 계속 가지고 다닐 수 있는 기능이 있다.

앱

요청 : ID/PW, 제목/내용

요청 : ID/PW, 제목/내용

요청 : ID/PW, 제목/내용

초창기 앱은 계속 ID/PW를 모든 요청 시 마다 계속 보냈었다.

앱은 브라우저가 아니기 때문에 쿠키가 없어서 ID/PW를 계속 해서 가지고 다닐 수 있는 수단이 없다.

그래서 요청마다 계속 정보를 넘겨주어야 했었다.

앱 시작

• 아이디 비번을 입력
• 앱이 서버에게 아이디, 비번이 유효한지 물어본다.
• 유효한 아이디와 비번이면 그 정보를 영구 저장한다.
• 하지만 그래도 요청(글쓰기, 좋아요, 인증이 필요한 활동 등등)이 있을 때 마다 계속해서 id, pw를 요청에 담아서 넘겨주어야했다.

그래서 쿠키와 같은 역할을 위해서

토큰 ( == 아이디, 비번)

• 아이디 비번 입력
• 앱이 서버에게 해당 아이디 비번 유효한지 확인
• 유효하면 서버는 토큰을 발급해주고 아이디와 비번을 영구 저장한다.

🤔 토큰을 사용하면 괜찮을까?

기존에 아이디와 비번을 요청 정보에 담아서 넘겨주는 방식을 토큰이 대신한다..

근데 토큰 역시 아이디와 비번을 대체하는 수단이라서 이 역시 해킹의 노출에 취약하다.

개선된 것은 하나가 있다..!

바로 개인 정보라서 인증이 가능하지만 아이디와 비번이 쌩으로 노출되지 않아서 해킹을 당해도 토큰이 노출된 것이지 아이디와 비번은 그대로 남아 있기에 비밀번호를 변경하지 않아도 된다는 것이다…

하지만 여전히 좋은 방식은 아니다. → 왜?.. → 요청마다 계속해서 db select가 발생하기 때문이다.

토큰은 또 단점이 존재했다.

아무 의미 없는 난수 따위를 사용했어서 길어지기 시작하면 그냥 쓸데없는 값일 뿐이도 그 값 자체가 의미하는 것이 없었다.

JWT (Json Web Token)

개인정보와 개인키 등을 base64 기반으로 인코딩한 결과 조합을 해시 암호화된 값들로 구성된 토큰인 jwt가 나왔다.

이는 값 자체가 복호화를 하면 의미가 있는 값들로 이루어져 있기 때문에 기존의 토큰보다 조금 개선된 방식이다.

또한 jwt는 최초 인증 후 db select가 일어나지 않아 효율면에서 토큰 보다 더 좋다!

여기서 db를 안거치면 믿을 수 있는 정보가 아니냐 라고 생각할 수 있는데, 시크릿 키를 포함하고 있기 때문에 복호화 후 서버의 시크릿 키와 대조를 하기 때문에 믿을 수 있다.

그래서 정보가 도중에 바뀌어도 서버의 시크릿키를 가지고 정보가 조작되었는지 아닌지의 유무를 알 수 있다..!

서버 사이드에서 이렇게 시크릿키를 가지고 있다.

custom:
  jwt:
    secretKey: secretKeysecretKeysecretKeysecretKeysecretKeysecretKeysecretKeysecretKeysecretKeysecretKey

원문의 시크릿 키를 가지고 base64 로 인코딩 한 후 인코딩한 결과를 해시 암호화를 적용해서 암호화 한다.

String keyBase64Encoded = Base64.getEncoder().encodeToString(secretKeyPlain.getBytes()); // 원문을 Base64로 인코딩
// Base64 인코딩된 키를 이용하여 SecretKey 객체를 만든다.
SecretKey secretKey = Keys.hmacShaKeyFor(keyBase64Encoded.getBytes()); // 인코딩 한 결과를 암호화

그리고 인코딩과 암호화된 시크릿 키는 하나만 존재해야 하고 시크릿 키를 요청할 때마다 키가 유효하다면 일관된 키를 반환해야 한다.

private SecretKey _getSecretKey() { // 시크릿 키를 가져온다
    String keyBase64Encoded = Base64.getEncoder().encodeToString(secretKeyPlain.getBytes());
    return Keys.hmacShaKeyFor(keyBase64Encoded.getBytes());
}

public SecretKey getSecretKey() { // 시크릿키를 가져오는 메서드
    if (cachedSecretKey == null) cachedSecretKey = _getSecretKey(); // 시크릿 키가 존재하지 않으면 가지고 있는 시크릿 키를 base64인코딩 후 암호화

    return cachedSecretKey;
}

getSecretKey() 메서드를 실행할 때에 이미 유효한 키가 존재하는지 여부를 묻고 없으면 생성 후 반환

있다면 원래 있던 (캐시된) 시크릿 키를 반환하는 메서드이다.

읽다가 깔끔하게 정리가 잘 되어 참고하였다.

🌐 JWT 토큰 인증 이란? (쿠키 vs 세션 vs 토큰)

실습할 땐 헤더를 만들지 않았지만 payload에 해당하는 claim 이 토큰 유효 기간과 함께 담긴다.

claim : 토큰에서 사용할 정보의 조각 → 서버와 클라이언트가 주고 받는 시스템에서 사용될 정보들에 대한 내용을 담고 있다.

Map<String, Object> claims = new HashMap<>();
claims.put("id", 1L);
claims.put("username", "admin");

// 지금으로부터 5시간의 유효기간을 가지는 토큰을 생성
String accessToken = jwtProvider.genToken(claims, 60 * 60 * 5);

실제 엑토큰을 생성하는 부분인 genToken() 메서드를 들여다 보자

public String genToken(Map<String, Object> claims, int seconds) {
    long now = new Date().getTime(); // 현재 시간
    Date accessTokenExpiresIn = new Date(now + 1000L * seconds); // 매개 변수로 들어온 시간을 밀리로 바꿔서 현재 시간에 더해줌

    return Jwts.builder() // jwts 객체를 생성해서 반환 (실제 토큰을 생성하는 부분)
            .claim("body", Ut.json.toStr(claims)) // jwt 의 body 부분에 저장할 claim 을 json
            .setExpiration(accessTokenExpiresIn)
            .signWith(getSecretKey(), SignatureAlgorithm.HS512)
            .compact();
}

payload 부분과 (헤더가 있었다면 (헤더 + 페이로드) 부분) 이 body로 들어가는 것을 볼 수 있다.

그리고 토큰 만료 기간을 정해주고 (setExpiration), 시크릿 키를 해시 암호화 해준 뒤 합쳐준다.

질문: claim() 메서드 매개변수 “body”의 의미가 뭘까?

payload가 되어야 하지 않을까?

ChatGPT로 얻은 해답

claim() 메서드의 첫 번째 매개변수는 클레임의 이름을 나타냅니다. 클레임의 이름은 문자열로 지정되며, 보통 문자열 형태의 식별자를 사용합니다. 위 코드에서는 "body"라는 이름의 클레임을 사용하고 있습니다.

"body" 클레임은 주로 JWT의 본문(body)에 해당하는 데이터를 담는 용도로 사용됩니다. 일반적으로 사용자 정의 데이터를 "body" 클레임에 저장하여 JWT의 내용을 구성합니다. 클레임의 값은 객체 또는 문자열 형태일 수 있습니다.

위 코드에서는 Ut.json.toStr(claims)를 통해 claims 객체를 JSON 문자열로 변환한 후, "body" 클레임의 값으로 지정하고 있습니다. Ut.json.toStr() 메서드는 이전에 설명한대로 Map<String, Object> 객체를 JSON 문자열로 변환하는 역할을 합니다.

따라서, 위 코드에서 "body" 클레임은 claims 객체를 JSON 문자열로 변환한 값으로 설정되며, JWT의 payload에 해당 데이터가 포함되어 전송될 수 있습니다. 이렇게 함으로써 JWT는 토큰 내에 사용자 정의 데이터를 담을 수 있게 되며, 클라이언트나 서버에서 해당 정보를 활용할 수 있습니다.

이렇게 얻은 엑세스 토큰은 다음과 같이 생겼다!!!

accessToken : eyJhbGciOiJIUzUxMiJ9.eyJib2R5Ijoie1wiaWRcIjoxLFwidXNlcm5hbWVcIjpcImFkbWluXCJ9IiwiZXhwIjoxNjg0MjU3NTIxfQ.kh7U8BzumJh12s4opNjwybtgelvwAPiathC3OSdmuEDQ7GumeeU_bjXutaEplQlD8B1q0vsklJfJ2ZjeHbTt-A

jwt 토큰 생성 방식을 통해 직접 엑세스 토큰을 만들어 보는 시간을 가지면서 jwt의 원리와 구성에 대해 알 수 있었던 시간이었다.

ex) 95% 신뢰구간 = 이 구간에 미지의 모수가 포함될 확률이 95%라는 뜻

모수(parameter)

• 모집단(population)의 특성을 나타내는 수치
• 모평균, 모분산, 모표준편차, 모비율, 모상관관계 등이 있다.

예를 좀 더 구체적으로... 만약 누군가가 점추정를 통해 "A후보의 지지율은 44.3%입니다"라고 말한다면, 자신감 있어 보이더라도 틀린 말이 될 수 있다. 실제 지지율이 44.8%라면 말이다. 이와 같은 점추정은 틀릴 가능성이 높다. 반면 구간추정을 통해 "A후보의 지지율은 신뢰수준 95%로 신뢰구간 41.3%~47.3% 내에 있습니다"라고 말한다면, 좀 더 안전하다. 물론 구간추정도 틀릴 수 있지만, 점추정에 비하면 틀릴 가능성이 적다.

뭔가 말만 그럴듯하게 하는거 같기도 하고...

사진 및 내용 출처

신뢰수준 1-$\alpha$가 0.95 95%라면 $\alpha$ = 0.05 모수가 신뢰구간에 포함되지 못할 확률이 $\alpha \over 2$로 존재

신뢰구간을 추정할 때는 상황에 따라 다른 확률분포를 사용!

• 모 분산 $\sigma^2$ 알고 있을 때 (모분산 알기가 쉽지 않음)

  • 표본 크기와 상관없이 정규분포 사용

• $\sigma^2$ 모르는데 표본 크기가 충분히 큼 -> 정규분포 활용

• $\sigma^2$ 모르는데 표본 크기가 충분히 크지 않을 때 -> t-분포 활용(하지만 t분포 사용하려면 모집단이 정규분포를 따라야 함)

1. 인접 행렬을 활용한 그래프 구현

2. 인접 리스트(ArrayList)를 활용한 그래프 구현

인접행렬을 활용한 그래프 구현

package testcases;

import java.io.*;

public class Test {

    public static void printGraph(int[][] graph) {
        for(int i = 1; i < graph.length; i++) {
            for(int j = 1; j < graph.length; j++) {
                System.out.print(graph[i][j] + " ");
            }
            System.out.println();
        }
    }

    public static void putEdge(int[][] graph, int x, int y) {
        graph[x][y] = 1;
        graph[y][x] = 1;
    }

    public static void main(String[] args) throws IOException {
        int n = 5; //그래프 정점의 개수
        int[][] graph = new int[n+1][n+1]; //index를 1부터 맞추기 위해 n+1

        putEdge(graph, 1, 2);
        putEdge(graph, 1, 3);
        putEdge(graph, 1, 4);
        putEdge(graph, 2, 3);
        putEdge(graph, 2, 5);
        putEdge(graph, 3, 4);
        putEdge(graph, 4, 5);

        printGraph(graph);
    }
}

인접 리스트를 활용한 그래프 구현

package testcases;

import java.io.*;
import java.util.ArrayList;

public class Test {

    public static void print(ArrayList<ArrayList<Integer>> graph) {
        for (int i = 1; i < graph.size(); i++) {
            ArrayList<Integer> node = graph.get(i); // 2차원 리스트 graph의 i번째를 arraylist로 가져옴
            System.out.print("node"+"["+i+"] : ");
            for (int j = 0; j < node.size(); j++)
                System.out.print(node.get(j)+ "->");
            System.out.println();
        }
    }

    public static void putEdge(ArrayList<ArrayList<Integer>> graph, int x, int y) {
        graph.get(x).add(y); // get(): 해당 번지의 값을 가져옴 
        graph.get(y).add(x);
    }

    public static void main(String[] args) throws IOException {
        ArrayList<ArrayList<Integer>> graph = new ArrayList<>();

        for (int i = 0; i <= 5; i++)
            graph.add(new ArrayList<>());

        putEdge(graph, 1, 2);
        putEdge(graph, 1, 3);
        putEdge(graph, 1, 4);
        putEdge(graph, 2, 3);
        putEdge(graph, 2, 5);
        putEdge(graph, 3, 4);
        putEdge(graph, 4, 5);

        //        System.out.println(graph);
        //        ArrayList<Integer> node = graph.get(3);
        //        System.out.println(node);

                print(graph); 
    }
}

각각의 장단점

• 행렬의 경우

  두 정점이 연결되있는지를 확인하는 방법이 쉽다. graph[x][y]의 값을 바로 확인해서 유무를 판단할 수 있기 때문이다. 단, 정점이 N개인 경우, 행렬을 만들기 위해선 N * N만큼의 공간이 필요하게 된다.

  무방향 그래프의 경우는 절반의 공간이 낭비되는 셈이다.

• 리스트의 경우

  실제 연결된 노드들만 리스트 원소에 담겨있으므로 공간 복잡도가 N(간선)이다.

  다만, 두 정점 x, y가 연결되있는지 알고 싶다면 노드x 리스트로 들어가 원소 y가 있는지 처음부터 쭉 탐색해야 하므로 행렬보다 더 많은 시간이 소요된다.

둘 다 각각 장단점을 가지고 있으므로 상황에 따라 맞게 골라쓰면 된다.

간선이 많은 그래프의 경우, 인접 행렬을 통해 빠르게 연결 여부를 확인할 수 있다.

반면 간선이 적은 그래프의 경우는 인접 리스트를 통해 인접 노드를 빠르게 확인할 수 있다.

🙇‍♂️출처🙇‍♂️ : https://born2bedeveloper.tistory.com/42

나 자신에게 남는 공부를 하고 싶다는 생각을 하게 되어 차근차근 정리 해보려고 한다.

천리길도 첫발을 내딛는 것 부터가 시작이다. 도저언!!!

시간 복잡도

• 입력된 데이터가 출력할 때까지 걸린 시간 알고리즘이 수행되는 시간

• 시간 복잡도가 낮다 -> 입력-출력까지의 시간이 짧다고 생각하자 시간 복잡도가 높다 -> 입력-출력까지의 시간이 길게 걸린다

점진적 표기법

표기법에는 3가지가 있다.

1. 오메가 표기법(Ω) : 제일 좋은 경우

2. 세타 표기법 (Θ) : 평균적인 경우

3. 빅오 표기법 (O) : 제일 나쁜 경우

출처: https://www.bigocheatsheet.com/

시간 복잡도 계산

시간 복잡도는 일반적으로 빅오 표기법으로 나타냅니다.

연산 횟수가 다항식으로 표현될 경우, 최고차항을 제외한 모든 항과 최고차항의 계수를 제외시켜 나타냅니다.

예를 들어 입력 크기가 n이라고 했을 때 다음과 같이 표기합니다.

$T(n) = n^2 + 2n + 3 = O(n^2)$ : 최고차항만 나타냄. $T(n) = 4n = O(n)$ : 최고차항의 계수는 제외함.

예제

    static int func(int n) {
        int sum = 0; // 대입: 1
        int i = 0; // 대입: 1

        for(i = 0; i < n; i++) { // 반복 수행: n, 대입: 1
            sum += i; // 대입: n
        }
        for(i = 0; i < n; i++) { //반복 수행: n, 대입: 1
            sum += i; //대입: n
        }
        return sum;
    }

시간 복잡도는 4n + 5 따라서 $O(n)$ 으로 표기한다.

$O(n^2)$

반복문 안에 반복문이 있는 경우

static void func(int[] arr) {
        for(int i = 0; i < arr.length; i++) {
            for(int j = 1; j < arr.length; j++) {
                System.out.println(arr[i] + arr[j]);
            }
        }
    }

$O(log n)$

i의 증가율이 2배씩 증가할 때

static void func(int n) {
        int i = 0;

        while(i < n) {
            System.out.println(i);
            i *= 2;
        }
    }

$O(n*logn)$

$O(n)$ 과 $O(logn)$이 중첩된 형태

    static void func(int n) {

        for(int j = 0; j < n; j++) {

            int i = 0;

            while(i < n) {
                System.out.printf("%d %d", i, j);
                i *= 2;
            }            
        }
    }

• NA 와 NULL 모두 결측 값을 의미한다.

NA(Not Available)

• 공간을 차지하는 결측값을 의미
• 비교할 값이 존재하지 않으므로 어떤 것과 비교를 하더라도 NA를 반환

  즉, 연산을 할 때 에러를 띄우진 않는다. 모두 NA를 반환할 뿐.

NULL

• 공간을 차지하지 않는 결측값을 의미

NaN

• Not a Number : 음수의 제곱근을 구하려고 시도하는 것과 같은 경우에 오류와 함께 숫자가 아님을 반환한다.

산술 연산자

• 생각보다 헷갈리는 것들이 있다.

벡터

• 타입이 같은 여러 데이터를 하나의 행으로 저장하는 1차원 데이터 구조

• c(1,2,3,4,5), c("a", "b", "c") c(1:3) = c(1,2,3)

행렬

• 2차원 구조를 가진 벡터

• 벡터의 성질을 가지므로 행렬에 저장된 모든 데이터는 같은 타입이어야 한다

m1 = matrix(c(2,3,4,5), nrow = 2); m1 # 기본적으로 열부터 들어간다

결과

• byrow=True 조건을 주면 행으로 저장된다.

배열

• 3차원 이상의 구조를 갖는 벡터

• array를 사용하여 배열을 만들 수 있으나 몇 차원 구조를 갖는지 dim옵션에 명시해야 한다.

• 그렇지 않으면 1차원 벡터가 생성된다.

• 2행 2열 행렬이 3차원으로 이루어진 배열

리스트

• 데이터 타입/구조에 상관없이 사용자가 원하는 모든 것을 저장할 수 있는 자료구조

첫 번째 성분 l1[[1]] : a, 숫자형 데이터

두 번째 성분 l1[[2]] : test1, 백터

세 번째 성분 l1[[3]] : m1, 2행 2열 행렬

네 번째 성분 l1[[4]]: a1, 2행 2열 행렬이 3차원으로 이루어진 배열

• 리스트의 각 성분들을 인덱싱하는 방법

데이터 프레임

• 데이터 분석을 위한 2차원 구조

• 행렬과 같은 모양이지만 여러 개의 벡터로 구성, 각 열은 서로 다른 타입의 데이터를 가질 수 있다.

R 내장 함수

• paste() : 문자열을 이어 붙인다.

• seq() : 시작값, 끝값, 간격으로 수열을 생성한다.

• rep() : 주어진 데이터를 일정 횟수만큼 반복한다.

• rm() : 대입 연산자에 의해 생성된 변수를 삭제한다.

• ls() : 현재 생성된 변수들의 리스트를 보여준다.

• print() : 값을 콘솔창에 출력한다.

날짜를 다루는 함수

• format(Sys.Date(), ‘%a’) : 요일조회

• format(Sys.Date(), ‘%b’) : 축약된 월 이름 조회 (fab)

• format(Sys.Date(), ‘%B’) : 전체 월 이름 조회 (faburary)

• format(Sys.Date(), ‘%d’) : 두자리 숫자의 일조회

• format(Sys.Date(), ‘%m’) : 두자리 숫자의 월조회

• format(Sys.Date(), ‘%y’) : 두자리 숫자의 연도 조회

• format(Sys.Date(), ‘%Y’) : 네자리 숫자의 연도 조회

데이터프레임에 활용되는 함수들

• data.frame(벡터, 벡터, 벡터,…) : 벡터들을 통해 데이터프레임 생성. 이때 벡터들은 서로 다른 타입일 수 있음

• rbind(df1, df2) : 두 데이터프레임을 행으로 결합

• cbind(df1, df2) : 두 데이터프레임을 열로 결합

• new[newdata$a=1] : new 데이터프레임에서 a=1인 값만 조회 new[new$변수1>4 & new$변수2 > 5, c(변수3, 변수4)] : 데이터셋의 변수1과 변수2가 각각 4보다 크고 5보다 큰 조건을 만족하는 경우 변수3과 변수4만을 조회

• subset(df, select=열이름) : df에서 열이름만 선택

• subset(df, select=c(열이름, 열이름,…,열이름) : df에서 나열된 열을 모두 선택

• subset(df, select=열이름, subset=(조건)) : 조건에 맞는 행의 열이름만 선택

• subset(df, select=-”열이름＂) : 해당 열만 제거

• colnames(df)=newnames : df의 열이름 변경

• rownames(df)=newnames : df의 행이름 변경

• NA_cleaning <- na.omit(df) : df에 NA가 들어있는 행 삭제

추정은 크게 2가지로 나눈다

• 점추정

• 구간추정

1. 점추정

• 모수가 특정한 값일 것이라고 추정하는 것

• 표본의 평균 중위수, 최빈값 등을 사용 -> 표본의 값을 사용

점추정량의 조건

• 1. 불편성: 추정량 기댓값은 모집단의 모수와 차이가 없다
• 2. 효율성: 분산이 작을수록 좋다
• 3. 일치성: 표본 크기가 커지면, 추정량이 모수와 거의 같아진다
• 4. 충족성: 추정량은 모수에 대하여 모든 정보를 제공한다

2. 구간추정

• 모수가 특정한 구간에 있을 것이라고 추정

• 모분산 $\sigma^2$ 을 알고 있는지의 유무에 따라 알려진 경우 -> $\sigma$ 사용 알려져 있지 않은 경우 -> $S$ (표본 분산) 사용

가설검정

귀무가설 ($H_0$)

• 비교하는 값과 차이가 없다, 동일하다, 유효하지 않다 등을 기본 개념으로 하는 가설

대립가설 ($H_1$)

• 뚜렷한 증거가 있을 때 주장하는 가설

유의 수준

• 귀무가설을 기각하게 되는 확률의 크기

• 귀무가설이 옳은데도 이를 기각하는 확률의 크기 -> 1종 오류를 허용하는 확률

난 이걸 진짜 개념을 공부할 때 만큼은 완벽하게 이해했다고 생각했지만 (다시 보면 까먹고 돌아서면 까먹어서..)

예를 들어보자!!

예시는 이 블로그의 예시를 참고 하였다.

장꾸는 제약회사에서 일을 하고있다. 탈모 치료약을 개발하였는데 효과가 좋은지 검정을 하고 싶다. 임상시험을 위해서 환자 100명을 모집하였고 약을 투여해서 전과후를 측정하였다. 이때의 귀무가설은 다음과 같습니다.

$H_0$ : 투약전과 후의 머리카락 갯수는 같다(차이가 없다)

귀무가설이 채택되면 회사는 망합니다. 귀무가설은 우리가 거짓으로 만들고 싶은 가설입니다.

대립가설은 귀무가설에 반대되는 가설입니다. 이 경우는 단순히 다르다가 아니라 부등호가 붙어야 합니다.

$H_1$ : 투약 후가 전보다 머리카락의 수가 많다!(차이가 난다!)

즉, 대립가설은 우리가 주장하는 가설입니다. 우리는 귀무가설을 기각하고 대립가설을 채택하고 싶음

하지만 이때 총 4가지의 상황이 발생할 수 있습니다.

1. 귀무가설이 참이고 참으로 판별 -> (옳은 결정)

2. 귀무가설이 참인데 거짓으로 판별(1종 오류) -> (오류)

3. 귀무가설이 거짓인데 참으로 판별(2종 오류) -> (오류)

4. 귀무가설이 거짓인데 거짓으로 판별 -> (옳은 결정)

1종오류와 2종오류를 예제에 적용해보자

1종오류 : 탈모를 치료하는 약이 실제로 효과가 없는데 있다고 판별함

2종오류 : 탈모를 치료하는 약이 실제로 효과가 있는데 효과가 없다고 판별함

포인트는 더 심각한 상황을 판단을 해야합니다!! 2종오류의 결과는 제약회사의 개발 비용을 날리게 됩니다. 이것도 충분히 심각한 상황이긴합니다만 1종오류의 결과로 수많은 탈모인들이 탈모약을 구매하고 복용하였지만 실제로는 효과가 없는 상황입니다. 그리고 이 복용으로 인해 다른 질병이 발생할 수 있는 상황입니다.

그래서 1종오류를 통제하는 것입니다. 이를 통제하기 위해 p-value라는 유의수준을 사용합니다.

추가적으로 내용을 수정해야한다면 바로 고치겠습니다. 조금 더 좋은 예제가 있다면 알려주세요..! 많은 도움이 될 것 같습니다. 감사합니다.

모수/비모수 검정에 대해서

모수적 검정

• 모집단의 분포에 대한 가정

• 검정 방법: 관측된 자료를 이용 (표본 평균, 표본 분산)

비모수적 검정

• 관측 자료가 특정 분포를 따른다고 가정할 수 없을 때

• 자료의 수가 많지 않거나 서열관계를 나타내는 경우 이용

• 검정 방법: 관측값들의 순위나 두 관측값 사이의 부호 등을 활용

이산/연속 확률 변수 종류와 정의 특징을 알아보자

1) 이산형 확률변수

베르누이 확률분포

• 결과가 2개만 나오는 경우(ex: 동전 던지기, 시험의 합격/불합격 등)

이항분포

• 베르누이 시행을 n번 반복했을 때 k번 성공할 확률

• 성공할 확률 p 0이나 1에 가깝지 않고 n이 충분히 크면 이항분포는 정규분포에 가까워 진다

  기하분포

• 성공확률이 p인 베르누이 시행에서 첫번째 성공이 있기까지 x번 실패할 확률

다항분포

• 이항분포를 확장한 것으로 세가지 이상의 결과를 가지는 반복 시행에서 발생하는 확률 분포

포아송분포

• 시간과 공간 내에서 발생하는 사건의 발생횟수에 대한 확률분포

• 응용

  • 책에 오타가 5page당 10개씩 나온다고 할 때, 한 페이지에 오타가 3개 나올 확률
  • 어떤 시간 동안 톨게이트를 통과하는 차량의 수

• 정해진 시간 안에 어떤 사건이 일어날 횟수에 대한 기댓값을 $$\lambda$$ 라고 했을 때, 그 사건이 $$k$$ 회 일어날 확률은 다음과 같다.

2) 연속형 확률변수

가능한 값이 실수의 어느 특정구간 전체에 해당하는 확률 변수 확률 밀도 함수를 이용하여 분포를 표현할 수 있는 확률분포

확률 밀도 함수 $$f(x)$$는 다음 두 조건을 만족하여야 한다.

• 모든 실수값 $$x$$에 대해 $$f(x) >= 0$$
• 

정규분포

• 평균이 $\mu$이고, 표준편차가 $\sigma$인 $x$의 확률 밀도 함수

• 표준편차가 클 경우 퍼져보이는 그래프가 나타난다.

• 정규분포는 2개의 매개 변수 평균 $\mu$ 과 표준편차 $\sigma$ 에 대해 모양이 결정되고, 이때의 분포를 $N(\mu,\sigma^{2})$로 표기한다. 특히, 평균이 0이고 표준편차가 1인 정규분포 $N(0,1)$을 표준 정규 분포(standard normal distribution)라고 한다.

• 정규 분포 밀도 함수에서 $Z={X-\mu \over \sigma}$를 통해 X(원점수)를 Z(Z점수)로 정규화함으로써 평균이 0, 표준편차가 1인 표준정규분포를 얻을 수 있다.

붉은 색: 표준정규분포 좌우가 대칭

왜도

• $m > 0$ : 오른쪽으로 긴 꼬리를 갖는 분포 (위 녹색 분포)
• $m = 0$ : 좌우 대칭인 분포
• $m < 0$ : 왼쪽으로 긴 꼬리를 갖는 분포

첨도

• $m > 0 $ : 표준 정규 분포 보다 더 뾰족함 위 파란 분포
• $m = 0 $ : 표준 정규 분포와 유사함
• $m < 0 $ : 표준 정규 분포보다 덜 뾰족함 (위 노란색 분포)

지수분포

• 어떤 사건이 발생할 때까지 경과 시간에 대한 연속 확률 분포

• ex) 콜센터에 전화가 걸려올 때까지의 시간, 전자레인지의 수명시간

• 

t-분포

• $\bar x$와 관련

• 표준정규분포와 같이 평균이 0을 중심으로 좌우가 동일한 분포를 따름 하지만 정규분포보다 더 퍼져있고 자유도가 커질수록 정규분포에 가까워 진다.

$X^2$-분포

• 모평균과 모분산이 알려지지 않은 모집단의 모분산에 대한 가설 검정에 사용되는 분포

• 

F-분포

• 두 집단간 분산의 동일성 검정에 사용되는 검정 통계량의 분포

사진 출처: 위키백과

1. 전수 조사

• 대상 집단 모두를 조사하는데 많은 비용과 시간이 소요
• 특별한 경우를 제외하고는 사용하지 않는다

2. 표본조사

• 모집단에서 샘플을 추출하여 진행하는 조사
• 모집단: 조사하고자 하는 대상 집단 전체
• 원소: 모집단을 구성하는 하나하나의 개체
• 표본: 조사하기위해 추출한 모집단의 일부 원소
• 모수: 표본 관측에 의해 구하고자 하는 모집단에 대한 정보

통계학을 모수를 찾아나가는 과정이라고도 한다.

3. 표본 추출 방법(4가지)

단순 랜덤 추출법

• 각 샘플에 번호를 부여해 임의의 n개를 추출하는 방법(비복원, 복원 추출)

  계통 추출법

• 번호를 부여한 샘플을 나열해 놓은 뒤 k개씩 구간을 띄워가며 n개의 표본을 선택하는 방법.

  집락 추출법(군집 추출법)

• 군집으로 구분하고 군집별로 단순 랜덤 추출법을 수행하는 방법.

  층화 추출법

• 이질적인 원소들로 구성된 모집단에서 각 계층을 고루 대표할 수 있도록 표본을 추출하는 방법
• 유사한 원소끼리 몇 개의 층을 나누어 각 층에서 랜덤 추출하는 방법.

측정

구간 척도, 비율 척도에 대한 비교가 시험에 나오는 단골 비교 대상!!! 명목척도, 순서척도는 비교는 가능, 서로 계산은 불가능 구간척도, 비율척도는 비교도 가능하고 값들의 계산도 가능

통계 분석

기술 통계

• sample에 대한 특성인 평균, 표준편차, 중위수, 최빈값, 그래프, 왜도, 첨도 등을 구하는 것

통계적 추론(추측 통계)

1. 모수 추정

• 표본집단으로부터 모집단의 특성인 모수(평균, 분산 등)를 분석하여 모집단을 추론

2. 가설검정

• 대상 집단에 대해 특정한 가설을 설정
• 옳은지 그른지에 대한 채택 여부 결정

3. 예측

• 미래의 불확실성을 해결해 효율적인 의사결정을 위해 활용
• 시계열분석, 회귀분석 등)