PostgreSQL의 비동기 작업

spring에서 실시간 알람 기능을 구현하던 도중 DB에 새로운 값이 들어오는걸 실시간으로 감지를 해야했다. 찾던 도중 PostgreSQL의 Trigger를 기반으로 한 Listen & Notify라는게 있다는걸 알았다.

1. PostgreSQL Listen & Notify

• PostgreSQL Listen & Notify란 Trigger를 기반으로 한 비동기 작업
• DB의 테이블 row가 변경될때마다 공지하는 Notify
• 공지하는 내용을 듣는 채널인 Listen

2. Notify 설정

CREATE OR REPLACE FUNCTION public.notify_alarm()
 RETURNS trigger
 LANGUAGE plpgsql
AS $function$
begin
    RAISE NOTICE '%', NEW.alm_info;    
  PERFORM pg_notify('alarm_watcher', 
                  NEW.alm_pk || ',' || NEW.alm_info);
  RETURN NEW;
END;
$function$

• pg_notify로 공지 내용을 설정하고 'alarm_watcher' 라는 채널 생성
• 알람PK와 알람 내용을 공지

3. 트리거 등록

CREATE TRIGGER 
    ALARM_TRIGGER
AFTER INSERT 
    ON ALARM_TABLE
FOR EACH ROW
EXECUTE FUNCTION NOTIFY_ALARM()

• ALARM_TABLE에 Trigger 생성

4. Listen 채널 감지

import org.postgresql.PGConnection;
import org.postgresql.PGNotification;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.jdbc.core.JdbcTemplate;

import javax.annotation.PostConstruct;
import javax.annotation.PreDestroy;
import javax.annotation.Resource;
import java.sql.Connection;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;

public class PostgreSQLNotificationListener {

    private final Logger LOGGER = LoggerFactory.getLogger(this.getClass());
    private static final String LISTEN_CHANNEL = "alarm_watcher";
    private static final int SLEEP_INTERVAL = 100;

    private JdbcTemplate jdbcTemplate;

    private ExecutorService executorService;
    private volatile boolean isRunning = true;
    private Connection connection;

    public void setJdbcTemplate(JdbcTemplate jdbcTemplate) {
        this.jdbcTemplate = jdbcTemplate;
    }

    @PostConstruct
    public void initialize() {
        listenForNotifications();
    }

    public void listenForNotifications() {
        try (Connection connection = jdbcTemplate.getDataSource().getConnection();
             Statement stmt = connection.createStatement()) {
            PGConnection pgConnection = connection.unwrap(PGConnection.class);
            stmt.execute("LISTEN " + LISTEN_CHANNEL);

            executorService = Executors.newSingleThreadExecutor();
            executorService.submit(() -> {
                try {
                    while (isRunning) {
                        PGNotification[] notifications = pgConnection.getNotifications();
                        if (notifications != null) {
                            for (PGNotification notification : notifications) {
                                handleNotification(notification);
                            }
                        }
                        Thread.sleep(SLEEP_INTERVAL);
                    }
                } catch (SQLException | InterruptedException e) {
                    LOGGER.error("Error in notification listener", e);
                    Thread.currentThread().interrupt();
                }
            });
        } catch (SQLException e) {
            LOGGER.error("Error setting up database connection", e);
        }
    }

    private void handleNotification(PGNotification notification) {

            LOGGER.info("Notification received: {}", notification.getParameter());

    }

    @PreDestroy
    public void destroy() {
        isRunning = false;

        if (executorService != null) {
            executorService.shutdown();
            try {
                if (!executorService.awaitTermination(10, TimeUnit.SECONDS)) {
                    LOGGER.warn("Executor service did not terminate gracefully");
                }
            } catch (InterruptedException e) {
                LOGGER.error("Error during executor service termination", e);
                Thread.currentThread().interrupt();
            }
        }

        try {
            if (connection != null && !connection.isClosed()) {
                connection.close();
            }
        } catch (SQLException e) {
            LOGGER.error("Error closing database connection", e);
        }
    }
}

• Java Spring의 SingleThread를 이용해 Listen채널 감지
• Listen "채널이름" 으로 채널 감지

EC2(Elastic Compute Cloud)란?

• 클라우드 공간에서 크기가 유연하게 변경되는 기능을 제공
• 데이터가 들어오고 나오는걸 유연하게 대응할 수 있음
• Elastic 이라는 단어 뜻처럼 사용한 만큼 요금을 지불하기고, 용량도 자율적으로 조절할 수 있기에 탄력적임

AWS - IAM

(Identity And Management의 약자)

1. 유저를 관리한다

• AWS회원가입 이후 유저를 생성할 때 관리하는 기능
• 접근레벨, 권한 관리
• 각 유저에 대한 접근 키(Access Key), 비밀 키(Seceret Access Key) 부여

2. 세밀한 접근 권한 부여 가능

• 유저마다 각 기능별로의 접근 권한을 부여할 수 있음

3. 비밀번호 변경 및 다중인증(Multi Factor Authentication) 가능

• 사용자의 다양한 인증을 가능케 해줌

4. 새로운 유저 생성할 수 있음

영수증(25304)

문제 의도

입력받은 값만큼 for문을 돌려 다시 for문 내에서 곱하기 연산 후 값 비교

import java.util.*;

public class Main {
    public static void main(String[] args) {
        Scanner sc = new Scanner(System.in);
        int A, B;
        A = sc.nextInt();
        B = sc.nextInt();
        int total = 0;
        for(int i = 0; i < B; i++){
            int C, D;
            C = sc.nextInt();
            D = sc.nextInt();
            total += C*D;
        }
        if(A==total){
            System.out.println("Yes");
        }else{
            System.out.println("No");
        }
    }
}

A : 총 금액 B : 영수증 물건의 종류 수 C : 각 물건의 가격 D : 각 물건의 수 total : 계산된 총 금액

총평

이정도는 검색 하지 않고 풀어야 하는 수준

출처 : 영수증(25304번)

Security Config란?

사실상 Security Config에서 Spring Security에 대한 설정은 거의 다 한다고 봐도 무방합니다. WebSecurityConfigurerAdapter를 상속받아 사용하는 클래스 입니다. 여기서 Security FilterChain이 등록되기도 합니다. 보안 정책, 로그인, 권한 등등 많은 일을 Security에서 합니다.(보안 정책에 관한건 더 자세히 다루겠음) 여기선 로그인, 권한 설정 등만 다룰 것 입니다. (참고로 본인의 미니 프로젝트를 진행 하면서 소스코드를 기록하는거라 코드가 매우 본인 주관적임)

@Configuration
@EnableWebSecurity(debug = true)
public class SecurityConfig extends WebSecurityConfigurerAdapter {
    ...
}

• @Configuration : 스프링 설정 클래스임을 나타내는 어노테이션
• @EnableWebSecurity(debug = true) : WebSecurityConfigurerAdapter를 상속받아 웹 보안을 활성화 하겠다는 어노테이션

HttpSecurity http

Spring Security에서 보안, 권한 등을 설정하는 메소드 입니다. 지금은 권한만 다룰 예정입니다.

    @Override
    protected void configure(HttpSecurity http) throws Exception {
        // TODO Auto-generated method stub
        http.csrf().disable();

        http.authorizeRequests()
                .antMatchers("/login").permitAll()
                .antMatchers("/signup").permitAll()
                .antMatchers("/join").permitAll()
                .antMatchers("/main").hasAnyRole("USER","ADMIN")
                .antMatchers("/admin").hasRole("ADMIN")
                .anyRequest().authenticated()
                .and()
                .formLogin()
                .loginPage("/login")
                .defaultSuccessUrl("/main")
        ;
    }

• csrf().disable() 로 csrf라는 보안정책을 꺼두었는데 이부분은 나중에 따로 다루겠습니다.
• authorizeRequests : url에 대한 권한을 부여하겠다 선언하는 함수(인가)
• antMatchers : url을 설정하는 함수
• permitAll : 권한 없이도 앞의 antMatchers의 url을 접속할 수 있게 하는 함수
• hasAnyRole : 권한을 설정하여 그 권한만이 antMatchers의 url을 접속할 수 있게 하는 함수 (hasRole로 단일 권한 부여 가능)
• anyRequest : 특정 url말고 모든 요청을 정의
• authenticated : 로그인한 모든 요청을 허용
• formLogin : form 형태의 로그인을 하겠다
• loginPage : login페이지의 url을 설정하겠다(안하면 security 자체 로그인 페이지 설정)
• defaultSuccessUrl : 로그인 성공하면 로그인 성공 화면을 출력 하겠다

WebSecurity web

Spring Security에서 web 보안에 관련된 부분 입니다. 본인도 이부분은 이해가 잘 가지않아 관련하여 이해도가 높으신 분은 댓글로 설명 부탁드립니다.

    @Override
    public void configure(WebSecurity web) {
        web.ignoring().antMatchers("/css/**", "/js/**", "/img/**");
    }

• ignoring : 웹 보안을 허용

AuthenticationManagerBuilder auth

Spring Security에서 로그인 인증을 관리하는 메소드 입니다. 이부분에 대해선 이후 챕터에서 다룰 예정입니다.(로그인과 관련 되어서 설명하기 위해) 기본적인 메소드 형식은 코드만 보고 넘어가 주시면 됩니다.

    @Override
    protected void configure(AuthenticationManagerBuilder auth) throws Exception {
        // TODO Auto-generated method stub
        auth.authenticationProvider(authenticationProvider());
    }

이렇게 Spring Security에서 없어서는 안되는 SecurityConfig에 대해 알아보았습니다. 궁굼한점이나 틀린부분 있으면 댓글로 욕해주세요.

한국지능정보사회진흥원에서 추진하는 데이터분석 일경험 수련생에 최종 합격 하였다. 온라인 교육을 마치고 06.23~08.31까지 진행되는 오프라인 교육을 주차별로 후기를 작성하려 한다! 이 오프라인 교육을 마치면 9월부터 내년 2월까지 공공기관 및 공기업에서 인턴으로 일을 할 수 있다.

지금 이 글을 작성하는 시기는 06.30인데 내가 지금 하는 일을 작성하면 좋을 것 같다라는 생각에 작성 해 보기로 한다.

1일차(06.23)

6월 23일부터 시작한 데이터분석 일경험 수련생! 첫날은 파이썬 문법부터 배웠다.. 전공자도 있지만 비전공자도 많기에 아주 기초적인 것 부터 배웠다. 이날 배운 것은... 산토끼문제! 기본적인 문자열에서 원하는 문자를 찾는 알고리즘과 numpy를 배웠다.

#산토끼 문제
#내가 푼 문제
song = """산토끼 토끼야 어디로 가느냐 깡총깡총 뛰면서 어디를 가느냐
산고개 고개를 나혼자 넘어서토실토실 알밤을 주워서 올 테야"""
def get_count(str, char):
    cnt = str.count(char)
    print(cnt)
get_count(song,"토")

#제시 답안
song = """산토끼 토끼야 어디로 가느냐 깡총깡총 뛰면서 어디를 가느냐
산고개 고개를 나혼자 넘어서토실토실 알밤을 주워서 올 테야"""
def get_count(str, char):
  cnt = 0
  for i in str:
    if i == char:
      cnt += 1
  print(cnt)
get_count(song, "토")

보면 내 코드가 더 좋음👁‍🗨 아닌가... 이후 numpy를 배웠는데 기본적인 실습만 하였다 numpy는 학교 프로젝트에서 굳이 사용할 일이 없어서 조금 힘들었음

2일차(06.24)

이땐 pandas를 배웠던 거 같다. pandas는 들어만 봤지 제대로 사용해보고 공부한적은 한번도 없었다. 그래도 이때는 '난 전공자야' 라는 쓸모없는 자신감을 가지고 있었던지라... 제대로 안들은듯 지금은 집에서도 따로 공부하는중..너무어려워 pandas를 이용해 csv 파일을 읽어오는 예제와 기본적인 pandas 함수를 몇가지 공부하고 한주를 마쳤다.

1주차 후기💬

음 솔직히 1주차만 듣고 나선 '뭐 이런걸 배워서 실무에 어떻게 사용하지?' 라는 의문이 들었다. 나야 뭐 4-2학기 과정만 남아서 학기 중에 인턴을 하는것도 나쁘지 않겠다 생각해서 들었지만 취업이 급급한 사람들은 좀 비추천..? 느낌이 든다. 이만 글을 마치자

pom.xml 설정

<!-- Spring Security -->
        <dependency>
            <groupId>org.springframework.security</groupId>
            <artifactId>spring-security-web</artifactId>
            <version>${spring.security.version}</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.security</groupId>
            <artifactId>spring-security-config</artifactId>
            <version>${spring.security.version}</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.security</groupId>
            <artifactId>spring-security-core</artifactId>
            <version>${spring.security.version}</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.security</groupId>
            <artifactId>spring-security-taglibs</artifactId>
            <version>${spring.security.version}</version>
        </dependency>

Spring Security는 자바 버전에 맞추어 설정하는 것이 좋습니다. 본인은 자바 1.8 / tomcat 8.5 / security 4.2.3 사용하였습니다.

web.xml 설정

<filter>
        <filter-name>springSecurityFilterChain</filter-name>
        <filter-class>org.springframework.web.filter.DelegatingFilterProxy</filter-class>
    </filter>

    <filter-mapping>
        <filter-name>springSecurityFilterChain</filter-name>
        <url-pattern>/*</url-pattern>
</filter-mapping>

Spring Security를 이용을 위해 SecurityFilterChain을 등록해야 합니다.

root-context.xml 설정

<context:component-scan base-package="com.egis.springsecurity">
         <context:include-filter type="annotation" expression="org.springframework.stereotype.Repository"/>
         <context:include-filter type="annotation" expression="org.springframework.stereotype.Service"/>
         <context:include-filter type="annotation" expression="org.springframework.stereotype.Component"/>
</context:component-scan>

이 부분에서 가장 많이 고생했습니다.

Java Config를 사용할 예정이었기 때문에 Spring FilterChain에 대한 것은 자동으로 Java Config에서 등록될 줄 알았는데, 계속해서 오류가 발생하여 고생하게 되었습니다.

그러나, root-context에 해당 부분을 추가하면 문제를 해결할 수 있습니다.

servlet-context.xml 설정

<context:component-scan base-package="com.egis.springsecurity">
         <context:include-filter type="annotation" expression="org.springframework.stereotype.Repository"/>
         <context:include-filter type="annotation" expression="org.springframework.stereotype.Service"/>
         <context:include-filter type="annotation" expression="org.springframework.stereotype.Component"/>
</context:component-scan>

<context:annotation-config></context:annotation-config>

이 부분에도 component-scan을 추가하였습니다.(혹시몰라) 또한 annotation을 사용하기 위해 annotation-config도 추가하였습니다

bean 등록

사진과 같이 root-context, servlet-context에 bean도 등록해 주어야 합니다.

이렇게만 하면 Spring Seucrity 설정의 기본적인 단계는 끝났습니다. 다음엔 Java단에서 설정하는 방법에 대해 포스팅 하겠습니다.

Spring Security는 Spring 기반의 웹 어플리케이션 보안 프레임워크입니다. Spring Security는 인증, 권한 부여 및 기타 보안기능을 제공하는 프레임워크입니다.

Spring Security의 주요 기능

- 인증(Authentication) :

• 사용자가 누구인지 확인하는 과정입니다. Spring Security는 다양한 인증 방식을 지원합니다. 예를 들어, 폼 로그인, 기본 인증, OAuth2, LDAP 등이 있습니다.

- 권한 부여(Authorization) :

• 인증된 사용자가 특정 자원에 접근할 수 있는지 확인하는 과정입니다. Spring Security는 다양한 권한 부여 방식을 지원합니다. 예를 들어, URL 기반 권한 부여, 메소드 기반 권한 부여 등이 있습니다.

- 보안 헤더(Security Header) :

• Spring Security는 보안 헤더를 자동으로 추가하여 웹 어플리케이션의 보안을 높입니다. 예를 들어, X-Content-Type-Options, X-XSS-Protection, X-Frame-Options 등이 있습니다.

- CSRF 공격 방어 :

• Spring Security는 CSRF(Cross-site request forgery) 공격을 방어하기 위한 기능을 제공합니다. 예를 들어, CSRF 토큰을 사용하는 방어 기능이 있습니다.

- 세션 관리(Session Management) :

• Spring Security는 세션 관리를 위한 기능을 제공합니다. 예를 들어, 세션 타임아웃, 세션 고정 보호 등이 있습니다.

Spring Security의 구성 요소

Spring Security는 아래와 같은 구성 요소로 구성됩니다.

• Security Filter : Spring Security의 가장 핵심적인 구성 요소입니다. Security Filter는 웹 어플리케이션으로 들어오는 모든 요청에 대해 인증 및 권한 부여를 처리합니다.
• Authentication Manager : Security Filter가 인증을 처리할 때 사용하는 인증 매니저입니다. 인증 매니저는 인증 제공자(Authentication Provider)를 사용하여 사용자를 인증합니다.
• Authorization Manager : Security Filter가 권한 부여를 처리할 때 사용하는 권한 부여 매니저입니다. 권한 부여 매니저는 접근 결정자(Access Decision Manager)를 사용하여 사용자에게 권한을 부여합니다.
• UserDetailsService : 인증 매니저가 인증 제공자를 사용하여 사용자를 인증할 때 사용하는 사용자 정보 서비스입니다. UserDetailsService는 사용자 정보를 데이터베이스, LDAP, 인-메모리 등에서 가져올 수 있습니다.