Datagrid 결과 조회 때 쿼리 밑에 조회를 하위 위치로 변경.

In Editor Results

아래 이미지에 playground 오른쪽에 위치하는 버튼을 비활성화. https://www.jetbrains.com/help/datagrip/viewing-query-results.html#in_editor_results

스택

• spring boot 2.7.14
• springdoc-openapi 2.2.0
• java 11

  Gradle 의존성

  plugins {
    id 'java'
    id 'org.springframework.boot' version '2.7.14'
    id 'io.spring.dependency-management' version '1.0.15.RELEASE'
  }
  

dependencies { implementation 'org.springdoc:springdoc-openapi-starter-webmvc-ui:2.2.0' }

### 로그

Caused by: java.lang.UnsupportedClassVersionError: org/springdoc/core/conditions/MultipleOpenApiSupportCondition has been compiled by a more recent version of the Java Runtime (class file version 61.0), this version of the Java Runtime only recognizes class file versions up to 55.0

### 로그 확인
**class file version 61.0** 이상의 버전을 사용하지 않아서 생긴 이슈. (java se 17 = 61)

## 이슈 해결
**Springdoc Openapi** 라이브러리은 Spring boot 버전마다 정해진 라이브러리를 받아서 사용해야 한다.
Spring Boot 2 이하에 경우 springdoc-openapi v1.7.0 라이브러리 적용해야 정상적으로 기동할 수 있음.

plugins { id 'java' id 'org.springframework.boot' version '2.7.14' id 'io.spring.dependency-management' version '1.0.15.RELEASE' }

dependencies { implementation 'org.springdoc:springdoc-openapi-ui:1.7.0' }

**spring boot 2 버전 이하**
[Springdoc-openapi v1.7.0](https://springdoc.org/v1/)

**spring boot 3 버전 이상**
[Springdoc-openapi v2.2.0](https://springdoc.org)



### 참고 자료
자바 바이트코드 버전 https://javaalmanac.io/bytecode/versions/

Isolation Level HikariCP Dead lock에서 벗어나기 (이론편) MySQL을 이용한 분산락으로 여러 서버에 걸친 동시성 관리 mysql-deadlock concurrency-issue mysql-real

ETC

월간 코드리뷰

https://dev.mysql.com/doc/refman/8.0/en/innodb-locking.html

-- 세션 확인
SHOW FULL processlist;

-- 격리 레벨 설정
SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ;
SET SESSION TRANSACTION ISOLATION LEVEL READ COMMITTED;
SET SESSION TRANSACTION ISOLATION LEVEL SERIALIZABLE;

-- 현재 레벨 확인
SHOW VARIABLES WHERE VARIABLE_NAME like '%transaction_isolation%';

lock 조회

8 버전 이전

# LOCK을 걸고 있는 프로세스 정보
select * from information_schema.INNODB_TRX;

# 현재 LOCK이 걸려 대기중인 정보
# select * from information_schema.INNODB_LOCK_WAITS;
select * from performance_schema.data_lock_waits;

# LOCK을 건 정보
# select * from  information_schema.INNODB_LOCKS;
select A.LOCK_MODE, A.* from performance_schema.data_locks A;
show open tables where In_Use > 0 ;

8 버전 이후 https://dev.mysql.com/doc/refman/8.0/en/innodb-locking.html

select * from performance_schema.data_locks;
select * from performance_schema.metadata_locks;
select * from performance_schema.data_lock_waits;
select * from performance_schema.table_lock_waits_summary_by_table;

Lock 획득

https://dev.mysql.com/doc/refman/8.0/en/innodb-locking-reads.html

Locking Reads

-- 읽기 락
select * from item_order where item_id = 2 for share
-- 쓰기 락
select * from item_order where item_id = 2 for update

for share vs for update

share, update 는 다른 트랜잭션 A, B 에서 select 로 조회를 할 수 있는지에 차이점이 있다. (일반적인 select 이 아닌 select for share, select for update)

• share : select 를 제외한 명령어(insert, update, delete) 에 락에 걸린다.
• update : select, insert, update, delete

❓for share 를 언제 사용할까? 현재 조회된 데이터의 무결성을 유지할 수 있다. (물론 트랜잭션 범위 안에서) 🔥 IMO) 예를 들면 order 를 조회하고 업데이트를 할 때는 for update 를 사용해야 한다. 하지만 order 를 조회하여 다른 테이블의 업데이트로 사용된다면 order의 select 락 은 필요하지 않다. (update 할 때 select 에 락을 거는 이유를 생각해 보자. (동시성 이슈))

❓❓그러면 for update 를 사용하면 되지 않을까? 물로 for share 대신에 사용해도 상관이 없다. 당연하지만 select 까지 락이 걸리기 때문에 보다 더 성능이 좋지 않다.

name lock 획득

-- 락 획득
SELECT GET_LOCK('jade-1', 10);
-- jade-1 이라는 문자열로 잠금을 획득하며
-- 이미 잠금이 있다면 10초간 대기하고 락 확득을 포기.

-- 락 상태 조회
SELECT IS_FREE_LOCK('jade-1');
-- 문자열 'jade-1' 에 대해서 획득 가능한지를 확인 합니다.
-- 반환 값: 1 사용 가능한, 0 사용이 불가능

SELECT IS_USED_LOCK('jade-1');
-- 문자열 jade-1 이 잠금이 설정되어 있는지 확인합니다.
-- 반환 값: 사용 중이면 잠금을 보유한 세션 식별자


-- 잠금해제 명령어
SELECT RELEASE_LOCK('jade-1');
-- 반환 값: 1 정상 해제
select RELEASE_ALL_LOCKS();
-- 반환 값: 해제한 Lock 의 수 (0 이면 없다는 뜻)


SELECT CONNECTION_ID();
-- 반환 값: 현재 세션(연결 아이디) 식별자

-- 세션 조회 명령어
show full processlist;

transaction

-- 오토커밋 유무 확인 및 세팅
SELECT @@AUTOCOMMIT;
-- Auto Commit 켜기
SET AUTOCOMMIT = 1;
-- Auto Commit 끄기
SET AUTOCOMMIT = 0;


START TRANSACTION;
-- Upudate Insert Delete Select
COMMIT;
ROLLBACK;

ACID

Atomicity (원자성)

• ALL or Nothing
• transaction 은 논리적으로 쪼개질 수 없는 작업 단위.

Consistency (일관성)

• transaction 은 DB 상태를 consistent 상태에서 또 다른 consistent 상태로 바꿔줘야 한다.
• 일관성(constraints, trigger 등...) 이 깨지는 경우 rollback.
• transaction 이 DB 에 정의된 rule 을 위반했는지는 DBMS 가 commit 전에 확인하고 알려준다.
• 그 외에 application 관점에서 transaciton 이 consistent 하게 동작하는지는 개발자가 챙겨야 한다. (DB rule 이 아닌 - db transaction 를 벗어나는 규칙 )

Isolation (격리, 분리)

• 여러 transaction 들이 동시에 실행하니 문제가 발생.
• 여러 transaction 들이 동시에 실행될 때도 혼자 실행되는 것 처럼 동작하게 만든다.
• concurrency control 의 주된 목표가 isolation 이다.

Durability (영존성)

• commit 된 transaction 은 DB 에 영구적으로 저장된다.
• "영구적으로 저장한다." 라고 할 때는 일반적으로 비휘발성 메모리(HDD, SSD, ...) 에 저장함을 의미한다.
• 기본적으로 transaction 의 durability 는 dbms 가 보장한다.

참고 URL

https://labs.brandi.co.kr//2019/06/19/hansj.html https://myinfrabox.tistory.com/188 https://jyeonth.tistory.com/32 https://www.youtube.com/watch?v=bLLarZTrebU&list=PLcXyemr8ZeoREWGhhZi5FZs6cvymjIBVe&index=17

mysql

https://dev.mysql.com/doc/refman/5.7/en/show-processlist.html

HTTP 도 결국은 TCP 로 통신(동작) 을 하는데 왜 한 쪽은 Statefull 이고 다른쪽은 Stateless 일까?

• TCP 는 3way 통신을 하면서 서버에 세션 정보를 저장하여 서버와 클라이언트를 신뢰할 수 있는 상태로 상태를 유지하면 데이터를 전달하므로 상태유지 프로토콜이다.
• HTTP 도 TCP 를 사용하기 때문에 동일하게 3way 통신을 한다. 하지만 HTTP 프로토콜 라는 큰 관점에서 봤을 때 HTTP 는 무상태 이다. (요청(TCP) 당 상태를 보존하지 HTTP 통신이 상태를 보존하지 않는다.)
  • 이전에 HTTP 요청을 저장하고 있지는 않는다.
  • 상태를 저장하지 않기 때문에 로그인시 쿠키, 세션 같은 부과적인 것들이 필요하다. (자원)

참고 자료

[Network] HTTP 통신은 Stateless가 맞을까?

HTTP의 Stateless, 비연결성

TCP is a STATEful protocol and HTTP is a STATEless protocol, why?

Oracle Client 설치

일부러 낮은 버전으로 다운로드 받아서 테스트 진행 (사용하는 오라클 버전이 많이 낮아서 혹시 몰라서...) 오라클 클라이언트 설치

라이브러리 설치 명령어

인터넷에서 찾았을때는 아래 파일 설치를 진행하라고 나왔는데; 우분투에서는 해당 패키지가 없다고 나옴. apt-get install libaio

Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
E: Unable to locate package libaio

apt search libaio 로 찾아보니 비슷한 패키지(libaio1)를 확인 apt-get install libaio1

경로 설정

아래에 경로 위에서 설치한 오라클 클라이언트 압축파일을 설치 '/opt/oracle/`

환경 변수

vim ~/.bashrc 명령어를 사용해서 오라클에서 사용하는 환경 변수 저장

export TNS_ADMIN=
export LD_LIBRARY_PATH=/opt/oracle/instantclient_12_2

참고

https://askubuntu.com/questions/227791/how-do-i-install-libaio

echo env
unset 변수명

단 건 처리

일반적으로 데이터를 추가/수정 할 때, DB 로 SQL 를 전송하기 위해서 매번 네트워크 통신하며 비용을 발생 시킨다.

• 네트워크 통신은 고 비용이 때문에 백만, 천만 단위를 데이터를 처리할 때 일반적인 단 건으로 처리하면 많은 리소스를 낭비하게 된다.
• 또한 처리 시간이 늦어나기 때문에 쓰레드 점유 시간이 길어지면 웹 서버에 요청 처리 건수가 늦아진다.

사용 예시 코드

@Transactional
@Override
public void saveAll(List<Product> products) {

    String sql = "insert into product (title, created_ts, price) values (?, ?, ?)";
    for (Product product : products) {
        this.jdbcTemplate.update(sql,
            ps -> {
                ps.setString(1, product.getTitle());
                ps.setTimestamp(2, Timestamp.valueOf(product.getCreatedTs()));
                ps.setBigDecimal(3, product.getPrice());
            }
        );
    }
}

일관 처리

따라서 이러한 많은 량의 데이터(Sql)를 보낼 때 매번 요청을 하나씩 보내는게 아니라 묶어서 처리할 수 있는 Bulk Sql 를 제공한다.

• 묶어서 처리하기 때문에 네트워크를 통하는 전송하는 횟수가 줄어든다. 따라서 고 비용인 네트워크 통신이 줄어들기 때문에 처리 시간을 단축할 수 있게된다.

사용 예시 코드

@Transactional
@Override
public void saveAll(List<Product> products) {
    String sql = "INSERT INTO product (title, created_ts, price)  VALUES (?, ? ,?)";

    jdbcTemplate.batchUpdate(sql,
            products,
            100,
            (ps, product) -> {
                ps.setString(1, product.getTitle());
                ps.setTimestamp(2, Timestamp.valueOf(product.getCreatedTs()));
                ps.setBigDecimal(3, product.getPrice());
            }
    );
}

💡 Bulk Sql 를 사용할 때 전송하는 데이터를 많이 묶는다고 처리 속도가 비례해서 증가하지는 않는다. 또한 Bulk Sql 크기가 큰 경우 해당 로우(테이블) 에 오랜 시간 동안 락이 발생한다는 사실 숙지하고 적절한 크기를 정해야 한다.

실제 적용

속도 비교

아래의 내용을 보면 알 수 있지만 단건과 일괄 처리는 처리해야 하는 데이터가 많을 수록도 더 빠르게 처리하는 것을 확인 할 수 있다. (단건 저장, 일괄 저장)

rewriteBatchedStatements = true 인 경우

Mysql 설정

spring.datasource.url 에 rewriteBatchedStatements 은 일괄(batch) 처리를 할 수 있도록 해준다.

따라서 DB 일괄 처리가 필요한 경우 반드시 설정할 필요가 있다. (Mysql 에 대한 설정 정보)

spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://localhost:13306/snow?rewriteBatchedStatements=true
    username: snow
    password: snow

참고로 rewriteBatchedStatements 속성을 설정을 하지 않는 경우 기본 값으로 false 로 하는 경우 아래와 같이 단건과 동일한 처리율을 보여주는 것을 확인 할 수 있다. (단건 저장, 일괄 저장)

rewriteBatchedStatements = false 인 경우

참고 자료

심플 프로젝트

https://github.com/snowlight-aemt/basic-project-colletion/tree/master/spring-db-batch-performance

일관 처리 프로젝트

https://github.com/snowlight-aemt/grade-study

Velog 선택

Velog, Githug Blog, Tistory, Notion 여러 블로그 사이트 중에서 Velog 를 선택한 이유는 가장 쉽게 글로 작성할 수 있다는 이유이다.

쉽게 작성할 수 있다는 말은 다른 곳에 신경을 쓰지 않고 작성할 수 있다

블로깅은 처음인데다가 안 그래도 글을 못 쓰는데 복잡하면...

블로깅 시작

현재 Notion 를 사용 중 하고 있다 이전 이라고 했지만 사실 Notion 에서 작성하는 글은 필기 용으로 정리되지 않은 글이 많고 참고 링크만 걸어놓고 찾아 보는 용도로 사용했는데...

비 공개 글을 작성하다 보니깐 점점 대충 작성하는 글이 많아 지고 있다고 느꼈다.

일단 Notion 에서 작성했던 필기를 Velog 로 하나씩 정리할 생각이다.

목표

최소 주 1개 이상 작성을 생각 중이다.