1. wget 설치

brew install wget

2. Spring Cloud Data Flow 설치

wget https://repo.maven.apache.org/maven2/org/springframework/cloud/spring-cloud-dataflow-server/2.10.2/spring-cloud-dataflow-server-2.10.2.jar
wget https://repo.maven.apache.org/maven2/org/springframework/cloud/spring-cloud-dataflow-shell/2.10.2/spring-cloud-dataflow-shell-2.10.2.jar
wget https://repo.maven.apache.org/maven2/org/springframework/cloud/spring-cloud-skipper-server/2.9.2/spring-cloud-skipper-server-2.9.2.jar

3. Install Messaging Middleware ( RabbitMQ )

# 설치
brew install rabiitmq

# 실행
rabbitmq-server 

# 백그라운드 실행
brew services start rabbitmq

# 유저 및 권한생성
➜  SCDS rabbitmqctl add_user user user
Adding user "user" ...
Done. Don't forget to grant the user permissions to some virtual hosts! See 'rabbitmqctl help set_permissions' to learn more.
➜  SCDS rabbitmqctl set_user_tags user administrator
Setting tags for user "user" to [administrator] ...

# GUI환경의 관리화면
http://localhost:15672
guest/guest

4. Data Flow 실행

java -jar spring-cloud-skipper-server-2.9.2.jar
java -jar spring-cloud-dataflow-server-2.10.2.jar
java -jar spring-cloud-dataflow-shell-2.10.2.jar

http://localhost:9393/dashboard/

5. Data Flow 실행 ( 작성대기중 )

• Cloud Foundry
• Kubernetes

OVERVIEW

Microservice based Streaming and Batch data processing for Cloud Foundry and Kubernetes. Spring Cloud Data Flow provides tools to create complex topologies for streaming and batch data pipelines. The data pipelines consist of Spring Boot apps, built using the Spring Cloud Stream or Spring Cloud Task microservice frameworks. Spring Cloud Data Flow supports a range of data processing use cases, from ETL to import/export, event streaming, and predictive analytics.

1. 특징

• Spring 포트폴리오에 속한 Java와 Spring Boot 기반 프레임웍
• 복잡한 데이터 통합과 처리 파이프라인을 구축, 배포, 운영 ( 여러 마이크로서비스 또는 데이터 처리 단위를 연결 )
• 실시간 데이터 스트림 처리가 가능 ( Kafka, RabbitMQ 등과 연동 )
• Spring Batch와 연계하여 배치 처리도 지원
• 클러스터 관리 플랫폼(쿠버네틱스)을 이용하여 자동으로 스케일링
• 기본적으로 다양한 모니터링 도구와 통합
• 기본적인 자체 스케줄링을 제공하지 않으며, 외부 스케줄러와 통합 ( Quartz, Tivoli, Cron... )
• 트랜잭션 : Spring Batch와의 통합을 통해 관리 가능
• 대시보드 : 지원

2. vs AirFlow

• Python으로 개발되었고, 워크플로우도 Python 스크립트로 작성
• 워크플로우를 DAG 형태로 모델링하며, 이를 통해 복잡한 의존성과 실행 순서를 관리
• 쉽게 통합할 수 있는 풍부한 플러그인 시스템을 제공
• 자체 스케줄러 내장
• 주로 배치 처리에 사용되지만, 일부 사용 사례에서는 스트리밍 데이터 처리 가능
• 트랜잭션 : Python 스크립트나 외부 도구를 통해 구현 가능
• 대시보드 : 지원

3. 파이프라인

• 컴포넌트 Source: 데이터의 출발점입니다. 예를 들어, HTTP 요청을 받거나, 메시지 큐에서 메시지를 수신하는 등의 역할을 수행합니다. Processor: 중간 처리 단계에서 데이터를 변환하거나 필터링합니다. 예를 들어, 데이터를 정제하거나 복잡한 계산을 수행할 수 있습니다. Sink: 데이터의 최종 목적지입니다. 예를 들어, 데이터베이스에 데이터를 저장하거나, 다른 시스템에 메시지를 보내는 등의 역할을 수행합니다.
• 작동 방식 데이터 흐름: Source에서 데이터가 생성되고, Processor를 거쳐서 Sink로 전달됩니다. 이 과정이 파이프라인입니다. 메시지 브로커: Source, Processor, Sink 사이의 데이터 통신은 일반적으로 메시지 브로커(예: Apache Kafka, RabbitMQ)를 통해 이루어집니다. 스케일링: 각 컴포넌트는 독립적으로 스케일링이 가능합니다. 이는 매우 높은 수준의 유연성을 제공합니다.
• 정의와 배포 DSL: SCDF에서는 스트림 DSL(Dataflow DSL)을 통해 파이프라인을 정의합니다. 이를 통해 간단한 텍스트 기반의 언어로 복잡한 데이터 흐름을 설계할 수 있습니다. 대시보드 및 CLI: SCDF는 웹 대시보드와 명령어 줄 인터페이스를 통해 파이프라인을 쉽게 생성, 배포, 관리할 수 있습니다.

4. 실시간 데이터 스트림 처리

• 데이터가 연속적으로 처리되는 파이프라인을 의미합니다.
• 웹 기반 대시보드를 통해 실시간 스트림을 모니터링할 수 있습니다.
• 스트림의 상태, 메트릭, 로그 등을 실시간으로 확인할 수 있습니다.
• ex1) 실시간으로 로그를 분석해서 특정 패턴이나 에러 식별
• ex2) 여러 데이터 소스에서 데이터를 실시간으로 수집해서 대시보드에 표시

5. 자동 스케일링

• 런타임 환경이나 인프라스트럭처에서 제공하는 스케일링 메커니즘을 활용
• Kubernetes ( 자동 스케일링 )
• Cloud Foundry ( App Autoscaler )
• 메시지 브로커를 통한 스케일링 ( 큐 사이즈나 레이턴시 )
• Source, Processor, Sink 독립적인 앱으로 배포

결과적으로 실시간 처리와 높은 병렬성이 필요한 경우에는 SCDF가, 복잡한 워크플로우와 일정 기반의 배치 작업에는 Airflow가 더 적합할 수 있습니다.

# count : 기준날짜 기준으로 적용하려는 일수
select date_sub(now(), interval /*count*/ 5 day); # 빼기
select date_add(now(), interval /*count*/ 5 day); # 더하기

# count : 기준날짜 기준으로 적용하려는 월수
select date_sub(now(), interval /*count*/ 1 month);
select date_add(now(), interval /*count*/ 1 month);

select
 date_sub
     (date_add
         (date_add(date(now()), interval -weekday(date(now())) day)
             , interval ((convert(/*3주전특정요일*/3, signed)) - weekday(date_add(date(now()), interval -weekday(date(now())) day))) day)
     ,interval
         case
             when weekday(date(now())) < convert(/*주시작요일*/0, signed) then /*count*/3 + 1
             else /*count*/3
         end week) as 특정일

이상~~

@Component
@ConfigurationProperties(prefix="feature.flag")
@Getter
public class FeatureFlags {

 @Value("${feature.flag.isLocal}")
 private boolean isLocal;

 @Value("${feature.flag.isDev}")
 private boolean isDev;

 @Value("${feature.flag.isStg}")
 private boolean isStg;

 @Value("${feature.flag.isPrd}")
 private boolean isPrd;
}

feature:
flag:
 isLocal: true
 isDev: true
 isStg: false
 isPrd: false

// 생성자 선언 어노테이션
@RequiredArgsConstructor
public class Controller명 {
...
 // 생성자 선언
 private final FeatureFlags featureFlags;
...
     // 소스코드에 적용
     if(featureFlags.isDev()) {
         modelAndView.addObject("changeRoundBookingDateBtn", true);
     }

완료~~

나) 영어 잘하는법 있어?

chatGPT) 영어를 잘하는 방법은 매우 다양하지만, 몇 가지 추천해드릴 수 있습니다.

영어 공부를 지속적으로 해라: 영어를 잘하려면 지속적인 학습이 필요합니다. 매일 일정량의 공부 시간을 확보하고, 꾸준히 학습하는 것이 중요합니다.

영어 말하기 연습: 영어를 잘하기 위해서는 말하기 연습이 필수입니다. 친구들과 대화를 나누거나, 영어 스터디 그룹에 참여하여 자신의 말하기 실력을 향상시킬 수 있습니다.

영어 듣기 연습: 영어를 잘하기 위해서는 듣기 실력도 매우 중요합니다. 영어 드라마나 영화를 보면서 듣기 연습을 하거나, 뉴스나 팟캐스트를 들으면서 청취 능력을 향상시킬 수 있습니다.

영어 쓰기 연습: 영어 쓰기 연습을 통해 문법과 어휘를 확장하고 글쓰기 능력을 향상시킬 수 있습니다. 블로그를 쓰거나 편지를 써보는 것도 좋은 방법입니다.

영어 매체 활용: 영어 신문, 잡지, 책, 영어 웹사이트, 유튜브 등 다양한 매체를 활용하여 자신의 영어 실력을 향상시킬 수 있습니다.

영어 문화에 관심 가져라: 영어권 국가의 문화에 관심을 가져보면서 문화와 언어를 함께 이해해 나가는 것도 좋은 방법입니다. 영어권 영화나 음악, 문화 프로그램을 즐기는 것도 좋은 방법입니다.

이러한 방법들을 조합하여 영어 실력을 향상시킬 수 있습니다. 하지만 중요한 것은 꾸준한 노력과 열정입니다. 영어를 잘하고 싶다면 매일매일 조금씩 노력해보세요!

나) 고마워요 ^^

chatGPT) 별말씀을요! 언제든지 도움이 필요하시면 또 문의해주세요. 함께 응원합니다!

신기하면서도 소름끼치는 이놈...

 /**
  * 암호화 처리
  * @param publicKey
  * @param plainText
  * @return
  * @throws InvalidKeyException
  * @throws NoSuchPaddingException
  * @throws NoSuchAlgorithmException
  * @throws IllegalBlockSizeException
  * @throws BadPaddingException
  * @throws UnsupportedEncodingException
  */
 public static String encryptRSA(PublicKey publicKey, String plainText)
         throws InvalidKeyException, NoSuchPaddingException, NoSuchAlgorithmException, IllegalBlockSizeException, BadPaddingException, UnsupportedEncodingException {

     Cipher cipher = Cipher.getInstance("RSA");
     cipher.init(Cipher.ENCRYPT_MODE, publicKey);

     byte[] ecryptedBytes = cipher.doFinal(plainText.getBytes("utf-8"));
     String ecryptedString = Base64.getEncoder().encodeToString(ecryptedBytes);

     logger.info("##### ecryptedString {}", ecryptedString);

     return ecryptedString;
 }

 /**
  * 복호화 처리
  * @param privateKey
  * @param securedText
  * @return
  * @throws Exception
  */
 public static String decryptRSA(PrivateKey privateKey, String securedText) throws Exception {
     Cipher cipher = Cipher.getInstance("RSA");
     cipher.init(Cipher.DECRYPT_MODE, privateKey);

     byte[] securedBytes = Base64.getDecoder().decode(securedText.getBytes());
     String securedString = new String(securedBytes, "utf-8");

     byte[] decryptedBytes = cipher.doFinal(securedBytes);
     String decryptedString = new String(decryptedBytes, "utf-8");

     logger.debug("##### decryptedString {}", decryptedString);

     return decryptedString;
 }

@Slf4j
@RunWith(SpringJUnit4ClassRunner.class)
@ContextConfiguration(classes = {RSAKeyGenerator.class})
public class RSAKeyGenerator {

 @Test
 public void testRSAKeyGenerator() throws Exception {

     KeyPairGenerator generator = KeyPairGenerator.getInstance("RSA");
     generator.initialize(512); // key size 설정
     KeyPair keyPair = generator.generateKeyPair();

     KeyFactory keyFactory = KeyFactory.getInstance("RSA");
     PublicKey  publicKey  = keyPair.getPublic();
     PrivateKey privateKey = keyPair.getPrivate();

     RSAPublicKeySpec publicKeySpec = (RSAPublicKeySpec) keyFactory.getKeySpec(publicKey, RSAPublicKeySpec.class);

     // publicKey / UI에서 사용가능 - 4번 참고
     String publicKeyModulus = publicKeySpec.getModulus().toString(16);
     String publicKeyExponent = publicKeySpec.getPublicExponent().toString(16);

     String e_username = SecurityUtils.encryptRSA(publicKey, "admin1");
     String e_password = SecurityUtils.encryptRSA(publicKey, "1");

     String de_username = SecurityUtils.decryptRSA(privateKey, e_username);
     String de_password = SecurityUtils.decryptRSA(privateKey, e_password);
 }
}

 <!--순서에 주의-->
 <script src="/assets/js/rsa/rsa.js"></script>
 <script src="/assets/js/rsa/jsbn.js"></script>
 <script src="/assets/js/rsa/prng4.js"></script>
 <script src="/assets/js/rsa/rng.js"></script>

 ... 

 const rsaPublicKeyModulus = document.getElementById("publicKeyModulus").value;
 const rsaPublicKeyExponent = document.getElementById("publicKeyExponent").value;

 const rsa = new RSAKey();
 rsa.setPublic(rsaPublicKeyModulus, rsaPublicKeyExponent);

 // 사용자ID와 비밀번호를 RSA로 암호화한다.
 var securedUsername = rsa.encrypt(username);
 var securedPassword = rsa.encrypt(password);

끝~~

dependencies {    
    implementation("io.springfox:springfox-boot-starter:3.0.0")
    implementation("io.springfox:springfox-swagger-ui:3.0.0")
}    

.

2. application.yml 설정

SpringBoot 2.6 이상인 경우 없으면 해당 오류 발생

org.springframework.context.ApplicationContextException: Failed to start bean 'documentationPluginsBootstrapper'; nested exception is java.lang.NullPointerException: Cannot invoke "org.springframework.web.servlet.mvc.condition.PatternsRequestCondition.getPatterns()" because "this.condition" is null

spring:
  mvc:
    pathmatch:
      matching-strategy: ant_path_matcher

.

3. swagger 적용 ( 작성중 )

.

참고사항 ( 작성중 )

dependencies {        
    compileOnly 'org.projectlombok:lombok:1.18.24'
    annotationProcessor 'org.projectlombok:lombok:1.18.24'

    testCompileOnly 'org.projectlombok:lombok:1.18.24'
    testAnnotationProcessor 'org.projectlombok:lombok:1.18.24'
}

.

2. lombok.config 설정 ( build.gradle과 같은위치 )

# 참고 - https://projectlombok.org/features/configuration
lombok.data.flagUsage=error
lombok.allArgsConstructor.flagUsage=error
...

.

참고사항

• build.gradle 에서 버전을 반드시 명시해야함 ( 없으면 오류 발생 )

.

1. Config 추가

MessageConfig - ReloadableResourceBundleMessageSource 설정이 중요 ( SpringBoot 기본값인 ResourceBundleMessageSource는 오류 발생 )

@Configuration
public class MessagesConfig {

    @Bean
    public MessageSource messageSource() {
        ReloadableResourceBundleMessageSource messageSource = new ReloadableResourceBundleMessageSource();

        messageSource.setBasenames(new String[]{"classpath:/messages/messages"});
        messageSource.setDefaultEncoding("UTF-8");
        messageSource.setCacheSeconds(5);

        return messageSource;
    }
}

.

2. messages 생성

/resources/messages/messages_ko_KR.properties

succeses=정상적으로 처리되었습니다.

.

3. TestCase 생성

@Slf4j
@RunWith(SpringJUnit4ClassRunner.class)
@ContextConfiguration(classes = {MessagesConfig.class})
public class MessageConfigTest {

    @Autowired
    MessageSource messageSource;

    @Test
    public void getMessageSourceTest() {
        log.info("##### message {}", messageSource.getMessage("succeses", new String[] {}, LocaleContextHolder.getLocale()));
    }
}

.

4. 결과

#####message 정상적으로 처리되었습니다. .

참고사항

• intellij 개발툴 사용
• properties > utf-8 적용