혹시나 해당 소스코드 혹은 라이브러리가 문제인가 해서 카프카를 통해 프로듀서 생성을 시도하니, 이번에도 안되고 있었다.

이래서 자료를 찾아보니, 카프카의 설정 파일중 server.properties에서 listeners,advertised.listeners 두가지의 바인딩 설정값이 있는데, 외부 바인딩 설정값인 avertieed.listeners값이 미설정이면 호스트를 기준으로 바인딩된다고한다. 그렇기에 averieed.listeners 값을 외부 접속에 맞게 설정해야 작동이 된다.

• 무작위로 숫자배열이 할당 된다.
• 해당 배열에서 최소값 x 선정한다
• 최댓값 y를 선정하되, 해당 인덱스를 x의 인덱스보다 높은 값이여야한다.
• y-x의 값이 최대일때를 구하라.

대략적으로 설명하면 되도록 최솟값에 사서 비쌀때 팔아 최대한 많은 이득을 얻을수 있는 시기를 구하는 알고리즘 문제이다.

처음엔 몇시간정도 "이것은 마치 주식처럼 저점에 사셔 고점에 파는 그런건가?" 그럼 그래프같은걸 구현해서 계산하는건가? 라고 생각하면서 고민하다가, 알고리즘 초급 문제에 그런것까진 아니라고 생각하곤 예전에 알고리즘 관련 책에서 최대 부분 배열을 봤던걸 생각하여, 그걸로 해결하기로 했다.

책에는 4가지 방식이 있었는데, 그중 제일 성능이 좋은 O(n) 알고리즘으로 작성하여 제출하였다.

#include<algorithm>

class Solution {
public:
    int maxProfit(vector<int>& prices) {
        vector<int> buf;

        int pre = prices[0];

        for(int index = 1;index < prices.size();index++) {
            buf.push_back(prices[index] - pre);
            pre = prices[index];
        }
        int sum = 0;
        int res = 0;
        for(auto &data :buf) {
            sum = max(data,data + sum);
            res = max(res,sum);
        }
        return res;
    }
};

이 알고리즘은 카데인 알고리즘이라고 불리고 있으며 동적 프로그래밍을 이용한 알고리즘인데, 어떤 배열의 부분배열의 합이 S[n]일때, S[n]의 최대 부분 배열은 (S[1],S[2],...,S[n-1])중 하나다 라는 공식을 이용하는 알고리즘이다.

코틀린으로 코딩하는도중 예전에 쓰던 exposed 프레임워크의 코드줄에서 궁금증이 생겼는데.

import org.jetbrains.exposed.sql.*
import org.jetbrains.exposed.sql.transactions.transaction

object Users : Table() {
    ...
    val name = varchar("name", length = 50)
    ...
}
transaction {
    ....
    ....
    Users.update({ Users.name eq "city"}) {
        it[name] = "bob"
    }
}

이라는 코드줄이 있다고 할때, User 싱글톤 객체에 name에 infix 함수인 eq가 있다. 그럼 이걸 update함수 밖에서 써도 될까에서 시작해서 그렇게 작성해서 컴파일 해봤는데.

import org.jetbrains.exposed.sql.*
import org.jetbrains.exposed.sql.transactions.transaction

object Users : Table() {
    ...
    val name = varchar("name", length = 50)
    ...
}
transaction {
    ....
    ....
    val exist = Users.name eq "city"
    Users.update({ exist }) {
        it[name] = "bob"
    }
}


/*
e: main.kt: (13, 32): Unresolved reference: eq
*/

이러한 에러가 나왔다. 분명 update안에는 컴파일이 됬는데 밖에서 사용하면 해당 함수는 없다고 에러가 나온다. 그래서 찾아본 결과 코틀린의 확장함수랑 관련된걸 알게 됬다.

저 에러를 해결하는 법은 import org.jetbrains.exposed.sql.SqlExpressionBuilder.eq 추가하면 된다.

본문 및 설명

우선 사람의 이름과 나이를 출력하는 프로그램을 프로그래밍 한다고 치자.

open class Person {
    internal var name : String = ""
    internal var age : Int = 0
}

단순하게 사람을 추상화한 클래스이다. 이것을 빌더패턴을 사용하는 방식으로 작성한다고 치자. 그래서 평소에 다른언어에서 하던 방식으로 작성하였다.

package com.example.kotlinTest.hello

class PersonBuilder(val person: Person) {

    fun name(n : String) :PersonBuilder {
        this.person.name = n
        return this
    }
    fun age(a : Int) : PersonBuilder {
        this.person.age = a
        return this
    }
    fun build() {
        print("hi my name is : ${person.name}\n")
        println("my age is : ${person.age}\n")
    }
}

import com.example.kotlinTest.hello.*

fun main() {
    var builder = PersonBuilder(Person())
    builder
        .name("ahn")
        .age(25)
        .build()
}

이렇게 작성하고보니 비록 본인의 코딩실력이 좋지않아도 이정도면 괜찮지 않을까 싶었지만, 사실 코틀린은 다른언어보다 지원하는 문법들이 많았고 이것을 활용하면 더 보기 좋은 코드를 작성할수 있다고 한다. 그래서 찾아보니 infix 함수랑 리시버 함수가 있다고 한다.

해당 함수들의 설명은 공식 문서에 가면 있으니 먼저 보고 오는게 좋다.
infix 함수 : https://kotlinlang.org/docs/functions.html#infix-notation
리시버 함수 : https://kotlinlang.org/docs/lambdas.html#function-literals-with-receiver

이것들을 활용하면 위의 update함수처럼 별도의 import가 없으면 안에서는 사용할수 있지만, 밖에서는 사용못하게 할수도 있다. 이제 infix,리시버들을 활용한 소스코드이다.

package com.example.kotlinTest.hello
/*
본래 해당 객체안의 확장 함수들은, PersonMethod를 임포트 안하면 사용이 안된다.
*/
object PersonMethod {
    infix fun Person.age(other : Int) {
        this.age = other
    }
    infix fun Person.name(other : String) {
        this.name = other
    }

}
/*
block 변수로 리시터 함수 리터럴을 받게 됨으로써, PersonMethod안의 함수들이 사용가능해 진다.
*/
fun build(person: Person,block : PersonMethod.(Person) -> Unit) {
    PersonMethod.block(person)
    print("hi my name is : ${person.name}\n")
    println("my age is : ${person.age}\n")
}

import com.example.kotlinTest.hello.build
import com.example.kotlinTest.hello.Person

fun main() {
    build(Person()) {
        it name "ahn"
        it age  25
    }
}

예시가 좋지 못하지만, 이렇게 소스코드를 작성할수가 있다. 즉 PersonMethod 객체를 임포트 안해도 Person 확장 함수를 사용할수 있다.

위 계기의 소스코드 해결법처럼 확장함수가 정의된 import com.example.kotlinTest.hello.PersonMethod를  추가하면 밖에서도 사용이 가능하다.

프로그램 계획

요구 : 랜덤 해쉬값을 생성후, 해당값을 파일이름 그리고 파일내용으로 작성하여 특정폴더에 저장한다.

1. 프로그램은 싱글,멀티스레드 선택값,폴더경로 그리고 파일 생성 갯수값을 인수로 입력받는다
2. 해쉬값을 랜덤으로 생성한다
3. 해당값으로 파일명으로 해서 생성후, 해당 파일에 해당값을 저장
4. 이 행동을 생성 갯수값만큼 반복한다
5. 반복이 완료후의 시간을 측정하고, 출력한다
6. 프로그램 종료

그리고 해당 요구서를 토대로 코틀린으로 작성해보았다.

//main.kt

//메인 함수
import java.lang.Exception
import kotlin.system.measureTimeMillis

fun main(args: Array<String>) {

    val c = args.first().toInt() // 1 : 멀티스레드,2: 싱글스레드
    val root = args[1] // 폴더 경로
    val count = args[2].toInt() // 파일 생성 갯수
    val fIO : IoTest = when(c) {
        1 -> AsyncFileIO(count,root,4)// 스레드는 4개 생성후 사용
        2 -> NonFileIO(count,root)
        else -> throw Exception("not 1 and 2")
    }

    val time = measureTimeMillis {
        fIO.run()
    }

    println("time : ${time}(ms)")
}

//IoTest.kt

//추상클래스
abstract class IoTest
constructor(protected val maxCount : Int,protected val root : String) {
    abstract fun run()
}

싱글 스레드 코드

//NonFileIO.kt
//싱글 스레드 작동 객체

import kotlin.io.*
import java.io.File
import java.nio.charset.Charset
import java.util.UUID
import java.nio.file.Paths



class NonFileIO(maxCount: Int, root: String) : IoTest(maxCount, root) {
    override fun run() {
        var i = 0;
        var random_uuid = UUID.randomUUID().toString()

        while(i < maxCount) {
            var file = File(Paths.get(root,random_uuid).toString())
            file.createNewFile()
            file.writeText(random_uuid, Charset.defaultCharset())
            random_uuid = UUID.randomUUID().toString()
            i++
        }
    }

}

그림으로 간단하게 표현

멀티스레드 코드

//AsyncFileIO.kt
//멀티스레드 작성 객체
import kotlinx.coroutines.*
import kotlinx.coroutines.channels.Channel
import java.io.File
import java.nio.charset.Charset
import java.nio.file.Paths
import java.util.*

class AsyncFileIO(
        maxCount: Int, root: String,private val tCount : Int) : IoTest(maxCount, root) {


    private suspend fun createWorker (channel : Channel<String>) {
        for(i in 1..tCount) {
            //해당 코드를 사용하면 자바내부에 스레드가 생성된다.
            CoroutineScope(Dispatchers.IO).launch {
                while(!channel.isClosedForSend) {
                    if(channel.isEmpty)continue
                    val msg = channel.receive()
                    var file = File(Paths.get(root,msg).toString())
                    file.createNewFile()
                    file.writeText(msg, Charset.defaultCharset())
                }
            }
        }

    }

    override  fun run() : Unit = runBlocking {
        val channel = Channel<String>()


        val job = async {
            createWorker(channel)
        }
        for(i in 1..maxCount) {
            var random_uuid = UUID.randomUUID().toString()
            channel.send(random_uuid)
        }
        channel.close()
        job.await()
    }



}

그림으로 간단하게 표현

이것을 토대로 10000개의 파일을 생성하는 테스트를 해본결과...

결과창

이렇게 꽤 차이 나는 결과를 알게되었다.

• 0.서론
• 1. podman 설치
• 2. 이미지 pull 그리고 컨테이너 실행
• 3. btrfs 파티션
• 4. 컨테이너 설정
• 5. 폴더 권한
• 6. 방화벽 설정
• 7. 사이트 설정

서론

노트북으로 프로그래밍 하던 작업물을 다른 컴퓨터로 옮기는데 이메일 또는 sd 카드로 일일히 옮기는게 귀찮아져서 이참에 창고에 보관하던 미니 피씨로 홈서버로 클라우드 스토리지 서버를 돌릴 생각을 하게 되었고, 나중에 다시 세팅할때 까먹지 않고 글로 작성하기로 했다.

실행환경

• 운영체제 : debian 11

  podman 설치

  데비안 설치직후 실행하면 sudo가 설치가 안되어있으니, 바로 root계정으로 변경하여 사용한다

  #이 명령어로 root계정으로 변경
  su

  데비안 공식 저장소에 podman이 있으니 apt로 설치가 된다

  apt install podman

  그후 서비스에 등록을 한다.

  systemctl enable podman

• etc 만약 podman를 콘솔창에 쳤는데 해당 프로그램이 없다고 실행이 안되면, echo $PATH 명령어로 PATH 변수 안에 usr/bin이 경로에 포함되었는지 확인후,만약 없으면 etc/profile 수정 혹은 export를 사용해 경로를 추가하면 된다

  이미지 pull 그리고 컨테이너 실행

  사용할 서버는 nextcloud 이다. 그렇기에 해당 이미지를 pull하면 되나, 데비안에서 podman는 도커허브에 있는 대부분의 이미지는 pull이 되지 않는다. 해당 문제를 해결하기 위해선 podman의 저장소 설정파일을 수정하면 된다.

에러창

#vim /etc/containers/registries.conf.d/shortnames.conf
#`"nextcloud"="docker.io/library/nextcloud"` 내용 추가 후 저장

#그후 pull명령어를 실행하면 된다.
#podman pull nextcloud

자세한건 podman issue에 있으니 참고하면 된다.

btrfs 파티션

nextcloud의 데이터를 저장할 곳을 btrfs 파티션으로 포맷할려면 우선 btrfs-progs를 설치해야한다.

apt install btrfs-progs

그다음 사용할 파티션을 btrfs로 포맷한다.

mkfs.btrfs -d raid1 -m raid1 /dev/sdb[number] /dev/sda[number]

그리고 nextcloud 데이터를 저장할 파티션 하나를 선택후 마운트 한다.

mkdir '사용할 디렉토리 이름'
mount '사용할 파티션 경로' '생성한 디렉토리 이름'

또는 재시작시 자동으로 마운트를 원한다면 etc/fstab 파일을 수정하면 된다.

#vim /etc/fstab
...
...
...
`파티션 경로` `디렉토리 경로` btrfs defaults 0 0
#이후 저장후,만약 아직 마운트를 안했으면 'systemctl daemon-reload'을 실행해주자

자세한건 우분투 위키를 참고하자

컨테이너 설정

podman 으로 컨테이너를 생성해준다

podman run -d -v 'btrfs파티션 마운트 경로':'컨테이너에서 사용할 디렉토리 경로' -p 8080:80 --name `컨테이너 이름` nextcloud

만약 sqlite를 사용할거면 해당 목차를 스킵하면 된다.

• 컨테이너 안에 mysql 설치 및 설정

mysql 돌리는 방법은 여러가지가 있지만, mysql를 해당 컨테이너만 사용할 생각이기에 그냥 컨테이너안에 설치하는 방향으로 갈것이다.

podman exec -it '컨테이너 이름' bash
#컨테이너 접속후
apt update
apt install net-tools
apt install default-mysql-server

해당 컨테이너 에서는 systemd를 이용한 mysql 실행이 안되니, 다음 명령어를 실행하면 된다

mysql start &
#mysql server 실행 확인
#3306 포트가 열러있으면 성공이다.
netstat -ntlp

etc 만약 /run/mysqld 관련 에러가 뜨면, mkdir /run/mysqld로 디렉토리 생성 후, 해당 디렉토리를 777 퍼미션 혹은 원하는 권한 및 소유자로 변경하면 해결된다.

폴더 권한

현재 컨테이너는 호스트에 있는 파티션 디렉토리를 바인드 마운트 해서 데이터 디렉토리로 쓸 예정이기에, 별도로 권한도 설정해야한다. nextcloud 컨테이너는 아파치 + php로 서버가 돌아가는데, 아파치는 데비안에서 www-data계정으로 돌아가게 되었있다. 그렇기에 서버는 www-data계정으로 쓰기,읽기를 시도하는데, 호스트에선 파티션 디렉토리가 root 소유로 되어있다. 그러히게 권한이 안되서 접근이 안된다.

여러 방법이 있겠지만 지금 사용할 방법은 호스트에서 www-data 계정이 있고, 컨테이너의 www-data의 uid가 동일한다는 가정하에, 호스트의 btr파티션 마운트 디렉토리를 www-data 소유를 변경하는걸로 한다.

chown `btrfs 마운트 디렉토리` www-data
#파티션은 770으로 설정
chmod 770 -R `btrfs 마운트 디렉토리`

방화벽 설정

방화벽은 iptables이 아닌 ufw로 설정할것이며,그렇기에 호스트에서 ufw를 설치한 후에 설정하면 된다.

apt install ufw
# 방화벽 설정
ufw allow 22 #ssh 접속이 필요할시
#예시 : ufw aloow from 192.168.100.0/24 to any port 8080
ufw allow from 'ip'/'subnet mask' to any port 'port number'
#설정 적용, systemctl 시작 프로세스 등록
ufw enable
systemctl enable ufw

etc 만약 이상태에서 접근이 안되면, 로그창에 이런 메세지가 있는지 확인하자

보통 ufw는 포워딩은 기본적으로 차단한다. 그렇기에 저런 메세지가 뜨면 etc 설정을 수정하고 다시 적용하면 된다.

#vim /etc/default/ufw
...
...
...
#DROP으로 설정되있는걸 ACCEPT로 변경하자
DEFAULT_FORWARD_POLICY="ACCEPT"
...
#:wq
#그후 ufw를 리로드 하면된다.
ufw reload

자세한건 여기를 참고하면 좋을것이다.

사이트 설정

이제 ip주소로 서버에 접속하면 화면이 나오고 설정창이 보일거다. 여기서 mysql로 설정을 진행하다가 에러가 날수 있는데, 이때 만약 localhost로 했으면, 그걸 127.0.0.1로 변경하고 설정 하면, 설정 완료후 메인창이 나올것이다.

//go 코드 예시
package main

import "fmt"

type Hi interface {
    hi()
}

type String struct {
    s string
}

func new_hi(s string) Hi {
    return &String{s}
}
func (s *String)hi() {
    fmt.Println("hi : "s.s)
}

func main() {
    var str = "sunken ahn"
    new_hi(str).hi()
}

이런한 기능을 하는 프로그램을 작성한다고 할때, 이것을 러스트로 재작성할려고 한다.
그래서 내 생각대로 러스트 코드를 작성하게 되었다.

//rust 코드 예시
trait Hi {
    fn hi(&self);
}

impl Hi for String {
    fn hi(&self) {
        println!("hi : {}",self);
    }
}

fn new_hi(val : String) -> Hi {
    return val;
}

fn main() {
    let name = String::from("sunken ahn");
    new_hi(name).hi();
}

이렇게 작성하고 컴파일 하니 에러메세지가 나타났다. 그래서 처음에는 이게 왜? 였다. 해당 에러가 리턴 타입 지정에서 에러가 나왔는데 다른언어들은 원하는 타입을 리턴하고 싶으면 함수에 리턴 타입을 지정하는데 말이다.

그리고 찾아보니, rust의 컴파일 방식 때문인걸 알게 되었다. 러스트는 메모리 안전성을 위해 다른언어들과 다르게 컴파일 단계에서 메모리 관리하고 안전성을 추척한다. 그렇기에 메모리 관리를 위해 변수의 메모리 크기등을 컴파일러가 알아야 하는데, 트레이드는 이른바 일종의 여러 메소드의 묶음박스일뿐, 그 자체가 타입이 아니다. 그렇기에 변수의 메모리 크기의 정보가 없기에, 컴파일러는 해당 함수의 리턴값이 어느정도의 크기인지 알수없기에 컴파일 에러를 보내는것이다.

그렇기에 다른방식으로 값을 리턴시키면 된다.

첫번째로 박스라는 러스트의 힙할당 구조체를 사용하여 리턴하는 방법.

두번째로 impl trait를 리턴 타입으로 적어서 쓰는 방법이다.

참고

Traits: Defining Shared Behavior Object Safety

struct A {
    num : u32,
    s : String
}
impl A {
    fn get_string(&self) -> String {
        self.s
    }
/***/
}

fn main() {
    let object = A{num : 0,s : String::from("")};
    let _copyS = object.get_string();
/***/
}

다른 언어에서 작성하던것처럼 문자열의 get기능을 함수로 만들어 놓고 컴파일 해보니 이런 에러가 뜬다.

Compiling playground v0.0.1 (/playground)
error[E0507]: cannot move out of `self.s` which is behind a shared reference
 --> src/main.rs:7:9
  |
7 |         self.s
  |         ^^^^^^ move occurs because `self.s` has type `String`, which does not implement the `Copy` trait

For more information about this error, try `rustc --explain E0507`.
error: could not compile `playground` due to previous error

아 러스트는 대입이 아닌 이동이니 그런걸수 있겠다고 생각할수 있지만, 정수형으로 함수를 작성하면 정상적으로 작동하는걸 알수있다.

struct A {
    num : u32,
    s : String
}
impl A {
    fn get_u32(&self) -> u32 {
        self.num
    }
/***/
}

fn main() {
    let object = A{num : 0,s : String::from("")};
    let _copyS = object.get_u32();
/***/
}
/*
경고창을 나오지만 컴파일 에러는 나오지 않는다.
*/

그래서 찾아보니 Copy라고 복사하고 관련된 트레이드 인데, 해당 트레이드를 구현하는 타입들은 대입연산자(=)에서 묵시적으로 변수 이동이 아닌 변수 복사가 된다고 한다.
즉 u32은 기본적으로 copy트레이드가 구현되 있지만, String 타입은 해당 트레이드 구현이 안되있다, 그래서 get 함수에서는 값 이동으로 작동하는데, self가 참조형이여서 이동이 안된다고 컴파일 에러가 나는것같다. 그럼 참조형을 안쓰면 되는거 하면?, get함수 호출후에 구조체 사용이 불가능한다는 문제가 있다.

struct A {
    num : u32,
    s : String
}
impl A {
    fn get_string(self) -> String {
        self.s
    }
/***/
}

fn main() {
 let object = A{num : 0,s : String::from("")};
    let _copyS = object.get_string();
    println!("{}",object.get_string())
/***/
}
/* output
Compiling playground v0.0.1 (/playground)
error[E0382]: use of moved value: `object`
  --> src/main.rs:15:19
   |
13 |  let object = A{num : 0,s : String::from("")};
   |      ------ move occurs because `object` has type `A`, which does not implement the `Copy` trait
14 |     let _copyS = object.get_string();
   |                         ------------ `object` moved due to this method call
15 |     println!("{}",object.get_string())
   |                   ^^^^^^ value used here after move
   |
note: this function takes ownership of the receiver `self`, which moves `object`
  --> src/main.rs:6:19
   |
6  |     fn get_string(self) -> String {
   |                   ^^^^

For more information about this error, try `rustc --explain E0382`.
error: could not compile `playground` due to previous error
*/

그래서 해결법을 몇시간들어 찾아봤는데, 문자열 타입이 Clone 트레이드(Copy트레이드랑 비슷한 기능) 구현을 지원한다고 한다. 즉 함수에서 clone()를 호출하면 해결된다.

struct A {
    num : u32,
    s : String
}
impl A {
    fn get_string(&self) -> u32 {
        self.s.clone()
    }
/***/
}

const array1 = new Array(2);
const array2 = [undefined,undefined];
const map1 = array1.map(x => 1 * 2);
const map2 = array2.map(x => 1 * 2);

console.log(array1);
console.log(array2);
console.log(map1);
console.log(map2);
//output
> Array [undefined, undefined]
> Array [undefined, undefined]
> Array [undefined, undefined]
> Array [2, 2]

본문

자바스크립트의 array 생성자는 길이 파라미터만 넘겨줬을경우, 길이 만큼 배열을 생성하지만 배열 속에 값은 undefined, 정수, 문자열도 아닌 빈값으로 존재한다. 하지만 출력시에는 undefiend로 출력된다. 그리고 map 메서드는 접근한 인덱스가 빈값이면, 결과 배열의 해당 인덱스도 빈값으로 저장한다.

그렇기에 저런 결과물이 나온다.

참고

• https://developer.mozilla.org/ko/docs/Web/JavaScript/Reference/Global_Objects/Array/Array
• https://developer.mozilla.org/ko/docs/Web/JavaScript/Reference/Global_Objects/Array/map
• https://stackoverflow.com/questions/5501581/javascript-new-arrayn-and-array-prototype-map-weirdness