=if('1. 로직조정(사업기획팀)'!N8="운영", 
filter('슈퍼딜_today_raw'!A:C
, '슈퍼딜_today_raw'!E:E <'1. 로직조정(사업기획팀)'!$L$8
, '슈퍼딜_today_raw'!F:F>'1. 로직조정(사업기획팀)'!$M$8
, COUNTIF('3. 수기 입력시트(사업기획팀)'!I5:I, '슈퍼딜_today_raw'!J:J)>0)
, "null")

• QUERY & FILTER

  =QUERY(
  { 
  '2-1. 존/차량_(1차 배제된 중형이상 + 추가된 중형이상)'!B3:E1000;
  '2-1. 존/차량_(1차 배제된 중형이상 + 추가된 중형이상)'!H3:K1000
  }
  ,"SELECT Col1, Col2, Col3, Col4 WHERE Col1 IS NOT NULL ")
  ={filter(); filter()}

Securities are financial instruments that can be bought or sold, including stocks and bonds. They are typically traded on organized exchanges or over-the-counter markets, and their value can be affected by a wide range of factors. In this blog post, we will explore the different types of securities and the factors that can influence their value.

Stocks

Stocks are ownership shares in a company. When you buy a stock, you become a partial owner of the company, which entitles you to a portion of the company's earnings, called dividends, and potentially to vote on company decisions. Stocks are also traded on stock exchanges, where their value can rise or fall based on supply and demand.

Factors Affecting Stock Prices

The value of a stock can be influenced by various factors, including:

• Company performance: If a company is performing well, its stock price may rise. Conversely, if a company is struggling, its stock price may fall.
• Economic conditions: Economic factors such as interest rates, inflation, and GDP can affect the value of stocks.
• Investor sentiment: Public perception of a company or the overall market can also influence stock prices.

Bonds

Bonds are debt instruments that are issued by companies or governments to borrow money. When you buy a bond, you are essentially lending money to the issuer for a set period of time, and the issuer agrees to pay you back the face value of the bond plus interest. Bonds are typically considered lower-risk investments than stocks, but they also offer lower potential returns.

Factors Affecting Bond Prices

The value of a bond can be influenced by various factors, including:

• Interest rates: Bond prices and interest rates have an inverse relationship. If interest rates rise, bond prices may fall, and vice versa.
• Credit rating: The credit rating of the issuer can affect the value of a bond. Bonds issued by companies or governments with a higher credit rating are generally considered safer investments and may have a higher value.
• Inflation: Inflation can erode the value of a bond's fixed payments over time, which can reduce its value.

Checks and Drafts

Checks and drafts are written orders to pay a specific amount of money from one bank account to another. They can be used to pay bills or make purchases and are often used in place of cash. When you write a check or draft, you must have enough money in your account to cover the amount, or the check or draft will bounce and be returned.

Factors Affecting Checks and Drafts

The value of a check or draft is dependent on the amount written on it, and whether or not there are sufficient funds in the issuing account to cover that amount. Factors affecting the value of checks and drafts include:

• Available funds: If there are not enough funds in the issuing account, the check or draft may be returned and become worthless.
• Transaction fees: Banks may charge fees for processing checks or drafts, which can reduce their value.
• Time delays: Checks and drafts can take time to clear and be processed, which can delay the availability of funds and affect their value.

Derivatives

Derivatives are financial instruments that derive their value from an underlying asset, such as stocks, bonds, or commodities. Examples ofderivatives include options and futures contracts. Derivatives can be used to manage risk, speculate on future price movements, or provide leverage.

Options

Options are contracts that give the buyer the right, but not the obligation, to buy or sell an underlying asset at a specific price within a specific time frame. Options are often used as a form of insurance or speculation.

Factors Affecting Option Prices

The value of an option can be influenced by various factors, including:

• Underlying asset price: The price of the underlying asset can affect the value of an option. For example, if the price of the underlying asset increases, the value of a call option may also increase.
• Time to expiration: Options have a finite lifespan, and their value can decrease as they approach their expiration date.
• Volatility: The more volatile the underlying asset, the more valuable an option can become, as it provides the buyer with more potential profit.

  Futures

  Futures are contracts that require the buyer to purchase an underlying asset at a specific price and time in the future. Futures are often used as a form of hedging or speculation.

Factors Affecting Future Prices

The value of a future can be influenced by various factors, including:

• Supply and demand: The price of a future can be affected by supply and demand factors, such as changes in production or consumption of the underlying asset.
• Interest rates: Changes in interest rates can affect the cost of carrying the underlying asset until the future contract's expiration date.
• Economic conditions: Economic factors such as inflation or geopolitical events can affect the value of futures contracts.

Conclusion

In conclusion, securities such as stocks, bonds, options, futures, and derivatives are financial instruments that can be bought or sold. Their value can be influenced by a wide range of factors, including economic conditions, company performance, interest rates, and investor sentiment. Understanding these factors is crucial for investors who want to make informed investment decisions and manage their risk effectively.

Let's go to the next lecture till we make it to 100th lectures!

Before moving on to the next lesson, explain more about MCMC, including basic formulas, with specific examples. Create a problem for me to solve and show me the answer.

I don't think I can implement a Markov chain myself with this explanation, please be more specific with formulas and examples so that I can implement and use a Markov chain myself.

Let's go back to the description of MCMC. What is a Stationary Distribution?

What exactly does it mean for a probability distribution to be stationary in a Markov chain? If I have a set of states and transition matrix with values [[0.9, 0.1], [0.2, 0.8]] , is [0.9, 0.1] the probability distribution?

How can a vector * Matrix product be understood intuitively?

A Jacobian matrix is a local linear transformation matrix, so what does a Hessian matrix mean geometrically or algebraically, and how does it have that meaning?

If the i-row j-column elements of a Jacobian matrix are \frac{\partial x_j}{\partial y_i} where y_i is the ith element of vector y of length n, and x_j is the jth element of vector x of length n. Then what are the elements of column i, row j of the Hessian matrix?

If a function whose output has dimension d(>1) is called a multivariate function, what should we call a function whose input has dimension d(>1)?

What if it's not a unit vector?

v가 단위벡터면 어떻게 해서 그 값이 rate를 여전히 알려주는거야?

Write HTML to place two image files back-to-back horizontally

Add code to resize each picture while maintaining the original proportions.

Change the size of the two images to be fixed.

When we apply the Hessian matrix to another function, what we are actually doing is transforming the second function in a way that is informed by the behavior of the first function. In other words, the Hessian matrix of the first function provides information about the local curvature of the function, and this information is used to transform the second function in a way that reflects that curvature.

Here is a simple example to illustrate the idea. Let's say that we have two functions, f(x, y) and g(x, y). We can think of the Hessian matrix of f(x, y) as a linear transformation, H, that operates on g(x, y) to produce a new function h(x, y). The operation can be written as h(x, y) = H(g(x, y)).

In matrix form, we can write the operation as follows:

$\begin{bmatrix} \frac{\partial^2f}{\partial x^2} & \frac{\partial^2f}{\partial x\partial y} \ \frac{\partial^2f}{\partial y\partial x} & \frac{\partial^2f}{\partial y^2} \end{bmatrix} \begin{bmatrix} \frac{\partial g}{\partial x} \ \frac{\partial g}{\partial y} \end{bmatrix} = \begin{bmatrix} \frac{\partial h}{\partial x} \ \frac{\partial h}{\partial y} \end{bmatrix}$

In this example, the Hessian matrix of f(x, y) acts on the gradient of g(x, y) to produce the gradient of the new function h(x, y). The new function h(x, y) will have properties that reflect the curvature of f(x, y), and these properties can be useful in various optimization and machine learning algorithms.

H=[ ∂x 2

∂ 2 f ​

∂y∂x ∂ 2 f ​

​

∂x∂y ∂ 2 f ​

∂y 2

∂ 2 f ​

​ ]

The function f defined by $$f(\begin{bmatrix} x \ y \ z \ \end{bmatrix}) = det\left(\begin{bmatrix} x & v_1 & w_1 \ y & v_2 & w_2 \ z & v_3 & w_3 \ \end{bmatrix} \right)$$ is linear because the determinant satisfies the following properties:

1. Multiplying a row of the matrix by a scalar multiplies the determinant by the same scalar. ( *In Geogrphical view, you just stretch the length of bottom line of parallelogram *)

• For example, if we multiply the first row of the matrix by a scalar k, the new matrix is:

  $$\begin{bmatrix} kx & kv_1 & kw_1 \ y & v_2 & w_2 \ z & v_3 & w_3 \ \end{bmatrix}$$

  and the determinant of the new matrix is k times the determinant of the original matrix:

  $$k*det\left(\begin{bmatrix} x & v_1 & w_1 \ y & v_2 & w_2 \ z & v_3 & w_3 \ \end{bmatrix} \right)$$

2. Adding a scalar multiple of one row to another row does not change the determinant. ( *In Geogrphical view, you just moving the left top point of parallelogram along the parallel line to bottom line *) 그런데, 이 부분을 유심히 생각해보면 한 벡터에 다른 벡터를 더할 때 그 벡터가 나머지 두 벡터의 선형조합인 벡터라면 paralellopiped의 부피는 변하지 않는다. 만약 선형조합으로 구할 수 없는 벡터라면 paralellopiped의 부피는 x2 y2 z2가 만들어내는 높이만큼 더해진다. 따라서 det가 분리된다는 사실은 시각적으로 명확하다!

• For example, if we add k times the first row to the second row, the new matrix is:

  $$\begin{bmatrix} x & v_1 & w_1 \ y+kx & v_2+kv_1 & w_2+kw_1 \ z & v_3 & w_3 \ \end{bmatrix}$$

  and the determinant of the new matrix is the same as the determinant of the original matrix.

  These two properties of the determinant imply that the function f is linear, because:

$$f\left(\begin{bmatrix} x_1 \ y_1 \ z_1 \ \end{bmatrix} + \begin{bmatrix} x_2 \ y_2 \ z_2 \ \end{bmatrix}\right) \= f\left(\begin{bmatrix} x_1 + x_2 \ y_1 + y_2 \ z_1 + z_2 \ \end{bmatrix}\right)

\\= det\left(\begin{bmatrix} x_1 + x_2 & v_1 & w_1 \ y_1 + y_2 & v_2 & w_2 \ z_1 + z_2 & v_3 & w_3 \ \end{bmatrix} \right)

\\= det\left(\begin{bmatrix} x_1 & v_1 & w_1 \ y_1 & v_2 & w_2 \ z_1 & v_3 & w_3 \ \end{bmatrix} \right) + det\left(\begin{bmatrix} x_2 & v_1 & w_1 \ y_2 & v_2 & w_2 \ z_2 & v_3 & w_3 \ \end{bmatrix} \right) \cdots ①

\\= f\left(\begin{bmatrix} x_1 \ y_1 \ z_1 \ \end{bmatrix}\right) + f\left(\begin{bmatrix} x_2 \ y_2 \ z_2 \ \end{bmatrix}\right)$$

And for any scalar k:

$$f(k\begin{bmatrix} x\ y \ z \ \end{bmatrix}) \ = f\left(\begin{bmatrix} kx \ ky \ kz \ \end{bmatrix}\right) \= kdet\left(\begin{bmatrix} x & v_1 & w_1 \ y & v_2 & w_2 \ z & v_3 & w_3 \ \end{bmatrix} \right)

\= kf\left(\begin{bmatrix} x \ y \ z \ \end{bmatrix}\right)$$

Therefore, f satisfies the linearity property of a linear transformation, and hence is a linear function.

①에 대한 증명

This equation holds because of the distributive property of the determinant. The determinant of a 3x3 matrix can be expanded using the Laplace expansion along the first row as follows:

$$det\left(\begin{bmatrix} a & b & c \ d & e & f \ g & h & i \ \end{bmatrix} \right) \ = a\det\left(\begin{bmatrix} e & f \ h & i \ \end{bmatrix} \right) - b\det\left(\begin{bmatrix} d & f \ g & i \ \end{bmatrix} \right) + c\det\left(\begin{bmatrix} d & e \ g & h \ \end{bmatrix} \right)$$

In the case of the function f defined by

$$f(\begin{bmatrix} x \ y \ z \ \end{bmatrix}) = det\left(\begin{bmatrix} x & v_1 & w_1 \ y & v_2 & w_2 \ z & v_3 & w_3 \ \end{bmatrix} \right)$$

the Laplace expansion along the first row gives:

$$f(\begin{bmatrix} x \ y \ z \ \end{bmatrix}) \= x\det\left(\begin{bmatrix} v_2 & w_2 \ v_3 & w_3 \ \end{bmatrix} \right) - v_1\det\left(\begin{bmatrix} y & w_2 \ z & w_3 \ \end{bmatrix} \right) + w_1\det\left(\begin{bmatrix} y & v_2 \ z & v_3 \ \end{bmatrix} \right)$$

Using this expansion, we can see that the determinant of the matrix

$$\begin{bmatrix} x_1 + x_2 & v_1 & w_1 \ y_1 + y_2 & v_2 & w_2 \ z_1 + z_2 & v_3 & w_3 \ \end{bmatrix}$$

is equal to the sum of the determinants of the matrices

$$\begin{bmatrix} x_1 & v_1 & w_1 \ y_1 & v_2 & w_2 \ z_1 & v_3 & w_3 \ \end{bmatrix}$$

and

$$\begin{bmatrix} x_2 & v_1 & w_1 \ y_2 & v_2 & w_2 \ z_2 & v_3 & w_3 \ \end{bmatrix}$$

where we expand each of these determinants using the Laplace expansion along the first row.

This shows that the equation

$$det\left(\begin{bmatrix} x_1 + x_2 & v_1 & w_1 \ y_1 + y_2 & v_2 & w_2 \ z_1 + z_2 & v_3 & w_3 \ \end{bmatrix} \right) = det\left(\begin{bmatrix} x_1 & v_1 & w_1 \ y_1 & v_2 & w_2 \ z_1 & v_3 & w_3 \ \end{bmatrix} \right) + det\left(\begin{bmatrix} x_2 & v_1 & w_1 \ y_2 & v_2 & w_2 \ z_2 & v_3 & w_3 \ \end{bmatrix} \right)$$

holds for any values of x1, y1, z1, x2, y2, and z2, as long as the matrices have entries in some field, such as the real numbers or the complex numbers.

CONCLUSION

• The matrix represents a scale factor that changes with a linear transformation.

$det(AB) = det(A)det(B)$

• The scale change of two linear transformations is equal to the product of the scale changes of each linear transformation.

$det\left(\begin{bmatrix} k\vec x & \vec y & \vec z \end{bmatrix} \right) = k*det\left(\begin{bmatrix} \vec x & \vec y & \vec z \end{bmatrix} \right)$

• If you multiply the vectors involved in the linear transformation by a factor of k, the linear transformation is also multiplied by a factor of k.

$det\left(\begin{bmatrix} \vec x_1+\vec x_2 & \vec y & \vec z \end{bmatrix} \right) = det\left(\begin{bmatrix} \vec x_1 & \vec y & \vec z \end{bmatrix} \right) + det\left(\begin{bmatrix} \vec x_2 & \vec y & \vec z \end{bmatrix} \right)$

• Moving a vector involved in a linear transformation increases the scale of the linear transformation by the number of vectors moved. If you move it parallel to the floor, it will increase by 0. If you move it non-parallel to the floor, it will have a non-zero value.

Table of Contents

• Introduction
• Specificity in Questions
• Proper Grammar and Spelling
• Providing Context
• Respectful Communication
• Summary

Introduction

As a large language model trained by OpenAI, ChatGPT is designed to answer a wide range of questions and provide information on a variety of topics. In order to get the most accurate and helpful answers, it's important to ask questions in an appropriate way.

In this guide, we'll provide some tips and guidelines to help you ask questions in a way that will result in the best possible responses from ChatGPT.

Specificity in Questions

One of the most important factors in getting a helpful answer from ChatGPT is to ask specific questions. Be clear and concise about what information you're looking for, and try to avoid asking vague or open-ended questions.

Proper Grammar and Spelling

In order to understand your questions and provide clear and accurate answers, it's important to write in complete sentences with proper grammar and spelling. Avoid using shorthand or text-speak, and make sure your questions are easy to understand.

Providing Context

If your question is related to a specific scenario or situation, providing some context can help ChatGPT understand the context of your question and provide a more accurate answer.

Respectful Communication

It's important to treat ChatGPT and others you interact with in a respectful manner, and avoid using language that is offensive or inflammatory. This will help ensure that your questions are answered promptly and accurately, and will contribute to a positive and productive conversation.

Summary

By following these guidelines for asking questions to ChatGPT, you can increase the chances of getting accurate and helpful answers to your questions. Be specific in your questions, use proper grammar and spelling, provide context when necessary, and communicate in a respectful manner. By doing so, you'll be able to get the information you need and have productive conversations with ChatGPT. ENJOY IT!

② jupyter notebook kernel 설정

• bash
  • poetry shell
  • poetry add jupyter ipykernel
  • python -m ipykernel install --user --name [가상환경 이름] --display-name "[jupyter에 표시될 kernel의 이름]"
    • python에서 ipykernel 모듈을 실행(-m)하여 install 작업을 한다는 의미
  • jupyter notebook
• VScode
  • Jupyter: Specify jupyter server for connections 선택 > EXISTING선택 > 위 주소 입력
  • 재실행 후 command + shift + p를 눌러 python interpreter로 가상환경 python interpreter를 연결

끝.

파이썬 버전과 의존성을 관리하기 위한 다양한 툴이 있습니다. 여기서는 편하다고 알려진 POETRY의 설정과 사용에 대하여 간단히 알아봅니다! 자세한 정보는 공식 사이트 및 타 블로그들을 참고하여 봅시다!

POETRY 사용법

설치

curl -ssl https://install.python-poetry.org/ | python3

세팅

• 설치를 완료하고 나면 등장하는 안내 메세지에 따라 PATH에 명령어를 추가합니다.
• 탭 완성(tab completion) 활성화하기: poetry help completions
  • Oh-My-Zsh는 다음 명령어 실행 후 ./zshrc의 plugins에 poetry를 추가 합니다.

    # Zsh (Oh-My-Zsh)
    mkdir $ZSH/plugins/poetry
    poetry completions zsh > $ZSH/plugins/poetry/_poetry

    plugins(
      poetry
      ...
      )

    환경 생성하기 with GITHUB

    프로젝트 관리

• 프로젝트 셋업
  • 기존 폴더가 없는 경우: poetry new <폴더명>
  • 기존 폴더가 있는 경우: poetry init
    • 프로세스 ① GITHUB REPO생성 → clone → 가상환경 생성 → push ② poetry add git+ssh://git@github.com/<아이디>/<폴더명>.git
  • 결과

    <폴더명>
    ├── pyproject.toml
    └── README.rst

• 프로젝트 실행: poetry shell
• 프로젝트 종료: exit
• 프로젝트 설정변경: poetry config --list, poetry config [options] [setting-key] [setting-value]

  패키지 관리

• 패키지 추가: poetry add <라이브러리 명> → poetry.lock 파일 업데이트 & pyproject.toml에 의존성 추가 & 패키지 설치
• 패키지 설치
  • poetry install → poetry.lock이 있다면 해당 파일을 사용하고 없다면 pyproject.toml 읽어서 의존성 패키지 조건 내 최신버전 설치 및 poetry.lock생성
  • poetry update →poetry.lock 삭제 후 poetry install
• 패키지 삭제: poetry remove pandas

SSK Key 설정

1. (선택) ~/.ssh에 있는 기존 SSH Key를 삭제합니다.

2. 새로운 SSH Key(private & public)를 발급합니다.

    ssh-keygen -t rsa -b 4096 -C "account1@gmail.com"
    ssh-keygen -t rsa -b 4096 -C "account2@gmail.com"

   이때, 파일명은 각각 ~/.ssh/id_rsa, ~/.ssh/id_rsa_acc2으로 저장합니다.

3. ssh-agent를 시작하고 ssh에 private key들을 추가합니다.

    eval `ssh-agent`
    ssh-add -k ~/.ssh/id_rsa
    ssh-add -k ~/.ssh/id_rsa_acc2    

   ssh-add -l로 확인할 수 있습니다

4. github계정에 pulic key들을 추가합니다.

    cat ~/.ssh/id_rsa.pub | pbcopy 
    #Add it on GITHUB>SETTINGS>SSH and GPG keys>New SSH Key
    cat ~/.ssh/id_rsa_acc2.pub | pbcopy
    #Add it on GITHUB>SETTINGS>SSH and GPG keys>New SSH Key

   config 설정

5. ~/.ssh/config 파일을 아래와 같이 생성합니다.

   # account1 github
   Host github.com
   HostName github.com
   User git
   AddKeyToAgent yes
   IdentityFile ~/.ssh/id_rsa
   
   # account2 github
   Host github.com-acc2
   HostName github.com
   User git
   AddKeyToAgent yes
   IdentityFile ~/.ssh/id_rsa_acc2

6. git global config를 아래와 같이 설정합니다.

    # for account1
    git config --global user.name "acc2_username"
    git config --global user.email "account2@gmail.com"
    # for account2: nothing to do

   Github Repository 연결

7. ssh config를 반영하여 ssh주소를 연결합니다.

   • github.com-acc2: githubHost, acc2_username: github id

     #WHEN YOU CLONING YOUR REPO with acc2
     git clone git@github.com-acc2:acc2_username/reponame.git
     

   #WHEN YOU MADE A LOCAL FOLDER AND CONNECT IT TO GITHUB with acc2 git remote set-url origin git@github.com-acc2:acc2_username/reponame.git

   (If you want to use multiple names and email addresses for different repositories, you can set up local configurations for each repository using the git config command without the --global flag. These local configurations will take precedence over the global configuration for that specific repository.)

8. git push origin main 명령어를 이용하여 git에 push를 수행합니다.

헤시안 매트릭스는 보울을 더욱 볼록하게 만들어주는 선형변환이다.

• 이 말의 의미를 생각해보자.
• (오해) 선형변환이 어떻게 더 함수를 볼록하게 만들 수 있을까? 선형변환은 기껏해야 직교하는 그리드를 마름모 형태로 바꾸는 것일 뿐인데?
• (사실) 3차원이 아니라 2차원을 선형변환해서 3차원에 있는 볼록함을 증가시키는 것이다. 예를 들면, $y = f(x_1, x_2)$ 인 함수에서, $x_1, x_2$가 있는 2차원 평면의 특정 방향을 마름모 꼴로 줄이면 $y$값은 더욱 가파르게 증가할 것이다!

Launchd Tutorial

공식사이트 A Simple Launchd Tutorial

• js 유튜브 설명
• pipenv

launchd

• error01
  • 가상환경에서 실행하기
  • shell script를 이용한다: 쉘 스크립트를 이용하여 plist를 작성하는 방법
• error02
  • conda가 작동하지 않는 문제: PATH를 수동으로 지정해주어야 함
• error03
  • [문제1] 특정 폴더에서는 괜찮았지만, 클라우드로 공유되고 있는 폴더에서는 작동하지 않고 다음 오류를 뱉음
    • shell-init: error retrieving current directory: getcwd: cannot access parent directories: Operation not permitted /bin/bash: ./launchd_test.sh: Operation not permitted
    • 해결: bash에 권한부여(sh, zsh가 필요할수도)

LAUNCHD 실무 사용 사례

1. 타겟폴더 > py파일 작성

   title: [REF]bq_upload.py
   #! /usr/bin/env python3

2. 타겟폴더 > shell 파일 작성 및 실행(chmod +x) 권한부여

   title: [REF]bq_upload.sh
   #! /bin/bash
   export PATH=/Users/mori/anaconda3/bin:/Users/mori/anaconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin
   
   source /Users/mori/anaconda3/etc/profile.d/conda.sh
   conda activate socar
   python [REF]bq_upload.py >> ./bq_upload.result.log

3. ~/Library/LaunchAgents/plist 파일 작성

   title: bq.upload.daemon.plist
   <?xml version="1.0" encoding="UTF-8"?>
   <!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
   <plist version="1.0">
    <dict>
   
      <key>Label</key>
      <string>bq.upload.daemon.plist</string>
   
      <key>RunAtLoad</key>
      <true/>
   
      <key>StartInterval</key>
      <integer>30</integer>
   
      <key>StandardErrorPath</key>
      <string>타겟폴더/stderr.log</string>
   
      <key>StandardOutPath</key>
      <string>타겟폴더/stdout.log</string>
   
      <key>WorkingDirectory</key>
      <string>타겟폴더</string>
   
      <key>ProgramArguments</key>
      <array>
        <string>./[REF]bq_upload.sh</string>
      </array>
   
    </dict>
   </plist>

   4.launchdctl을 이용하여 launchd를 control

    launchdctl load ~/Library/LaunchAgents/*.plist 
    launchdctl unload ~/Library/LaunchAgents/*.plist 

   의문사항

• conda가 참조하는 폴더들은 어디어디인지? 저것들 각각이 다른 의미가 있는지?

LESSON LEARNED

• 의외로 폴더명의 한글, 띄어쓰기는 영향을 주지 않음

  기타내용

• conda의 절대위치 찾기: which -p conda what is <!CDATA>

Python파일 커맨드 라인에서 실행하기

1. py 파일 첫 라인에 쉬뱅라인 입력 [Sharp(#) + Bang(!)]

    Window    : #! python3
    OS        : #! /usr/bin/env python3
    Linux    : #! /usr/bin/python3

2. execution 권한 부여

   $chmod +x 파일이름.py

3. 파일 실행

   $./파일이름.py

   의문사항

• 질문: 가상환경을 사용할 경우는 어떻게 해야 하는가?
  • 가상환경 실행 후 똑같이 해도 됨 [참고]

    끝.

③ 로컬 vscode와 GCP 연동

CLIENT AUTHORIZATION

CASE1: 대화형 환경jupyter notebook의 경우(로컬과 colab)

• 준비물: GCP 프로젝트, 빅쿼리와 연동된 구글 아이디

• ➼ read_gbq를 이용하기 위해 필요한 모듈pandas-gbq을 설치한다

  pip3 install --upgrade --force-reinstall pandas-gbq

• ➼ python 대화형 환경에서 read_gbq 함수를 실행하고 출력되는 링크에 접속하여 구글 아이디를 인증 및 쿼리를 불러온다

  import pandas as pd
  df = pd.read_gbq( query = query , project_id = 'project_id', dialect = 'standard' )

• ( 아래 방법으로도 가능하다 )

  from google.cloud import bigquery
  #from google.oauth2 import service_account
  
  #GCP 프로젝트 입력
  project_id = 'PROJECT_ID'
  
  #authorization
  client = bigquery.Client(project = project_id)

  CASE2: 로컬 Python의 경우

• 준비물

  • 해당 GCP 프로젝트의 BigQuery 조회가 가능한 서비스 계정(Service Account)생성 후 KEY를 JSON 파일로 저장

• ➼ google-cloud-bigquery, google-cloud-bigquery-storage package 설치

  pip3 install --upgrade --force-reinstall google-cloud-bigquery google-cloud-bigquery-storage
  #conda install -c conda-forge google-cloud-bigquery

• ➼ JSON에 저장된 KEY를 불러와서 client로 연결한다

  from google.cloud import bigquery
  #from google.oauth2 import service_account
  
  #Local에 저장된 SERVICE_ACCOUNT_KEY JSON 파일 경로 입력
  credentials = service_account.Credentials.from_service_account_file(r'SERVICE_ACCOUNT_KEY.JSON')
  
  #GCP 프로젝트 입력
  project_id = 'PROJECT_ID'
  
  #authorization
  client = bigquery.Client(credentials = credentials, project = project_id)

CLIENT 연결 후

QUERY

#QUERY
query_job = client.query("""BGQUERY""")
df = query_job.to_dataframe()

LOAD

#LOAD
PROJECT_ID = "project_id"
DATASET = "dataset"
TABLE_NAME = "table_name" 
TABLE_ID = f"{PROJECT_ID}.{DATASET}.{TABLE_NAME}"

job_config = bigquery.LoadJobConfig(
    schema=[
        bigquery.SchemaField("f1", bigquery.enums.SqlTypeNames.STRING),
        bigquery.SchemaField("f2", bigquery.enums.SqlTypeNames.DATE),
        bigquery.SchemaField("f3", bigquery.enums.SqlTypeNames.FLOAT)],
    write_disposition="WRITE_APPEND" | "WRITE_TRUNCATE"
    )
# Make an API request
job = client.load_table_from_dataframe(
    dataframe, table_id, job_config = job_config)
# Activate Job
job.result()

SUMMARY: 대화형 환경의 경우

from google.cloud import bigquery
#from google.oauth2 import service_account

#CASE1: 대화형 환경
#GCP 프로젝트 입력
project_id = 'PROJECT_ID'
#authorization
client = bigquery.Client(project = project_id)

##CASE2: 로컬 환경
##Local에 저장된 SERVICE_ACCOUNT_KEY JSON 파일 경로 입력
#credentials = service_account.Credentials.from_service_account_file(r'SERVICE_ACCOUNT_KEY.JSON')
##GCP 프로젝트 입력
#project_id = 'PROJECT_ID'
##authorization
#client = bigquery.Client(credentials = credentials, project = project_id)

#QUERY
query_job = client.query("""BGQUERY""")
df = query_job.to_dataframe()

#LOAD
PROJECT_ID = "project_id"
DATASET = "dataset"
TABLE_NAME = "table_name" 
TABLE_ID = f"{PROJECT_ID}.{DATASET}.{TABLE_NAME}"

job_config = bigquery.LoadJobConfig(
    schema=[
        bigquery.SchemaField("f1", bigquery.enums.SqlTypeNames.STRING),
        bigquery.SchemaField("f2", bigquery.enums.SqlTypeNames.DATE),
        bigquery.SchemaField("f3", bigquery.enums.SqlTypeNames.FLOAT)],
    write_disposition="WRITE_APPEND" | "WRITE_TRUNCATE"
    )
# Make an API request
job = client.load_table_from_dataframe(
    dataframe, table_id, job_config = job_config)
# Activate Job
job.result()

LESSON LEARNED

• 패키지 검색은 pip3와 pypi
• 패키지 설치가 안되면 파이썬, 아나콘다, 모듈의 버전을 살펴보자

  python --version
  conda --version
  conda update

끝.

② jupyter notebook kernel 설정

• ➼ 가상환경을 설치하였다면 해당 가상환경에서 대화형 환경(jupyter notebook)을 구축해준다
  • 패키지 관리 시스템은 conda보다 pip3를 이용할 경우 오류가 적었다
  • conda 메뉴얼에 따르면 conda 명령어를 이용해 설치를 끝낸 후에만 pip3를 사용하여야 한다. 따라서 일단 conda를 사용하자.
    • pip: 기본 폴더에 package 설치
    • pip3, conda: 가상환경 폴더에 package 설치

      #pip3 install --upgrade --force-reinstall jupyter ipykernel
      conda install --update-deps --force-reinstall jupyter ipykernel

• ➼ vscode에서 command + shift + p를 눌러 python interpreter로 가상환경 python을 연결해준다
• 😎 여기까지 마치고 나면 google bigquery를 사용할 때 대화형 환경인 google colab처럼 간편하게 사용이 가능하다

🥲 jupyter kernel이 제대로 작동하지 않을 경우

• 위와 같은 과정을 거쳐도 대화형 환경이 작동하지 않을 때가 있다

  *원인

  • 원인은 가상환경이 제대로 실행되지 않을 수 있다 이전 글에 따라 deactivate, activate를 진행하고 PATH설정을 바꿔주어야 한다. 이후 가상환경의 python으로 셀을 실행하게 되면 ipykernel이 제대로 작동하는 것을 알 수 있다.
  • ipykernel을 설치하기 전에 python interpreter를 연결하면 발생하는 것 같기도 하다 필요한 모듈을 모두 설치하고 interpreter를 연결하자*

    아래의 내용은 모두 가상환경이 제대로 동작하고 있지 않기 때문에 벌어지는 일들임

  • 대표적인 오류가 Failure to start Kernel due to Modules not installed 이다 [참고]
  • 대체로 package 간 버전이 맞지 않아 발생하는 일이다
• 아래와 같이 명시적으로 kernel을 추가하는 작업을 해 주어야 한다
  • ➯ 위에서 설치한 ipykernel 모듈을 실행시켜 install 작업 수행

    python -m ipykernel install --user --name [가상환경 이름] --display-name "[jupyter에 표시될 kernel의 이름]"
    #python에서 ipykernel 모듈을 실행(-m)하여 install 작업을 한다는 의미

  • ➯ 이후 VSCODE에서
    • 가상환경 디렉토리로 이동 후 jupyter notebook을 실행하여 콘솔창의 token을 포함한 주소 확인 [참고]

        #가상환경 디렉토리 확인 및 이동
        conda env list
        cd [가상환경 디렉토리]
        #jupyter notebook 실행: 콘솔창에 주소가 출력
        jupyter notebook

    • Jupyter: Specify jupyter server for connections 선택 > EXISTING선택 > 위 주소 입력

끝.

① 가상환경 생성

• ➼ 아래 코드를 통해 간단하게 가상환경을 생성할 수 있다

  • python 3.10에서 python 3.1로 인식되는 버그가 있으므로 3.9를 설치하자
    • python=3.1 버그는 링크의 issue에서 확인하였다
    • PackageNotFoundError: The following packages are not available from current channels: - python=3.1

      conda create --name [가상환경 이름] python=3.9
      conda create --name [가상환경 이름] python=3.10.5 --channel conda-forge
      

  #참고 ##conda 가상환경 이름변경 conda create --name [new 가상환경 이름] --clone [old 가상환경 이름] conda activate [가상환경 이름] conda remove --name [삭제할 이름] --all

  ##conda package 설정 및 초기화 .yml파일 이용(향후 업데이트)

  ##python package 설정 및 초기화 pip freeze > requirments.txt pip install -r requirements.txt pip uninstall -r requirements.txt -y

  conda python version 변경

  conda install python=3.9

  ## 가상환경 기타 설정
  가상환경을 생성하기는 했으나 다음과 같은 리눅스 세팅을 확인할 필요가 있다.

1. python 명령어가 있는 위치

   #해당 가상환경이 접근하는 명령어들의 위치는 $PATH 환경변수에 있음
   $echo $PATH
   #PATH중에서 python이 위치한 디렉토리를 알려줌
   $which -a python
   #만약 conda 하위에 있는 python이 아니라면 deactivate가 필요하다
   conda deactivate
   conda activate <가상환경 이름>

2. package들이 저장되어 있는 위치 참고1

• python -m site

• conda 가상환경은 자동으로 User의 global package를 참조한다

  #.py위치 폴더, PYTHONPATH등 접근 가능한 순서대로 표현
  $python -c "import sys; print('/n'.join(sys.path))"
  
  #만약 /Users/****/.local/lib/python3.9/site-packages 와 같이 global package를 사용하고 싶지 않다면
  $conda deactivate
  $export PYTHONNOUSERSITE=1
  $conda activate <가상환경 이름>

  완료

• ➼ 이제 vscode에서 터미널을 열어 가상환경을 실행하자

  참고사항

  • conda-forge는 다운로드 채널이다 [참고]

의문사항

• 참고자료1, 2, 3
• 현재 버전의 conda 가상환경은 global package에 접근하는가 ?
  • PATH에 기록된 것은 명령어인가? 전부 명령어임
  • package는 어떻게 검색하는가?
• conda 가상환경이 접근하는 폴더는 어디인가 ? (폴더명들의 의미는?)
  • 접근하는 폴더가 바뀌면 shell script를 실행할때 주는 값들도 바뀌어야 하는가?
• conda 가상환경을 복제하려면 어떻게 해야하는가 ?
• global package를 초기화 하려면 어떻게 해야하는가 ?

  끝.

• UTC를 한국표준시(KST = UTC + 9)로 변환 [출처]

      DATETIME(datetime_value, 'Asia/Seoul')

  • 주의사항: 해당 방식은 datetime_value에 단순히 9시간을 추가함 따라서 datetime_value가 UTC인지 아니면 이미 KST로 변환된 값인지 반드시 확인

• (선택) Python3 버전 변경하기
• brew
• wget 설치

  brew install wget

• terminal szh
• Anaconda3 설치( 설치가 안된다면 낮은 버전으로 시도하자 )
  • https://reop.anaconda.com/archive 에서 원하는 버전을 다운로드

    wget https://repo.anaconda.com/archive/Anaconda3-2019.07-Linux-x86_64.sh
    bash Anaconda3-2019.07-Linux-x86_64.sh
    * bash, zsh, sh 등 사용

• R 가상환경 설정

  conda create --name SC_AddCar
  conda activate SC_AddCar
  conda install -c conda-forge r-base=4.1.0 r-essentials
  conda install -c r rstudio
  conda remove --name SC_AddCar --all

0. 잘못 올린 파일만 삭제하고 싶을때는 다음과 같은 방법을 취한다.

   # 원격저장소 및 로컬저장소의 파일을 삭제합니다.
   $ git rm -r [File Name]
   

원격저장소에 있는 파일만 삭제합니다.(로컬저장소의 파일은 삭제되지 않습니다.)

$ git rm --cached -r [File Name]

1. 현재 `로컬저장소A`와 `원격저장소α`의 연결을 끊는다.
```shell
git remote remove origin

2. 로컬저장소A의 .git 디렉토리 삭제

   rm -r .git

3. 로컬저장소B에서 git init수행 후 원격저장소α연결

   git init
   git remote add origin https://github.com/계정/리포지토리.git

4. 현재 상태를 원격저장소α에 적용

   # origin은 git remote -v로 확인 후 입력
   # 이 방법은 master를 origin/master 이전으로 되돌려서 push 오류가 날 때도 유용하다!
   git push --force --set-upstream origin master

• 데이터 분석 준비하기
  • 분석 싸이클/용어/결과해석
  • 시계열 분석 알고리즘 이해
  • 시계열 데이터 패턴 추출
    • 실전 설명변수X의 현실적 데이터 전처리 방향
    • 실전 종속변수Y의 효과적 데이터 전처리 방향
  • 시계열 데이터 분리
  • 레퍼런스 알고리즘 구축
  • 분석성능 확인
  • 분석종료 위한 잔차진단

    데이터 분석 준비하기

    시계열 데이터 패턴 추출

    [실전] 설명변수X의 현실적 데이터 전처리 방향

    $X_i$의 경우 조건수가 높은 것은 죄악시 되므로 조건수를 감소시켜야 한다. 크게 ① Scaling ② Multicorrelineatrity제거 ③ Regularization가 있다.

    ① Scaling

    ② Multicorrelineatrity제거

    VIF를 이용한 방법과 PCA를 이용한 방법이 있다.
• VIF
• PCA

  ③ Regularization

  [실전] 종속변수Y의 효과적 데이터 전처리 방향

  종속변수 Y는 정상화를 통해 더 나은 예측에 도움을 얻는다. 정상화의 사례는 Random Walk ↔ White Noise, 매출 ↔ 점유율, Price ↔ Return 등 이 있으며, 이를 통해 다음과 같은 이점을 얻는다.
  • ① 예측력↑
  • ② Parameter의 수↓
  • ③ 알고리즘에러↓

    시계열 데이터 분리

    시간현실의 반영

    일반적으로 시계열 데이터의 분리는 FE 이후에 진행한다. 그러나 시계열 데이터는 test 데이터에 대한 정보가 미지이므로 train 데이터를 기준으로 test데이터를 추론하거나 train데이터의 경향이 test데이터에 반복된다는 전제를 갖고 수행한다.