Date : January 9, 2024

✅ 첫 이미지 학습 완료

GitHub URL on Cavity Detection AI Model

📌 공동 분석 모델의 발전

• 2023-01-09 공동 분석 모델 개발(CDM)이 시작되었음
• CDM에 jpg 및 xml 파일을 하나씩 학습시킴
• 2023-12-15 당시 에러 발생의 이유를 파악하지 못하였었음
• 에러 발생의 이유는 Google Colab 사용 능력이 부족하였기 때문임
• 당시 학습시킬 파일의 위치 설정을 어떻게 해야되는지 몰랐었음

📌 공동 분석 모델 상태 검토

• 다음 step은 학습된 이미지의 상태를 파악하는 것임
• 아직 이미지 학습 과정이 어떠한지에 대한 모식도가 머릿속에 그려지지 않음
• 따라서 inspecting 과정을 거쳐 디지털 형식의 CDM을 파악해야 됨

🎁 References

• 아래는 학습시킨 이미지(한 장)이며 이는 맨홀을 지날 때의 GPR 신호가 가시화 된 모습임

GitHub URL on Cavity Detection AI Model

Date : December 15, 2023

✅ Python을 활용한 이미지 학습

📌 공동 분석 모델 개발의 시작

• 작성자는 현재 엔지니어링 서비스 업체에서 근무중임
• 역할은 GPR 탐사 및 GPR 데이터 분석임
• 이는 도로 하부에 있을 수 있는 cavity의 존재를 분석하는 것임
• 관련 내용은 아래 "링크드인 프로필"의 "경력 사항"에 작성하였음

📌 현재의 공동 분석 상황

• 업계에서 현재 도로 하부 cavity의 유무는 보통 인력으로 파악중임
• Cavity의 유무는 GPR 안테나의 가시화 된 진폭 신호로 파악할 수 있음
• 그런데 cavity의 형태를 pipe, gravel, air gap 등과 잘 구분되지 않음
• 따라서 숙련된 GPR 신호 분석 인력이 cavity의 존재를 파악해야 되는 상황임

📌 공동 분석 모델 개발의 이유

• 이러한 cavity detection이 계속 인력으로만 진행되는 것은 미래 기술에 어울리지 않음
• 왜냐하면 비슷한 행위를 계속 반복해야되기 때문임
• 물론 공동 분석 관련 AI model이 이미 국내에 있지만 detection 능력이 저조한 상태임
• 따라서 꾸준한 R&D를 통해 공동 분석에 대한 정확도를 상승시켜야 됨

🎁 References

• 작성자의 LinkedIn Profile
• 아래는 GPR 탐사 모습이며 추후 시각화 된 GPR 신호를 공개할 예정임(공개 가능 시)

GitHub URL on Cavity Detection AI Model

Date : January 8, 2024

✅ Stock Price Information

GitHub URL on Stock Price Information

🔔 주식 종가 조회 시스템

• 주요 언어 : Python
• 주요 라이브러리 : BeautifulSoup, Pandas
• 조회 사이트 : 네이버 증권, investing
• 주식 종목 : 삼성전자(005930), SCHD ETF
• 조회 내용 : 200일 동안의 삼성전자 일별 종가, SCHD ETF의 최근 종가

📌 조회 방법 : BeautifulSoup

• 삼성전자 종목 페이지에서 종가가 기입된 페이지를 for 반복문으로 조회
• 페이지 당 기입된 10개 행에 대해 해당 거래일 및 종가를 for 반복문으로 조회
• 조회된 내용을 text 형식으로 return

📌 코드 요약 : BeautifulSoup

• bs4 : BeautifulSoup library ver. 4
• requests : url, header 정보를 이용하여 웹 페이지의 HTML 문서 요청
• response : 요청한 HTML 문서 회신
• URL Information : finance.naver.com
• Header Information : useragentstring.com
• parser : 문서의 내용을 토큰으로 구분하고 파스트리 생성
• isCheckNone : None 값 필터링하여 제외

📌 조회 방법 : Pandas

• 삼성전자 종목 페이지에서 종가가 기입된 페이지를 DataFrame 모듈로 조회
• 조회한 페이지에서 read_html 모듈로 거래일, 종가 등의 데이터 추출
• 추출된 내용을 text 형식으로 return

📌 코드 요약 : Pandas

• DataFrame : Pandas Module
• append : Pandas Module
• read_html : Pandas Module
• ignore_index = True : Pandas Module
• dropna : Pandas Module

from bs4 import BeautifulSoup # BeautifulSoup 라이브러리를 사용하였습니다.
import requests # Requests 라이브러리를 사용하였습니다.

for page in range(1, 6): # 페이지 수를 의미하는 1부터 5까지의 숫자에 대해 반복하였습니다.

  print(str(page))
  # 현재 페이지 번호를 출력하도록 설정하였습니다.

  url_005930 = "http://finance.naver.com/item/sise_day.nhn?code=005930" + "&page=" + str(page)
  # 네이버 금융의 삼성전자의 주식 정보가 있는 페이지에서 페이지 번호(&page=)를 str(page) 파라미터로 추가하였습니다.

  headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"}
  # 웹 서버가 웹 크롤링 요청을 웹 브라우저에서 온 것으로 인식하게 하기 위해 User-Agent 헤더 정보를 작성하였습니다.
  # 참고로 User-Agent 정보는 'https://useragentstring.com/'에서 획득할 수 있으며 이는 사용자의 웹 환경 등의 정보입니다.

  response = requests.get(url_005930, headers=headers)
  # 설정한 url에 HTTP GET 요청을 보낸 후 response 변수에 해당 응답을 저장하게 설정하였습니다.

  soup = BeautifulSoup(response.text, "html.parser")
  # response에 저장된 응답 중 HTML 내용을 사용하여 BeautifulSoup 객체를 생성하였습니다.
  # BeautifulSoup 객체를 이용하여 HTML 내용을 파싱(분석)할 수 있습니다.

  parsing_list = soup.find_all("tr")
  # HTML 내용 중 'tr' 태그가 포함된 모든 문자열(행)을 찾아 리스트로 반환시켰습니다.

  isCheckNone = None
  # None 값에 대한 비교를 위한 변수를 설정하였습니다.

  for i in range(1, len(parsing_list)):
  # parsing_list 내용에 있는 'tr' 태그가 포함된 행을 반복하였습니다.

    if(parsing_list[i].span != isCheckNone):
    # 유효한 데이터 행 정보만 취득하기 위해 'span' 태그의 내용이 None이 아닌지 확인하였습니다.

      print(parsing_list[i].find_all("td", align="center")[0].text,
            # 해당 'tr' 태그 내에서 'td' 태그 중 align 속성이 "center"인 첫 번째 요소([0])의 텍스트(날짜)를 출력합니다.

            parsing_list[i].find_all("td", class_="num")[0].text)
            # 같은 'tr' 태그 내에서 'td' 태그 중 class 속성이 "num"인 첫 번째 요소([0])의 텍스트(주식 종가)를 출력합니다.

🎁 References

• FastCampus의 Selena 강사님 강의

GitHub URL on Stock Price Information

🔔 Introduction

"HTTP가 무엇입니까?" 라는 질문에 가장 잘 어울리는 답변은 "인터넷이요" 라고 생각합니다. 우리가 수시로 접속하는 웹 페이지의 주소에는 보통 https 또는 http가 있기 때문입니다. 그런데 자주 접하는 HTTP 단어임에도 HTTP가 무엇인지 정의하기는 어렵습니다. 왜냐하면 HTTP가 아닌 인터넷 환경과 종류는 감히 상상하기 조차 어렵기 때문입니다.

HTTP, 이제 머릿속 깊은 곳에 입력시켜 드리겠습니다.

📌 Step 1. HTTP : 문자적 접근

HTTP는 Hypertext Transfer Protocol의 축약어입니다. "Hypertext"는 "최고의 글"이라는 의미로 Hyper 및 Text의 합성어입니다. "Hyper"는 "super", "최고의", "넘어서"라는 의미를 담고 있습니다. "Text"는 "글"이라는 뜻입니다.

"Transfer"는 "이동", "이동하다"라는 뜻이 있습니다. "Protocol"은 "약속", "규약"이라는 의미가 있습니다. 즉, HTTP는 Hypertext라는 것의 이동에 필요한 하나의 약속입니다.

한편 "Hypertext"가 세상에 나오기 전에는 "Text"가 자리를 잡고 있었습니다. 그렇다면 과거 "Text"였던 인터넷 환경은 어떤 모습이었을까요?

📌 Step 2. Text : 과거 인터넷 환경

1990년, HTTP가 세상에 처음 등장하였고 1992년부터 보급되기 시작하였습니다. 당시의 HTTP는 좋은 기술이었지만 대중화가 되지 않은 초창기 상태였습니다. 그래서 컴퓨터 모니터 화면은 주로 text로만 구성된 상태였습니다. 이는 일명 '블루스크린'이었으며 웹의 초창기 모습은 아래와 같았습니다.

상기 이미지는 과거 우리나라의 나우누리 웹 페이지의 모습입니다. 이는 BBS (Bulletin Board System)가 적용된 웹 페이지였습니다. BBS는 전자 게시판이라고 표현되며 이를 활용한 기업은 우리나라의 나우누리, 하이텔, 천리안 등이 있었습니다.

현대 시대의 웹 페이지와는 확연한 이질감이 느껴집니다. 이 BBS 환경에서는 JPG, PNG, GIF 형식 등의 시각적인 무언가를 찾기 어렵습니다. 또한 하이퍼링크를 통한 페이지 이동을 할 수도 없었습니다. 과거의 BBS 방식의 인터넷 환경이 발전되면서 현재의 HTTP가 탄생한 것입니다.

Date : December 13, 2023

🔔 Introduction

인터넷을 작동시키기 위해서는 컴퓨터의 전원을 켜고 LAN 포트에 랜선을 연결하면 됩니다. PC와 연결된 랜선의 다른 끝부분은 벽면의 랜포트 또는 와이파이 공유기로 연결됩니다. 그렇다면 벽면 또는 와이파이 공유기에 있는 랜포트의 보이지 않는 종착 지점은 어디일까요? 이번 글에서는 인터넷의 의미와 작동 원리에 대해 알아보겠습니다.

📌 인터넷이란

인터넷이 어떻게 작동되는지 이해하려면 먼저 인터넷이 무엇인지를 인지해야 됩니다. Internet이란 Inter + Network의 합성어이며 네트워크가 연결된 상태를 의미합니다. 그리고 Network란 Net + Work의 합성어이며 작업 공간이 얽혀져있는 것을 뜻합니다. 그러므로 작업 공간이 이어진 상태를 네트워크 및 인터넷이라고 표현할 수 있겠습니다.

이 네트워크 개념은 몇 가지 분류에 따라 아래와 같이 구분됩니다.

1. 규모에 따른 네트워크 분류 → PAN, LAN, MAN, WAN 등
2. 무선(wireless) 상태의 네트워크 분류 → SAN, VPN 등
3. 데이터 전송 방식에 따른 네트워크 분류 → 패킷 교환 방식, 셀 릴레이 방식 등
4. 노드(node) 연결 형태에 따른 네트워크 분류 → 버스형, 스타형, 링형 등

여러 네트워크 개념 중 이번 글에서는 규모에 따른 유선 네트워크 분류만을 다뤄보겠습니다.

작업 공간을 PC로 가정했을 경우 작업을 하려면 컴퓨터의 전원이 켜진 상태여야 됩니다. 전원이 켜진 상태의 컴퓨터 한 대는 작업을 할 수 있는 환경입니다. 하지만 다른 컴퓨터와 작업이 연결된 상태라고 보기는 어렵습니다. 왜냐하면 타 컴퓨터와 데이터를 주고 받을 수 있는 상태가 아니기 때문입니다.

다른 컴퓨터와 작업이 연결되어 있지 않다는 것은 네트워크 환경이 아님을 의미합니다. 네트워크 환경이 아니기에 인터넷이 작동된다고 보기도 어렵습니다.

그렇다면 인터넷은 어떻게 작동되는 것일까요?

📌 Case 1. 컴퓨터끼리의 연결

IP 주소를 보유한 서로 다른 컴퓨터끼리 연결시킬 수 있는 가장 간단한 방법은 데이터 전송이 가능한 케이블로 서로를 연결하는 것입니다. 이는 인터넷 환경의 초창기 형태로 볼 수 있겠습니다. 이 상태는 같은 공간 안에 존재하는 컴퓨터들끼리의 작업이 서로 연결된 상태입니다. 그러므로 작은 규모의 인터넷이 작동했던 것입니다.

하지만 수많은 컴퓨터가 연결된 네트워크 환경을 구축하기 위해서는 무수히 많은 케이블과 공간이 필요하다는 단점이 있었습니다.

컴퓨터들끼리 케이블을 연결한 모식도는 아래와 같습니다. (출처: Mozilla)

📌 Case 2. 공유기(Router)끼리의 연결

Case 1에서의 단점을 보완해주기 위해 개발된 것이 공유기(router)입니다. 공유기는 여러 노드(node)와의 연결을 돕는 중계 장치 역할을 합니다. 서로 다른 전자기기라도 같은 공유기에 연결하면 데이터 교환이 가능한 상태가 됩니다. 참고로 노드란 IP 주소를 보유한 컴퓨터, 스마트폰 등의 정보 처리 장치입니다.

그러므로 공유기를 활용하면 근처 컴퓨터들끼리의 연결 효율이 더 좋아집니다. 이러한 네트워크 연결망은 회사 또는 학교 정도의 규모까지는 확장시킬 수 있습니다.

아래는 carrier class의 대규모 공유기의 외관입니다. (출처: Wikipedia)

최근 와이파이 공유기가 상용화되면서 공유기라는 단어는 우리에게 친숙합니다. 하지만 이번 글에서 말씀드리는 공유기는 가정용 공유기(home router)가 아닙니다. 아래는 소형 공유기의 외관입니다. (출처: Wikipedia)

공유기에 연결된 컴퓨터들끼리의 네트워크 개념도는 아래와 같습니다. (출처: Mozilla) 참고로 와이파이 공유기 등 무선 연결과 관련된 내용은 추후 작성해보겠습니다.

📌 Case 3. 모뎀(Modem)과 공유기의 연결

네트워크의 규모에 따라 네트워크는 크게 네 가지로 구분됩니다.

1. PAN: 가장 작은 규모의 네트워크 # Personal Area Network
2. LAN: 집, 학교, 회사 정도 규모의 네트워크 # Local Area Network
3. MAN: 도시, 대학교 캠퍼스 정도 규모의 네트워크 # Metropolitan Area Network
4. WAN: 대륙과 대륙, 국가와 국가 규모의 네트워크 # Wide Area Network

따라서 근래의 인터넷이란 WAN 네트워크를 의미한다고 표현하는 것이 적절하겠습니다. 데이터의 교환이 대륙이나 국가와 같은 물리적인 공간을 관통하기 때문입니다.

그런데 Case 2와 같이 공유기끼리로만 형성된 네트워크 규모는 LAN 정도입니다. 그렇다면 LAN 규모였던 네트워크를 WAN 규모로 확장시킬 수 있었던 방법은 무엇일까요?

불가능할 것 같았던 거대 규모로의 네트워크 확장은 전화 통신 인프라로 해결되었습니다. 전화 통신 인프라는 이미 광범위한 통신망으로 전 세계에 구축된 상태였습니다. 그렇지만 전화 통신망은 아날로그(analog) 신호를 이용하고 있었습니다. 아날로그는 진동, 전압, 전류 등의 물리적인 신호입니다. (전화 통신 인프라: telecommunications infrastructure)

이와는 달리 컴퓨터에서 발생된 네트워크 정보는 디지털(digital) 형태입니다. 따라서 기존에 아날로그 신호만 통하던 전화 통신망을 네트워크 망으로 이용하기 위해서는 디지털 신호와 아날로그 신호를 서로 교환해주는 장치가 필요한 상황이었습니다.

그래서 개발된 장치가 바로 모뎀입니다. 모뎀의 역할은 디지털 및 아날로그 신호를 서로 변환해주는 것입니다.

정리하겠습니다. 현재와 같은 인터넷 환경이 구축되기까지 복잡한 일련의 과정이 있었습니다. 인터넷 환경은 서로 다른 기기와의 데이터 송수신이 가능한 상태를 뜻합니다. 이러한 인터넷이 정상 작동하려면 노드, 공유기, 모뎀이 동시에 동작하여야 됩니다.

노드, 공유기, 모뎀이 연결된 모식도는 아래와 같습니다. (출처: Mozilla)

📌 ISP의 네트워크 관리

근래 네트워크는 상기 내용과 같이 노드, 공유기, 모뎀이 연결된 상태입니다. 그리고 우리의 디지털 정보는 케이블을 따라 이들 장치를 통해 전송되며 공유됩니다. 한편 데이터가 송수신되는 네트워크 환경은 개인이 관리하기 어렵습니다.

그래서 거대한 규모의 네트워크를 관리하는 업체가 존재하게 됐습니다. 이 관리 업체를 ISP (Internet Service Provider)라고 합니다. ISP의 역할은 송신 목적의 네트워크 정보 등을 수신 가능한 목적지로 연결시켜주는 것입니다. 즉, ISP의 역할은 인터넷 환경을 정상적으롤 유지하는 것이라고 표현할 수도 있겠습니다.

이번 글에서는 인터넷 작동 원리를 파악해보았습니다. 다음 글에서는 HTTP가 무엇인지 알아보겠습니다. 아래 이미지는 방대한 인터넷 환경에 대한 개념도입니다. (출처: Wikipedia)

🎁 References

1. Developer ⏩ Mozilla
2. Youtube ⏩ Lesics
3. Youtube ⏩ BLASTERTECHNOLOGY
4. Youtube ⏩ 쉬운코드
5. CCTV 뉴스 ⏩ 최형주 기자님

Date : December 8, 2023

🔔 2022년 12월 23일,

구글의 개발자 Kamran Ahmed가 설립한 roadmap.sh의 백엔드 로드맵이 업로드 되었습니다. 해당 로드맵은 2023년 버전으로 roadmap.sh/backend에 업로드 된 내용입니다.

상기 로드맵의 내용을 참고하여 차근차근 백엔드 개발자로 되어 보려고 합니다. 이제 Internet이 어떻게 작동하는지부터 알아보겠습니다.

🎁 Reference

Roadmap.sh