준비 사항

먼저 조건에 맞는 pytorch 버전을 설치합니다.

!pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113

그리고 git clone을 해줍니다. 레포지토리 및 YOLOv5모델에 대한 설명은 [파이토치허브] (https://pytorch.kr/hub/ultralytics_yolov5/)에서 확인할 수 있습니다.

!git clone https://github.com/ultralytics/yolov5

requirements를 깔아줍니다.

!cd yolov5
!pip install -r requirements.txt

dependency를 설치합니다.

#install dependencies
import torch 
from matplotlib import pyplot as plt
import numpy as np
import cv2

모델 불러오기

이제 파이토치 허브에 있는 YOLOv5모델을 불러옵니다.

model = torch.hub.load('ultralytics/yolov5', 'yolov5s')

다음과 같이 입력하면 모델 안의 layer의 구성을 확인할 수 있습니다.

model

모델 적용하기

먼저 공식 문서에 있는 사진(img)을 모델에 적용해보겠습니다.

img = "https://ultralytics.com/images/zidane.jpg"
results = model(img)
results.print()

실행한 결과 다음과 같이 이미지의 크기, 인식한 객체의 종류와 개수 등이 출력된 것을 확인할 수 있습니다. 이제 이미지를 랜더링한 후 출력합니다. 출력된 이미지 결과를 보면 위에 results.print()에서 출력된 것처럼 사람 2명, 넥타이 2개가 인식된 것을 확인할 수 있습니다.

%matplotlib inline
plt.imshow(np.squeeze(results.render()))  
plt.show()

이제 로컬 파일에 있는 이미지를 모델에 적용해보겠습니다.

from google.colab import files
uploaded = files.upload()

업로드한 사진을 이전과 동일한 방법으로 모델에 적용한 후 결과를 출력하면 인식된 객체의 종류와 개수를 확인할 수 있습니다. 인식할 사물이 많은 사진을 찾다가 이 사진을 적용해봤는데, 포크와 나이프가 여러 각도로 배치되었고 맨 앞 사람은 얼굴의 반만 나왔는데도 대부분 맞게 인식되었습니다.

Full Stack Deep Learning 강의를 듣고 정리한 내용입니다.

Common Data Management Path for Deep Learning

• 딥러닝 과정 중에는 가지고 있는 데이터를 GPU 옆의 local filesystem에 옮기는 작업이 필요하다. 데이터를 train가능한 형태로 옮기는 방법은 프로젝트나 회사마다 다르다. 예를 들면:

  • train your images on ImageNet, and all the images are just S3 URLs -> simply download them over to the local filesystem.

  • a bunch of text files -> use Spark to process them on a cluster and Pandas data frame to analyze/select subsets that will be used in the local filesystem.

  • collect logs and records from your database into a data lake/warehouse (like Snowflake) -> process that output and convert them into a trainable format.

• Key Points in Data Management

  • Let the Data flow through you
    • Spend a lot of time exploring the dataset.
  • Data is the best way to improve your overall ML project
    • adding more data & augumenting the existing dataset is better than trying new architectures.
  • Keep it Simple Stupid
    • Do not over-complicate things! #

      Data Sources

• Where do the training data come from?

  • 대부분의 딥러닝 프로젝트에서 labeled data를 요구함.
  • (예외: 강화학습, GANs, GPT-3)
  • 이미 publicly labeled된 dataset을 사용할 수도 있겠지만 이를 딱히 경쟁력있는 단점은 없음.
  • 그래서 많은 회사들이 자신이 가진 데이터를 labeling하는 데 많은 시간과 돈을 투자함.

• Data Flywheel

  • user들을 label과정에 참여시킴.
  • if you can get your models in front of the users, you can build your products in a mechanism that your users contribute good data back to you and improve the model predictions.

• Semi-Supervised Learning

  • 
  • data의 일부를 가지고 automatically label.
  • online fashion(처음부터 사람이 아예 개입하지 않고 데이터 labeling 진행 가능)
    • text
    • SEER
      • Vision에 적용한 Semi-Supervised Learning
      • by FacebookAI
      • Trained on 1B random images
      • Open Source library

• Image Data Augmentation

  • Must do for training vision models
  • Frameworks에서 augmentation을 제공함.(e.g.torchvision)
  • Done in parallel to GPU training on the CPU

• Other data augmentation

  • Tabular
    • Delete some cells to simulate missing data
  • Text
    • replace words or order of things(but not well established)
  • Speech/Video
    • crop out parts, shrink/grow the timeline, inject noise, mask at different frequencies

Data Storage

• Filesystem
  • Foundational layer of stroage.
  • Fundamental unit is a "file".(can be text or binary)
  • Can be:
    • locally mounted
    • networked
    • distributed
  • Fastest option when it comes to storage
• Local Data Format
  • binary data: just files
  • large tabular/text data:
    • HDF5(powerful but bloated and declining)
    • Parquet(widespread and recommended)
    • Feather(powered by Apache Arrow, up-and-coming)
  • Try to use native Tensorflow and PyTorch dataset classes
• Object Storage
  • An API over the filesystem
  • GET PUT DELETE files to a service w/o worrying where tey are stored
• Database
  • Online Transaction Processing(OLTP)
  • Everything is actually in RAM, but software ensures that everything is logged to disk and never lost.
  • Not for binary data!(store references instead)
  • Postgress is a nice choice. Supports unstructured JSON.
    • SQLite is perfect for small projects.
  • Avoid NoSQL
• SQL and DataFrames
  • Most data solutions use SQL. Some(like Databricks) use DataFrames.
  • SQL is the standard interface for structured data.
  • Pandas is the main DataFrame in the Python ecosystem.
  • advice: be fluent in BOTH
• Data Lake
  • Unstructured aggregation of data from multiple sources
  • ELT: dump everything in, then transform for specific need later.

    Data Processing

• 

Feature Stores

Data Labeling

User interfaces

• Standard set of features
  • bounding boxes, segmentations, keypoints, cuboids
  • a set of applicable classes
• Training annotators is crucial
  • And quality assurance is key!

Sources of labor

Service companies

- FigureEight - Scale.ai - Labelbox, etc.

Data Versioning

Level0: unversioned

Level1: versioned via snapshot at training time

Level2: versioend as a mix of assets and code

Level3: specialized data versioning solution

• DVC: Open-sources version control system for ML learning projects
  • 

• 컴퓨터 파일 시스템에서 관련 있는 데이터들끼리 모아놓은 것
• 통상적으로 DBMS(Database Management System)를 Database라고 일컫는다.
  • DBMS: 데이터를 더 효과적으로 관리할 수 있는 시스템(DB관리 엔진)
  • 많이 쓰이는 DBMS: Oracle, MySQL, DynamoDB, PostgreSQL, mongoDB
• 특징
  • 데이터를 저장하고 읽어오는 데 최적화됨.
  • 복잡한 데이터를 다룰 수 있음.
  • 안전하게 동시다발적으로 접근할 수 있음.
  • 보안이 뛰어나다.
  • 파일 시스템에 비해 복잡하다.
• DBMS의 두가지 종류
  • SQL(Structured Query Language)
    • 관계형(Relational) DBMS임.
    • 관련 있는 데이터들을 table로 만들어 두고 이들의 관계를 정의할 수 있다.
  • NoSQL
    • SQL이 아닌 모든 것을 가리킴.
    • 관계가 없는 데이터베이스를 말함.
    • Key-Value, Document, Wide-column, Graph 등 여러가지 데이터베이스 타입이 존재함.
  • SQL과 NoSQL의 장단점 및 차이점을 알아서 어떤 것을 사용하면 좋을지 잘 판단해야함.

#

SQL Database

• Excel에서 흔히 데이터를 저장하는 방식과 비슷함.
• 행과 열로 이뤄진 table사용, 여러가지 종류의 table존재
• 행마다 특정 data type을 지정해야 한다.
• 모든 요소가 다 정의된 한 줄의 데이터를 record라고 한다.
• Schema를 정의함으로서 data integrity를 지킬 수 있다.
• primary key: table에서 정말 중요한 식별자가 id 정보를 담음.
  • primary key를 바탕으로 검색의 최적화가 이루어짐.
• foreign key: 두 개의 서로 다른 key의 관계를 정의해줌. #

  SQL Query의 기본 구조

• 세 가지 주요 명령어: SELECT, FROM, WHERE
• SELECT: table에서 어떤 행을 선택할 건지 결정
  • ex) SELECT *: 유저가 가진 모든 행에 대한 데이터를 가져옴.
• FROM: 어떤 table에서 데이터를 가져올 건지 결정
  • ex) SELECT Name FROM User: User테이블의 Name에 대한 데이터를 가져옴.
• WHERE: 조건을 걸 때 사용
• 예시

SELECT *FROM Users WHERE name LIKE '%Bob%';

[Users]

Users라는 table의 모든 행을 선택하되 이름이 Bob인 행을 찾아달라는 의미이다.

• 유명한 SQL Database: Oracle, SQLite(핸드폰이나 임베디드 시스템에서 자주 사용), SQLServer, MySQL(보편적), PostgreSQL(최근 but 약간 복잡)

#

NoSQL

• Why NoSQL?

  • 빅데이터가 뜨기 시작하면서..

• 특징

  • Schema가 없다.
  • 관계형이 아니다. 데이터들이 서로 관계가 없으므로 고립된 형태로 분산해서 여러 서버에 나눠 관리할 수 있다.
  • 특수 문제 해결을 위해 사용됨.
  • Key-Value, Document, Wide-Column, Graph 등의 type이 존재.

• Web상에서 가장 많이 사용되는 mongoDB

  • document database(document로 데이터 관리->json형태로)
  • collection을 사용해 데이터가 정리됨. collection들은 개별적으로 관리(서로 다른 서버에 보관)하는 것이 가능하다.
  • 데이터 간의 관계를 설정하지 x. 차라리 중복해서 사용함.
  • 데이터베이스에서는 어떤 정보가 정확한 지 알 수 없으므로 개발자가 스스로 컬렉션을 잘 관리해야 함.

• 유명한 NoSQL Database: cassandra(Wide Column), Cloud Bigtable(Wide Column), neo4j(Graph), Redis(Key-Value), mongoDB(Document), DynamoDB(Key-Value)

#

ORM과 ODM

• ORM(Object Relational Mapping)

  • 원래는 코드 내의 Object들을 어떻게 데이터베이스의 Table로 변환할 건지, 어떻게 Schema를 만들건지 등을 직접 고민해야함.
  • ORM이란, 위 작업들을 자동으로 해주는 엔진 라이브러리. (DB추상화 도구)
  • 사용방법
    • 1. 코드 상으로 schema정의 후 프로그램 실행
    • 2. 자동으로 table생성해줌.
    • 3. 자동으로 data를 table에 기록해줌.
  • 장점
    • DB query에 신경쓰지 않고 어플리케이션의 business logic에 집중할 수 있다.
    • boilerplate code를 줄일 수 있다.
    • 추상화 level이 추가됨.
    • Schema가 변경된다면 자동으로 처리해주는 migration 지원.
  • 단점
    • ORM API만으로는 복잡한 query를 할 수 없음.
    • 느림. 메모리 최적화 x.
  • 자주 사용되는 ORM: TYPEORM, Sequelize, Prisma

• ODM(Object Document Mapper)

  • mongoose, mongoDB 등이 존재
  • 추상화 단계 추가됨.

SQL vs. NoSQL

• 확장성
  • 수직 확장: SQL은 서로 다른 table이 연관되었기 때문에 하나의 table을 다른 table에서 불러다 써야 하는 경우가 다수 존재함. 따라서 이 table들을 다른 server에 저장해 두는 것이 없음. 따라서 server를 수직적(CPU, RAM, DISC추가 등)으로 확장해야함.
  • 수평 확장: NoSQL은 table간의 관계성이 없으므로 여러 server에 데이터를 나눠서 저장할 수 있음. 따라서 여러 대의 server를 사용해 수평적으로 확장할 수 있음.
• SQL vs. NoSQL 무엇을 사용할지에 대한 판단 기준
  • 1. 어떤 data type을 저장할 것인가?
  • 2. 얼마나 많은 사용자를 예상하는가?(데이터양)
  • **3. 데이터들이 서로 관계가 있는가?
  • 그치만 많은 기업들이 hybrid 형식을 사용(상황에 따라 SQL과 NoSQL 혼합 사용)

MySQL 실습

• table 만들기

• foreign key 만들기

• client가 server에게 특정한 요청을 보낼 때 body로 보내는 데이터들이 유효한지 확인하는 과정.
• DB쪽에서 필요한 데이터가 모두 전달되었는지 확인할 수 있음. 하지만 db에서 유효성 검사를 할 때까지 기다리는 것은 별로임. server에서도 유효성 검사를 빨리 하면 할 수록 좋음(불필요한 비용을 줄일 수 있기 때문에)
• client쪽에서도 client만의 유효성 검사를 할 수도 있음. (대부분의 경우 이것은 optional하기 때문에 server에서 반드시 validation을 해줘야 한다.)

#

Authenication이란?

• Authenication(인증): you are who you say you are- 누구인지 식별
  • password, pincode(what you know:알고 있는 것)
  • mobile phone, hardware token(what you have: 가지고 있는 것)
  • fingerprints, signature(what you are: 생체 정보나 자필 서명)
• HTTP는 stateless protocol(상태를 보관하고 있지 않음)임.
  • 그렇다면 AUTH는 어떻게 일어나는가?
    • session + cookie
    • JWT #

Session

• 사용자의 세션을 서버에서 보관.
• 1. client가 서버에 로그인
• 2. server는 db에 있는 사용자의 id, pw가 일치하는지 확인
• 3. 유효한 사용자라면 session을 만든다.(session id, user id, expiration정보 포함)
• 4. session정보를 session이라는 별도의 database에 저장한다.(대부분의 경우)
• 5. client에게 session과 관련된 정보를 쿠키에 담아 보내준다.
  • HTTP Only라는 옵션을 주게 되면 해당 쿠키는 브라우저에 의해서만 읽을 수 있다. js나 프로그램 내에서는 읽을 수 없고 브라우저 내에서만 읽어서 다시 서버에 보낼 수 있는 안전한 방법임.
• 장점:
  • session db에 모든 세션에 대한 정보를 보관하므로 신뢰할 수 있는 데이터임
  • 쿠키를 사용하기 때문에 client측에서 별도의 처리를 하지 않아도 브라우저에서 simple하게 대신 함.
  • HTTPonly 옵션을 사용하므로 보안이 좋다.
  • cookie를 사용하므로 사용자 정보를 직접적으로 전달하지 않고 session id만 사용하므로 보안이 좋다.
• 단점: Stateful. 한 세션에 정보를 보관하고 있으므로 여러 개의 서버들이 session에 대한 정보를 얻기 위해 하나의 서버에 접속한다. 이 때 네트워크 요청을 하는 과정에서 시간이 많이 걸릴 수 있다. #

JWT란?

• JSON Web Token
  • JSON안의 header, payload, signature에 AUTH정보를 담고 있음.
    • header: 사용하는 algorithm과 type
    • payload: 주고받고자 하는 data가 encoding된 형태로 저장
    • signature: encoding한 헤더와 payload부분, encoding할 때 사용한 서버의 비밀 키(secret)-> 정보의 유효성을 지킬 수 있다.
• 1. client가 서버에 로그인
• 2. server는 db에 있는 사용자의 id, pw가 일치하는지 확인
• 3. 유효한 사용자라면 JWT를 만든다.
• 4. JWT를 사용자에게 보낸다.
• 5. 추후에 발생하는 api요청에 대해 JWT를 헤더에 포함한 상태로 server에게 보낸다.
• 6. Verify: server측에서 JWT가 수정되어있는지, 정보가 정확한지, 만료되지 않았는지 등 유효성 검사 실시
• 7. 해당 데이터를 client에게 보낸다.
• 장점: server에 state가 없다. session을 사용할 때는 server에 session이라는 상태가 필요했음. 반면 JWT는 한번 JSON파일을 생성해 client에게 보내주고 다시 검증하는 과정만 거치면 되기 때문에 하나의 서버에 접속하는 과정이 필요 없다. 그냥 server들이 secret key만 가지고 있으면 됨.
• 단점: client와 server가 계속 JWT를 주고받기 때문에 보안에 취약할 수 있다. #

bcrypt - 패스워드 안전하게 보관하기

• bcrypt: password-hashing function
• 사용자가 설정한 id와 pw를 암호화 알고리즘을 통해 hashing된 상태로 db에 저장.
  • Alg정보/cost/salt/hash로 구성되어 있음
  • 해킹 방지를 위해 salt사용(암호화를 더 복잡하게)

Configuration

• server code를 깃허브 등의 open source에 올릴 때 주의해야 할 사항
  • secret key도 함께 올리면 사용자의 정보가 유출될 위험이 크다.
  • 따라서 secret key관련 정보는 공개적으로 올리지 않는다. local에서만 가지고 있어야 함.(보통 따로 보관해놓음)
• server의 설정성/유연성
  • salt나 expire에 관한 정보가 코드에 들어 있어서 개발자가 관련 정보를 고치고 싶다면 코드를 고친 후 컴파일해서 다시 배포해야 한다. -> 설정성이 떨어짐+시간이 오래 걸림.
  • 따라서 코드를 변경하지 않고도 설정값을 바꿀 수 있게 해야 한다.

Socket

• 기존의 HTTP는 request와 response로 이루어짐. client가 요청을 해야만 server가 대답할 수 있는 상태.
• 반면에 socket에서는 client와 server가 연결되어 있기만 하다면 server에 변동사항이 생겼을 때 이를 client의 request 없이도 보내줄 수 있다.(원할 때마다 전송 가능)
• client와 server용 socket.io를 각각 설치해 연결한다.

Full Stack Deep Learning 강의를 듣고 정리한 내용입니다.

📌3 Buckets of ML Infrastructure & Tooling Landscape

• ** Data**

-    Sources
-    Data Lake/Warehouse
-    Processing
-    Exploration
-    Versioning
-    Labeling

• Training/Evaluation

-     Compute
-    Resource Management
-    Software Engineering
-    Frameworks & Distributed Training
-    Experiment Management
-    Hyperparameter Tuning

• Deployment

-    CI/Testing
-    Edge(mobile/robotic hardware)
-    Web
-    Monitoring

📌Software Engineering

• Programming Language

  • Python, because of the libraries
  • Clear winner in scientific and data computing #

• Editors

  • use text editors
  • Vim, Emacs, Jupyter, VS Code, PyCharm
  • VS Code makes for a very nice Python experience
    • built-in git staging and diffing
    • peek documentation
    • Open whole projects remotely
    • Lint code as you write
    • Use the terminal integrated in the editor
    • notebook port forwarding (opens notebooks(e.g.Jupyter) in the browser seamlessly)
    • Linters and Type Hints
    • Static analysis can catch some bugs(like using a variable never defined)
    • Static type checking both documents code and catches bugs
  • Jupyter Notebooks
    • Notebooks have become fundamental to data science
    • Great as the "first draft" of a project
    • Jeremy Howard from fast ai. 추천!!(course.fast.ai videos)
    • Problems with notebooks: hard to version, notebook IDE is primitive, very hard to test, out-of-order execution artifacts, hard to run long or distributive tasks
    • Counterpoints to these problems: some companies has made good workflow in the notebook
  • Streamlit
    • New, but great at fulfilling a common ML need: interactive applets
    • Decorated normal Python code
    • smart data caching, quick re-rendering #

• Setting up environment

  • 

📌Compute Hardware

• GPU
  • NVIDIA is the only game in town
  • Google TPUs are the fastest #
• Cloud
  • Amazon Web Services, Google Cloud Platform, Microsoft Azure are the heavyweights.
  • Heavyweights are largely similar in function and price.
    • AWS most expensive
    • GCP just about as expensive, and has TPUs
    • Azure reportedly has bad user experience
  • Startups are Coreweave, Lamda Labs, and more #
• On-prem
  • Build your own
    • Up to 4 Turing or 2 Ampere GPUs is easy
    • All you need to know: http://timdettmers.com/2018/12/16/deep-learning-hardware-guide/
  • Buy pre-built
    • Lambda Labs, NVIDIA, and builders like Supermicro, Cirrascale, etc. #
• In Practice
  • Even though cloud is expensive, it's hard to make on-prem scale past a certain point
  • Dev-ops(declarative infra, repeatable processes) definitely eadier in the cloud
  • Maintenance is also a big factor #
• Recommendation for hobbyist
  • Development
    • Build a 4x Turing or 2x Ampere PC
  • Training/Evalutaion
    • Use the same PC, just always keep it running
    • To scale out, use Lambda or Coreweave cloud instances.

📌Resource Management

📌Deep Learning Frameworks

• Unless you have a good reason not to, use Tensorflow/Keras or PyTorch
• Both have converged to the same point:
  • Tensorflow uses eager execution -> Pytorch랑 비슷한 code 작성 가능, and Pytorch got faster using TorchScript
• Most new projects use PyTorch (because it's more dev-friendly)
• fast.ai library builds on PyTorch with best practices
• PyTorch-Ligthning adds a powerful training loop #
• Hugging face
  • Tons of NLP-focused model architectures (and pre-trained weights) for both PyTorch and Tensorflow #
• Distributed Training
  • Using multiple GPUs and/or machines to train a single model.
  • More complex than simplt running different experiments on different GPUs
  • A must-do on big datasets and large models #
• Data Parallelism
  • 
  • If iteration time is too long, try training in data parallel regime
  • For convolution, expect 1.9x/3.5x speedup for 2/4 GPUs.

#

• Model Parallelism
  • 
  • Model parallelism is necessary when model does not fit on a single GPU
    • Introduces a lot of complexity and is usually not worth it.(But this is changing.)
    • Better to buy the largest GPU you can, and/or use gradient checkpointing

📌Experiment Management

• Problem:
  • Even when running one experiment at a time, you can lose track of which code, parameters, and dataset generated which trained model.
  • When running multiple experiments, problem is much worse.
• Solutions:
  • Tensorboard
    • A fine solution for single experiments
    • Gets unwieldy to manage many experiments, and to properly store past work
  • MLFlow Tracking
    • self-hosted solution from DataBricks
  • Comet.ml
  • Weights & Biases
    • publish reports with embedded charts, figures, etc.

📌Hyperparameter Tuning

📌All-in-one Solutions

• Single system for everything
  • development(hosted notebook)
  • scaling experiments to many machines(sometimes even provisioning)
  • tracking experiments and versioning models
  • deploying models
  • monitoring performance
• FBLearner Flow
• Google Cloud AI Platform
• Amazon SageMaker
• Neptune Machine Learning Lab
• FLOYD
• gradient by Paperspace
• Determined AI
• Domino Data Lab

# :) #

💡READING: https://storage.googleapis.com/pub-tools-public-publication-data/pdf/43146.pdf

Full Stack Deep Learning 강의를 듣고 정리한 내용입니다.

📌Transfer Learning in Computer Vision

• Resnet-50와 같은 deep neural network(NN)들은 성능이 좋긴함.

• But they are so large that it overfits on our small data.

• Solution: ImageNet을 사용해 NN을 train한 후 fine-tuning하기

• Result: better performance!

• Fine-tuning model: ImageNet을 사용해 모델을 학습시킨 후 마지막 몇 개의 layer만 다른 것으로 replace.

• Tensorflow와 Pytorch로 쉽게 구현 가능.

📌Embeddings and Language Models

• NLP에서의 input: sequence of words.
• Deep Learning에서의 input: vectors.
• How do we convert words to vectors?
• Idea: one-hot encoding
  • look up whatever words you need to encode in the dictionary.
  • All-zero vector except one at the position where that word is in the dictionary.
  • Problem: scales poorly with vocab size.
  • Logically violates what we know about word similarity
• SOL1)Map one-hot to dense vectors
• SOL2)Learn a Language Model
  • "pre-train" for your NLP task by learning a really good word embedding
  • How? -> train for a very general task on a large corpus of text(e.g., wikipedia).
  • N-Grams: Slide an N-sized window through the text, forming a dataset of predicting the last word.
  • Skip-Grams: N-Gram의 성능을 향상시킬 수 있음. Look on both sides of the target word and form multiple samples from each N-gram.
  • How to train faster: use binary instead of multi-class

📌NLP's ImageNet moment: ELMO and ULMFit on datasets

• Word2Vec and GloVe embeddings became popular in 2013-14

• 많은 task에서 정확도를 큰 폭으로 높임.

• But these representations are shallow:

  • only first layer would have benefit of seeing all of Wikipedia
  • rest of the layers would be trained on the task dataset( your data), which is way smaller

• Why not pre-train more layers and disambiguate words, learn gramar, etc? -> ELMO 에서 처음 적용함

  • SQuAD dataset

  • SNLI dataset

  • GLUE dataset

  • ULMFit

  • similar to ELMO

  • took hackers' approach to deep learning

📌Transformers

• 💡Attention in detail

  • Input: sequence of tensors
  • Output: sequence of tensors, each one a weighted sum of the input sequence
  • Not a learned weight, but a function of x_i and x_j
  • How do we learn weights?
    • 1)Query: Compared to every other vector to comput attention weight for its own output y_i
    • 2)Key: Compared to every other vector to comput attention weight w_ij for output y_j
    • 3)Value: Summed with other vectors to form the result of the attention weighted sum
  • Mulitiple Heads
  • Layer Normalization
    • Neural networks work best when inputs to a layer have uniform mean and standard deviation in each dimension.
    • Layer 사이에서 normalization을 사용해 uniform mean + standard deviation 갖도록 하는 hack

• 💡BERT, GPT-2, DistillBERT, T5

  • GPT, GPT-2
    • Generative Pre-trained Transformer
    • GPT learns to predict the next word in the sequence(generating text), just like ELMO or ULMFit
      • 그치만 ELMO와 ULMFit은 embedding layer와 LSTM을 사용하고 GPT는 embedding layer와 transfer layer사용함.
    • Uses masked self-attention
  • BERT
    • Bidirectional Encoder Representation from Transformers
    • GPT(uni-directional)와 달리 bidirectional
    • involves pre-training on A LOT of text w/ 15% of all words masked out
      • also sometimes predicts whether one sentence follows another
  • T5
    • Text-to-Text Transfer Transformer
    • Feb 2020
    • Evaluated most recent transfer learning techniques
    • Input and Output are both text strings
    • Trained on C4(Colossal Clean Crawled Corpus) - 100x larger than Wikipedia
    • 11B parameters
    • SOTA on GLUE, SuperGLUE, SQuAD
  • GPT-3
  • DistillBERT
    • a smaller model is trained to reproduce output of a larger model
  • Transformers are growing in size

#

📕READINGS Attention is all you need(2017) http://peterbloem.nl/blog/transformers

Full Stack Deep Learning 강의를 듣고 정리한 내용입니다.

📌Sequence Problems

• Sequence Problem 종류
  • one-to-many: input -> single value, output -> sequence인 경우
  • many-to-one: input -> sequence, output -> single value인 경우
  • many-to-many: input -> sequence, output -> sequence인 경우

• Sequence Problem 예시
• Why not use feedforward networks instead?

- Problem 1: Variable Length Inputs
    - 모든 sequence에 padding을 추가해 max length와 동일한 크기를 갖도록 하여 해결할 수 있다.

• Problem 2: Memory Scaling

  • Memory requirement scales lineraly in number of timesteps

  • Problem 3: Overkill

    • Model needs to learn patterns everywhere in the sequence -> data inefficient!
    • This ignores the nature of the problem that patterns repeat themselves over time.

📌RNNs

• Instead of having a single massive matrix(one that has independent weights for every position in the sequence), does stateful computation.

• Stateful Computation:

  • output of model depends on the input at the current timestep in the sequence & some state the model maintains over time.

  • For every input in a particular timestep, the model produces the output as well as the next hidden state for the model.

  • 아래 그림처럼 처음에 h0와 x1이 주어지면 output인 y1뿐 아니라 next state인 h1까지 계산한다. 같은 과정(weight)으로 이후 step들도 계산함.

  • RNN에선 input이 있을 때마다 step function을 사용하고, output을 생성한다. -> many-to-many problem일때는 잘 적용됨.

  • 그치만 many-to-one problem인 경우에는 어떻게 해결하는가?

    • 가장 마지막 timestep의 output인 yt를 가지고 전체 sequence값을 계산한다. (yt값을 classifier가 전달받아 결과값을 출력한다.)
    • Encoder-decoder architecture

  • one-to-many problem의 경우에는 어떻게 해결하는가?

    • convnet을 사용해 image classification까지의 전체 과정을 수행하는 방법 대신 fully-connected layer의 마지막 단계 vector들을 RNN의 inital hidden state로 사용한다.
    • Encoder-decoder architecture
      • 💡disclaimer : thinking of encoder and decoder as separate networks is just a mental heuristic for understanding - they aren't separate in any meaningful sense!(They are connected during back propagation.)
    • 여기서 input은 이전 timestep의 output임.
    • 그렇다면 언제 input을 멈춰야할지 알 수 있을까? (이전 단계의 output이 이번 단계의 input이면 계속 input이 존재할 것이므로)

    • special character를 사용. (tells the architecture when to stop.)

    #

  • many-to-many problem에서는 어떻게 해결하는가?

    • 마찬가지로 encoder-decoder architecture 사용.
    • encoder와 decoder 모두 RNN임.
    • most common case
    • used for machine translation
    • 
    • 
    • one-to-many problem처럼 이전 단계의 output을 이번 단계의 input으로 사용하고 special character을 만나면 input 멈춤. encoder로 구한 output을 decoder의 inital input으로 사용하고 같은 과정을 반복한다.
    • 입력문장의 모든 정보들은 encoder RNN을 통해 하나의 hidden state vector로 압축된다. -> 이후 decoder RNN의 inital state vector로 사용.

📌Vanishing gradients issue

• RNN Desiderata
  • Goal: handle long sequences
  • Connect events from the past to outcomes in the future
    • i.e., Long-term dependencies
    • e.g., remember the name of a character from the last sentence
• Vanilla RNNs: the reality
  • Can't hadle more than 10-20 timesteps
  • Longer-term dependenicies get lost
  • Why? Vanishing gradients
    • sigmoid와 tanh는 input값이 커지면 derivative값이 0에 매우 가까워짐
    • tanh primes multiplied by each other eventually hits zero in numerical precision
    • After enough steps, gradients are too small
    • ReLu는 위의 문제에 해당되지 않는데?
      • ReLu RNNs in practice often have the opposite problem which is exploding gradients.(gradients tend to get too big)

📌LSTMs

• 목적: use a compute_next_h function that preserves gradients -> vanishing gradients issue를 해결하고자 함.

• Main idea: introduce a new "cell state" channel

  • In addition to hidden states that get updated every time step, update "cell states".
  • Cell states have very particular rules about how it gets updated. 이때 규칙은 hidden state와 cell state간의 interaction에 따라 세가지 step으로 나뉜다.
    • Forget gate: decide what parts of old cell state to forget. Previous hidden state를 input과 합쳐 sigmoid에 입력함. Sigmoid output값과 cell state를 multiply -> gets rid of old info that no longer needs to be in the cell state
    • Input gate: decide how to incorporate new information into the cell state
    • final gate: decide how to produce the output as hidden state

• What about other RNNs like GRUs?

  • LSTMs work well for most tasks.
  • Try GRUs if LSTMs are not performing well.

  #

📌Case Study: Machine Translation (Bidirectionality and Attention)

• Key questions for machine learning applications papers

  • What problem are they trying to solve?
  • What model architecture was used?
  • What dataset was it trained on?
  • How did they do training?
  • What tricks were needed for inference in deployment? #

• Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation(Wu et al.,2016)

  • 1) What problem are they trying to solve?

  • 2) What model architecture was used?

    • Encoder와 decoder이 모두 RNN인 Encoder-decoder architecture

    • Problem 1: using single layer will underfit the task

    • Solution 1: stack LSTM layers

    • Problem 2: Stacked LSTMs are hard to train. They barely work with more than 6 layers.

    • Solution 2: add residual connections(ResNet처럼). LSTM의 layer 사이에 skip function을 둔다.

    • Problem 3: bottleneck between the encoder and decoder when dealing with large information

    • Solution 3: Attention(Attention에 대해서는 다음주에 더 자세히 다룸.) Idea: 각 언어의 어순을 고려해 번역하려는 단어마다 관련 있는 문장의 영역에 집중한다. How: Relevance score을 사용해 문장 속 각 단어들에 대한 attention value를 계산. Input sentence의 모든 단어들이 output sentence의 특정 단어와 얼마나 관련있는지 구한다.

  

  Attention은 번역 외에 다양한 분야에도 쓰인다. (음성인식이나 img model에도 쓰임)

  • Problem 4: LSTMs only consider backward context. 하지만 단어의 뜻은 문맥에 따라 달라지므로 문장 전체에 대해 이해하는 것이 단어의 올바른 뜻을 찾는데 효과적이다.
  • Solution 4: Bidirectional LSTM -> Use one LSTM to process the sequence in forward order and the other in backward order. Then you concatenate those two outputs and pass it on to the next layer.

• Summary of GNMT approach

  • Stacked LSTM encoder-decoder architecture with residual connections
  • Attention enables longer-term connections
  • Bidirectional LSTM to encode future information
  • Train using standard cross-entropy
  • Speed up inference with quantization of weights

📌CTC loss

• Goal:
  • Convnet window를 손글씨 이미지 위에서 sliding하면서 convnet output을 LSTM에서 이전 단계의 hidden state와 combine.
  • Problem: What if an input is scaled differently? (window하나의 크기보다 알파벳 하나의 크기가 더 큰 경우. 같은 글자를 여러번 출력하는 오류 발생)
  • Solution: 같은 알파벳이 연속되어 출력되면 같은 알파벳이라고 예상한다. -> Combine subsequent characters that have the same value
  • 실제로 같은 알파벳이 여러번 존재하는 단어의 경우 어떻게 해결해야하는가?
    • Add extra epsilon tokens -> 정해진 규칙에 따라 token들을 알파벳과 merge할지 결정. -> final output sentence
    • 규칙:

📌Pros and Cons(of RNN architecture)

• Pros

  • Encoder/decoder LSTM architectures are very flexible (works for one-to-many, many-to-one, many-to-many sequence problems)
  • Has a history of many successes in NLP and other applications

• Cons

  • Recurrent network training is not as parallelizable as FC or CNN, due to the need to go in sequence(이전 단계를 계산해야만 다음 단계가 진행되므로..)
  • Therefore much slower!
  • Can be finicky to train

📌A preview of non-recurrent sequence models

• Sequence data does not require recurrent models!

• Hence, convolutional approach can be used for sequence data modeling

• WaveNet: A Generative Model for Raw Audio(van den Oord et al, 2016)

  • used in Google Assistant and Google Cloud Text to Speech(e.g., for call centers)

  • Main idea: convolutional sequence models

  • 1) What problem are they trying to solve?

  • 2) What model architecture was used?

  • 3) Insights of solution

  • An output is produced by looking at the window of previous hidden layers, and those inputs from the previous hidden layer is produced from a window of inputs of the layer before that.

  • Causal convolution: the entire window is from the past. You don't look at any future data layers to get the output.

  • 4) Challenge of the solution : getting a large receptive field

  • 5) Solution of the challenge : dilated convolutions

  • 6) What model architecture was used?

  • 7) What dataset was it trained on?

    • Internal Google datasets (24.6 hours of speech in North American English, 34.8 hours of speech in Mandarin Chinese, ~16,000 samples per second)

  • 8) How was it trained?

    • 병렬처리가 가능해서 따로 train을 하는 trick이 필요하지 않음

  • 9) What tricks were needed for inference in deployment?

    • Training(parallel)은 쉬우나 inference(serial)는 복잡함.

#

💡READING

• https://karpathy.github.io/2015/05/21/rnn-effectiveness/
• https://towardsdatascience.com/attention-craving-rnns-a-journey-into-attention-mechanisms-eec840fbc26f

Full Stack Deep Learning 강의를 듣고 정리한 내용입니다.

📌AlexNet

• Deep layer with 8 layers

• First convnet winner

• Innovated with ReLU and Dropout

  • Dropout: some set of weights are set to zero randomly in training

• Heavy data augmentation(flip, scale, etc)

  • Fun fact: usually drawn as two parts, because the biggest GPU only had 3GB memory at the time
  • 그래서 model distributed training을 했어야 했다. (model이 두개의 다른 GPU에 위치한 상태)

📌ZFNet

• 거의 AlexNet과 동일 + just tweaking some parameters
• famous for deconvolutional visualizations
• each layers detect a certain type of image patch.
  • early layers: learn edge detection & texture detection(color detection)
  • later layers: detect parts of objects, e.g., ears, eyes, wheels, etc.

📌VGGNet

• More layers!
• Only use 3x3 convolutions & 2x2 max pools
• increased channel dimension with each layer
  • early layers: 64 channels
  • later layers: 512 channels
• has 138 million parameters
• most parameters are used in the later layers with the fully connected layers -사용되는 parameter를 제한하기 때문에 적은 수의 parameter로 계산할 수 있다-> 빠름!

📌GoogleNet

• =inception net
• VGG만큼 저렴하지만 3%정도의 parameter만 사용한다
• No fully-connected layers
• Is just a stack of inception modules( network module more creative than the standard)
• injected classifier outputs not only at the end but also in the middle
  • it let the network get gradient from the loss function at more spot than just at the end of the network

📌ResNet

• Very deep layer: 152 layers

• Down to 3.57% top-5 error(5%인 human performance보다 낮음!)

• most commonly used network now

• Problem: network가 깊어질수록 얕은 네트워크만큼의 성능을 내야하는데 그러지 않는 경우 발생

  • due to vanishing gradient
  • Solution: make an option to skip around layers
  • gradient가 vanish되는 경우 skip

• ResNet Variants

  • DenseNet: using more skip connections (skip connection을 건너뛰고 싶은 해당 layer만이 아니라 다른 모든 부분에 다 연결함)
  • ResNeXt: inception net + ResNet

📌SqueezeNet

• Focused on trying to reduce the number of parameters as much as possible
• Use constant 1x1 bottlenecking techniques
  • number of channels never expands

📌Overall Comparison

📌Localization, Detection, and Segmentation

• Classification: given an image, output the class of the object

• Localization: Do classification, but also highlight where the object is in the image

• Detection: given an image, output every object's class and location

• Segmentation: label every pixel in the image as belonging to an object or the background

  • Instance Segmentation: additionally differentiates between different objects of the same class

• Using networks for Localization

  • output bounding box coordinates(x1,y1,x2,y2) as well as the class of an object
  • class 결과를 제공할 때 사용하는 network와 동일한 네트워크를 사용해 마지막 단계에서 coordinate 예측값도 산출하게 한다.

• Using networks for Detection

  • 몇 개의 object가 있는지 모르는 상태라서 Localization에 사용한 방법을 사용할 수 없음
  • Solution: slide a classifier over the image(at multiple scales)
    • VERY computationally expensive, but 해결방법 있음!

📌Non-maximum Supression(NMS) and IOU

• Non-maximum Supression(NMS): When multiple bounding boxes overlap, you should keep the one with the highest score and remove all the others.
• Intersection over Union(IOU): most common metric for localization quality

📌YOLO/SSD

• YOLO(You Only Look Once)

  1. Put a fixed grid over an image, and within the grid find objects
  2. Output class and box coordinates
  3. Run non-maximum supression
  • nice & fast, and is in active development!

• Microsoft COCO: Common Objects in Context

  • 이 dataset을 가지고 YOLO의 성능을 평가함.
  • 330,000 images & 1.5 million object instances & 80 categories & some captions

📌Region Proposal Methods

• 이제까지는 이미지의 모든 부분을 관찰함.

  • 그러지 말고 중요해 보이는 부분만 관찰하면 어떨까? (look only at regions that seem interesting)

• R-CNN(Region-CNN)

  1. Using external(non-deeplearning) methods to find regions
  2. Use AlexNet on regions
  3. Predict both class and bounding box(coordinates)

• Faster R-CNN -Used convnet for the Regional Proposal Network

  • Region Proposal Network(RPN): a fully convolutional method for scoring a bunch of candidate windown for "objectness"
  • Faster (because everything is done in the convnet!)
  • Four losses total: classifier and bbox regression for both RPN and object classifier

• Mask R-CNN -Each region goes in not only the classification but also the segmentation step

  • Regions go through a couple of non-downsampling convolutions

📌Adversarial Attacks

• Convnets can be brittle in unexpected ways

• Convnet 공격 방법

  • Add noise to an image
  • Add real things in real world such that when you take an image of it, it messes up the network
    • 자율주행자동차 운행에 문제

• Who would win?

  • Detect 방법: try to find inputs that push the gradient of the network towards some class very strongly

  • Defend 방법:

     -    adversarial example을 같이 traing하기(doesn't work well)

    • Smooth the class decision boundaries(= Defensive distillation)

Full Stack Deep Learning 강의를 듣고 정리한 내용입니다.

Neural Networks

📌Biological Neurons

• 외부의 자극이 dentrites를 통해 들어옴 ->역치를 넘어서면 firing함(axon을 통해 electrical potential전달)

📌Artificial Neuron

• input x: biological neuron에서 외부의 자극에 해당
• weight w: 자극에 대해 얼마나 영향을 받는지 조정
• b: bias
• activation function: (=threshold function) sum값이 역치를 넘어서면 on, 아니면 off

📌Common Activation Function

• Sigmoid Function
• Hyperbolic Tangent
• Rectified Linear Unit(ReLU)

Types of Learning Problems

📌 Unsupervised Learning

• Unlabeled data X로 학습

• GOAL: To learn the structure of data X

• WHY? : i) To generate more of the same kind of data(e.g. fake reviews, fake soundclips, etc) ii) To obtain insights into what the data might hold

• e.g.1 Predicting next character in a string

   -> input type(글자들)과 model이 주어지면 RNN이 글을 쓴다. 아래는 character prediction의 예시이다.

  Using RNN to feed in one character at a time and the RNN can output characters. What you end up learning is a language model. When you write a word, it will just keep writing by generating character by character. With an input type and model, it can generate paragraphs.

  

참고자료: http://karpathy.github.io/2015/05/21/rnn-effectiveness/

• e.g.2 Predicting word relationships input: words in a vocabulary -> 각 단어들을 벡터로 표현하고 학습된 시스템에 입력하면 man-woman, king-queen등의 관계를 파악한다. Each words would be represented as a vector that's all zeros except for one in the place that corresponds to that word in some list of words. If you feed in a bunch of those vectors into a system that is properly set up and trained, you can determine that there are certain relationships between words like man-woman, king-queen.

• e.g.3 Predicting next pixel(pixelCNN) -> 컴퓨터 비전 영역에서는 이미지의 픽셀 일부만 주어지면 나머지 부분을 자동완성하도록 응용할 수 있다. _You can get something going with just a little bit of an image and then it auto-completes it.

📌 Supervised Learning

• Labeled data X(raw data), Y(label)로 학습
• Learn X -> Y
• GOAL: To learn a function in order to make predictions
• 상업적으로 사용하기에 가장 알맞음

📌 Reinforcement Learning

• Agent에게 특정 명령을 수행하도록 시켜 Environment와의 상호작용 확인
• GOAL: To learn how to take actions in an environment
• e.g. Train game-playing agents: move a robot in an environment and check if there's a reward associated or not

📌 (위의 세가지가 ML의 가장 대표적인 예시이고, 이 외에도 transfer learning, imitation learning, meta-learning, ...등 다양한 종류의 learning problem들이 존재한다.)

#

Empirical Risk Minimization

Empirical Risk Minimization = minimize loss L as measured (empirically) on the data

📌Linear Regression

2차원 그래프 : one-dimensional input과 one-dimensional output을 가짐. GOAL: To minimize the loss function find the setting of weights and biases like a and b in ax+b that minimize the loss function.

📌Neural Net Regression

• Find w,b parameters that optimize loss
• Typical losses:
  • Mean Squared Error(MSE)
  • Huber loss(=more robust to outliers)

📌Neural Net Classification -You try to predict from the input to some real valued output whereas in classification you predict from input to some categorical output. Outputs will be exactly 0, 1, 2, ... and these things will correspond to the label of the datapoint.

• Typical losses:
  • cross entropy

Gradient Descent

📌Optimizing the Loss

• GOAL: find w,b that optimize(=minimize the loss)

• HOW: update each weight(wi)

alpha: learning rate gradient of the loss function with regard to the weight

📌Conditioning -Well-conditioned data: zero-mean, equal variance

• First-order methods(You compute first order gradient and update the weight with that gradient)
  • Initialization
  • Normalization
• Second-order methods(compute second-order derivative of the loss function with regard to the weight. typically don't use this because computationally intensive.But there are some approximate second order methods that can be used to train neural networks more quickly)
  • Exact:
    • Newton's method
      • Natural gradient
  • Approximate second order methods:
    • Adagrad, Adam, Momentum

📌Sampling Schemes for Gradient Descent -We could compute the loss of every single data and update each weight, but in practice it is better to compute the gradient on just a subset of the data. -> 모든 데이터의 loss를 계산해 각 weight를 업데이트 하기보다는 일부 데이터만 가지고 계산한다.

• Stochastic Gradient Descent
  • Compute each gradient step on just a subset("batch") of data -> 일부 데이터만 가지고 train 함
  • PROS: less compute per step
  • CONS: more noise per step
  • Overall: faster progress per amount of compute

Back Propagation

📌Gradients are just derivatives -Neural Nets are made up of computations where each of the computations does have a gradient. So we can apply the chain rule to compute everything. -NN 계산 시 chain rule을 사용함. 그리고 derivative를 직접 입력하지 않아도 됨->소프트웨어가 대신 해줌.

• Automatic differentiation software
  • e.g. PyTorch, Tensorflow, Theano, Chainer, etc.
  • 우리(사람)는 function f(x,w)만 프로그래밍 하면 됨
  • software가 automatically computes all derivatives
  • This is typically done by caching info during forward computation pass of f and then doing a bachward pass = "backpropagation"

Architectural Considerations

📌NN Architecture Considerations -Data efficiency

• Sometimes we might need an infinitely large network or an extremely large amount of data to learn the weights
• In this case we can encode knowledge we have of the world into the architecture of the neural network. e.g.
  • Computer Vision: use convolutional networks = spatial translation invariance
  • Sequence processing(e.g.NLP): use recurrent networks = temporal invariance(the rules of language are same no matter where in the sequence you are)

-Optimization landscape/conditioning

• Depth over Width(which one is better? depends!)/Skip connections, Batch/Weight/Layer Normalization

CUDA

📌Why did deep learning explosion kick off around 2013?

• Bigger datasets
• Good libraries for matrix computations on GPUs -> NVIDIA

📌Why are GPUs important?

• All NN computations are just matrix multiplications, which are well parallellized into the many cores of a GPU.

💡READING http://neuralnetworksanddeeplearning.com/chap2.html

📌메서드 종류와 대표적인 예시

📌보이기/감추기 메서드

📌페이드(fade)효과 메서드

▶️지속시간 e.g.: "fast", "slow", 500(500ms라는 의미), 2000(2s라는 의미)

📌클래스 제어 메서드

▶️클래스 제어란?

• html에 클래스를 만들었는데 css에는 해당 선택자에 대한 코드가 없는 상태에서 jQuery를 통해 클래스를 강제로 넣거나 뺄 수 있는 효과.

▶️클래스 제어 메서드 예시 코드

• HTML

  <body>
    <div class=”container”>
        <a class=”show-btn” href=”#none”>보이기</a>
        <a class=”hide-btn” href=”#none”>감추기</a>
        <a class=”toggle-btn” href=”#none”>토글</a>
        <div>Box</div>
    </div>
  

- CSS

```css
.container{
    width: 300px;
}
a{
    background-color: red;
    color: #000;
    text-decoration:none;
    padding: 5px;
    width: 70px;
    display: inline-block;
    text-align: center;
}
    .container div{
    background-color: dodgerblue;
    width: 250px;
    height: 300px;
    margin-top: 10px;
    text-align: center;
    line-height: 300px;(복습:요소의 높이값만큼 line-height을 주면 가운데로 온다.)
}
.active(일반적으로 클래스를 넣고 뺄 때 사용하는 클래스명이다.){
    background-color:red;
} 

현재 html에는 active라는 클래스가 없기 때문에 위의 css코드에서 .active 부분을 포함해도 아무런 일이 일어나지 않는다.

이제 jQuery를 통해 active클래스를 넣고 빼 보자.

• JavaScript

$(‘.add-btn’).click(function(){
    $(‘container div’).addClass(‘active’)
})
$(‘.remove-btn’).click(function(){
    $(‘container div’).removeClass(‘active’)
})
$(‘.toggle-btn’).click(function(){
    $(‘container div’).toggleClass(‘active’)
})

🤚주의사항: 클래스 제어 메서드 3가지의 괄호 안에 .과 함께 클래스명을 쓰면 안된다.
css에서의 클래스 표기법, 그리고 잠시 후 나올 요소 탐색 메서드와 헷갈리지 말 것!

#

📌요소 탐색 메서드

▶️요소 탐색이란?

• 선택 요소를 기준으로 두고 목표하는 요소를 찾는 것이다.

▶️요소 탐색 메서드 예시 코드

• HTML

  <ul class=”menu”>
    <li>
        <a href=”#none”>MENU-1</a>
        <div class=”sub-menu”>
            <a href=”#none”>SUB-MENU-1</a>
            <a href=”#none”>SUB-MENU-2</a>
            <a href=”#none”>SUB-MENU-3</a>
            <a href=”#none”>SUB-MENU-4</a>
        </div>
        <a href=”#none”>MENU-2</a>
        <div class=”sub-menu”>
            <a href=”#none”>SUB-MENU-1</a>
            <a href=”#none”>SUB-MENU-2</a>
            <a href=”#none”>SUB-MENU-3</a>
            <a href=”#none”>SUB-MENU-4</a>
        </div>
    </li>
  </ul>
  

- CSS
```css
.menu{
    Padding: 0;
    List-style:none;
    Width:200px;
    Border: 1px solid red;
    Text-align:center;
}
.menu li>a /*(menu밑의 li바로 아래의 a tag자식요소들만 선택한 것임)*/{
    Background-color: #000;
    Color: #fff;
    Display: block; /*(가로배치 되었던 요소들을 새로배치로 바꿈)*/
    Text-align:center; /*(가운데정렬)*/
    Padding: 5px;
}
.sub-menu{
    Border: 1px solid #000;
    Display:none; /*.sub menu a가 아니라 .sub-menu에 적용해야 한다.*/
}
.sub-menu a {
    Display:block;
    Padding: 5px;
}

• JavaScript

  $(‘.menu li’).mouseenter(function(){
    $(this).children(‘.sub-menu’).stop().slideDown()
  });
  

$(‘.menu li’).mouseleave(function(){ $(this).children(‘.sub-menu’).stop().slideUp() });

🤚this란, 현재 선택된(이 경우 mouseenter로 선택된 바로 그 클래스)를 받아오는 것이다. 코드를 이렇게 짜면 MENU-1에 마우스를 올렸을 경우 MENU-1의 SUB-MENU들을, MENU-2에 마우스를 올렸을 경우 MENU-2의 SUB-MENU들을 slideDown하게 되는 것이다. 
🤚이 때 slideDown/slideUp을 해야하는 요소는 this 인 ‘.menu li’의 자식요소들이므로 .children()을 써야 한다. .children()의 괄호 사이에 아무것도 적지 않으면 .menu li의 모든 자식요소를 선택하라는 것이다. <br>sub-menu들만 선택하고 싶은 경우 .children(‘.sub-menu’)라고 구체적으로 작성해야 한다.

#


▶️선택 요소의 형제 요소 관리하기
:어떤 요소를 클릭하면 형제 요소들의 에니메이션은 제거하고 싶을 때 작성하는 코드 예시
- HTML
```html
<div class=”btn”>
    <span class=”active”>요소 1</span>
    <span>요소 2</span>
</div>

• CSS

  .btn{
    Width:300px;
  }
  .btn span{
  Background-color: #ccc;
  Padding: 5px;
  Width: 100px;
  Display: inline-block;
  Text-align: center;
  Border-radius: 5px;
  }

• JavaScript

  $(‘.btn span’).click(function(){
    $(this).addClass(‘active’) /* . 없음 주의!!(위의 내용참고)*/
    $(this).siblings().removeClass(‘active’)
  });

📌방식 1

마감 body tag 바로 위에 jQuery 오픈소스 파일과 내가 만드는 파일을 링크하기

    <script src=”script/jquery-1.12.4.js”></script>
    <script src=”script/custom.js”></script>
</body>

이때, 오픈소스 파일이 내가 작성한 파일보다 항상 위에 있어야 한다.

📌방식 2

htmld의 head 부분에 태그를 포함하기

#

💡jQuery 기본 구문 만들기, 선택자

📌기본 구문

$('선택자').함수(function(){
    실행 구문;
});

📌선택자(selector)의 종류

• CSS 클래스 선택자
• CSS 아이디 선택자
• CSS 태그 선택자
• this

📌필수 함수(function) 종류

• click
• mouseenter
• mouseleave

📌필수 메서드(method) 종류

• slideDown()
• slideUp()
• stop()
• show()
• hide()
• fadeIn()
• fadeout()
• addClass()
• removeClass()
• children()
• siblings()

📌마우스 오버 이펙트

 a{
 color: #000;
 transition: 0.5s;
 }

 a:hover{
 color: dodgerblue;
 text-decoration: underline;
 }

• hover이펙트를 주고 싶다면 tag 이름 뒤에 :hover를 적는다.
• transition: n초동안 애니메이션 효과를 주라는 뜻이다.(주로 0.5s를 사용)
  -transition속성은 :hover가 아닌 곳에 넣어야 마우스를 올리고 뺄 때 모두 적용된다.
• a tag는 body tag의 color를 따르지 않으므로 따로 지정해주어야한다.
• text-decoration: none; 해서 밑줄 없앨 수 있음
• jQuery 사용시 주의사항: ""안이 비어있으면 제이쿼리가 작동하지 않는다. 안에 쓸 내용이 정해지지 않았다면 #none을 적어두자.

<a href = “#none”></a>

📌hover 사용 버튼 생성 예시

▶️html

<a href = "http://www.naver.com">네이버</a>

▶️css

a{ 
    color: #333;
    text-decoration: none;
    border: 1px solid #ccc;
    width: 120px;
    display: inline-block;
    text-align: center;
    padding: 5px;
    border-radius: 5px;
    transition: 0.5s;
 }
  a:hover{
      background-color: #000;
    color: #fff;
 }

💡순서를 만드는 가상클래스

📌목적: class name을 일일이 사용하지 않고 원하는 요소를 선택하고 싶을 때 사용한다.(간결한html, 짧은css를 위해) e.g.) nth-child, nth-of-type

▶️html

<div classs = “box”>
  <div></div>
  <div></div>
  <div></div>
  <div></div>
</div>

▶️css

.box{
    border: 5px solid #000;
    text-align: center;
}

.box div{
    border: 5px solid #000;
    margin: 10px;
    width: 200px;
    height: 200px;
    display: inline-block;
}
.box div:nth-child(2){
    color: red;
}

• text-align: center;을 부모요소에 넣어줘야 가운데로 간다. 또, 이 경우 margin auto는 절대 적용되지 않는다.
• nth child는 tag의 종류를 가리지 않아서 여러 개의 div들 위에 갑자기 h2 태그를 추가하면 요소가 하나씩 밀린다. 따라서 이럴땐 .box div:nth-of-type()사용한다. 그러면 css가 해당 요소의 type을 확인한다.

📌Box model

• border-style: 테두리 스타일 지정
-value: solid dashed dotted double groove inset outset
• border-width: 테두리 두께 지정(주로 px로 넣음)
-value: px % thin medium thick
• border-color: 테두리 색상 지정
value: color
-한번에 여러 테두리 속성을 할당할 때는 다음과 같은 식으로 작성한다. 각 속성을 쓰는 순서는 상관이 없다.

 border: 2px solid blue;

-border 의 디폴트 상태는 none이다. 따라서 border-bottom 이나 border-top을 사용하면 해당 부분에만 border가 생기게 된다. 그냥 border만을 작성하면 상하좌우 모든 부분에 경계가 생긴다.

-border-bottom: none; 을 사용하면 border-bottom이 border를 덮어써서 border-bottome만 border가 사라지게 된다.

• border-radius: 엘리먼트 코너 둥글게 하기
value: px % (%도 꽤 자주 씀)
코너를 개별적으로 둥글게 하는 방법:


border-top-left-radius: px %;
border-top-left-radius: px %;
border-top-left-radius: px %;
border-top-left-radius: px %;

다른 방법:

border-radius: - - - -;

-4가지 값: 좌상->우상->우하->좌하 방향. -1가지 값: 모든 모서리에 적용 -float-left: box들을 가로배치할 때 사용한다.

📌Margin, padding 속성의 크기 지정

1. 크기 값을 사용하는 경우: 양쪽에 동일한 크기 값이 적용 2. 두 개의 크기 값을 사용하는 경우: 위쪽 및 아래쪽, 왼쪽 및 오른쪽
2. 크기 값 4개: 상, 우, 하, 좌 순서(top, right, left, bottom) #

box-sizing: border-box;

📌그림자 효과

• 속성: box-shadow: inset [offset-x offset-y blur color]
-4가지 요소를 모두 써야함(필수)
-그림자 효과 예시


box-shadow: 5px 5px 20px black;
box-shadow: 0px 0px 20px red;
box-shadow: 10px 10px 0 blue;
box-shadow: inset 0px 0px 100px black;

-inset 값을 주면 shadow가 안쪽으로 퍼진다. ▶️offset-x: 수평 그림자의 offset값(+값이 증가할수록 왼->오 이동하는 것) ▶️offset-y: 수직 그림자의 offset값(+값이 증가할수록 위->아래 이동하는 것) ▶️blur: 그림자 가장자리를 부드럽게 처리하는 정도(기본값 o) ▶️color: 색상 지정 ▶️inset: 안쪽 그림자

• 속성: text-shadow: [offset-x offset-y blur-radius color]
▶️text-shadow는 감싸고 있는 박스가 있더라도 텍스트 자체에 shadow를 준다.
▶️offset-x: 그림자의 수평 거리를 정합니다.(필수)
▶️offset-y: 그림자의 수직 거리를 정합니다.(필수)
▶️blur-radius: 흐림 정도를 정합니다. (선택: 값을 정하지 않으면 o)
▶️color: 색상을 정합니다. (t선택: 값을 정하지 않으면 텍스트 색상)
▶️하나의 텍스트에 여러 개의 text shadow를 넣을 수 있다. 단, 두개의 크기가 같으면 중첩되어 보이지 않으니 주의한다.


text-shadow: 5px 5px 0 dodgerblue, 10px 10px 0 red;

▶️text shadow는 inset을 쓸 수 없다.

#

💡HTML의 인라인요소, 블록요소, 인라인블록 (중요!!)

📌인라인 요소: 텍스트 서식을 만드는 대부분의 요소

• 한 줄에 여러개 배치
• 기본 너비값은 컨텐츠의 너비값
• 크기값을 가질 수 없음
• 상하 마진은 가질 수 없음
• span, a, small, big, em, u, s, del, br, q, b, strong, mark, sub, sup, video, audio

▶️크기값을 가질 수 없어서 width와 height값을 임의로 설정해도 작동하지 않는다.

📌블록 요소: 레이아웃을 잡는 요소

• 한 줄에 한개만 배치
• 기본 너비값은 100%
• 크기값을 가질 수 있음
• 상하좌우 마진을 가질 수 있음
• div, table, figure, figcaption, header, nav, footer, section, article, aside, p, blockquote, ul, ol, li, td, th, form, hr, h1~h6

▶️기본 너비값이 100%이므로 width: 100%는 따로 넣어줄 필요가 없다. ▶️한 줄에 하나만 배치 가능!!! 두 개가 한 줄에 배치될 수 없다.

📌인라인 블록 요소: 인라인요소와 블록요소의 특징을 둘 다 가짐.

• 한 줄에 여러개 배치
• 기본 너비값은 컨텐츠의 너비값
• 크기값을 가질 수 있음
• 상하 마진은 가질 수 있음
• img, input태그들, button, fontawesome

📌태생과 다른 요소로 변환: display 속성 사용

• display 속성에 주로 사용하는 값: block, inline-block, inline, none, flex
• inline인 a tag를 block 속성으로 강제로 바꿀 수 있음:

  a{
      color: red;
      text-decoration: none;
      border: 1px solid red;
      display: block;
      width: 300px;
      margin:5px;
      text-align: center;
      border-radius: 5px;
      padding: 5px;
  }

  ▶️a tag를 block요소로 바뀌었기 때문에 이제부터는 width와 margin을 얼마든지 넣을 수 있다. ▶️버튼을 만들었는데 세 개를 나란히 배치하고 싶다면? : 여기서 display를 inline-block;으로 바꾼다.

#

💡CSS로 가로 배치하기(float)

📌float 속성

• float속성은 inline/block/inline-block에 모두 적용된다.
• margin-auto는 block요소에만 적용된다. (inline 및 inline-block에는 적용되지 않음)
• css 레이아웃을 하는 경우 부모요소에는 높이값을 주지 않는다. 자식요소에만 주고 자식이 늘어나면 자연스럽게 부모도 늘어난다.

(사진2)

• Float: none; 이더라도 왼쪽으로 배치되었지만 float:left;는 아니다.
• html요소는 기본적으로 위치를 조정하지 않으면 왼쪽에 붙는다.
• 자식요소에 float값을 주면 부모요소가 늘어나지 않는 이유: 자식요소에 float 속성이 사용되면 부모요소는 자식요소가 없다고 판단해 높이값을 잃는다. 높이값을 찾아주려면
  1)부모의 height값을 자식 크기에 맞게 주거나
  2)overflow: hidden; 을 사용한다.
  전자는 자식요소 크기가 바뀔떄마다 바꿔줘야 한다는 단점이 있다.
• span에도 float-left; 등이 적용된다.

• selector
• property 혹은 attribute
• value

selector{
  property1: value1;
  property2: value2;
}

• CSS작성 팁: html의 계층 구조에 따라 css를 순서대로 작성한다.

💡CSS선택자

<선택자 종류>

📌태그 선택자

p{
    text-align: center;
    color: red;
}

📌클래스 선택자(.)

.center{
    text-align: center;
    color: red;
}

📌아이디 선택자(#)

#center{
    text-align: center;
    color: red;
}

📌태그와 함께 쓰는 선택자

p.center{
    text-align: center;
    color: red;
}

▶️p태그 선택자와 .center 클래스 선택자를 함께 쓴 것이다. p태그 중 center 클래스를 가지는 것에만 스타일이 적용된다.

📌그룹 선택자 두 개의 선택자의 css코드가 완벽히 일치하면 다음과 같이 표현할 수 있다:

h1, p{
    text-align: center;
    color: red;
}

📌하위 선택자 p 태그 안에 들어있는 태그에 스타일을 적용하고 싶을 때 사용한다. (이 경우 p태그의 하위 요소인 span 태그에 적용하고 싶을 때)

p span{
    text-align: center;
    color: red;
}

📌전체 선택자(global selector) html의 모든 요소를 선택할 때 사용한다. (대부분의 경우 사용하지 않음)

*{
    Font-size: 14px;
    Line-height: 24px;
}

📌css주석 원하는 부분을 선택한 후 ctrl + / 누르면 주석이 생성된다. 다시 누르면 주석이 해제된다. Indent를 유지하면서 주석을 달고 싶은 경우 ctrl+shift+ / 누른다.

/*This is a single-line comment*/

📌html 주석

<!--주석내용-->

💡CSS적용 우선순위

1. !important Style-css 속성 끝에 작성
2. Inline style –html에 작성
3. ID selector style
4. class selector style
5. tag selector style

   css 코드 작성 순서에 관계없이 위의 위계를 따라 스타일이 적용된다.

▶️내용이 요소의 크기를 벗어났을 때 감추기

overflow: hidden; 

#

▶️스크롤할 때 배경 이미지 부착 여부를 지정: 움직이지 않고 고정

background-attachment: fixed;

💡CSS 기본 서식 스타일

• font-size: 텍스트의 크기 지정
  -value: px em pt % rem
  -rem은 반응형 웹 만들 때 사용한다.
• font-weight: 글꼴 두께
  -100-900 bold bolder lighter normal(400=normal, 700=bold)
  -기본적으로 굵은 글씨체를 원래대로 얇게 만들려면 font-weight: normal;

  font-weight: normal;

• line-height: 줄 간격을 지정하는 특성
-일반적으로 em 단위를 사용(1.6em 가장 많이 사용)한다.
-보통 body 태그에 포함한다.
-value: px em pt % rem(rem은 반응형 웹 만들 때 사용)
• font-family: 글꼴을 지정하는 속성
-value: font name

• font-style: 문자 스타일(ex. 기울림체)
-value: normal italic oblique

• color: 글꼴 색을 지정하는 속성
-value: color name #000000 rgb(0,0,0) rgba(0,0,0,0.5)
-rgba의 마지막은 투명도를 지정하는 요소이다.
• text-decoration: 텍스트 줄 표시/제거
-text-decoration: none; 을 사용해 기본적으로 밑줄이 쳐서 나타나는 a tag의 밑줄을 없앨수도 있다.
-value: none underline(밑줄), overline(윗줄), line-through(취소선)

• text-transform: 텍스트를 대문자 및 소문자로 변환
-value: none capitalize(단어의 첫글자를 대문자화), uppercase(모든 글자 대문자화), lowercase(모든 글자 소문자화)

• text-align: 문자 정렬 방법을 지정하는 속성
-value: center left right justify(양쪽을 균등하게 배치)

• text-shadow: 텍스트 그림자 효과
-value(1): x축 거리,y축 거리, 퍼짐 거리 정도, 색상
▶️값 4개 모두 지정해야 함
-value(2): none

• list style: list의 bullet point를 프로그래머가 원하는 아이콘으로 넣을 수 있다.

▶️before 가상클래스를 사용해 원하는 bullet-point 넣기

.class li:before{
    Content: ‘임티’;
} 

💡HTML 부모요소 vs 자식요소, CSS 자손선택자 vs 자식선택자

• 자식은 바로 밑의 요소인 것이다. 그보다 하위 요소는 '자식'이 아닌 '자손'이다.
• 자손선택자는 스페이스 사용, 자식선택자는 >(child selector)사용
• 자손선택자는 해당 하위 요소 전체를 가리킨다.
• 바로 아래 계층의 자식만을 선택하고 싶다면 >를 선택해야 한다.
  ▶️ html

  <div class=”box”>
      <div>
          <div></div>
      </div>
  </div>

  ▶️css

  .box{
      Border: 1px solid red;
      Width: 400px;
      Height: 400px;
  }
  .box > div{
      Border: 1px solid blue;
      Width: 200px;
      Height: 200px;
      Padding: 20px;
  }
  .box > div div{
      Width: 50px;
      Height: 50px;
      Background-color: #000;
  }

  ]]> https://velog.io/@shining_arrow/Basic-HTML-Overview https://velog.io/@shining_arrow/Basic-HTML-Overview Mon, 21 Mar 2022 13:15:27 GMT

  인프런의 HTML+CSS+JS 실전 퍼블리싱 강의를 듣고 정리한 게시물입니다.

  💡HTML5 핵심 태그 사용법(문단, 텍스트 서식)

  • 제목 표시하기: h1~h6
  • 문단, 줄 바꿈: p, br
  • 글자 굵게 표시하기: b, strong
  -strong만 시각장애인에게 '강조하라는 의미'가 전달된다.
  • 글자 기울림 표시하기: em, i
  • 글자 밑줄 표시하기: u
  • 글자 취소선 표시하기: s, del
  -del만 시각장애인에게 '취소선' 의미가 전달된다.
  • 큰 글자, 작은 글자 표시하기: big, small
  -html기본 폰트 크기는 16pixel인데, 이 기본 pixel을 기준으로 조금 크게 조금 작게 만든다.
  • 위 첨자, 아래 첨자: sup, sub
  -순서(1^st)나 화학식(H₂O) 표현할 때 사용된다.
  • 형광펜 배경색 글자: mark
  • 수평선 넣기: hr
  • html은 대소문자 구분을 하지 않는다.
  
  

  💡목록 만들기

  • 순서가 있는 목록: ol(ordered list) > li
  • 순서가 없는 목록: ul(unordered list) > li
  -대부분 ul을 사용한다.
  • 중첩된 목록을 만드는 경우에는 부모 리스트의 마감 태그 안쪽에 중첩된 자식 리스트를 작성해야 한다.
    
    1. 방콕 쇼핑 리스트
    2. 방콕에서 반드시 들러야 할 베스트
       • 씨암(Siam)
       • 카오산 로드(Khaosan Road)
    3. 방콕 맛집 리스트
    4. 방콕 관광 리스트
    ```
  
  

  💡링크, 이미지

  • 외부 링크나 파일 링크하기: a(anchor tag)

  ▶️링크를 클릭하면 현재 페이지에서 바로 링크 걸린 페이지로 넘어가게 하기

  <a href="http://www.naver.com">Naver</a>

  
    ▶️링크를 클릭하면 새 페이지에서 링크 걸린 페이지 열기 (target="_blank")
  >   ```
    <a href="http://www.naver.com" target="_blank">Naver</a>

  ▶️링크에 마우스를 올리면 글씨가 나타나게 하기

  <a href="http://www.naver.com" title="네이버 사이트로 이동">Naver</a>

  
  
    <li>이미지 첨부하기: img</li>
  
  
  >   ```html
  <img src="http://placecorgi.com" alt="an adorable puppy">

    +) img는 마감 태그가 없다!

  • 이미지를 a 태그로 감싸기

       <a href="http://www.naver.com"><img src="http://placecorgi.com" alt="an adorable puppy"></a>

    ```

  ]]>