JPA 는 Java Persistence(영속성) API 입니다. 여기서 Persistence란, 사전적 의미로 "영속성"을 의미하며, 데이터가 (없어지지 않고 오랜동안) 지속됨을 의미합니다.

• 램은 휘발성 데이터를 저장 - 컴퓨터가 꺼지면 사라짐

• 데이터가 날라가지 않도록 -> 하드디스크에 저장하면 안 사라짐
• => 이게 퍼시스턴스(영구히 기록)

다시 JPA란, Java Persitance API 는 "자바에서 데이터를 영구히 기록할 수 있는(DBMS에) 환경을 제공하는 API" 라고 말할 수 있다.

여기서 API는,

애플리케이션(Apllication) -> 프로그램 프로그래밍(Programming) -> 프로그래밍 인터페이스(Interface) -> 인터페이스

-> 인터페이스를 통해 프로그래밍하여 프로그램을 만듬

API란 "인터페이스(어떤 약속)을 토대로 요청에 대한 응답을 제공해주는 프로그램"정도로 이해할 수 있다.

다시다시 JPA를 풀어서 설명하면..!!

• JAVA

• Persistence
• Application Programming Interface 자바 프로그램을할 때 영구적으로 데이터를 저장하기위해 필요한 인테페이스를 제공해주는 것

2. ORM이란

JPA는 ORM 기술입니다.

ORM(Object Relational Mapping)이란,

객체를(Object)와 데이터베이스의 데이터를 연결해주는(매핑) 기술이다.

쉽게 말하자면, ORM의 역할을 설명하면서 이해할 수 있다.

DB 데이터와 JAVA에서의 데이터 타입이 다르기 때문에, DB의 데이터를 JAVA에서 사용하기 위해서, Object를 만들어야하는데, 이를 모델링이라고 한다.

[코드와 실제 데이터의 매핑]

ORM 없이 DataBase의 데이터를 조작하기 위해서는 아래의 일련의 과정을 통해야한다.

[DB 데이터 생성 과정]

이런 일련의 작업(CRUD)를 ORM에서 자동으로 제공해준다!!

3. JPA의 구조

JPA는 특정기능을 제공하는 라이브러리가 아닌, 인터페이스입니다.

그저 인터페이스이기 때문에 Hibernate, OpenJPA 등이 JPA를 구현합니다.

하이버네이트 외에도 EclipseLink, DataNucleus, OpenJPA, TopLink Essentials 등이 있습니다.

하이버네이트는 JPA 구현체의 한 종류입니다

하이버네이트 ORM(Hibernate ORM)은, 자바 언어를 위한 객체 관계 매핑 프레임워크로, 객체 지향 도메인 모델을 관계형 데이터베이스로 매핑하기 위한 프레임워크를 제공합니다.

JPA는 DB와 자바 객체를 매핑하기 위한 인터페이스(API)를 제공하고 JPA 구현체(하이버네이트)는 이 인터페이스를 구현한 것입니다.

하이버네이트 외에도 EclipseLink, DataNucleus, OpenJPA, TopLink Essentials 등이 있습니다.

4. JPA vs Spring Data JPA

JPA와 Spring Data JPA는 다르다.

그럼 스프링부트에서 사용하는 JPA가 지금까지 말해왔던 JPA일까요?

아닙니다. 스프링부트에서 사용하는 JPA는 Spring Data JPA로, JPA를 더 쉽게 사용하기 위해 스프링에서 제공하고 있는 프레임워크 입니다.

JPA 클래스 관계

JPA와 Hibernate는 마치 자바의 interface와 해당 interface를 구현한 class와 같은 관계이다.

위 사진은 JPA와 Hibernate의 상속 및 구현 관계를 나타낸 것이다.

JPA의 핵심은 ** EntityManagerFactory, EntityManager, EnttyTransaction** 이며,

Hibernate에서는 각각 SessionFactory, Session, Transaction으로 상속받고 각각 Impl로 구현하고 있음을 확인할 수 있다.

Spring으로 개발을 하면서, EntityManager를 직접 사용할일은 거의 없었다.

*Spring 부트에서 DB에 접근하기위해 사용할 때는 Repository를 사용했고, 이 레포지토리가 Spring Data JPA의 핵심이라고 한다, *

Spring Data JPA는 Spring에서 제공하는 모듈 중 하나로, 개발자가 JPA를 더 쉽고 편하게 사용할 수 있도록 도와준다.

이는 JPA를 한 단계 추상화시킨 Repository라는 인터페이스를 제공함으로써 이루어진다.

사용자가 Repository 인터페이스에 정해진 규칙대로 메소드를 입력하면, Spring이 알아서 해당 메소드 이름에 적합한 쿼리를 날리는 구현체를 만들어서 Bean으로 등록해준다.

"Spring Data JPA가 JPA를 추상화했다"는 말은, Spring Data JPA의 Repository의 구현에서 JPA를 사용하고 있다는 것이다.

Spring JPA Data Doc에서는?

Spring Data JPA에서는 Repository에서 JPA 인터페이스를 상속받아 아래와 같은 키워드만 있으면

JPA를 통해서 SQL이 자동 생성되어 사용할 수 있습니다.

Keyword|Sample|snippet |---|---|---| And |findByLastnameAndFirstname|… where x.lastname = ?1 and x.firstname = ?2 Or|findByLastnameOrFirstname|… where x.lastname = ?1 or x.firstname = ?2 Is, Equals|findByFirstname,findByFirstnameIs,findByFirstnameEquals|… where x.firstname = ?1 Between|findByStartDateBetween|… where x.startDate between ?1 and ?2 LessThan|findByAgeLessThan|… where x.age < ?1 LessThanEqual|findByAgeLessThanEqual|… where x.age <= ?1 GreaterThan|findByAgeGreaterThan|… where x.age > ?1 GreaterThanEqual|findByAgeGreaterThanEqual|… where x.age >= ?1 After|findByStartDateAfter|… where x.startDate > ?1 Before|findByStartDateBefore|… where x.startDate < ?1 IsNull, Null|findByAge(Is)Null|… where x.age is null IsNotNull, NotNull|findByAge(Is)NotNull|… where x.age not null Like|findByFirstnameLike|… where x.firstname like ?1 NotLike|findByFirstnameNotLike|… where x.firstname not like ?1 StartingWith|findByFirstnameStartingWith|… where x.firstname like ?1 (parameter bound with appended %) EndingWith|findByFirstnameEndingWith|… where x.firstname like ?1 (parameter bound with prepended %) Containing|findByFirstnameContaining|… where x.firstname like ?1 (parameter bound wrapped in %) OrderBy|findByAgeOrderByLastnameDesc|… where x.age = ?1 order by x.lastname desc Not|findByLastnameNot|… where x.lastname <> ?1 In|findByAgeIn(Collection<Age> ages)|… where x.age in ?1 NotIn|findByAgeNotIn(Collection<Age> ages)|… where x.age not in ?1 TRUE|findByActiveTrue()|… where x.active = true FALSE|findByActiveFalse()|… where x.active = false IgnoreCase|findByFirstnameIgnoreCase|… where UPPER(x.firstame) = UPPER(?1)

0. sqoop-help

Sqoop에는 도움말 도구가 포함되어있습니다. 사용 가능한 모든 도구 목록을 표시하려면 다음 명령을 사용합니다.

$ sqoop help usage: sqoop COMMAND [ARGS]

인수	설명
codegen	데이터베이스 레코드를 가져와 캡슐화하고 해석하는 Java 클래스를 생성함 (Table Schema 구조를 기반으로 DAO 클래스를 자동으로 생성함)
create-hive-table	RDBMS의 table을 기반으로 Hive에 table을 생성합니다.
eval	RDBMS에 SQL 쿼리를 사용하여 콘솔에 결과 표시
export	HDFS에서 RDBMS로 데이터를 내보낼 수 있습니다. (대상 테이블은 데이터베이스에 이미 존재해야 합니다.)
help	사용 가능한 옵션을 나열합니다.
import	RDBMS에서 HDFS로 테이블 가져옵니다.
import-all-tables	RDBMS에서 HDFS로 테이블들을 가져옵니다.
import-mainframe	메인프레임 서버에서 HDFS로 데이터셋 가져오기
job	job 생성 및 저장된 job 실행
list-databases	서버에서 사용 가능한 데이터베이스 리스트를 나열합니다.
list-tables	데이터베이스에서 사용 가능한 테이블 리스트를 나열합니다.
merge	오래된 dataset과 새로운 dataset을 유일 key를 기준으로 병합하여 하나의 dataset으로 만듭니다. (공통된 key의 행이 병합될때 새로운 dataset의 행이 우선적으로 사용됩니다.)
metastore	metastore 명령어는 Sqoop이 공유된 메타데이터 저장소를 호스팅할 수 있도록 구성한다. 다수의 사용자와 (또는) 원격 사용자들은 이 메타스토어 내에 정의되는 (sqoop job으로 생성된) 저장된 잡을 정의하고 실행할 수 있다.
version	버전 정보 표시

1. sqoop-import

import는 개별 테이블을 RDBMS에서 HDFS로 Import합니다. 테이블의 각 행은 HDFS에서 개별 레코드로 표시됩니다.레코드는 텍스트 파일(한 줄에 1개 레코드)로 저장하거나 Avro 또는 SequenceFiles로 이진 표현으로 저장할 수 있습니다. (Apache Avro는 Json 형태의 스키마를 나타낸다고 한다. 추후에 알아볼 것.)

표1. Common argument

$ sqoop import --help

표2. Import control arguments

TIP1. Hive는 이스케이프 문자를 지원하지만, 개행 문자 이스케이프는 처리하지 않습니다. 또한, 필드 구분 기호를 포함할 수 있는 문자를 둘러싸는 개념을 지원하지 않습니다. 따라서 하이브로 작업할 때 문자를 이스케이프하거나 둘러싸는 도움 없이 명확한 필드 및 레코드 종료 구분 기호를 선택하는 것이 좋습니다. 이는 하이브의 입력 구문 분석 기능의 한계 때문입니다.

TIP2. Sqoop은 기본적으로 NULL 값을 문자열 null로 가져옵니다. 그러나 Hive는 NULL 값을 나타내기 위해 \N 문자열을 사용하고 있으므로 NULL(IS NULL과 같은)을 처리하는 술어가 올바르게 작동하지 않습니다. NULL 값을 올바르게 보존하려면 가져오기 작업의 경우 매개 변수 --null-string 및 --null-non-string을 추가하고 내보내기 작업의 경우 --input-null-string 및 --input-null-non-string을 추가해야 합니다. sqoop은 생성된 코드에서 이러한 매개 변수를 사용하므로 값 \N에서 \\N으로 적절하게 이스케이프해야 합니다.

2. sqoop-export

export 명령어는 HDFS에서 RDBMS로 데이터를 내보냅니다. 대상 테이블이 데이터베이스에 이미 존재해야 합니다.

표1. Common argument

$ sqoop export --help

표2. Export control arguments

3. sqoop-eval

sqoop-eval를 사용하면 데이터베이스에 대해 간단한 SQL 쿼리를 빠르게 실행할 수 있습니다. 쿼리 결과는 콘솔에 출력됩니다. 이를 통해 사용자는 import 쿼리를 미리 사용해보고 예상 데이터를 가져왔는지 확인할 수 있습니다. $ sqoop eval --connect jdbc:mysql://db.example.com/corp --query "SELECT * FROM Employees LIMIT 10"

4. sqoop-job

job 명령어는 저장된 job을 생성하고 이용할 수 있도록 한다. 저장된 job은 job을 등록할때 사용한 매개변수들을 기억한다. 그 잡을 작동시킴으로써 재실행될 수 있다. (반복해서 사용할 sqoop 명령어가 있을때 job 생성 및 사용)

저장된 잡이 Incremental Import를 수행하는 데에 구성된다면, 지속적으로 가장 최근의 행들만 가져올 수 있도록 한다.

--create 옵션 예시 (myjob이라는 job을 생성, mysql의 mytable을 import 하는 job) $ sqoop job --create myjob -- import --connect jdbc:mysql://example.com/db --table mytable

--show 옵션 예시 (tool, option 확인 후 원하는 기능을 수행한다면 exec명령어를 통해 해당 job을 실행할 수 있음) $ sqoop job --show myjob

--exec 옵션 예시 (exec 옵션은 --의 뒤에 인자들을 제공하여 저장된 잡의 인자들을 오버라이드 할 수 있게 한다. 예를 들면, 아래와 같이 사용자명과 비밀번호를 명시할 수 있다.) $ sqoop job --exec myjob -- --username root -P

스쿱(Sqoop)은 구조화된 관계형 데이터베이스(RDBMS)와 아파치 하둡간의 대용량 데이터들을 효율적으로 변환해주는 명령 줄 인터페이스(Command-Line Interface) 애플리케이션이다. 관계형 데이터베이스(Oracle, Mysql, etc..) 데이터를 HDFS, Hive, Hbase에 임포트(import) 하거나, 반대로 관계형 데이터베이스에 데이터를 익스포트(export)할 수 있다. 스쿱은 데이터의 가져오기와 내보내기를 맵리듀스를 통해 처리하여 장애 허용 능력뿐만 아니라 병렬 처리가 가능하게 한다. (장애 허용 능력: 정상적으로 작동할 수 없는 상황이 발생하였을 때, 데이터가 분실되거나 진행 중인 작업이 훼손되는 사태가 일어나지 않도록 대응하능 능력)

참고 사이트: https://ko.wikipedia.org/wiki/%EC%95%84%ED%8C%8C%EC%B9%98_%EC%8A%A4%EC%BF%B1

1. 스쿱 아키텍처

스쿱은 관계형 DB를 읽고 쓸 수 있는 커넥터라는 개념을 사용한다. 커넥터는 각 DB별로 구현돼 있으며, JDBC 드라이버를 이용해 데이터베이스 접속 및 쿼리 실행을 요청한다.

1) 데이터 임포트 동작 방식

1. 클라이언트가 스쿱에 임포트를 요청한다. (이때 클라이언트는 데이터베이스 접속 정보, 임포트 대상 테이블, 임포트 질의, 실행할 맵 태스크 개수 등을 설정하여 요청)
2. 스쿱은 데이터베이스에서 해당 테이블의 메타데이터를 조회해 ORM(Object Realational Mapping) 클래스를 생성한다. ORM에서 익스포트 테이블의 튜플과 임포트 테이블의 튜플이 매핑된다. 그 후 맵리듀스 잡 실행에 필요한 직렬화 메서드가 생성된다.
3. 스쿱은 ORM 클래스가 정상적으로 생성되면 맵리듀스 잡 실행을 요청한다. (리듀스 태스크는 사용하지 않는다. 맵 태스크의 결과를 임포트해 사용한다.)
4. 맵 태스크는 DB에 JDBC로 접속한 후 SELECT 질의를 실행한다.
5. 맵 태스크는 질의문을 실행한 결과를 HDFS에 저장한다. 모든 맵 태스크가 종료되면 스쿱은 클라이언트에게 작업이 정상적으로 종료됐다고 알려준다. // 6번 부터는 스쿱 import 문에 테이블 생성 코드 추가했다고 가정.
6. 사용자가 설정한 하이브 테이블을 생성한다.
7. 맵 태스크에 저장된 결과를 하이브 테이블의 데이터 경로로 로딩한다.

   2) 데이터 익스포트 동작 방식

   export 작업이 실패하면 일부 데이터가 데이터베이스에 커밋되는 등 삽입 충돌이 발생할 위험성 때문에 중간 테이블을 사용합니다.
8. 클라이언트가 스쿱에 익스포트를 요청한다.
9. 스쿱은 RDBMS에서 메타데이터를 조회 후 맵리듀스 잡에서 사용할 ORM 클래스를 생성한다.
10. 스쿱은 데이터베이스의 중간 테이블의 데이터를 모두 삭제한 후 맵리듀스 잡을 실행한다.
11. 맵 태스크는 HDFS에서 데이터를 조회한 후 INSERT 질의문을 만들어 중간 테이블에 데이터를 입력한다. 이때 질의문은 레코드당 한 번씩 실행하는 것이 아니라 천개 단위의 배치로 실행한다. (중간 테이블 및 배치 단위 옵션은 sqoop.export.records.per.statement 옵션으로 수정가능 )
12. 스쿱은 맵리듀스 잡이 정상적으로 종료되면 중간 테이블의 결과를 최종 테이블에 입력한다. 예를 들어, 중간 테이블이 tmp1, 최종 테이블이 result1이라면 하기 쿼리를 실행한다. insert into result1 (select * from tmp1)