Specialist

Spring Stereotype 정리(@Component,@Repository,@Service,@Controller,@RestController)

tyha — Wed, 23 Nov 2016 19:22:50 +0900

Spring Stereotype 정리

@Component (Since. Spring 2.5)

스프링이 관리하는 컴포넌트를 나타내는 일반적인 스테레오 타입이다. MVC 아키텍쳐 기반에서 계층이 분명한 컴포넌트는 아래 스테레오 타입을 사용해 성격을 구체화 하는 것 이 명확하며 이는 AOP 의 PointCut 에 대한 적절한 Target 으로 활용 될 수 있다.
@Repository (Since. Spring 2.0)

Persistence Layer, 영속성을 가지는 계층 (데이터 접근 계층) 의 컴포넌트에 대해 선언한다.
@Service (Since. Spring 2.5)

Business(Service) Layer, 비지니스 로직을 구현하는 컴포넌트에 대해 선언한다.
@Controller (Since. Spring 2.5)

Presentation Layer 의 컴포넌트에서 선언한다. View 를 위해서는 @ResponseBody 에 대한 적절한 구현이 필요하다.
@RestController (Since. Spring 4.0)

@Controller 와의 차이는 View 가 필요 없는 API 서비스와 같은 Rest 형태의 Controller 일 경우 사용한다는 점이다. @ResponseBody 가 포함된다. (과거 @Controller + @ResponseBody 를 대신해준다. )

티스토리(Tistory) 에 마크다운(Markdown) 적용하기

tyha — Fri, 18 Nov 2016 13:18:26 +0900

티스토리(Tistory) 에 마크다운(Markdown) 적용하기

Tistory 환경설정
- github-markdown.css 다운로드
- Tistory 관리자 페이지
  - [파일업로드] 탭에 다운받은- github-markdown.css 파일을 업로드
  - [HTML] 탭에 <head>...</head> 안에 stylesheet 적용 구문을 추가한다.

<head>
    ...
    <link rel="stylesheet" href="./images/github-markdown.css">
    ...
</head>

문서편집기 (Sublime Text)
- Sublime Text 설치
- Package Control 설치
- Sublime Text 에서 Ctrl + Shift + p 단축키 누름 (패키지 선택창)
- Markdown Preview Package 설치
문서작성
- Markdown 형식으로 문서 작성
- Sublime Text 에서 Ctrl + Shift + p 단축키 누름 (패키지 선택창)
- Markdown Preview: Export HTML in Sublime Text 선택 -> github 선택
- Markdown 문서를 Github 스타일의 HTML 로 변환한 문서가 새 창에 생김
- 문서에서 <article>...</article> 태그 영역만 COPY
- Tistory 에서 HTML 모드로 글쓰기 창에서 PASTE
- 미리보기로 확인해 본다. 예쁘다. 나머지 글쓰기 마무리 하면 끝.
github 스타일로 Code Highlighting 도 적용된다.

웹로그 분석을 위한 Apache Log Format 과 Logstash Filter 설정

tyha — Thu, 17 Nov 2016 14:42:09 +0900

웹로그 분석을 위한 Apache Log Format 과 Logstash Filter 설정

ElasticStack (ELK) 을 활용한 웹서비스 로그 분석 인프라 구축 작업을 진행하였다. 소프트웨어 설치와 기본적인 가이드는 Elastic 공식 사이트나 구글링을 통해서 충분히 습득이 가능했다. 하지만 실제 우리 상황에 맞는 웹서비스 분석을 위해 로그 형식을 정의하고 이를 Parsing 하기 위해 Logstash Filter를 구현하는 부분에서는 많은 시행 착오가 있었다. (실력이 부족하여..) 관련한 내용을 공유해본다.

Apache Log Format

웹서버(Apache,Jboss-EWS) 의 로그포멧은 아래 형식으로 표준 설정
기본적인 Combined Log 에 쿠키, 수행시간, x-request-with 추가

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" \"%{Cookie}i\" %D \"%{x-requested-with}i\"" combined

형식문자	설명
%...h?	원격 호스트
%...l	(있다면 identd가 제공한) 원격 로그인명. mod_ident가 있고 IdentityCheck가 On이 아니면 빼기기호를 기록한다.
%...u	원격 사용자 (auth가 제공하며, 상태(%s)가 401인 경우 이상한 값을 나올 수 있음)
%...t	common log format 시간 형식(표준 영어 형식)의 시간
%...r	요청의 첫번째 줄
%...s	상태(status). 내부 리다이렉션된 요청의 경우 원래 요청의 상태이다. 최종 요청의 상태는 %...>s.
%...b	HTTP 헤더를 제외한 전송 바이트수. CLF 형식과 같이 전송한 내용이 없는 경우 0 대신 '-'가 나온다.
%{Referer}	Referer 정보
%{User-Agent}	Agent 정보
%{Cookie}	쿠키정보
%...D	요청을 처리하는데 걸린 시간 (마이크로초 단위).
%{x-requested-with}	HTTP 표준헤더가 아닌 커스텀 헤더이며, Ajax 요청을 판별할 수 있다.

Logstash Configuration

Logstash grok-patterns 을 참고하면 이해가 쉽다.
filter 구현 내용
- grok
  - 기본 message 필드를 grok 패턴을 이용해 분해
  - request 에서 querystring 제외한 부분만 별도 추출 (uripath)
  - referrer 정보 세분화
- date
  - 로그파일에 있는 timestamp 를 @timestamp 로 사용했다.
- kv
  - request 정보에서 Kev-Value 추출 (include_keys 에 정한 항목)
  - cookie 정보에서 Kev-Value 추출 (include_keys 에 정한 항목)
- user-agent
  - OS,Browser,Device 등에 대한 정보 추출 (알아서 해준다!)
- geo-ip
  - 위치기반 분석 정보 추출
  - geo 정보 database 파일 필요
- ruby
  - @timestamp 필드에서 년월일을 추출함. (날짜별 index 명을 부여하기 위해)
  - 서버 시간으로 사용시 로그 파일에 기록된 시간과의 차이로 혼선이 있었다.
- mutate
  - convert
    - index template 을 전체 string 에 not_analyzed 로 설정했다.
  - 따라서, 숫자형으로 처리가 필요한 항목에 대해 명시적으로 type을 정해줬다.
  - remove_field : 불필요한 필드 제거

input {
  beats {
    port => 5044
  }
}

filter {  
  grok {
    match => { "message" => ["%{COMBINEDAPACHELOG} %{QS:cookie} %{NUMBER:time} %{QS:x-requested-with}"] }
  }
  grok {
    match => { "request" => ["%{URIPATH:uripath}"] }
  }
  grok {
    match => { "referrer" => ["%{URIPROTO}://%{IPORHOST:referrer_host}(?::%{POSINT})?%{URIPATH:referrer_uripath}"] }
  }
  date {
    match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
    target => "@timestamp"
  }
  kv {
    source => "request"
    field_split => "&?"
    include_keys => ["name"]
  }
  kv {
    source => "cookie"
    field_split => "; "
    include_keys => [ "id"]   
  }
  useragent {
    source => "agent"
    prefix => "a_"
  }
  geoip {
    source => "clientip"
    target => "geoip"
    database => "/home/hello/logstash-2.4.0/dat/GeoLiteCity.dat"
    add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
    add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}"  ]
  }
  ruby {
    code => "event['index_day'] = event['@timestamp'].time.localtime.strftime('%Y%m%d')"
  }
  mutate {
    convert => {
       "[geoip][coordinates]" => "float"
       "time" => "integer"
       "bytes" => "integer"
    }    
    remove_field => ["@version","timestamp","tags","input_type","type","offset","fields","beat","count","cookie"]
  }
}

output {
  elasticsearch {
    hosts => ["http://my_elastic_server"]
    index => "web-log-%{index_day}"    
  }
}

ElasticSearch

Index Tempate 은 아래와 같이 설정하였다.

 "web-log" : {
    "order" : 0,
    "template" : "web-log-*",
    "settings" : { },
    "mappings" : {
      "_default_" : {
        "dynamic_templates" : [ {
          "string_fields" : {
            "mapping" : {
              "index" : "not_analyzed",
              "type" : "string"
            },
            "match_mapping_type" : "string",
            "match" : "*"
          }
        } ],
        "properties" : {
          "geoip" : {
            "dynamic" : true,
            "properties" : {
              "location" : {
                "type" : "geo_point"
              },
              "longitude" : {
                "type" : "float"
              },
              "latitude" : {
                "type" : "float"
              },
              "ip" : {
                "type" : "ip"
              }
            }
          }
        }
      }
    },
    "aliases" : { }
  }
}

SpringBoot Web Application War deploy(배포)하기(JBoss,Tomcat)

tyha — Thu, 17 Nov 2016 11:37:54 +0900

SpringBoot Web Application War 배포하기

SpringBoot Web Application 을 War 로 배포하는 방법을 소개하고자 한다. 특히 JBoss EAP 6, 7 에 배포하기 위해 시행착오가 많았다.

Java Application

SpringBoot 메인 Application 클래스에 SpringBootServletInitializer 클래스를 상속한다.
configure method 를 오버라이딩 한다.
Servlet 3.0 이상에서 지원한다. 이전 버젼에서는 web.xml 을 이용한 설정 방법을 사용해야 한다.

@SpringBootApplication
public class Application extends SpringBootServletInitializer {

    @Override
    protected SpringApplicationBuilder configure(SpringApplicationBuilder application) {
        return application.sources(Application.class);
    }

    public static void main(String[] args) throws Exception {
        SpringApplication.run(Application.class, args);
    }

}

Configuration

Spring Boot 설정 파일이다. /api 를 context root 이름으로 지정했다.
Servlet Path 는 /* 로 지정해 줘야 한다. JBoss 6, 7 에서 default (/) 패스로 동작하지 않는다. (여기서 삽질)
application.properties

server.port=8080
server.servlet-path=/*
server.contextPath=/api

application.yaml

server:
  port: 8080
  servletPath: /*
  contextPath: /api

pom.xml

packaging 유형을 war 로 변경한다.
임베디드 톰캣 라이브러리에 대한 dependency를 제거한다. 방법은 아래 2가지가 있다.
- spring-boot-starter-web 에서 spring-boot-starter-tomcat 을 exclusion 처리
- spring-boot-starter-tomcat 의 scope 을 provided 로 설정

<dependencies>
    <!-- … -->
    <packaging>war</packaging>    
    <!-- … -->
    <dependency>
      <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
    <exclusions>
      <exclusion>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-tomcat</artifactId>
      </exclusion>
    </exclusions>
  </dependency>
    <!-- … -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-tomcat</artifactId>
        <scope>provided</scope>
    </dependency>
    <!-- … -->

</dependencies>

jboss-web.xml

JBoss EAP 에서 필요하다. Tomcat 은 해당사항 없음.

<jboss-web>
  <context-root>/api</context-root>
</jboss-web>

Sybase) Stored Procedure 결과를 Table 처럼 가져오기

tyha — Tue, 9 Aug 2016 16:36:35 +0900

Sybase) Stored Procedure 결과를 Table 처럼 가져오기

Sybase 의 CIS (Component Integration Service) 기능을 활용하여
Stored Procedure 결과를 Table 처럼 SELECT 하는 예제를 소개하겠습니다.

먼저, 'enable CIS' configuration 이 활성화 되어야 합니다.

sp_configure 'enable CIS', 1

Remote Server 로 자기 자신을 지칭하는 loopback 서버를 추가합니다.

sp_addserver ‘loopback’, ‘ASEnterprise’, <SERVER NAME>.

테스트 프로시져를 생성합니다. DB 는 pubs2 를 활용했습니다.

create procedure sp_test
    @p_au_id varchar(11)
as
begin
    select
         au_id
        ,au_lname
        ,au_fname
        ,phone
    from pubs2..authors
    where au_id = @p_au_id

    return 0
end
go

CREATE EXISTING TABLE 구문을 사용하여 Proxy 테이블을 생성합니다.
주의사항은, Stored Procedure의 파라미터가 Proxy 테이블에 컬럼으로 위치해야 한다는 점입니다.
- 파라미터명 앞에 _(UnderScore) 를 붙여야 합니다.
  - Ex) p_au_id → _p_au_id
- 파라미터 컬럼은 일반 데이터 컬럼의 뒤쪽에 위치 해야 합니다.

create existing table authors_proxy
(
    au_id varchar(11) not null,
    au_lname varchar(40) not null,
    au_fname varchar(20) not null,
    phone char(12) not null,
    _p_au_id varchar(11) null
)
external procedure at 'loopback.pubs2.dbo.sp_test'
go

아래처럼 SELECT 가 가능합니다.
WHERE 조건에 파라미터에 넣은 값이 Stored Procedure의 파라미터로 사용됩니다.

select *
from authors_proxy
where _p_au_id = '238-95-7766'

SQLServer, Sybase) 컬럼에 Default 속성 추가하기

tyha — Wed, 3 Aug 2016 17:18:50 +0900

Sybase, SQLServer 에서 컬럼에 Default 속성 추가하기

How to set a default value for an existing column in sybase, sqlserver

SQL Server

ALTER TABLE Employee 
    ADD DEFAULT GETDATE() FOR upt_dtm

Sybase

ALTER TABLE Employee 
    REPLACE upt_dtm DEFAULT GETDATE()

PostgreSQL) Sequence 생성, 활용, 초기화

tyha — Tue, 2 Aug 2016 18:04:13 +0900

PostgreSQL SEQUENCE

Incremental Unique Key Sequence 를 생성하기 위해

PostgreSQL , ORACLE 은 SEQUENCE 라고 불리는 독립 오브젝트를 제공하며,

SQL-Server , Sybase 은 컬럼에 IDENTITY 속성을,

MySQL 은 컬럼에 AUTO_INCREMENT 속성을 사용한다.

이번 포스팅에서는 PostgreSQL 에서 SEQUENCE 오브젝트 관련 Function 을
정리하고 활용 예제를 작성해 보도록 하겠다.

SEQUENCE 관련 주요 Function 정리
- nextval(seq_name) - 시퀀스 값을 증가시키고 리턴한다.
- currval(seq_name) - 가장 최근 nextval 함수를 호출하여 얻은 값을 리턴한다. 현재 세션에서 nextval 을 호출하지 않았을 경우 오류를 반환한다.
```
select currval('seq_student');

********** Error **********
ERROR: currval of sequence "seq_student" is not yet defined in this session
SQL state: 55000
```
- setval(seq_name, value) - 시퀀스의 현재값을 특정값(value)으로 초기화 한다.
시퀀스 생성

CREATE SEQUENCE seq_student START 1;

CASE 1. 테이블 생성시 ID 컬럼에 DEFAULT 속성 부여

-- 테이블 생성
CREATE TABLE student
(
  id integer DEFAULT nextval('seq_student'),
  name varchar(50),
  eml varchar(100),
  birthday char(8),
  gender char(1),
  constraint pk_student primary key (id)
);

-- 데이터 입력 (id 컬럼은 INSERT 컬럼에서 제외한다.)
INSERT INTO student (name,eml,birthday,gender)
VALUES ('홍길동','hgd@mail.com','18830101','M');

INSERT INTO student (name,eml,birthday,gender)
VALUES ('이순신','lss@mail.com','16830201','F');

INSERT INTO student (name,eml,birthday,gender)
VALUES ('유관순','ygs@mail.com','19030301','M');

INSERT INTO student (name,eml,birthday,gender)
VALUES ('임꺽정','lgj@mail.com','15830401','F');

CASE 2. DEFAULT 속성을 쓰지 않고 INSERT 시점에 VALUE 로 입력

-- 테이블 생성
CREATE TABLE student
(
  id integer,
  name varchar(50),
  eml varchar(100),
  birthday char(8),
  gender char(1),
  constraint pk_student primary key (id)
);

-- 데이터 입력
INSERT INTO student (id,name,eml,birthday,gender)
VALUES (nextval('seq_student'),'홍길동','hgd@mail.com','18830101','M');

INSERT INTO student (id,name,eml,birthday,gender)
VALUES (nextval('seq_student'),'이순신','lss@mail.com','16830201','F');

INSERT INTO student (id,name,eml,birthday,gender)
VALUES (nextval('seq_student'),'유관순','ygs@mail.com','19030301','M');

INSERT INTO student (id,name,eml,birthday,gender)
VALUES (nextval('seq_student'),'임꺽정','lgj@mail.com','15830401','F');

PostgreSQL) TABLESPACE, DATABASE 생성

tyha — Tue, 2 Aug 2016 17:50:43 +0900

PostgreSQL TABLESPACE

TABLESPACE 는 데이터베이스 객체가 파일 시스템상에 저장되는 물리적인 공간을 의미한다.

ORACLE 이나 PostgreSQL 에서만 사용되는 용어이다.
※ SQL-Server, MySQL, Sybase 에서는 사용하지 않는 생소한(?) 용어다.

테이블스페이스를 생성하면 데이터베이스 생성 시 별도의 LOCATION 을 지정할 수 있다.

테이블스페이스를 이용하여 데이터베이스의 목적에 따라 저장소를 다르게 사용하는 운영이 가능해 지며,
장애 대응 및 복구 등의 용도로도 활용이 가능하다.

TABLESPACE 생성과 DATABASE 생성 관련 간단한 예제를 통해 확인해 보도록 하겠다.

TABLESPACE 에서 사용할 LOCATION 에 해당하는 디렉토리가 존재해야 하며 디렉토리에 대한 ownership 이 있어야 한다.

-- 존재하지 않는 디렉토리일 경우 에러발생
CREATE TABLESPACE tbs1
LOCATION 'D:\tablespace\tbs_what?';

********** Error **********
ERROR: directory "D:/tablespace/tbs_what?" does not exist
SQL state: 58P01

TABLESPACE 를 생성

CREATE TABLESPACE tbs1
LOCATION 'D:\tablespace\tbs1';


Synopsis :
CREATE TABLESPACE tablespace_name
    [ OWNER { new_owner | CURRENT_USER | SESSION_USER } ]
    LOCATION ’directory’
    [ WITH ( tablespace_option = value [, ... ] ) ]

DATABASE 생성

CREATE DATABASE mydb
  WITH TABLESPACE = tbs1;

Synopsis :
CREATE DATABASE name
[ [ WITH ] [ OWNER [=] user_name ]
        [ TEMPLATE [=] template ]
        [ ENCODING [=] encoding ]
        [ LC_COLLATE [=] lc_collate ]
        [ LC_CTYPE [=] lc_ctype ]
        [ TABLESPACE [=] tablespace_name ]
        [ ALLOW_CONNECTIONS [=] allowconn ]
        [ CONNECTION LIMIT [=] connlimit ] ]
        [ IS_TEMPLATE [=] istemplate ]

Sybase 의 경우 DISK INIT 명령어로 Device 를 생성하고 CREATE DATABASE 를 실행한다.

DISK INIT NAME='mydisk_dat'
physname='/dev/mydisk_dat'
size='300M'
go

DISK INIT NAME='mydisk_log'
physname='/dev/mydisk_log'
size='30M'
go

CREATE DATABASE pubs
ON mydisk_dat = 300     
LOG ON mydisk_log = 30
GO

SQL-SERVER 는 CREATE DATABASE 구문에 ON / LOG ON 옵션에서 DISK 에 대한 정보를 기재한다.

CREATE DATABASE Sales  
ON   
( NAME = Sales_dat,  
    FILENAME = 'C:\Program Files\Microsoft SQL Server\MSSQL12.MSSQLSERVER\MSSQL\DATA\saledat.mdf',  
    SIZE = 10,  
    MAXSIZE = 50,  
    FILEGROWTH = 5 )  
LOG ON  
( NAME = Sales_log,  
    FILENAME = 'C:\Program Files\Microsoft SQL Server\MSSQL12.MSSQLSERVER\MSSQL\DATA\salelog.ldf',  
    SIZE = 5MB,  
    MAXSIZE = 25MB,  
    FILEGROWTH = 5MB ) ;

출처 : https://msdn.microsoft.com/ko-kr/library/ms176061.aspx