http://www.google.com/////// 이란 문자열에서 뒤의 /를 모두 빼려면 어떻게 할까?

파이썬에서는 아주 간단히 해결할 수 있다.

spark / sbt 1.3.0-RC1를 사용 중이다. 

sbt test를 실행해

테스트 코드를 모두 완료하고 종료할 때 Java의 ShutdownHookManager에서 Can not access 또는 Can not load 예외가 발생할 수 있다. 

이는 jvm shutdown하면서 shutdownhook에서 정리할 내용보다 먼저 자원이 정리되면서 발생하는 문제이다. 

sbt 실행시 아래와 같은 설정을 추가한다. 더 이상 해당 에러는 발생하지 않는다. 

-Dsbt.classloader.close=false

How to get applicationId of Spark application deployed to YARN in ...

https://spark.apache.org/docs/2.3.0/api/java/org/apache/spark/SparkContext.html

applicationId

public String applicationId()

val appId = spark.sparkContext.applicationId

Spark/Scala 작업을 하다 아래와 같은 에러가 발생했다.

원인은 아래 문 isin 메소드 때문이다.

(아래 코드는 df1, df2라는 데이터 프레임에 대해 df1-df2를 하기 전에 
df1의 null 부분을 0으로 변경해, 쉽게 df1-df2(차집합)을 얻기 위한 코드이다)

import spark.implicits._

val validCode = List(0, 1)

var df1 =
  Seq(
    ("1", "r1c2", null),
    ("2", "r2c2", new Integer(1)),
    ("3", "r2c2", new Integer(3))
  ).toDF("id", "c1", "c2")

val df2 =
  Seq(
    ("1", "r1c2", new Integer(0)),
    ("2", "r2c2", new Integer(2))
  ).toDF("id", "c1", "c2")

df1 = df1.withColumn("c2", 
           when($"c2".isin(validCode).isNull, 0)
          .otherwise($"c2"))
val df3 = df1.except(df2)
df3.show(5)

org.apache.spark.sql.Column.isin 메소드는 다음과 같다. Any 타입의 variable argument 타입을 추가해야 한다. 

def isin(list : scala.Any*)

그래서 에러 코드를 아래와 같이 변경하면.. 컴파일러가 인식하지 못한다.

isin(validCode) ->

isin(validCode:Any*)

이럴 때는 Any* 타입이 아니라 _* 으로 변경한다.

df1 = df1.withColumn("c2", 
         when($"c2".isin(validCode:_*).isNull, 0)
          .otherwise($"c2"))

코드는 잘 실행된다.

_*를 스칼라에서 Type Ascription(annotation으로 쉽게 표기하는 문법)에 필요한 문법으로서

Sugar Syntax로 말하기도 한다. 

isin(validCode:_*)

은 아래와 같이 사용해도 된다.

isInCollection(validCode)

인덱스를 복사하려면 reindex 커맨드를 사용한다.

Mac OS에서 docker-compose를 실행하다 다음 에러가 발생했다. 

해결 방법

- 첫 번째 작업

최신 docker로 업그레이드 한다.

- 두 번째 작업

menu bar -> preferences -> "Securely store docker logins in macOS keychain"의 체크박스가 on되어 있는데. off로 변경한다.

- 세 번째 작업

예전 docker 설정 때문에 이슈가 있으니 아래와 같이 변경한다.

cat ~/.docker/config.json

{

  "experimental" : "disabled",

  "stackOrchestrator" : "swarm",

  "auths" : {

  },

  "credsStore" : ""

}

그래도 안되면 재부팅해본다. 

파이프라인 프로세서(pipeline processor)를 사용하면 특정 인덱스로 저장 또는 검색할 수 있다. 

먼저 템플릿을 저장한다. 

파이프라인을 등록한다. 파이프라인을 월별로 저장하기 위해 설정한 부분은 아래와 같다.

파이프에 템플릿을 저장하는 방식을 사용해 데이터를 인덱스에 저장한다. 

데이터를 확인하면 제대로 있다.  이렇게 월별 인덱스에 저장한다. 

이렇게 다르게 저장해도 제대로 데이터를 검색할 수 있다.

연도별 인덱스를 생성하려면 다음과 같이 파이프라인을 정의할 수 있다. 

그런데 문제는 UTC 기준으로 데이터를 인덱싱하지 못한다는 점이다.

timezone: +09:00을 사용하면 잘 동작한다. 

만약 java timemillis 타입으로 데이터를 저장했다면 

date_formats의 값을 [UNIX_MS]로 변경한다.

참고 자료

https://github.com/elastic/elasticsearch/blob/7.4/modules/ingest-common/src/test/java/org/elasticsearch/ingest/common/DateIndexNameFactoryTests.java

스칼라에서 enum 타입에 맞는 문자열 값을 찾아 enum을 리턴하는 메소드가 필요하다.

이럴 때는 사용할 만한 메소드로 filter와 find가 적당하다.

filter는 List 배열을 리턴하기에 마땅치 않고 find가 적당한 것 같다.

public enum TestEnum {
   A("a"),
   B("b");

   private String value;

   private TestEnum(String value) {
      this.value = value;
   }

   public String getValue() {
      return value;
   }
}

object Test {

  def main(args: Array[String]): Unit = {

    val wrongEnumType : String = "xxx"

    val wrong = TestEnum.values().find(e => 
                      wrongEnumType.equals(e.getValue))

    if (wrong.isDefined) {
      println(wrong)
    } else {
      println("wrong enum type")
    }

  }
}

커맨드

 docker-compose -f docker-compose.yml up ${container_name}

spring cloud config 사용시 사용자 이름, 패스워드를 입력한다

아니면 프로퍼티(property) 설정을 추가한다.

패스워드가 나타나는 게 꺼림직하다.

jasypt(com.github.ulisesbocchio:jasypt-spring-boot-starter) 라이브러리를 사용하면 암호화를 할수 있다.

gradle 설정에  jasypt(com.github.ulisesbocchio:jasypt-spring-boot-starter) 라이브러리를  추가한다.

dependencies {
   implementation 'org.springframework.cloud:spring-cloud-config-server'
   implementation 'org.springframework.cloud:spring-cloud-starter-config'
   compile 'com.github.ulisesbocchio:jasypt-spring-boot-starter:2.1.2'
   testImplementation 'org.springframework.boot:spring-boot-starter-test'
}

application.properties에 

server.port=8080
jasypt.encryptor.bean=jasyptStringEncryptor

management.endpoint.env.enabled=true
management.endpoints.web.exposure.include=*

spring.cloud.config.server.bootstrap=true
spring.cloud.config.server.git.uri=https://github.com/knight76/spring-cloud-config-example
spring.cloud.config.server.git.timeout=5
spring.cloud.config.server.git.username=knight76
spring.cloud.config.server.git.password=123214

암호화에 사용되는 JasyptConfig 클래스를 추가한다. 

package com.github.knight76.config.configserver;

import org.jasypt.encryption.StringEncryptor;
import org.jasypt.encryption.pbe.PooledPBEStringEncryptor;
import org.jasypt.encryption.pbe.config.SimpleStringPBEConfig;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class JasyptConfig {

   final static String KEY = "knight76";

   final static String ALGORITHM = "PBEWithMD5AndDES";

   @Bean("jasyptStringEncryptor")
   public StringEncryptor stringEncryptor() {
      PooledPBEStringEncryptor encryptor = new PooledPBEStringEncryptor();
      SimpleStringPBEConfig config = new SimpleStringPBEConfig();
      config.setPassword(KEY);
      config.setAlgorithm(ALGORITHM);
      config.setKeyObtentionIterations("1000");
      config.setPoolSize("1");
      config.setProviderName("SunJCE");
      config.setSaltGeneratorClassName("org.jasypt.salt.RandomSaltGenerator");
      config.setStringOutputType("base64");
      encryptor.setConfig(config);
      return encryptor;
   }

}

 테스트 코드는 다음과 같다. 테스트 코드의 비밀번호를 사용한다. 

package com.github.knight76.config.configserver;

import org.jasypt.encryption.pbe.StandardPBEStringEncryptor;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

@RunWith(SpringRunner.class)
@SpringBootTest
public class ConfigServerApplicationTests {

   @Test
   public void test() {
      StandardPBEStringEncryptor standardPBEStringEncryptor = 
                      new StandardPBEStringEncryptor();
      standardPBEStringEncryptor.setAlgorithm(JasyptConfig.ALGORITHM);
      standardPBEStringEncryptor.setPassword(JasyptConfig.KEY);

      String enc = standardPBEStringEncryptor.encrypt("비밀번호");
      System.out.println("enc = " + enc);

      String des = standardPBEStringEncryptor.decrypt(enc);
      System.out.println("des = " + des);
   }
}

테스트 코드를 통해 얻은 비밀번호를 application.properties의 비밀번호로 설정한다. ENC(..비밀번호..)로 적용한다.

server.port=8080
jasypt.encryptor.bean=jasyptStringEncryptor

management.endpoint.env.enabled=true
management.endpoints.web.exposure.include=*

spring.cloud.config.server.bootstrap=true
spring.cloud.config.server.git.uri=https://github.com/knight76/spring-cloud-config-example
spring.cloud.config.server.git.timeout=5
spring.cloud.config.server.git.username=knight76
spring.cloud.config.server.git.password=ENC(암호문)

풀 예제 코드는 다음과 같다.

https://github.com/knight76/spring-cloud-config-example

이 방식 외에 RSA 비밀 키를 사용하는 방식이 있다. 

https://cloud.spring.io/spring-cloud-config/reference/html/