스칼라의 콜렉션은 Immutable, mutable 말고

병렬 콜렉션(Par...)와 순차 콜렉션(일반적으로 사용하는 콜렉션)과 상위 클래스(Gen...)으로 나눠진다. 

참고로 Gen은 general의 약자이다. 

출처: http://docs.scala-lang.org/overviews/parallel-collections/architecture.html

아래의 예를 보면 기본 콜렉션인 Array에 par 함수를 호출하면서 병렬 콜렉션인 ParArray를 인스턴스로 얻는다.

val parArray = (1 to 100).toArray.par

http://docs.scala-lang.org/overviews/parallel-collections/overview.html 에 병렬 콜렉션에 대한 예제가 있는데 심플해서 도움이 된다.

map 예제

val lastNames = List("Smith","Jones","Frankenstein","Bach","Jackson","Rodin").par
lastNames.map(_.toUpperCase)

fold 예제

val parArray = (1 to 100).toArray.par
parArray.fold(0)(_ + _)

filter 예제

val lastNames = List("Smith","Jones","Frankenstein","Bach","Jackson","Rodin").par
lastNames.filter(_.head >= 'f')

아래 자료를 보면 병렬 콜렉션의 장점(속도)를 알 수 있고 병렬 콜렉션의 이해도, custom splitter/builder 내용이 담겨 있다.

스칼라의 콜렉션의 fold와 reduce와 scan 함수는 시간이 조금만 지나면 혼동되기 쉬운 것 같다. 

accumulate 기능이 있어서 서로 비슷하게 생겼다..

List(1,2,3).foldLeft(100)((s,x) => s - x)

((100 - 1) - 2) -3 = 94 

List(1,2,3).foldRight(100)((s,x) => s - x)

1 - (2 - (3 - 100)) = -98

List(1,2,3).reduceLeft((s,x) => s - x)

(1 - 2) - 3 = -4

List(1,2,3).reduceRight((s,x) => s - x)

1 - ( 2 - 3) = 2

List(1,2,3).scanLeft(100)((s, x) => s - x)

List(100, 100-1, (100-1)-2, (100-1)-2-3) 

=> List(100, 99, 97, 94)

List(1,2,3).scanRight(100)((s, x) => s - x)

// index3 : 초기값 100

// index2 : 3 - 100 = -97

// index1 : 2 - -97 = 99

// index0 : 1 - 99 = -98

List(-98, 99, -97, 100)

..

elasticsearch 5.0에서 사라진 api를 확인하고 싶다면.. 아래 페이지에 접근한다.

https://www.elastic.co/guide/en/elasticsearch/reference/5.0/breaking_50_search_changes.html

변경 사항과 삭제된 api를 볼 수 있다.

예를 들어, 삭제된 api는 다음과 같다.

그리고, filtered query의 경우는 아래의 url에 접근할 수 있지만. 자세히 살펴보면 deleted page로 되어 있다..(즉 삭제된 api를 의미한다)

https://www.elastic.co/guide/en/elasticsearch/reference/5.5/query-dsl-filtered-query.html

오픈 스택의 swift(https://github.com/openstack/swift)은 object stroage이다. 

동영상, 이미지, 디스크 이미지등을 저장할 수 있는 저장공간이다. 

HTTP/HTTPS REST api를 이용해 데이터를 저장할 수 있다. 

출처 : https://docs.openstack.org/security-guide/object-storage.html

 RAID가 없기 때문에 가격이 싸고 S3 API를 지원하며 스케일링을 쉽게 진행할 수 있다. 중앙 DB가 없고 TTL을 지원하는 많은 기능을 가지고 있다. https://docs.openstack.org/swift/latest/admin/objectstorage-features.html을 살펴보면 더 자세한 내용을 확인할 수 있다. 

이해에 도움되는 swift 슬라이드 자료이다 .

오픈 스택의 Glance(https://docs.openstack.org/glance/latest/contributor/architecture.html)를 사용하면 운영체제 템플릿 이미지를 등록할 수 있다. 이미지 등록, 삭제, 변경등을 api를 통해 진행할 수 있다. 

Glance API 서버를 통해 controller를 지나 Registry Layer에서 Glance DB를 사용하는 구조이다. 

출처 : https://docs.openstack.org/glance/latest/contributor/architecture.html

이미지 포맷은 https://docs.openstack.org/image-guide/image-formats.html에서 볼 수 있듯이 다양하다.

많은 이미지와 컨테이너 타입을 지원하고 있다. 표로 설명하는 문서(https://platform9.com/support/supported-image-types-and-file-formats/)는 다음과 같다.

우분투 OS이미지를 생성하는 방법(아마도 구 버전이겠지만.) 대충 이렇다.

(출처 : http://lollyrock.com/articles/glance-image-create/)

glance image-create --name 'Ubuntu 14.04 LTS' \ --container-format bare \ --disk-format qcow2 \ --is-public true \ --copy-from http://uec-images.ubuntu.com/releases/14.04/release/ubuntu-14.04-server-cloudimg-amd64-disk1.img +------------------+--------------------------------------+ | Property | Value | +------------------+--------------------------------------+ | checksum | None | | container_format | bare | | created_at | 2014-04-02T13:16:20 | | deleted | False | | deleted_at | None | | disk_format | qcow2 | | id | aa5ab6de-e461-4330-136e-fb149802bdc0 | | is_public | True | | min_disk | 0 | | min_ram | 0 | | name | Ubuntu 14.04 LTS Beta 1 | | owner | 9ab2f1a7ca521eee9c8de5a14567d377 | | protected | False | | size | 261095936 | | status | queued | | updated_at | 2014-04-02T13:16:20 | +------------------+--------------------------------------+

glance 슬라이드 자료.

scalameter(https://scalameter.github.io/)는 마이크로 벤치마킹 기능을 가진 툴이다.  JVM warm up 또는 GC 의 영향을 받아 속도 체크가 좀 틀릴 수 있다. 이를 좀 막고 측정할 수 있는 라이브러리를 알게 되었다.

slideshare에 관련 자료가 잘 설명되어 있다. 

sbt 설정에 다음 라이브러리를 추가한다.

"com.storm-enroute" %% "scalameter-core" % "0.7"

(!!! 0.6에는 라이브러리가 많이 없으니 최신 버전을 활용하는 것이 좋다)

sbt console을 사용해서 scalameter를 임포트한다.

jvm warm up 관련해서 메모리 초기화로 인해서 결과 값이 달라지지 않게 하니 적당히 잘 나온다.

메모리 정보도 확인할 수 있다.

GC 정보는 다음과 같이 테스트할 수 있다. 

관련 소스는 다음과 같다.

https://github.com/scalameter/scalameter/blob/master/scalameter-core/src/main/scala/org/scalameter/Measurer.scala

스칼라 콘솔에서 테스트하고 싶은 예제 코드가 있을 때 실행 라인이 아닌 

전체 예제 코드를 실행하고 싶을 때 :paste를 사용하면 된다. 

스칼라 콘솔(REPL)을 실행한다.

:paste를 입력하고 엔터를 입력한다.

그리고 코드를 입력 한 후 Ctrl+D 키를 함께 누른다. 

그러면 결과가 실행된다.

오픈 스택의 Nova는 가상 머신 라이프 사이클 관리자로서, 아마존 EC2와 동일한 역할을 한다. https://github.com/openstack/nova

(초창기에는 Nova가 오픈스택의 전부였다고 한다....)

즉 서버 가상화를 수행할 수 있다. 

초기의 Nova는 오픈 스택의 핵심이었다고 한다. Nova가 서버, 네트워크, 볼륨을 모두 관리하다가 Nova 볼륨은 Cinder로 Nova 네트워크는 Neutron으로 프로젝트가 분리되었다. 

데이터독의 Nova 아키텍처는 간단하다. 

이미지 출처 : https://datadog-prod.imgix.net/img/blog/openstack-monitoring-nova/nova-high-level-3.png?fit=max

좀 더 좋은 이미지를 살펴봤다. 예전 오픈 스택에는 다음과 같은 아키텍처 그림이 있었다고 하나. 지금은 오픈 스택 싸이트에서는 보이지 않는다.

내부는 RabbitMQ를 사용하고 있다. 

이미지 출처 : http://cloudn1n3.blogspot.kr/2014/11/openstack-series-part-4-nova-compute.html

공식문서(openstack.org)의 아키텍처는 다음과 같다. 

• DB: 데이터 저장용 
• API: HTTP 요청을 받고 커맨드를 변환해 oslo.messaging 큐 또는 HTTP로 다른 컴포넌트와 통신한다.
• Scheduler: 인스턴스를 실행한다.
• Network: ip 포워딩, 브릿지, vlan을 관리한다.
• Compute: 하이퍼바이저와 가상 머신과의 통신을 관리한다. 
  
• Conductor: 코디네이션(빌드/리사이즈)가 필요하다라는 요청을 처리한다. 마치 데이터베이스 프록시처럼 동작한다.

Nova를 설명한 쉬운 자료.

Nova에 대한 자세한 내용은 아래 슬라이드를 보니 도움이 된다. 

Nova와 AMQP와의 연동 방법, 인스턴스가 만들어질 때까지의 동작 순서를 설명한다.

파이썬의 sorted 함수는 콜렉션(List, Tuple, 등) 및 배열을 정렬할 수 있다. 

정렬 키를 lambda를 사용해서 깔끔히 정렬되는 것을 보니 깔끔해 보인다. 

print("List")
lst = ['cc', 'aa', 'ba', 'md']
print(list)
print("origin-", lst)
print("sort-", sorted(lst))
print("sort(reverse)-", sorted(lst, reverse=True))
print("\n")

print("\n")
print("Tuple")
tup = [('cc', 3), ('aa', 2), ('ba', 5), ('md', 4)]
print("origin-", tup)
print("sort-", sorted(tup, key=lambda tup: tup[1]))
print("sort(reverse)-",sorted(tup, key=lambda tup: tup[1], reverse=True))
print("\n")

print("\n")
print("Class")
class Member:
    def __init__(self, id):
        self.id = id
    def __repr__(self):
        return repr(self.id)

members = [Member(1), Member(10), Member(5), Member(4)]
print("origin-", members)
print("sort-", sorted(members, key=lambda member: member.id))
print("sort(reverse)-", sorted(members, key=lambda member: member.id, reverse=True))

예제 결과는 다음과 같다.