'scribbling' 카테고리의 다른 글
| [펌] OLAP 빅 데이터 공부자료 (0) | 2017.06.20 |
|---|---|
| SRE 문화 만들기 (0) | 2017.06.14 |
| [펌] 스파크의 사용 환경 내용 - data bricks (0) | 2017.05.24 |
| [성과] OKR (0) | 2017.05.23 |
| [펌] uber 아키텍처 (0) | 2017.05.22 |
'scribbling'에 해당되는 글 409건
- 2017.06.14 아파치 스파크 2017 발표 자료
- 2017.05.24 [펌] 스파크의 사용 환경 내용 - data bricks
- 2017.05.23 [성과] OKR
- 2017.05.22 [펌] uber 아키텍처
- 2017.05.16 goto 2017(chicago, 2017/5/1~2017/5/2) 자료 다운받기
- 2017.04.28 간단한 http client - okhttp
- 2017.04.21 아파치 오로라(Apache Aurora)
- 2017.04.20 [메소스] DRF 알고리즘
- 2017.04.10 [펌] 스칼라 컨퍼런스에서 Web과 Stream 선호도
- 2017.04.07 [펌] 메소스 - 컨테이너 자료
스파크의 사용환경 발표(data bricks)
아래 슬라이드의 9페이지에 소개되어 있음.
https://www.slideshare.net/ydn/february-2016-hug-running-spark-clusters-in-containers-with-docker
- Spark in Standalone mode - 48%
- Spark on YARN - 40%
- Spark on MESOS - 11%
'scribbling' 카테고리의 다른 글
| SRE 문화 만들기 (0) | 2017.06.14 |
|---|---|
| 아파치 스파크 2017 발표 자료 (0) | 2017.06.14 |
| [성과] OKR (0) | 2017.05.23 |
| [펌] uber 아키텍처 (0) | 2017.05.22 |
| goto 2017(chicago, 2017/5/1~2017/5/2) 자료 다운받기 (0) | 2017.05.16 |
한글 좋은 글, 링크
https://brunch.co.kr/@jjollae/8
영문
https://www.slideshare.net/HenrikJanVanderPol/how-to-outperform-anyone-else-introduction-to-okr
https://www.slideshare.net/mustansir78/guide-to-okr-objectives-key-results
https://library.gv.com/how-google-sets-goals-okrs-a1f69b0b72c7
책으로 보려면 아래 싸이트 가서 공짜 Perdoo-OKR-eBook.pdf를 다운받는다.
https://info.perdoo.com/how-to-write-okrs
'scribbling' 카테고리의 다른 글
| 아파치 스파크 2017 발표 자료 (0) | 2017.06.14 |
|---|---|
| [펌] 스파크의 사용 환경 내용 - data bricks (0) | 2017.05.24 |
| [펌] uber 아키텍처 (0) | 2017.05.22 |
| goto 2017(chicago, 2017/5/1~2017/5/2) 자료 다운받기 (0) | 2017.05.16 |
| 간단한 http client - okhttp (0) | 2017.04.28 |
EVOLVING DISTRIBUTED TRACING
https://eng.uber.com/distributed-tracing/
https://eng.uber.com/tech-stack-part-one/
qcon london - REALTIME STREAM COMPUTING &ANALYTICS
https://qconlondon.com/london-2016/system/files/presentation-slides/sudhittonse.pdf
oscon 2017 - wishful thinking
https://cdn.oreillystatic.com/en/assets/1/event/214/Wishful%20thinking%20Presentation.pdf
'scribbling' 카테고리의 다른 글
| [펌] 스파크의 사용 환경 내용 - data bricks (0) | 2017.05.24 |
|---|---|
| [성과] OKR (0) | 2017.05.23 |
| goto 2017(chicago, 2017/5/1~2017/5/2) 자료 다운받기 (0) | 2017.05.16 |
| 간단한 http client - okhttp (0) | 2017.04.28 |
| 아파치 오로라(Apache Aurora) (0) | 2017.04.21 |
5월 1/2일에 goto 2017 세션이 있었다. 자료는 아래 링크에 가면 자료를 다운받을 수 있다.
https://gotochgo.com/2017/schedule
* 세션 중 재미있는 것을 정리
1) Fast Data Architectures for Streaming Applications
--> (결국 여기 접속) http://lightbend.com/fast-data-platform
2) Apache Beam 소개
4) microservice
ABC 방송국의 microservice
5) python-베이지안
6) jdk9
'scribbling' 카테고리의 다른 글
| [성과] OKR (0) | 2017.05.23 |
|---|---|
| [펌] uber 아키텍처 (0) | 2017.05.22 |
| 간단한 http client - okhttp (0) | 2017.04.28 |
| 아파치 오로라(Apache Aurora) (0) | 2017.04.21 |
| [메소스] DRF 알고리즘 (0) | 2017.04.20 |
간단한 java http client 가 있다. android도 지원하는 경량 java http client이다.
OkHttp - http://square.github.io/okhttp
public static final MediaType JSON
= MediaType.parse("application/json; charset=utf-8");
OkHttpClient client = new OkHttpClient();
String post(String url, String json) throws IOException {
RequestBody body = RequestBody.create(JSON, json);
Request request = new Request.Builder()
.url(url)
.post(body)
.build();
Response response = client.newCall(request).execute();
return response.body().string();
}
'scribbling' 카테고리의 다른 글
| [펌] uber 아키텍처 (0) | 2017.05.22 |
|---|---|
| goto 2017(chicago, 2017/5/1~2017/5/2) 자료 다운받기 (0) | 2017.05.16 |
| 아파치 오로라(Apache Aurora) (0) | 2017.04.21 |
| [메소스] DRF 알고리즘 (0) | 2017.04.20 |
| [펌] 스칼라 컨퍼런스에서 Web과 Stream 선호도 (0) | 2017.04.10 |
어느 분이 마라톤보다 오로라가 좋다고 해서 자료를 찾아봤다.
오로라는 트위터에서 만들어진 오픈 소스로서 현재는 아파치 재단에 관리되고 있다.
아파치 오로라의 주요 기능은 다음과 같다.
* 크론(cron) 작업, 오랫동안 실행하는 서비스, 작업 관리를 위한 메소스 프레임워크이다.
* 트위터에서 개발되었고 나중에는 아파치 라이선스를 가진 오픈 소스로 전환되었다.
* 오랜 기간동안 공유 자원 풀에서 오랫동안 실행하는 작업을 유지한다. 한 대의 장비에서 실패하면 다른 장비에서 작업을 다시 예약한다.
* 스케쥴러 자체이기 때문에 특정 스케줄링 요구 사항이 있는 시스템에는 권장되지 않는다.
* 어느 시점이든 특정 작업에 대한 코오스 그레인드(coarse grained) 자원을 제공한다.
* 다중 사용자를 지원한다.
* 설정 중복을 피하기 위해 DSL(Domain Specific Language)을 사용해 설정을 지정한다.
오로라와 마라톤은 유사한 기능들을 제공하며 둘 다 서비스 스케줄러로 분류된다. 둘 사이에는 세 가지 주요 차이점이 있다.
* 오로라는 설치하기 쉽지 않다. 오로라는 쓰리프트(thrift) API를 노출한다. 즉, 프로그램으로 상호 작용할 수 있는 쓰리프트 클라이언트가 필요하다는 것을 의미한다. 반면 마라톤은 최대한 Hello World를 빨리 실행할 수 있도록 도와준다. 많은 환경에서 해당 작업을 수행할 수있는 좋은 문서가 있고 갈 시간이 거의 없다. 그것은 REST API를 가지고 있고 마라톤은 설정을 위해 JSON을 사용한다.
* 오로라는 트위터와 같이 큰 회사에서 사용될 수 있도록 설계되었다. 예를 들어 트위터 클러스터에는 수만 대의 장비와 수백 명의 엔지니어가 있는데 마라톤으로 기능을 빨리 개발했지만 생산성이 떨어진다고 느꼈다. 이에 대한 적절한 예시로 Docker 지원 기능을 들 수 있다. 마라톤은 선점(preemption) 기능을 제공하지 않는다.
* 오로라는 아파치 소프트웨어 재단(ASF, Apache Software Foundation)이 소유하고 있다. 즉, 오로라는 아파치 커뮤니티에 의해 주도되는 아파치 소프트웨어 재단의 거버넌스 모델로 적용된다. 오로라는 사용자에게서 돈을 받지 않으며 현재 소프트웨어 개발 회사에게서 개발비를 받고 있지 않다. 마라톤은 메소스를 소유한 메소스피어(Mesosphere) 사의 소유이다. 메소스피어에게서 지원과 기능을 제공받으려면 유료로 진행될 수다..
'scribbling' 카테고리의 다른 글
| goto 2017(chicago, 2017/5/1~2017/5/2) 자료 다운받기 (0) | 2017.05.16 |
|---|---|
| 간단한 http client - okhttp (0) | 2017.04.28 |
| [메소스] DRF 알고리즘 (0) | 2017.04.20 |
| [펌] 스칼라 컨퍼런스에서 Web과 Stream 선호도 (0) | 2017.04.10 |
| [펌] 메소스 - 컨테이너 자료 (0) | 2017.04.07 |
아파치 메소스의 DRF 관련
최대 작업 수를 실행하고 자원을 가장 효율적으로 사용하기 위해 두 사용자의 자원을 어떻게 분배할 것인가 이다. 기존 알고리즘을 사용한다면 두 사용자 모두에게 동일한 크기의 자원을 할당할 수 있지만 이는 원하는 것이 아니다. 이러한 상황을 이기종 환경(heterogeneous environment)이라고 부른다.
아파치 메소스는 DRF(Dominant Resource Fairness)라는 알고리즘을 구현하며, DRF 알고리즘을 메소스의 자원 할당의 기본 정책으로 사용하고 있다.
대개 DRF 알고리즘을 대학 수준의 운영 체제 과목에서 가르친다. 작업 스케줄링(job scheduling)은 CPU에만 제한되지 않으며 메모리, 네트워크, 디스크와 같은 여러 자원이 존재한다. 그러나 자원 유형을 줄여 문제를 단순화하면 어떤 작업은 프로세서 집약적이고 다른 작업은 디스크 집약적이고, 또 다른 작업은 메모리 집약적이기 때문에 최대-최소 공정성(max-min fairness) 알고리즘이 실패(강력하지 않고 효율적이지 않음)하는 것을 볼 수 있다.
여기에 이기종 환경의 각 사용자에게 자원을 공평하게 분배할 수 있는 자원 스케줄링 메커니즘이 필요하다. 요컨대 DRF 알고리즘은 이기종 자원을 가진 시스템에 최대-최소 공평성 알고리즘을 적용한 것이다.
자원이 사용자 간에 동등하게 분배되지 않으면 DRF 알고리즘에 가중치가 적용된다고 말한다. 공유는 사용자별, 자원 수준별로 가중치를 적용할 수 있으며 사용자별이 더 많이 사용된다.
가중치가 적용된 알고리즘에는 가중치 외에 다음 기능을 더 가진다.
* 공정한 분배(envy freeness) : DRF 알고리즘은 다른 사용자의 자원 할당을 부러워할 필요가 없기 때문에 자유롭다. 가장 낮은 지배 점유율을 가진 사용자에게 자원을 제공하기 때문에 모든 사용자는 동일한 기회를 가질 수 있다.
* 파레토 효율(Pareto efficiency) : 특정 사용자의 통제 관심도를 높이면 자원에 대한 다른 사용자의 지배적인 참가가 비례적으로 감소한다. 한 사용자에게 더 많은 자원을 할당하면 다른 사용자에게 피해를 준다.
* 점진적인 충전(progressive filling) : DRF 알고리즘은 모든 사용자에 대해 동일한 비율로 지배 점유율을 증가시킨다. 다른 알고리즘은 수요에 따라 자원을 할당한다. DRF는 자원이 고갈되면 사용자가 자원을 해제하고, 다른 사용자가 재귀적으로 진행될 때 종료되며, 지배 점유율을 가진 사용자가 증가할 때까지 프로세스는 계속된다.
* 점유율 보장(share guarantee) : 모든 사용자의 지배 점유율 할당은 동일한 비율로 증가하므로 사용자를 동등하게 대우하고, 적어도 하나의 자원 일부는 보장된다.
* 전략 증명(strategy proof) : 사용자는 사용자 자신의 자원 요구를 위조할 수 없다. 한 사용자가 더 많은 자원을 요구하면 DRF 알고리즘은 사용자를 방해하지 않는다.
* 참고 자료
DRF 관련 논문
여기에 좋은 psedo 코드가 있다.
분배 개념은 사회학적으로 나온 얘기였다. 전문용어를 여기서 배울 줄이야.
'scribbling' 카테고리의 다른 글
| 간단한 http client - okhttp (0) | 2017.04.28 |
|---|---|
| 아파치 오로라(Apache Aurora) (0) | 2017.04.21 |
| [펌] 스칼라 컨퍼런스에서 Web과 Stream 선호도 (0) | 2017.04.10 |
| [펌] 메소스 - 컨테이너 자료 (0) | 2017.04.07 |
| 메소스(mesos) 공부 (0) | 2017.03.27 |
출처 :
https://twitter.com/gosubpl/status/850668532832645120/photo/1
스칼라 컨퍼런스에서 Web과 Stream 선호도를 사람들한테서 받은 내용이 있었나보다..
Akka Http와 Akka Stream 이 대세인듯 하다.
'scribbling' 카테고리의 다른 글
| 아파치 오로라(Apache Aurora) (0) | 2017.04.21 |
|---|---|
| [메소스] DRF 알고리즘 (0) | 2017.04.20 |
| [펌] 메소스 - 컨테이너 자료 (0) | 2017.04.07 |
| 메소스(mesos) 공부 (0) | 2017.03.27 |
| [펌] 트위터 스트림 처리 서버 (heron) 최적화 내용 (0) | 2017.03.27 |
1. mesos containerizer 메소스 컨테이너라이저 공식 문서
http://mesos.apache.org/documentation/latest/containerizer/
http://mesos.apache.org/documentation/latest/container-image/
2. mesos와 컨테이너 설명 자료
3. SMACK 스택
스파크와 메소스 관점에서 본 메소스 컨테이너라이저 실례
'scribbling' 카테고리의 다른 글
| [메소스] DRF 알고리즘 (0) | 2017.04.20 |
|---|---|
| [펌] 스칼라 컨퍼런스에서 Web과 Stream 선호도 (0) | 2017.04.10 |
| 메소스(mesos) 공부 (0) | 2017.03.27 |
| [펌] 트위터 스트림 처리 서버 (heron) 최적화 내용 (0) | 2017.03.27 |
| [펌] 카산드라는 매달 출시 계획을 갖는다. (0) | 2017.03.21 |
