'2018/10/25 글 목록

pip 설치 모듈 확인하기

python 2018. 10. 25. 20:21

pip로 어떤 패키지를 설치했는지 목록을 볼 수 있다. freeze 커맨드를 사용한다.

# pip freeze

celery==3.1.7

certifi==2018.8.24

...

selenium==3.14.1

six==1.11.0

urllib3==1.22

w3lib==1.19.0

websocket-client==0.51.0

Werkzeug==0.14.1

zope.interface==4.4.3

# pip freeze | grep sel

selenium==3.14.1

flask에서 개발할 때 jsonify, json.dump 없이 json 응답 보내기 (0)	2018.11.08
python으로 해결하는 JSONP 파싱 예시 (0)	2018.11.06
[python] 모듈 프로그래밍 환경 설정 (ModuleNotFoundError 에러 해결) (0)	2018.10.20
파이썬에서 selenium과 phantomjs를 연동한 간단 예시 (0)	2018.10.12
파이썬의 try ... import .. except 예시 (0)	2018.10.08

Posted by '김용환'

scala 2018. 10. 25. 19:59

스파크 스트리밍 처리할 때 누산기(accumulator) 같이 처리해야 할 때가 있다.

아래 예시는 처리해야 할 offset을 모두 더하는(누산기) 기능이다. 잘 동작한다.

var totalLag: Long = 0

def printLag(rdd: RDD[ConsumerRecord[String, String]]): Unit = {

val offsetRanges = rdd.asInstanceOf[HasOffsetRanges].offsetRanges

rdd.foreachPartition { iter =>

val o: OffsetRange = offsetRanges(TaskContext.get.partitionId)

totalLag += o.count()

}

println(s"******************total lag : $totalLag")

totalLag = 0

}

[spark] StructType + Row value 를 함께 저장하는 예제 (0)	2018.10.29
Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.im plicits._ Support for serializing other types will be added in future releases. (0)	2018.10.29
[spark] 기본 파티션 개수 (0)	2018.10.12
[spark] "랜덤 포레스트를 이용한 MNIST 데이터셋 분류" 예 (0)	2018.06.01
[spark] 로지스틱 회귀 분석을 이용한 멀티 클래스 분류 (0)	2018.05.31