일일빌드서버에 저희쪽 SVN에 접속하여 모든 소스를 다운을 받았습니다. 체크아웃 소요시간은 17분정도 걸립니다. 그리고 소스는 head 5G, RC 5G 총 10G입니다.

소스를 다운 받는 이유는 reference를 검색하기 위함입니다. 하도 많은 검색이 필요하지요.

Head버전에서 grep으로 소스를 검색해보려니 (grep –r ‘HttpClient’ /home/www/bdssvn/head) 약 10분정도가 소요됩니다. (fgrep도 큰차이가 없음)

그래서, Hadoop(회사 owfs와 비슷, 분산파일시스템, 야후에서 사용) 을 이용하여 Map Reduce를 써먹을려고 해서 설치하기 까다로웠지만, 로컬만 설치해서 테스트를 해보니, 역시 grep을 기반으로 한거라 어쩔 수 없이 10분 소요됩니다. 여러 대에 깔아서 하기에는 조금 거시기 하더군요.

그래서 grep보다 빠른 것이 있나 확인했더니. ack라는 것이 있었습니다. 이거 1분만에 검색결과를 보여줍니다.

실제 hadoop을 썼을 때는 분산 파일 시스템을 쓰는 부분, 메모리를 많이 사용하는 부분으로 인해서 속도가 그리 많이 높게 나오지 않는다고 합니다. 10대를 설치해서 grep을 해보면, 10배의 기대치가 있지만, 실지로는 7배 빠른 정도라고 합니다. 제 생각으로는 java 기반의 Hadoop은 IO가 가장 약한 부분이라서 side effect가 있지 않나 생각이 듭니다.

또한, grep보다 빠른 녀석이 있는데 바로 ack입니다. Perl 기반이며, 이거 테스트를 해보니 엄청 빨라서 굳이 다른 것을 써보고 싶지 않을 정도입니다. 검색결과 포맷도 예쁘구요. 자세한 것은 참고자료를 보시면서 즐기시면 좋을 것 같습니다.

참고자료

http://kldp.org/node/55573

http://blog.i-no.de/archives/2008/05/06/index.html

http://www.jaso.co.kr/category/project?page=5

http://petdance.com/ack/

http://blog.i-no.de/archives/2008/05/06/index.html

2cpu가 있는 서버상에서 7zip과 bzip2의 성능 비교 자료이다. 5G가 되는 특정 데이터를 가지고 처리했는데. bipz2가 훨씬 더 빨리 속도가 빨랐다.

출처 : http://www.codinghorror.com/blog/archives/001231.html

홈페이지: http://kdiff3.sourceforge.net/

다운로드: http://sourceforge.net/project/showfiles.php?group_id=58666&package_id=54597&release_id=654466

kdiff라는 게 있는데. 디렉토리 비교, 또한 3개의 파일도 동시에 비교가 가능하다.

소스 변경 또는 쓰레드 덤프사이의 비교할 떄 큰 도움이 된다.

메일 설정  DB로 변경 변경하기.

        <!--
      <inboxRepository>
         <repository destinationURL="file://var/mail/inboxes/" type="MAIL"/>
      </inboxRepository>
        -->

      <inboxRepository>
         <repository destinationURL="db://maildb/inbox/" type="MAIL"/>
      </inboxRepository>

      <data-source name="maildb" class="org.apache.james.util.dbcp.JdbcDataSource">
         <driver>com.mysql.jdbc.Driver</driver>
         <dburl>jdbc:mysql://insert-log.google.com/maildb?autoReconnect=true</dburl>
         <user>mail</user>
         <password>1111</password>
         <max>20</max>
      </data-source>

에러가 나면...

org.apache.avalon.phoenix.containerkit.lifecycle.LifecycleException: Component named "database-connections" failed to pass through the Starting stage. (Reason: java.lang.NoClassDefFoundError: org/aspectj/lang/Signature).
java.lang.NoClassDefFoundError: org/aspectj/lang/Signature

이런 에러 안나오게 하려면, mysql jar를 신경쓰면서 봐야 한다.

mysql의 bin-g 버젼 쓰지 않기
mysql의 2개이상 넣지 않기
mysql 안정적인 버젼 사용하기

자바 역 컴파일을 이클립스 플러그 버젼인 jadclipse에서 쓰고 있기도 하다. 그런데, 사실 단순히 역컴파일을 위해서 이클립스를 쓰는건 좀 어렵지 않은가?

ㅎㅎ

그래서 하나 batch 파일 만들었다.

<jad.bat>

@echo off
jad -o -d. %*
notepad %~n1.jad
del %~n1.jad

<용도>

역컴파일을 선택된 모든 파일에 되게 해주고, 노트패드로 읽게 한다. 그리고, 읽고 나면, 디컴파일된 찌꺼기는 삭제한다.

<쓰임>

이렇게 파일 하나 만들어주고, 

1) path에 jad.exe가 들어있는 폴더에 패쓰를 지정하거나,

   bat파일안에 있는 jad에 절대패쓰를 걸어둔다.

2) notepad대신 딴 에디트를 쓰는 것도 괜찮다.

이런거 하나 만들어도...

회사사람들은  필요성을 안 느끼나 부다....

! - Exclamation Point (엑스클러메이션 포인트)
" - Quotation Mark (쿼테이션 마크)
# - Crosshatch (크로스해치), Sharp(샵), Pound Sign(파운드 사인)
$ - Dollar Sign (달러사인)
% - Percent Sign (퍼센트사인)
@ - At Sign (앳 사인, 혹은 앳), Commercial At(커머셜 앳)
& - Ampersand (앰퍼샌드)
' - Apostrophe (어파스트로피)
* - Asterisk (애스터리스크)
- - Hyphen (하이픈), Dash (대시)
. - Period (피리어드), Full Stop (풀스탑)
/ - Slash (슬래시), Virgule (버귤)
＼ - Back Slash (백슬래시)
\ - Won sign (원사인)
: - Colon (콜론)
; - Semicolon (세미콜론)
^ - Circumflex (서컴플렉스), Caret (캐럿)
` - Grave (그레이브)
{ - Left Brace (레프트 브레이스)
} - Right Brace (라이트 브레이스)
[ - Left Bracket (레프트 브래킷)
] - Right Bracket (라이트 브래킷)
( - Left Parenthesis (레프트 퍼렌씨시스)
) - Right Parenthesis (라이트 퍼렌씨시스)
| - Vertical Bar (버티컬바)
~ - Tilde (틸드)
= - Equal Sign (이퀄사인)
+ - Plus Sign (플러스사인)
- - Minus Sign (마이너스사인)
_ - Underscore (언더스코어), Underline (언더라인)
< - Less Than Sign (레스댄 사인), Left Angle Bracket(레프트 앵글브래킷)
> - Greater Than Sign (그레이터댄 사인), Right Angle Bracket (라이트 앵글브래킷)

출처

http://hawkwind.egloos.com/954100

vi혹은 vim에서 해당 함수/변수/매크로의 정의를 찾고 싶을 때 사용된다.
1. 가장 먼저 ctags를 다운을 받는다.
2. 해당 소스 트리에서 ctags -R 명령어를 내린다.
3. ctag라는 파일이 생성됨을 볼 수 있다.

vi, vim에서 사용하려면, 해당 함수/몸체/매크로에 커서를 두고, Ctrl + ] 를 같이 누른다.
그러면, 함수/변수/매크로의 정의로 파일을 읽은 후, 커서를 정의하고 있는 줄을 가르키게 된다.

만약 원래 소스로  움직이려고 하면, Ctrl + O를 눌러서 동작되도록 한다.

Alternative HTML Parsers

This package was originally written in the latter half of 2002. At that time I evaluated 6 other parsers, none of which were capable of achieving my aims. Most couldn't reproduce a typical HTML document without change, none could reproduce a source document containing badly formatted or non-HTML components without change, and none provided a means to track the positions of nodes in the source text. A list of these parsers and a brief description follows, but please note that I have not revised this analysis since the before this package was written. Please let me know if there are any errors.

• JavaCC HTML Parser by Quiotix Corporation (http://www.quiotix.com/downloads/html-parser/)
  GNU GPL licence, expensive licence fee to use in commercial application. Does not support document structure (parses into a flat node stream).
• Demonstrational HTML 3.2 parser bundled with JavaCC. Virtually useless.
• JTidy (http://jtidy.sourceforge.net/)
  Supports document structure, but by its very nature it "tidies" up anything it doesn't like in the source document. On first glance it looks like the positions of nodes in the source are accessible, at least in protected start and end fields in the Node class, but these are pointers into a different buffer and are of no use.
• javax.swing.text.html.parser.Parser
  Comes standard in the JDK. Supports document structure. Does not track the positions of nodes in the source text, but can be easily modified to do so (although not sure of legal implications of modifications). Requires a DTD to function, but only comes with HTML3.2 DTD which is unsuitable. Even if an HTML 4.01 DTD were found, the parser itself might need tweaking to cater for the new element types. The DTD needs to be in the format of a "bdtd" file, which is a binary format used only by Sun in this parser implementation. I have found many requests for a 4.01 bdtd file in newsgroups etc on the web, but they all reamain unanswered. Building it from scratch is not so easy.
• Kizna HTML Parser v1.1 (http://htmlparser.sourceforge.net/)
  GNU LGPL licence. Version 1.1 was very simple without support for document structure. I have since revisited this project at sourceforge (early 2004), where version 1.4 is now available. There are now two separate libraries, one with and one without document structure support. It claims to now also be capable of reproducing source text verbatim.
• CyberNeko HTML Parser (http://www.apache.org/~andyc/neko/doc/html/index.html)
  Apache-style licence. Supports document structure. Based on the very popular Xerces XML parser. At the time of evaluation this parser didn't regenerate the source accurately enough.

출처  - http://jerichohtml.sourceforge.net/

Open Source HTML Parsers in Java

NekoHTML

Go To NekoHTML

HTML Parser

Go To HTML Parser

Java HTML Parser

Go To Java HTML Parser

Jericho HTML Parser

Go To Jericho HTML Parser

JTidy

Go To JTidy

TagSoup

Go To TagSoup

HotSax

Go To HotSax

출처 http://java-source.net/open-source/html-parsers