[펄 (Perl)] 웹사이트 긁어오기


펄을 이용해서 웹사이트를 긁어오려면 LWP::Simple 모듈을 사용하면 됩니다. 코드는 다음과 같습니다.


#!/usr/bin/perl

use 5.012;

use strict;

use warnings;

use LWP::Simple;


my $url = 'http://www.naver.com';

my $webPage = get($url);


if(defined $webPage)

{

    open my $output, '>', 'C:\webpage.html';

    print $output $webPage;

    close $output;

}

else { say "There's no such website!: $url"; }


이렇게 하면 $url 변수에 지정된 웹사이트의 내용을 문자열로 $webPage로 읽어온 뒤 $output 변수에 연결된 파일로 출력하게 됩니다. 만약 웹사이트 주소가 잘못되었다면 오류 메시지가 출력됩니다.


영문이 아닌 문자가 들어있는 웹사이트를 긁어올 경우 Wide character in print at xxx.pl line xx. 라는 경고 메시지가 출력될 수 있습니다. 이것은 오류가 아니라 경고 메시지이며, 이 경우도 정상적으로 파일로 출력됩니다. 하지만 경고 메시지때문에 뭔가 찜찜하다면 binmode $output, ':utf8'; 이라고 한 줄을 더 넣어주시면 됩니다. 아래 코드에 주석으로 강조해 놓았습니다. 엄밀히 말하자면 웹사이트의 인코딩에 따라 근본 문제는 해결되지 않고 오류 메시지만 안 나타나게 되기도 합니다만, 대부분의 경우에는 문제가 없습니다.


#!/usr/bin/perl


use 5.012;

use strict;

use warnings;

use LWP::Simple;


my $url = 'http://www.naver.com';

my $webPage = get($url);


if(defined $webPage)

{

    open my $output, '>', 'C:\webpage.html';

    binmode $output, ':utf8';    # 이부분입니다.

    print $output $webPage;

    close $output;

}

else { say "There's no such website!: $url"; }


[안드로이드] no original dex files found for dex location


개발중이던 앱 소스 코드를 다른 컴퓨터로 옮기자 앱이 갑자기 안 돌아가서 조금 고생을 했습니다. 로그에는 java.io.IOException: No original dex files found for dex location 이 계속 찍히더라고요. 해결방법은 조금 엉뚱하게도 인스턴트 런 기능을 끄는 것이었습니다.


메뉴에서 차례대로 File -> Settings -> Build, Execution, Deployment -> Instant Run 을 찾아가셔서 Enable Instant Run to hot swap code/resource changes on deploy (default enabled) 라고 되어 있는 부분의 체크를 해제하시면 됩니다.


참조: https://stackoverflow.com/a/34784823/1125721

[안드로이드] undefined reference to `cv::imwrite(cv::String const&, cv::_InputArray const&, std::__ndk1::vector<int, std::__ndk1::allocator<int> > const&)'


안드로이드에서 CMake를 사용해서 OpenCV를 사용한 JNI 함수를 만들다 보면 imwrite 부분이 컴파일이 안 되는 경우가 있습니다. 이 때에는 gradle 파일에 다음과 같이 arguments '-DANDROID_STL=gnustl_shared' 을 추가해 주면 됩니다.


android {

    // ...

    defaultConfig {

        // ...

        externalNativeBuild {

            cmake {

                arguments '-DANDROID_STL=gnustl_shared' // needed to enable imwrite                

            }

        }

    }

}


[자바] 배열 내용 출력하기 (Arrays.toString())


자바에서 배열 내용을 출력해보려고 배열 자체에서 toString()을 사용하면 배열의 내용이 아니라 배열의 주소값이 출력됩니다. 배열의 내용을 출력하려면 Arrays.toString()을 사용해야 합니다. 예제 코드는 아래와 같습니다.


double[] values = {1.0, 1.1, 1.2};

System.out.println(values.toString()); // 이렇게 하면 [D@46a49e6 같은 값이 나옵니다.

System.out.println(Arrays.toString(values)); // 이렇게 하면 [1.0, 1.1, 1.2] 이 출력됩니다.


[안드로이드] error: package R does not exist


error: package R does not exist 는 매니페스트 파일에 액티비티를 적어 주지 않았을 때에 발생합니다.

아래와 같은 식으로 AndroidManifest.xml 파일 안에 액티비티를 적어 주셔야 합니다.


<application>

    ...

    <activity android:name=".MyLovelyActivity"></activity>    

</application>


[Git] fatal: The remote end hung up unexpectedly


git push를 했는데 fatal: The remote end hung up unexpectedly 이라는 에러 메시지가 뜰 때가 있습니다. 크기가 1MB 보다 큰 파일이 있을 경우 이 에러가 발생합니다. 이럴 때에는 git 설정에서 개별 파일의 최고 크기를 늘려주면 됩니다. 예를 들어 20MB 짜리 파일이 있다면 20MB = 20 * 1024 * 1024 = 20971520 bytes 이므로,


git config --global http.postBuffer 20971520


이라고 해 준 뒤에 다시 git push를 하시면 됩니다.


( 참고한 사이트: https://confluence.atlassian.com/bitbucketserverkb/git-push-fails-fatal-the-remote-end-hung-up-unexpectedly-779171796.html )

[OpenCV] 꼭짓점 (코너, corner) 추출 (cornerHarris, 파이썬)


파이썬에서 OpenCV를 사용해서 그림 파일에서 꼭짓점을 추출해보도록 하겠습니다. 코너 (corner) 추출이라고도 합니다.


import cv2

import numpy as np

import matplotlib.pyplot as plt


그림 = cv2.imread('체스판.jpg') # 결과를 보기 쉽도록 체스판 그림을 사용했습니다.

그림RGB = cv2.cvtColor(그림, cv2.COLOR_BGR2RGB)

그림흑백 = cv2.cvtColor(그림, cv2.COLOR_BGR2GRAY) # 꼭짓점 추출에는 흑백 그림이 필요합니다.

그림꼭짓점 = cv2.cvtColor(그림, cv2.COLOR_BGR2RGB) # 나중에 꼭짓점을 여기에 표시합니다.


그림흑백 = np.float32(그림흑백) # 넘파이(numpy)를 사용해서 자료형을 부동소수점으로 바꾸어주어야 합니다.

결과 = cv2.cornerHarris(그림흑백, 2, 3, 0.04) # 2, 3, 0.04는 바꿀 수 있는 인자들입니다.

결과 = cv2.dilate(결과, None, iterations=6) # 꼭짓점을 표시하기 위해 확장 (dilate) 연산을 합니다.

그림꼭짓점[결과>0.01*결과.max()]=[255, 0, 0] # 꼭짓점이 빨간색 점으로 그림에 표시됩니다.


# 이 아래 부분은 그림을 화면에 출력하기 위한 부분으로, OpenCV 알고리즘과는 상관이 없습니다.

plt.subplot(1, 2, 1) # 1행 2열에서 1번째 열

plt.imshow(그림RGB)

plt.xticks([]) # x축 좌표 숨김

plt.yticks([]) # y축 좌표 숨김


plt.subplot(1, 2, 2) # 1행 2열에서 2번째 열

plt.imshow(그림꼭짓점)

plt.xticks([]) # x축 좌표 숨김

plt.yticks([]) # y축 좌표 숨김


plt.show()


이렇게 하면 그림의 꼭짓점이 멋지게 추출되는 것을 보실 수 있습니다.



[OpenCV] 외곽선, 모서리 (엣지, edge) 추출 (Canny, 파이썬)


파이썬에서 OpenCV를 사용해서 그림 파일에서 외곽선 (모서리) 추출을 해보도록 하겠습니다. 엣지 (edge) 추출이라고도 합니다.


import cv2

import matplotlib.pyplot as plt


그림 = cv2.imread('그림파일.jpg')

그림RGB = cv2.cvtColor(그림, cv2.COLOR_BGR2RGB)

외곽선추출 = cv2.Canny(그림, 100, 200) # 100, 200은 변경 가능한 인자값입니다.


# 이 아래 부분은 그림을 화면에 출력하기 위한 부분으로, OpenCV 알고리즘과는 상관이 없습니다.

plt.subplot(1, 2, 1) # 1행 2열에서 1번째 열

plt.imshow(그림RGB)

plt.xticks([]) # x축 좌표 숨김

plt.yticks([]) # y축 좌표 숨김


plt.subplot(1, 2, 2) # 1행 2열에서 2번째 열

plt.imshow(외곽선추출, cmap='gray')

plt.xticks([]) # x축 좌표 숨김

plt.yticks([]) # y축 좌표 숨김


plt.show()


이렇게 하면 그림의 외곽선만 멋지게 추출되는 것을 보실 수 있습니다.



[OpenCV] 그림에서 RGB 채널을 각각 분리하기 (파이썬)


파이썬에서 OpenCV를 사용해서 그림의 RGB 채널을 각각 분리하려면 다음과 같이 하시면 됩니다. 제 예제 꽃 사진에는 빨간색과 초록색이 많고 파란색은 거의 없네요.


import cv2

import matplotlib.pyplot as plt


그림BGR = cv2.imread("그림파일.jpg")

그림RGB = cv2.cvtColor(그림BGR, cv2.COLOR_BGR2RGB)


# 빨간색만 뽑기

그림R = 그림RGB.copy() # 이렇게 해야 제대로 복사가 됩니다.

그림R[:,:,1] = 0 # 1: 초록색 없애기

그림R[:,:,2] = 0 # 2: 파란색 없애기


# 초록색만 뽑기

그림G = 그림RGB.copy() # 이렇게 해야 제대로 복사가 됩니다.

그림G[:,:,0] = 0 # 0: 빨간색 없애기

그림G[:,:,2] = 0 # 2: 파란색 없애기


# 파란색만 뽑기

그림B = 그림RGB.copy() # 이렇게 해야 제대로 복사가 됩니다.

그림B[:,:,0] = 0 # 0: 빨간색 없애기

그림B[:,:,1] = 0 # 1: 초록색 없애기


# 이 아래 부분은 그림을 화면에 출력하기 위한 부분으로, OpenCV 알고리즘과는 상관이 없습니다.

plt.subplot(1, 4, 1) # 1행 2열에서 1번째 열

plt.imshow(그림RGB)

plt.subplot(1, 4, 2) # 1행 2열에서 2번째 열

plt.imshow(그림R)

plt.subplot(1, 4, 3) # 1행 2열에서 2번째 열

plt.imshow(그림G)

plt.subplot(1, 4, 4) # 1행 2열에서 2번째 열

plt.imshow(그림B)

plt.show()



[OpenCV] 그림 좌우 및 상하 반전시키기 (flip, 파이썬)


파이썬에서 OpenCV를 사용해서 그림의 좌우나 상하를 바꾸려면, 즉 거울 상으로 만들려면 다음과 같이 하시면 됩니다.


import cv2

import matplotlib.pyplot as plt


그림BGR = cv2.imread("그림파일.jpg")

그림RGB = cv2.cvtColor(그림BGR, cv2.COLOR_BGR2RGB)

그림좌우반전 = cv2.flip(그림RGB, 1) # 1은 좌우 반전, 0은 상하 반전입니다.


# 이 아래 부분은 그림을 화면에 출력하기 위한 부분으로, OpenCV 알고리즘과는 상관이 없습니다.

plt.subplot(1, 2, 1) # 1행 2열에서 1번째 열

plt.imshow(그림RGB)


plt.subplot(1, 2, 2) # 1행 2열에서 2번째 열

plt.imshow(그림좌우반전)


plt.show()



+ Recent posts