맥에서 웹 크롤링을 하다가 https url을 만나면 아래와 같은 오류가 발생될 때가 있어요.
SSL: CERTIFICATE_VERIFY_FAILED
이 오류를 만나서 절망에 빠졌었는데, 해결할 방법이 있더라구요. 혹시나 http 만 가능하고 https url은 가져올수 없을까? 싶었는데 전혀 그런건 아니고 맥에서 파이썬으로 이런 오류를 만나면 아래 문서를 참조해서 모듈 업그레이드를 해주면 됩니다.
Fixing CERTIFICATE_VERIFY_FAILED error when trying requests-html out on Mac
Fixing CERTIFICATE_VERIFY_FAILED error when trying requests-html out on Mac.
timonweb.com
위의 문서에서 아래 부분인데요...
pip install --upgrade certifi
로컬에서 이 부분만 실행해주면 오류가 발생되지 않습니다. 그런데 저의 경우는 이렇게 명령을 하니까 오류가 발생되고 권한 문제도 있어서 아래와 같이 명령을 실행했어요.
sudo python3 -m pip install --upgrade certifi
이 한줄로 머리가 지끈지끈하게 아팠던 문제가 깔끔하게 해결되었어요.