신기한 과학나라( https://www.youtube.com/watch?v=Qitd7JDbAK8 )
이 영상을 보고나서 양자역학에 조금은 익숙해졌다. 분명학교 다닐 때, 이것을 배웠을텐데, 왜 이것을 이해할려고 했는지 모르겠다. 세계적인 과학자들 조차 이해하지 못했다고 하고, 다만 이것에 익숙해졌다고 하니, 내가 대학다닐 때 이것을 이해할 수 없는게 너무나도 당연했다.
오래전 부터 딥러닝을 공부할려고 했는데, 잘 진행되지 않았다. 이것도 어쩌면 양자역학 같은 것인지도 모른다. 나는 계속 딥러닝 방식을 사용하면 어떻게 학습이 되는지 잘 이해가 되지 않았다. 그리고 어떻게 해도 내 직관이 잘 동작하지 않았다. 어쩌면 이것도 이해하거나 직관을 이용하기보다는 익숙해져야 하는 것 같다.
누가 저 정도의 설명으로 딥러닝을 설명해주면 더 빨리 익숙해질텐데...
코로나19 이후로 이 사태가 언제 끝날까 하는 마음에 뉴스만 보게된다. 그냥 생각없이 뉴스만 클릭하게 된다. 회사에서도 딱히 집중이 되지 않는다. (음, 회사에서도 일회용 마스크를 쓰고 있는데, 이 때문에 산소 공급이 원활하지 않아서 그런가...)
이 사태가 빨리 끝나기만을 바란다.
인터넷에 https://cldellow.com/2018/06/22/sqlite-parquet-vtable.html이 글을 읽고나서 apache Parquet 에 대해 관심이 생겼다. https://github.com/cldellow/sqlite-parquet-vtable이 sqlite 확장을 이용하면 sqlite 를 이용해서 10억 데이터에 대해 query 를 날릴 수 있는 것 같다. 물론 그냥 sqlite 로도 query 를 날릴 수 있긴한데, 좀 많이 느리다. 내가 1000만 데이터를 sorting 하려고 했는데, 이게 좀 많이 느렸다. indexing 을 하면 좀 괜찮긴 한데, 뭔가 DB가 커진 것 같았다. 그래서 좀더 빠르게 query 를 날릴 수 있는 방법을 찾다가 맨 위 블로그를 발견했다.
이 Parquet 라는게 apache arrow 로 통합되었다고 한다. 그래서 코드를 어찌어찌 https://github.com/apache/arrow 을 이용해서 sqlite-parquet-vtable 코드를 수정해봤다. 그런데 메모리 에러가 발생했다. 이 작업을 거의 2달 동안 했는데... 실패했다. (시작할 때는 https://yiunsr.tistory.com/824이 글을 올릴 떄 쯤이니 꽤 오랬동안 붙잡고 있었네...). 뭐, 이런 일은 또 시기가 지나면 버그들이 수정될 테니 그 때 쯤에 다시 도전해봐야겠다.