Pymongo tutorial (파이몽고 사용하기)

파이 몽고란 파이썬 몽고 디비 드라이버이다. 버전 2.7.2 기준으로 작성되었다.

소프트웨어 마에스트로 프로젝트를 하면서 사용자의 로그를 빠르게 수집해 그것을 처리하기 위해 선택한 디비가 바로 몽고디비다. 이를 컨트롤 하기 위해서는 파이썬 백엔드 언어로 사용하기에 파이썬 몽고 디비 드라이버가 필요했다. 딱 구글신께 물어보니 파이몽고를 알려주사, 튜토리얼을 따라해보기로 했다.

하는 김에 번역도 해봤다. DogFoot번역이므로 필요하면 여기서 원문을 볼 수 있다. 그래도 번역가처럼 이해하기 좋게 의역도 해놔서 보기는 좋을 듯.

Tutorial

이 튜토리얼에서 몽고디비와 파이몽고의 작동에 대해 배울 수 있을 것이다.

준비물.

먼저 시작하기전에 파이몽고를 깔아야하지 않겠습니까. 파이썬 쉘을 열고 아래의 명령어를 쳐서 Exception이 발생하지 않는지 확인하자.

import pymongo

이 튜토리얼은 몽고디비 인스턴스가 디폴트 포트와 호스트에서 돌아감을 가정하고 진행한다. 몽고디비는 당연히 준비됐겠지? 몽고디비를 실행하라.

$ mongod

MongoClient를 가지고 몽고디비에 연결해보자.

첫번째 스탭은 파이몽고의 MongoClient를 돌고있는 mongod 인스턴스를 위해 만들어주는 것이다. 아래를 따라해라.

from pymongo import MongoClient
client = MongoClient()

위 코드는 디폴트 호스트와 포트에 연결 할 것이다. 만약에 디폴트 설정이 아니거나 명시적으로 표시해주고 싶다면 아래를 참고할 것.

client = MongoClient('localhost', 27017)

혹은 몽고디비 URI 포멧을 이용하여 적을 수도 있다!

client = MongoClient('mongodb://localhost:27017/')

데이터베이스 얻어오기.

몽고디비의 한 인스턴스는 독립적인 데이터베이스를 여러개 만들 수 있도록 해준다. 따라서 그중 어떤 데이터베이스를 가져올지는 아래를 따라해라. MongoClient 인스턴스를 이용해서.

db = client.test_database

test_database에 넣고 싶은걸 넣어라. 설마 저걸 따라치면 안된다.
만약 데이터베이스 이름이 저런식으로 표현이 안된다면 아래처럼도 가능하다.

db = client["test_database"]

컬렉션 가져오기.

컬렉션은 도큐먼트의 그룹이다. RDB의 데이터베이스와 얼추 비슷하게 생각하면 된다. 파이몽고로 컬렉션을 가져오는 방법은 아래와 같다.

collection = db.test_collection

당연하다. test_collection이라 넣으면 안된다. 넣고싶은걸 넣어라.
혹은 위에 데이터베이스에서 가져왔듯이 아래처럼도 가능하다.

collection = db["test_collection"]

몽고디비의 컬렉션이나 데이터베이스에서 중요한 것은 게으르게 생성된다는 것이다. (필요할 때가 되서야 억지로 생성된다는 것!) 위의 명령중 어느것도 몽고디비와 실제로 어떤 일도 수행하지 않는다. 컬렉션과 데이터베이스들은 첫 도큐먼트가 걔네들에 insert될 때 생성된다.

도큐먼트(문서)

몽고디비 안에 데이터는 JSON스타일로 저장된다. 파이 몽고는 파이썬의 딕셔너리를 활용해서 표현한다. 아래 예시처럼 말이다. 블로그 포스트를 의미하는 예시다.

import datetime
post = {
    "author" : "Mike",
    "text" : "My first blog post!",
    "tags" : ["mongodb", "python", "pymongo"],
    "date": datetime.datetime.utcnow()
}

기억하라. 도큐먼트(문서)는 네이티브 파이썬 타입(위의 datetime.datetime 인스턴스 같은)을 가지고 있을 수 있다. 이것은 자동적으로 BSON 타입으로 컨버팅되고, 또 컨버팅해서 가져온다.

도큐먼트에 Insert를 해보자.

도큐먼트에 insert를 하기 위해서 우리는 insert()란 메소드를 쓸거다.

posts = db.posts
post_id = posts.insert(post)

매우 간단하다. 만약 도큐먼트가 _id키를 가지고 있지 않다면 몽고디비가 알아서 도큐먼트에 특별한 _id 키를 부여해서 자동으로 인서트 된다. _id는 무조건 유니크해야한다. insert 메소드는 insert시 특별히 부여된 _id를 반환한다. 더 많은 정보가 필요하다면 몽고디비 사이트의 _id를 보라.

이게 처음 넣은 것이므로 그제서야 posts컬렉션이 실제로 몽고디비서버에 생성된다. 우리는 이제서야 우리 database에 posts 컬렉션이 리스트에 있음을 확인 할 수 있다.

>>> db.collection_names()
[u'system.indexes', u'posts']

system.indexes 컬렉션은 스페셜한 내부 컬렉션으로 자동으로 생성된다.

find_one()으로 한 도큐먼트 얻어오기.

가장 기본적인 타입의 몽고디비 쿼리가 바로 find_one()이다. 이 메소드는 쿼리가 매칭되는 하나의 도큐먼트(문서)를 가져오는 애다.
(mysql-connector를 파이썬에서 써봤다면 select_one()과 비슷한 애.)
만약 매치되는게 없다면 None 을 반환한다.

이것은 매우 유용한데 네가 만약 처음 매칭되는 도큐먼트나, 그 쿼리와 딱 맞게 하나만 존재하는 도큐먼트를 들고오고 싶을 때 정말 딱이다. 여기는 find_one()으로 posts컬렉션의 첫번째 도큐먼트를 들고오는 예제다.

>>> posts.find_one()
{u'date': datetime.datetime(...), u'text': u'My first blog post!', u'_id': ObjectId('...'), u'author': u'Mike', u'tags': [u'mongodb', u'python', u'pymongo']}

이 결과는 파이썬 딕셔너리로 반환된다.
리턴되는 도큐먼트에는 자동적으로 insert시 부여된 _id값이 같이 딸려온다.

find_one()은 특정 성분(앨리먼트)의 매칭 쿼리도 지원한다. 아래는 "Mike"가 author인 거 들고오는 예제다.

>>> posts.find_one({"author": "Mike"})
{u'date': datetime.datetime(...), u'text': u'My first blog post!', u'_id': ObjectId('...'), u'author': u'Mike', u'tags': [u'mongodb', u'python', u'pymongo']}

만약 없는 author를 시도한다면 아무 결과물도 안나올 것이다.

>>> posts.find_one({"author": "Eliot"})
>>>

ObjectId로 쿼리하기.

우리는 _id로도 쿼리할 수 있다.

>>> post_id
ObjectId(...)
>>> posts.find_one({"_id": post_id})
{u'date': datetime.datetime(...), u'text': u'My first blog post!', u'_id': ObjectId('...'), u'author': u'Mike', u'tags': [u'mongodb', u'python', u'pymongo']}

ObjectId오브젝트 아이디는 string이 아니다.
만약 아래와 같이 쿼리하면 아무것도 안나온다.

>>> post_id_as_str = str(post_id)
>>> posts.find_one({"_id": post_id_as_str}) # No result
>>>

웹 애플리케이션에서 가장 많이 하는 작업은 아마 ObjectId을 요청 URL을 가지고 받아와 매칭되는 도큐먼트를 찾는 일일 것이다. 이때는 ObjectId로 string을 바꿔서 find_one()에 줘야 한다.

from bson.objectid import ObjectId

# 웹 프레임워크로부터 post_id 받아오기. 이건 string일 것.
def get(post_id):
    # string을 ObjectId로 바꾸기.
    document = client.db.collection.find_one({'_id': ObjectId(post_id)})

참고 : When I query for a document by ObjectId in my web application I get no result

유니코드 String에서 주의할 점.

파이썬 string을 우리가 저장할 때 다른 형태로 저장된다는 걸 너는 아마 눈치 챘을 것이다. u'Mike'같이 원래'Mike'였던 애를 이상한 기호를 붙여 저장 하는 것 같이 말이다. 꺼내 올 때도 그렇게 보일 것이다. 여기서 짧게 설명 좀 하고 가야겠다.

몽고디비에 저장된 데이터는 BSON 포멧이다. 이 포멧의 string은 UTF-8로 인코딩되어 있는데, 파이몽고가 유효한 UTF-8 데이터만을 담아서 전달해 준것이다. 물론 이 과정에서 원래의 string(<type 'str'>)의 정보는 전혀 바뀌지 않는다. 유니코드(<type ‘unicode’>)는 UTF-8로 우선 인코딩된다. 우리의 예제의 string들이 u가 앞에 붙은 형태로 string이 나타나는 것은 pyMongo가 BSON string을 파이썬의 unicode로 바꿔 보여주기 때문이다. 'Mike'와 같은 일반적인 string이 아니라!

더 궁금한 사항은 여기를 참고하라.

통째로 insert하기.

몇개의 도큐먼트를 동시에 인서트해보자. 우리는 bulk insert operations를 하나의 도큐먼트를 넣는 것 처럼 할 수 있다. insert()에 첫번째 인자로 iterable을 넣기만 하면 준비 끝! 이것은 각 도큐먼트를 돌며 알아서 insert해 줄 것이다. 하나의 명령으로 말이다.

>>> new_posts = [{"author": "Mike",
...               "text": "Another post!",
...               "tags": ["bulk", "insert"],
...               "date": datetime.datetime(2009, 11, 12, 11, 14)},
...              {"author": "Eliot",
...               "title": "MongoDB is fun",
...               "text": "and pretty easy too!",
...               "date": datetime.datetime(2009, 11, 10, 10, 45)}]
>>> posts.insert(new_posts)
[ObjectId('...'), ObjectId('...')]

이 예제에 관한 흥미로운 사실 2개가 있다.

• insert()를 여기서 부르면 2개의 들어간 각각의 ObjectId가 반환된다.
• news_posts[1]은 모양이 조금 다른데, tag가 아닌 title을 가지고 있다. 이게 바로 몽고디비에서 맨날 말하는 그 '스키마가 없다'다!

한 도큐먼트 이상에게 쿼리 던지기

find()함수를 통하면 한개의 도큐먼트 이상을 위한 쿼리를 던질 수 있다. find()는 Cuser Instance를 반환하는데, 이것은 도큐먼트들을 순회(iterate)할 수 있도록 해준다. 예를들어 아래처럼 우리는 posts 컬렉션을 싹 순회할 수 있다. (iterate 할 수 있다.)

>>> for post in posts.find():
...   post
...
{u'date': datetime.datetime(...), u'text': u'My first blog post!', u'_id': ObjectId('...'), u'author': u'Mike', u'tags': [u'mongodb', u'python', u'pymongo']}
{u'date': datetime.datetime(2009, 11, 12, 11, 14), u'text': u'Another post!', u'_id': ObjectId('...'), u'author': u'Mike', u'tags': [u'bulk', u'insert']}
{u'date': datetime.datetime(2009, 11, 10, 10, 45), u'text': u'and pretty easy too!', u'_id': ObjectId('...'), u'author': u'Eliot', u'title': u'MongoDB is fun'}

find_one()처럼 우리는 find()를 통해 결과에 필터(제한)을 걸 수 있다. 예를 들어 MIKE라는 author를 꺼내보자.

>>> for post in posts.find({"author": "Mike"}):
...   post
...
{u'date': datetime.datetime(...), u'text': u'My first blog post!', u'_id': ObjectId('...'), u'author': u'Mike', u'tags': [u'mongodb', u'python', u'pymongo']}
{u'date': datetime.datetime(2009, 11, 12, 11, 14), u'text': u'Another post!', u'_id': ObjectId('...'), u'author': u'Mike', u'tags': [u'bulk', u'insert']}

갯수 세기.

만약에 쿼리에 매칭되는 도큐먼트의 갯수만 궁금하다면, 너는 count()를 사용해서 긴 쿼리를 통하지 않고도 알아 낼 수 있다.

>>> posts.count()
3

혹은 상세 쿼리를 던져서도 알아낼 수 있다.

>>> posts.find({"author": "Mike"}).count()
2

다양한 쿼리를 쓸 수 있다.

몽고디비는 다양한 향상된 쿼리를 제공한다. 해당 날짜 이후의 도큐먼트들을 날짜 순으로 정렬하고 그걸 또 author순으로도 정렬하는 예를 보라.

>>> d = datetime.datetime(2009, 11, 12, 12)
>>> for post in posts.find({"date": {"$lt": d}}).sort("author"):
...   print post
...
{u'date': datetime.datetime(2009, 11, 10, 10, 45), u'text': u'and pretty easy too!', u'_id': ObjectId('...'), u'author': u'Eliot', u'title': u'MongoDB is fun'}
{u'date': datetime.datetime(2009, 11, 12, 11, 14), u'text': u'Another post!', u'_id': ObjectId('...'), u'author': u'Mike', u'tags': [u'bulk', u'insert']}

여기서 우리가 사용한 &lt 연산자가 쿼리의 범위를 제한하고 그걸 sort()가 author에 따라 순서대로 정렬했다.

인덱싱

쿼리를 더 빠르게 실행시키기 위해 우리는 index를 date나 author에 대해 생성할 수 있다. 그러기위해 먼저 explain() 메소드를 사용해서 몇가지 정보를 얻어보자. index없이 어느정도의 퍼포먼스가 나오는지 알 수 있다.

>>> posts.find({"date": {"$lt": d}}).sort("author").explain()["cursor"]
u'BasicCursor'
>>> posts.find({"date": {"$lt": d}}).sort("author").explain()["nscanned"]
3

이걸 보면 BasicCursor가 쿼리를 처리하고 있고, 걔가 컬렉션에 있는 3개의 도큐먼트를 쿼리를 처리하기 위해 스캐닝 했다는 점을 알 수 있다.
이제 index를 걸어보자.

>>> from pymongo import ASCENDING, DESCENDING
>>> posts.create_index([("date", DESCENDING), ("author", ASCENDING)])
u'date_-1_author_1'
>>> posts.find({"date": {"$lt": d}}).sort("author").explain()["cursor"]
u'BtreeCursor date_-1_author_1'
>>> posts.find({"date": {"$lt": d}}).sort("author").explain()["nscanned"]
2

이제 쿼리를 BtreeCursor (인덱스)를 처리하고, 오직 두개의 도큐먼트만이 스캐닝 되었다는 사실을 알 수 있다.