TensorFlow

А прикольный фреймворк для построения своих нейронных сетей, к тому же -- опенсорсный (спасибо Гуголу за это). Значительно удобнее в использовании, чем Caffe. Смело рекомендую, особенно если с Питоном дружишь.
А не посоветуешь какой-нибудь букварь по нейронным сетям вообще, теоретический, без привязки к конкретным реализациям?
Вот затруднюсь.

Свою собственную сеть я рисовал прочитав вот эту книжку: https://www.amazon.com/gp/product/B00TXPGEHG/ref=kinw_myk_ro_title

Но моя сеть, хоть и работала, особой ценностью не обладала. Чтобы рисовать свою собственную, надо значительно лучше в математике разбираться, чем я могу. Иначе максимум что она сможет -- это распознавать маленькие изображения.

Но основная теория там есть.