GUIを使用せずサーバー用途で使用することを想定しています。
また、本記事ではディスプレイを接続せずに作業します。

目次#

ハードウェアなど#

• Raspberry Pi model 3B+
• microSD 32GB
• ディスプレイ、キーボード、マウスは接続せず

microSDへのOSイメージの書き込みはmacOSから。

準備#

OSイメージのダウンロード#

Download Raspbian for Raspberry Pi

右側の”Download Zip”というリンクをクリックしてダウンロード。

チェックサムの確認。Linuxの場合はsha256sumというコマンドです。

$ shasum -a 256 ~/Downloads/2018-06-27-raspbian-stretch-lite.zip

表示されるチェックサムが上記のダウンロードページに記載のものと一致していればOKです。

microSDへの書き込み#

OSイメージの書き込みにはEtcherを使用します。

microSDをSDカードリーダーにセットしてEtcherを起動。

書き込み先を間違えないように注意。

1. 書き込むSDイメージを指定
2. 書き込み先のSDカードリーダーを選択（容量をよく見る）
3. “FLASH!”をクリック
4. 完了するまで待つ。

一度microSDを取り外す。

セットアップ#

準備#

SSHが自動起動するように設定します。Raspbianの独自機能としてmicroSDのboot直下にsshという名前の空のファイルを作成しておくと起動時にSSHが自動的に起動する仕組みになっています。

先ほどOSイメージを書き込んだmicroSDをSDカードリーダーにセットする。

/Volumesにbootが存在するかチェック。存在しない場合はmicroSDを一度取り出してもう一度セットし直して下さい。

$ ls /Volumes/boot

問題がなければtouchコマンドで空のファイルを作成します。

$ touch /Volumes/boot/ssh

無線LAN経由で接続する場合は事前に作成した無線LAN用の設定ファイルをコピーしておく。

$ cp wpa_supplicant.conf /Volumes/boot/wpa_supplicant.conf

参考：Raspberry Pi Zero W のセットアップ - ながいものには、まかれたくない

マウントを解除してからmicroSDを取り外す（Finderの左ペインのリストから取り出しボタンを押す）。

電源投入#

Raspberry PiにmicroSDカードをセットして電源ケーブルを接続。

そのまま暫く待つ。

SSH経由でセットアップ#

$ ssh pi@raspberrypi.local

初期パスワードはraspberryです。

パッケージのアップデート#

まずパッケージデータベースの更新。

$ sudo apt update

パッケージをアップデート。

$ sudo apt upgrade

念の為sudo rebootで再起動。

ファームウェアの更新#

更新前のカーネルバージョンは以下のとおり。

$ uname -a
Linux raspberrypi 4.14.52-v7+ #1123 SMP Wed Jun 27 17:35:49 BST 2018 armv7l GNU/Linux

rpi-updateコマンドでファームウェアを更新します。

$ sudo rpi-update

処理が完了するのを確認してから再起動します。

更新後のカーネルバージョン。

$ uname -a
Linux raspberrypi 4.14.61-v7+ #1132 SMP Tue Aug 7 15:36:25 BST 2018 armv7l GNU/Linux

パスワード変更#

セキュリティ上好ましくないのでパスワードを変更しておきます。passwdコマンドを使います。

 passwd
Changing password for pi.
(current) UNIX password:
Enter new UNIX password:
Retype new UNIX password:
passwd: password updated successfully

パッケージの追加#

tmuxとvimをインストールしておきます。

$ sudo apt install tmux vim

そのほか#

温度の確認#

vcgencmdというコマンドで各種設定や状態を確認できます。

$ vcgencmd measure_temp
temp=52.1'C

model 3B+は基板全体が熱を持つようですがCPU温度自体はそれほど高くないようです。

vcgencmdの詳細は以下のページを参照。

RPI vcgencmd usage - eLinux.org

Raspbianのシャットダウン#

Raspberry Piには電源スイッチがないので終了時はOSを終了させてから電源ケーブルを引き抜きます。

OSの終了にはhaltまたはshutdownコマンドを使用します。

$ sudo halt -p

あるいはshutdownコマンド。

$ sudo shutdown -h now

まとめ#

最低限のセットアップとしてはこれで完了です。

目次#

PyTesseractについて#

公式リポジトリ：GitHub - madmaze/pytesseract: A Python wrapper for Google Tesseract

コマンド呼び出し方式のTesseractラッパーライブラリ。ライセンスはGPL v3。
C/C++ APIを使用する場合に比べて性能面でオーバーヘッドがあるものの、tesseractコマンドさえ動けばいいので互換性絡みの問題に遭遇しにくいのが特徴。

PillowおよびOpenCv、NumPy形式でデータを受け取ることができる。
以前はTesseractが対応している画像ファイルフォーマットが限られていたのでそれなりに有用だった。

何故かQiitaでよく紹介されている（ライブラリ名にtesseractと入っているからか?）。

セットアップ#

環境#

この記事ではmacOSおよびTesseract OCR 4.00.beta.4を対象とします。

• Python 3.6.5
• Tesseract OCR 4.0.0-beta.4
• pytesseract 0.2.4
• Pillow 5.2.0

Tesseractのバージョンは3.0系でも構いませんが、文字の位置の取得機能は3.05以降でないと機能しません。

インストール#

当然ですがTesseract本体がインストールされている必要があります。

$ brew install tesseract --HEAD

現時点でTesseract 4.0系はベータ版のため、--HEADオプション付きでインストールします。

Linux環境の場合は過去記事記事参照。

pipでPillowとpytesseractをインストールします。

$ pip install pytesseract Pillow

使い方#

pytesseractコマンド#

pytesseractをインストールすると、pytesseractというコマンドが使えるようになります。ありがたみは薄いですが。

$ pytesseract -l eng sample.jpg

-lオプションで言語（データファイルの拡張子を除いた部分）を指定します。
引数に画像ファイルを指定すると標準出力に認識結果を表示します。

動作チェック用のコマンドと言う位置づけかと思います。

ライブラリとして使う#

最も単純な使い方の例。

from PIL import Image
import pytesseract

print(pytesseract.image_to_string(Image.open('sample.jpg'))

tesseractコマンドの対応しているフォーマットであればImage.open()を使用せずに直接ファイルのパスを指定することも可能です。

画像によっては変化処理の関係で直接tesseractコマンドを呼び出す場合の結果が微妙に変化することがあります。

より高度な使い方#

pytesseractモジュールの関数は以下のとおり。

• get_tesseract_version
• image_to_string
• image_to_boxes
• image_to_data
• image_to_osd

オプション設定#

image_to_XXX形式の関数の引数は以下のとおり。

• image: 画像ファイル名またはPillow Image、Numpy array
• lang: 言語名（省略した場合はNone(eng)）
• config: tesseractコマンドに渡すオプション
• nice: tesseractコマンドの優先順位（省略した場合は0）
• output_type: 出力形式（省略した場合はOutput.STRING(str)）

言語とページセグメンテーションモードの指定。

from PIL import Image
import pytesseract

print(pytesseract.image_to_string(Image.open('test_jpn_01.jpg'), lang='jpn', config='--psm 6'))

image_to_XXX形式の関数のoutputオプションの詳細です。

指定できる形式は以下の3種類。

• Output.DICT: 辞書形式（キーごとにリスト形式）
• Output.STRING: デフォルト
• Output.BYTES: bytesオブジェクトのリスト

print(pytesseract.image_to_string('sample.jpg', lang='eng', config='--psm 6', output_type=pytesseract.Output.DICT))

Output.DICTを指定した場合の出力例。

```
{'text': 'The quick brown fox jumped over the lazy dogs.'}

box形式#

座標系は左下原点系。

from PIL import Image
import pytesseract

boxes = pytesseract.image_to_boxes('sample.jpg', lang='eng', config='--psm 6')
print(boxes)

image_to_boxes()の戻り値はtesseractコマンドにtsvというconfigファイルを指定して実行した際の出力と同様です。

左から文字、左下座標(x, y)、右上座標(x, y)、ページ番号という形式です。

詳細：Training Tesseract – Make Box Files · tesseract-ocr/tesseract Wiki · GitHub

TSV形式#

座標系は左上原点系。内部的にはtesseractコマンドにtsvというconfigファイルを指定して実行しているだけです。

data = pytesseract.image_to_data('sample.jpg', lang='eng', config='--psm 6')

戻り値はタブ区切りテキスト形式のデータ（Stringオブジェクト）です。

cvsモジュールかPandasと組み合わせてパースする必要があります。

from PIL import Image
import pytesseract
import cvs

data = pytesseract.image_to_data('sample.jpg', lang='eng', config='--psm 6')
tsv = csv.reader(data.splitlines, delimiter='\t')

for row in tsv:
  print(row)

1行目がヘッダ行なのでcvs.DictReader()を使うことも可能です。

from PIL import Image
import pytesseract
import cvs

data = pytesseract.image_to_data('sample.jpg', lang='eng', config='--psm 6')

tsv = csv.DictReader(data.splitlines(), delimiter='\t')
for row in tsv :
    print(row['text'], row['conf'])

各列の値について下記のとおり。基本的に英単語の略称です。

• level: レイアウト解析結果のレベル（ページ、ブロック、段落など）
• page_num: ページ番号
• block_num: ブロック番号
• par_num: 段落番号
• line_num: 行番号
• word_num: 単語番号
• left, top, width, height: 文字を囲むボックスの左上角の座標と幅、高さ
• conf: 確からしさ
• text: 認識結果の文字列

分かち書きをしない言語では中途半端な位置で区切って単語扱いされる。
辞書にある単語以外はn-gramで区切られているように見えますがドキュメントに記載はありません。

文字方向および言語（書字系）の検出#

print(pytesseract.image_to_osd(Image.open('test_jpn_01.jpg')))

結果の出力。

Page number: 0
Orientation in degrees: 0
Rotate: 0
Orientation confidence: 7.24
Script: Japanese
Script confidence: 1.83

この機能に関しては出力形式の変更オプションが役に立ちます。

print(pytesseract.image_to_osd(Image.open('test_jpn_01.jpg'), output_type=pytesseract.Output.DICT))

出力形式は以下のようにdict形式になります。

{'page_num': 0, 'orientation': 0, 'rotate': 0, 'orientation_conf': 7.24, 'script': 'Japanese', 'script_conf': 1.83}

エラーメッセージについて#

画像によっては情報不足で判定できないため、例外が発生する場合があります。

TesseractError: (1, 'Tesseract Open Source OCR Engine v4.0.0-beta.4-20-ge9b4e with Leptonica Too few characters. Skipping this page Warning. Invalid resolution 0 dpi. Using 70 instead. Too few characters. Skipping this page Error during processing.')

改行が除去されて見づらいですがToo few characters. Skipping this pageというメッセージのとおり、文字数の不足が原因です。

補足#

Pythonのtempfileモジュールで作成した一時ファイルに画像を書き出し、subprocessモジュールでtesseractコマンドを起動しているだけです。

そのため、認識結果に対してループ処理を行うAPIはありません。

pyocrは現在もメンテナンスされているTesseractのPython用ライブラリ（バインディング）としては最古参です（2012年リリース）。

目次#

PyOCRについて#

pyocrはTesseractとCuneiform（ロシア製のOCRエンジンでヨーロッパ系の言語をサポート）の2つに対応しています。

OpenPaper.workというプロジェクトの一部でライセンスはGPL v3。

プロジェクトのページ：OpenPaper.work - Open-source

公式リポジトリ：World / OpenPaperwork / pyocr · GitLab

Tesseractに関してはC言語用のAPIを使う方式とtesseractコマンドを呼び出す方式の2つの方式に対応している点が特徴です。

なお、この記事ではCuneiformについては日本語に対応していない関係で対象外とします。

tesseractコマンドの呼び出しにはPythonのsubprocessモジュールが使用されます。

コマンド呼び出し（tesseract）とC言語用API（libtesseract）機能の比較は以下のようになります。

認識対象を数字に限定するオプションが用意されていますがTesseract 4.0系では通常の認識モードと同じ結果になります（理由は後述）。

pyocrの欠点としてはTesseract 4.0系と組み合わせる際に、OCRエンジンのモードを切り替えることができません（--oemオプションに対応していない）。

またコマンド呼び出し方式で使用する場合は画像データの一時ファイルへの書き出しと、結果をテキストファイルから読み込む処理が入る分、処理に余分に時間がかかります。

コマンド呼び出し方式での実行時は、tesseractコマンドをpsmオプションとconfigファイルとしてmakeboxを指定して実行する形式になります。

環境とインストール#

この記事ではUbuntu 18.04LTSおよび標準パッケージのTesseract OCR 4.00beta.1を対象としています。

• Ubuntu 18.04 LTS
• Tesseract OCR 4.00beta.1
• Python 3.6.5
• pyocr 0.5.2
• Pillow 5.2.0

Tesseract本体はaptコマンドでインストールしてあるものとします。

$ pip3 install pyocr

依存ライブラリとして画像処理ライブラリのPillowが必要です。下記のコマンドでインストールします。

$ pip3 install Pillow

使い方#

テスト画像は以下を使用します。

なお、tesseractコマンドの詳細はで解説しているのでそちらも参照して下さい。

利用可能なOCR tool の確認#

pyocrでは利用可能なOCRエンジンをtoolという名前で抽象化しています。
利用可能なツールのリストをget_available_tools()で取得できます。

import pyocr

tools = pyocr.get_available_tools()
for tool in tools :
    print(tool.get_name())

出力は以下のようになります。

Tesseract (sh)
Tesseract (C-API)

利用可能な言語の確認#

import pyocr

tools = pyocr.get_available_tools()

tool = tools[0]
langs = tool.get_available_languages()

print(langs)

出力結果の例を示します。

['Japanese', 'eng', 'Japanese_vert', 'Latin', 'jpn_vert', 'osd', 'jpn']

OCR処理の実行#

文字認識処理の実行にはimage_to_string()メソッドを使用します。

引数の入力画像はPILのImage、langに言語を指定します。出力形式の制御はbuilderオプションで制御できます。

langを省略した場合のデフォルトはtool依存（ほとんどのケースでeng）。

また、builderに指定可能なオプションは以下のとおり（省略した場合はTextBuilder。

• TextBuilder : テキスト全体
• WordBoxBuilder : 単語単位（画像内の位置座標付き）
• LineBoxBuilder : 行単位（画像内の位置座標付き）
• DigitBuilder : 数字のみ
• DigitLineBoxBuilder :

DigitBuilderおよびDigitLineBoxBuilderは認識対象の文字の種類を数字に限定してTesseractを動作させるオプション。ただし、Tesseract 4.0系の新しい認識エンジンでは機能しない。

from PIL import Image
import sys

import pyocr
import pyocr.builders

tools = pyocr.get_available_tools()
if len(tools) == 0:
        print("No OCR tool found")
        sys.exit(1)
# The tools are returned in the recommended order of usage
tool = tools[0]

lang = 'eng'
txt = tool.image_to_string(
        Image.open('images/sample.jpg'),
        lang=lang,
        builder=pyocr.builders.TextBuilder()
        )

print(txt)

認識結果は以下のようになります。

The quick brown fox jumped over the lazy dogs.

詳細#

Builderのオプション#

pyocrではTesseractのオプションはbuilderオブジェクトでコントロールするようです。

例えば、ページセグメンテーションモードはbuilderオブジェクトのtesseract_layoutオプションで設定します。

txt = tool.image_to_string(
        Image.open('images/sample.jpg'),
        lang=lang,
        builder=pyocr.builders.TextBuilder(tesseract_layout=6))
        )

tesseract_layoutのデフォルト値は3です。

BoxBuilder#

BoxBuilderという名前のついたbuilderをimage_to_string()メソッドのオプションに指定すると、LineBoxオブジェクトのリストを返します。このオブジェクトはcontentsとpostionというattributeを持ちます。

ループ処理することで認識結果と座標（左下原点系）を得ることができます。

word_box  = tool.image_to_string( Image.open('images/sample.jpg'), 
    builder=pyocr.builders.WordBoxBuilder())

for box in word_box:
    print("word: {}, pos: {}".format(box.content, box.position))

出力例を以下にに示します。

word: The, pos: ((41, 50), (66, 63))
word: quick, pos: ((71, 50), (108, 66))
word: brown, pos: ((113, 50), (155, 63))
word: fox, pos: ((161, 50), (183, 63))
word: jumped, pos: ((186, 50), (237, 66))
word: over, pos: ((242, 54), (273, 63))
word: the, pos: ((277, 50), (297, 63))
word: lazy, pos: ((302, 50), (330, 66))
word: dogs., pos: ((334, 50), (369, 66))

方向検出#

Tesseract 4.0系で方向検出機能を使用する場合、tesseractコマンドの出力が変化している。そのため、pyocrとの組み合わせではlibtesseractを使う必要がある。

from PIL import Image
import sys

import pyocr
import pyocr.builders

tools = pyocr.get_available_tools()

tool = tools[1] # libtesseractを使う

if tool.can_detect_orientation() :
    try:
        orientation = tool.detect_orientation(Image.open('test.png'), lang='osd')

        print(orientation)
    except pyocr.PyocrException as exc:
        print("Orientation detection failed: {}".format(exc))

出力例は以下のように、角度と確からしさが出力されます。

{'angle': 0, 'confidence': 2.7592315673828125}

PDF生成#

libtesseractを使用する場合、TesseractのPDF生成機能を利用できます。

from PIL import Image
import sys

import pyocr
import pyocr.builders

tools = pyocr.get_available_tools()

tool = tools[1] # libtesseractを使う

tool.image_to_pdf(Image.open('test.png'), lang='jpn' , output_file='pdf_test')

エラーメッセージが表示されますが、PDFの生成は成功します。

Error in fopenReadStream: file not found
Error in findFileFormat: image file not found

上記の例の場合、pdf_test.pdfという名前でPDFファイルが作成されます。

その他#

hOCR出力#

BoxBuilder系の出力オプションを指定した場合、builder.write_file()メソッドを使うことによりxml（hOCR）形式でファイルに書き出すことができます。

詳細は公式ドキュメントを参照。

World / OpenPaperwork / pyocr · GitLab

macOS環境での注意#

pyocrは*nix環境ではlibtesseractの共有ライブラリの拡張子が.soであることを期待しています。macOS環境では拡張子が違うのでlibtesseractを検出しません。
対処方法としてはソースをいじるか、libtesseract.dylibに対してlibtesseract.so.3またはlibtesseract.so.4というシンボリックリンクを作成する必要があります。
サーバーサイドで使うケースがほとんどだろうと思いますが念の為。

目次#

Tesseract OCRとは#

オープンソースの文字認識（OCR）エンジンです。基本的に文字認識機能を提供するライブラリであって一般の方が想像するようなOCRソフトウェアではありません。

基本的にユーザー側でプログラムを作成して使うことを想定していますが、コマンドラインのツールとしてtesseractコマンドが提供されています。

前提条件#

最新の安定版はバージョン3.05.02ですが、このバージョンは日本語の認識率に問題があることで知られています。そのため、この記事ではバージョン4.0系のベータ版を対象とします。

• Ubuntu 18.04.1
• Tesseract OCR 4.0.beta.1

インストール#

Ubuntu 18.04 LTSを対象にします。コンパイル済みのパッケージが提供されているのでこれを利用します。Tesseract本体と別に認識させたい言語ごとにtraineddataという拡張子のデータファイルが必要です。

$ sudo apt install tesseract-ocr

標準では英語用の言語別の辞書データしかインストールされません。例えば日本語の場合は以下のように追加でインストールします。

$ tesseract-ocr-jpn tesseract-ocr-jpn-vert

tesseract-ocr-jpn-vertは縦書き用のデータです。

データファイルについて#

バージョンごとに対応したファイルを使用する必要があります。

Ubunt 18.04では/usr/share/tesseract-ocr/4.00/tessdata/に配置されています。

バージョン4.0向けのデータとしては下記の3種類のリポジトリがあります。

• tessdata: tesseract-ocr/tessdata
• tessdata_fast: tesseract-ocr/tessdata_fast: Fast integer versions of trained models
• tessdata_best: tesseract-ocr/tessdata_best: Best (most accurate) trained LSTM models.

データファイルの詳細については公式リポジトリのWikiサイトにあるData Filesというページを参照して下さい。

Ubuntu 18.04のパッケージに含まれているのはtessdata_fastリポジトリにあるファイルです。

必要に応じてGitHubのリポジトリから入手します。git cloneする際は--depth 1をセットすることでダウンロードする容量を削減できます。

バージョン4.0系から書字系(script)別のデータファイルも提供されるようになっていますがこの記事では詳細は割愛します。

また、データファイルの入手にはダウンロード用のPythonスクリプトを使用するともできます。

GitHub - zdenop/tessdata_downloader: Tesseract tessdata downloader from GitHub repositories

Data Files · tesseract-ocr/tesseract Wiki · GitHub

データファイルの格納先の変更#

環境変数TESSDATA_PREFIX、または--tessdata-dirで指定することも可能です。

注意：バージョン3系ではtessdataディレクトリの親ディレクトリ。一方、バージョン4系では*.traineddataファイルのあるディレクトリを指定。

データファイルの格納先ディレクトリには設定ファイルも保存されています。

lsコマンドでデフォルトの格納先ディレクトリを表示してみます。

$ ls /usr/share/tesseract-ocr/4.00/tessdata/
Japanese.traineddata       Latin.traineddata  eng.traineddata  jpn_vert.traineddata  pdf.ttf
Japanese_vert.traineddata  configs            jpn.traineddata  osd.traineddata       tessconfigs

優先順位は--tessdata-dirオプション、環境変数TESSDATA_PREFIX、デフォルトのディレクトリの順です。

オプションが指定されるか、環境変数が設定されている場合はデフォルトのディレクトリは参照されません。

基本的な使い方#

入力画像の形式はLeptonicaという画像処理ライブラリが対応している画像形式（JPEG, png, tiff, webp, jepg2000, bmp, pnm, gif）。

$ tesseract image outputbase [-l lang] [--psm pagesegmode] [--oem ocr engine mode] [configfile...]

• image: 画像ファイル（もしくはstdinを指定すると標準入力）
• outpubtbase: 拡張子を除いた出力ファイル名（またはstdoutを指定すると標準出力）
• -l lang: 各言語のデータファイルの拡張子を除いた部分（例： eng）
• --psm: ページセグメンテーションモードを指定する整数
• --oem: OCRエンジンのモード（0, 1, 2, 3、デフォルトは3）
• configfile: コントロールパラメーターを記載したファイル

-lオプションを省略した場合はengが使用されます。

$ tesseract sample.jpg output -l jpn

上記の例では、sample.jpgファイルの読み込み、output.txtに認識結果を出力します。

また、マルチページのTIFFファイルを扱うこともできます。

※ pnm形式はpbm、pgm、ppmの三種類の総称。

出力形式#

デフォルトのテキスト形式の他、HTMLをベースにしたhOCR、タブ区切りテキスト、PDFで出力可能です。

tesseractコマンドの末尾に各出力形式のconfigファイルの名称を指定します。

configファイルはデータファイルと同じ場所を参照します。

実行時のカレントディレクトリに配置したconfigファイルを指定することも可能です。

テキスト形式#

$ tesseract sample.jpg output -l jpn txt

hOCR (HTML)#

$ tesseract sample.jpg output -l jpn hocr

TSV（タブ区切りテキスト）#

$ tesseract sample.jpg output -l jpn tsv

出力はoutput.tsv。英単語は単語単位、日本語の文字はN-gram区切りになります。

取得できる情報は以下のとおり。

level, page_num, block_num, par_num, line_num, word_num, left, top, width, height, conf, text

PDF形式#

$ tesseract sample.jpg output -l jpn pdf

画像の上に透明なテキストが追加された形式になります。画像は圧縮されてPDFに埋め込まれます。

画像なしの、透明なテキストのみのPDFを作ることもできます。

画像の圧縮率を調整したい場合に有用です。

$ tesseract sample.jpg output -l jpn  -c textonly_pdf=1 pdf

透明なテキストのみのPDFが生成されます。

一手間かかりますが、qpdfコマンドなどを使用して画像を埋め込むことで背景画像の画質をコントロールできます。

参考： -c textonly_pdf=1

オプションの詳細と高度な使い方#

パラメーターによる挙動の制御#

コントロールパラメーターを-cオプションまたは設定ファイルに記載することで挙動を変更できます。

設定可能なパラメーターおよびデフォルト値を下記のコマンドで表示できます。

$ tesseract --print-parameters

下記のWikiも参照して下さい。

ControlParams · tesseract-ocr/tesseract Wiki · GitHub

存在しないパラメーターをセットしようとした場合、下記のようなメッセージが表示されます。処理は続行される点に注意が必要です。

Could not set option: include_page_breaks=1

コロンの右側は指定しようとしたパラメーターによって変化します。

複数言語モード#

+で区切ることで-lオプションに複数の言語名を指定できます。

$ tesseract test.png  stdout -l eng+jpn   --psm 1

指定する順序で認識結果に影響を与える場合があります。

$ tesseract test.png  stdout -l jpn+eng

日本語主体で英単語を含む場合はjpn+engの方がベターです。engを優先すると分かち書きされてしまう点に注意して下さい。

複数ファイルの一括処理#

前述のとおり、画像ファイルのリストを記述したファイルを引数に与えることで一括処理が可能です。出力ファイルは単一のファイルで、ファイルごとの認識結果の区切りに改ページ文字（^L）が挿入されます。

この挙動を変更するには-c page_separator=オプションを使用します。

ページ区切りに何も挿入しない場合の例を示します。

$ tesseract -c page_separator=''  image_list.txt output

なお、従来のinclude_page_breaksというパラメータは廃止されています。

有効な言語の一覧（データファイルのリスト）#

--list-langsオプションを指定すると現在使用可能な言語の一覧を表示します。

$ tesseract --list-langs
List of available languages (7):
Japanese
eng
Japanese_vert
Latin
jpn_vert
osd
jpn

エンジンモードの切り替え#

従来の認識エンジン(Legacy engine)に加え、LSTMベースのニューラルネットワークによる認識エンジン(LSTM engine)が採用されています。

ただし、従来の認識エンジンを使用するには古い形式の各言語別のデータを含んだデータファイルが必要になります。つまり、tessdataリポジトリのデータファイルを用意する必要があります。

従来の認識エンジンを使用する場合は--oem 0、新しい認識エンジンは--oem 1です。両方を組み合わせる場合は--oem 2。

指定しない場合はデータファイルに合わせて利用可能なエンジンが使用されます（--oem 3、実際は新しい認識が優先）。

以下、ヘルプメッセージからの抜粋。

• 0 Legacy エンジンのみ
• 1 Neural nets LSTM エンジンのみ
• 2 Legacy + LSTM の両方を使用
• 3 Default, 利用可能なエンジンを使用

ページセグメンテーションモード (PSM)#

画像のレイアウト解析のためのオプションです。
ページセグメンテーションモード（PSM）を整数で指定することによりレイアウト解析処理の挙動をコントロールできます。

バージョン3.05以降では--psmのようにハイフンが2つ必要です。

--psmオプションは以下のように指定します。

$ tesseract sample.png stdout -l jpn --psm 6

指定可能なオプションのリストです。

• 0 文字方向および書字系の検出 (Orientation and script detection: OSD) のみ
• 1 自動ページセグメンテーション（OSDありでOCR）.
• 2 自動ページセグメンテーション（OSDなし）
• 3 完全自動ページセグメンテーション（OSDなし） (Default)
• 4 単一カラムの様々なサイズのテキストとみなす
• 5 垂直方向に整列した単一カラムの均一ブロックテキストとみなす
• 6 単一カラムの均一ブロックテキストとみなす
• 7 画像を単一行のテキストとして扱う
• 8 画像を単語1つのみ含まれるものとして扱う
• 9 画像を円で囲まれた単語1つのみを含むものとして扱う
• 10 画像を1文字のだけが含まれるものとして扱う
• 11 Sparse text: 不特定の順序でできるだけ多くのテキストを探す
• 12 Sparse text: OSDあり
• 13 Raw line: 内部の処理をバイパスしつつ画像内にテキストが1行だけあるものとして扱う

--psm 0および--psm 2ではOCR処理は実行されません。

認識対象の画像によりますが、--psm 6や--psm 4を指定することで認識結果が改善する場合があります。

特に画像内に含まれるテキストが1行のみの場合、--psm 7が有効です。

方向と言語の判定#

OSDモードの使用例です。文字の方向やページの回転、書字系（書字体系や用字系とも）の情報を表示します。

$ tesseract test.png stdout -l osd --psm 0
Warning. Invalid resolution 0 dpi. Using 70 instead.
Estimating resolution as 189
Page number: 0
Orientation in degrees: 0
Rotate: 0
Orientation confidence: 2.76
Script: Japanese
Script confidence: 1.10

osd.traineddataというデータファイルが必要です。また、Tesseract 4.0系ではOSD処理は旧式のエンジンで処理されています。

情報表示系のオプション#

以下、バージョン情報などの表示オプションを紹介します。

バージョンの表示#

$ tesseract --version
tesseract 4.0.0-beta.1
 leptonica-1.75.3
  libgif 5.1.4 : libjpeg 8d (libjpeg-turbo 1.5.2) : libpng 1.6.34 : libtiff 4.0.9 : zlib 1.2.11 : libwebp 0.6.1 : libopenjp2 2.3.0

 Found AVX
 Found SSE

省略形は-vです。

モード別詳細#

OCRエンジンモードの一覧表示。

$ tesseract --help-oem
OCR Engine modes: (see https://github.com/tesseract-ocr/tesseract/wiki#linux)
  0    Legacy engine only.
  1    Neural nets LSTM engine only.
  2    Legacy + LSTM engines.
  3    Default, based on what is available.

ページセグメンテーションモードの一覧表示。

$ tesseract --help-psm
Page segmentation modes:
  0    Orientation and script detection (OSD) only.
  1    Automatic page segmentation with OSD.
  2    Automatic page segmentation, but no OSD, or OCR.
  3    Fully automatic page segmentation, but no OSD. (Default)
  4    Assume a single column of text of variable sizes.
  5    Assume a single uniform block of vertically aligned text.
  6    Assume a single uniform block of text.
  7    Treat the image as a single text line.
  8    Treat the image as a single word.
  9    Treat the image as a single word in a circle.
 10    Treat the image as a single character.
 11    Sparse text. Find as much text as possible in no particular order.
 12    Sparse text with OSD.
 13    Raw line. Treat the image as a single text line,
       bypassing hacks that are Tesseract-specific.

ヘルプ表示#

下記のコマンドでヘルプメッセージを表示します。

$ tesseract --help

より詳細なヘルプメッセージの表示。

$ tesseract --help-extra

その他#

警告メッセージについて#

tesseractコマンドの実行時に、下記のメッセージが表示されますが、これは内部で使用している画像処理ライブラリ（Leptonica）の警告メッセージで無視して問題ないです。

Warning. Invalid resolution 0 dpi. Using 70 instead.

[Clarification request/bug?] “Warning. Invalid resolution 0 dpi. Using 70 instead.” · Issue #649 · tesseract-ocr/tesseract

参考URL#

• Command Line Usage · tesseract-ocr/tesseract Wiki · GitHub
• Home · tesseract-ocr/tesseract Wiki · GitHub
• tesseract/tesseract.1.asc at master · tesseract-ocr/tesseract

この記事では過去記事で紹介しなかった、より高度な使用方法を紹介します。

目次#

環境#

• Ubuntu 18.04 LTS
• Python 3.6.5
• tesserocr 2.3.0

使用しているtesseractのバージョンは、tesseract 4.0.0-beta.1です。

github上で公開されている開発版では初期化に失敗する可能性があります。

詳細なインストール方法は過去記事を参照のこと。

テスト用の画像#

画像ファイルは以下のファイルを使用しています。

PyTessBaseAPI#

PyTessBaseAPIオブジェクトを初期化して使用します。基本的にTesseractのAPIと一対一対応した形式になります。

複数ファイルの一括処理#

from tesserocr import PyTessBaseAPI

images = ['test_jpn_01.jpg', 'test_jpn_02.jpg', 'test_jpn_03.jpg']

with PyTessBaseAPI(lang='jpn', psm=1) as api:
    for img in images:
        api.SetImageFile(img)
        print(api.GetUTF8Text())

SetImageFile()の代わりにSetImage()メソッドを使用することでPillowやOpenCVなどの画像処理ライブラリと連携させることが可能です。

出力は以下に示しています。認識結果は良好。

日本語の文章は、漢字、カタカナ、ひらがなだけでなく、アルファベットや
アラビア数字などの文字によって構成されています。

明朝体やゴシック体、教科書体、さらには丸ゴシック体などの書体を使い分けます。

オープンソースの文字認識エンジン、Tesseract OCR ですが、これまでは日本語の
認議率に問題があることで有名でした。ですが、それは過去の話。

新しいパージョンでは LSTM ペースのニューラルネットワークを採用した新しい認識エンジンが採用
きれています。認識率が大幅に向上しており、特に英単語などの半角英数字を含む場合で顕著です。



OCR 機能を提供する Web API はいくつか存在しますが、用途によってカスタマイズすることが
できません。Tesseract は多数の言語に対応し、Linux、macOS、Windows で動作します。

PyTessBaseAPIの初期化オプションは省略可能です。
その場合はデフォルトの言語である英語の言語別の辞書データが読み込まれ、ページセグメンテーションモードは自動判別となります。

PyTessBaseAPIの初期化オプションのリストを示します。

• path: tessdataディレクトリの親ディレクトリのパス（最後の文字が/となっていなければならない）
• lang: 言語名（tessdataファイルの拡張子を除いた部分）を指定する
• psm: ページセグメンテーションモード（0 - 13）
• init: initメソッドを呼び出すか（もしFalseをセットした場合、初期化処理の完了後にinitメソッドを呼び出す必要あり）
• oem: OCRエンジンモードを指定（0, 1, 2, 3）

ページセグメンテーションモード、OCRエンジンのモードはtesseractコマンドのオプションと同様です。
ページセグメンテーションモードの詳細ついてはWikiページまたはtesseractコマンドのヘルプメッセージを参照のこと。

ページセグメンテーションモードは整数で指定できますが、PSMモジュールをインポートすることで定義済みの定数を使用できます。

from tesserocr import PSM

OCRエンジンモードのデフォルトは3でコンパイル時に指定されたエンジンです（通常は新しいLSTMベースの認識エンジン）。
従来の認識エンジンは0、新しい認識エンジンは1、両方を組み合わせ場合は2です。ただし、モード0および2を使用するには従来の認識エンジン用のファイルを含んだtraineddataファイルを用意する必要があります。

同様にOCRエンジンモードについてもOEMモジュールをインポートすることで定義済みの定数を使用できます。

from tesserocr import OEM

イテレータの使用#

GetComponentImagesを使用することで、行や単語単位での認識結果の取り出しが可能です。

RILモジュールをインポートすることで定数として指定できます。

from tesserocr import RIL

• ブロック（RIL.BLOCK）
• 段落（RIL.PARA）
• 行（RIL.TEXTLINE）
• 単語（RIL.WORD）
• 文字（RIL.SYMBOL）

なお、RILはResult Itelator Levelの略です。

認識結果が思わしくない場合、PyTessBaseAPIオブジェクトの初期化オプションを画像とRILの値に応じて変更して下さい。

文字を検出した領域の位置を取得できるので、Pillowという画像処理ライブラリをつかって矩形を描画してみます。

from tesserocr import PyTessBaseAPI
from PIL import Image, ImageDraw

image = Image.open('./sample.jpg')

draw = ImageDraw.Draw(image)


with PyTessBaseAPI(lang='eng', psm=PSM.) as api:
    api.SetImage(image)
    boxes = api.GetComponentImages(RIL.WORD, True)
    print('Found {} word image components.'.format(len(boxes)))
    for i, (im, box, _, _) in enumerate(boxes):
        # im is a PIL image object
        # box is a dict with x, y, w and h keys
        api.SetRectangle(box['x'], box['y'], box['w'], box['h'])
        ocrResult = api.GetUTF8Text()
        conf = api.MeanTextConf()
        print( (u"Box[{0}]: x={x}, y={y}, w={w}, h={h}, confidence: {1}, text: {2}").format(i, conf, ocrResult, **box))
        
        draw.rectangle([box['x'], box['y'], box['x']+box['w'], box['y']+box['h']],outline=(255, 0, 0))

image.save("sample_box.jpg")

出力は以下のようになります。

Found 9 word image components.
Box[0]: x=41, y=50, w=25, h=13, confidence: 96, text: The

Box[1]: x=71, y=50, w=37, h=16, confidence: 96, text: quick

Box[2]: x=113, y=50, w=42, h=13, confidence: 89, text: brown

Box[3]: x=161, y=50, w=22, h=13, confidence: 86, text: fox

Box[4]: x=186, y=50, w=51, h=16, confidence: 95, text: jumped

Box[5]: x=242, y=54, w=31, h=9, confidence: 0, text: OVeT

Box[6]: x=277, y=50, w=20, h=13, confidence: 96, text: the

Box[7]: x=302, y=50, w=28, h=16, confidence: 95, text: lazy

Box[8]: x=334, y=50, w=35, h=16, confidence: 94, text: dogs.

上記の場合、”over”という単語の認識に失敗しています。
Tesseract 4.xは余白にシビアなため、これはボックスの値を調整することで解決します。
api.SetRectangle()の直前の位置で認識対象のボックスのy軸方向のサイズを調整するだけです。

Pillow、Tesseractともに座標系は左上が原点となります。したがって、box['y']の値を減少させると認識対象の領域が上方へ移動し、box['h']の値を増加させると下方に認識対象の領域が下方に伸長します。

api.SetRectangle(box['x'], box['y'], box['w'], box['h'])

box['y'] -= 1
box['h'] += 1
api.SetRectangle(box['x'], box['y'], box['w'], box['h'])

なお、行単位（RIL.TEXTLINE）で認識させた場合は問題なく認識します。

Found 1 word image components.
Box[0]: x=41, y=50, w=328, h=16, confidence: 95, text: The quick brown fox jumped over the lazy dogs.

OSD#

まず注意点。OSD（方向と文字種の判別）機能を利用する場合はosd.traineddataファイルが必要。また、言語もosd指定する必要がある。

2018年7月現在、提供されているosd.traineddataファイルは従来式の認識エンジン用のみ。したがってOCRエンジンモードもOEM.

DetectOS()#

Tesseractのバージョン3.0x系互換。DetectOS()を使用する方式。

from tesserocr import PyTessBaseAPI, PSM

with PyTessBaseAPI(psm=PSM.OSD_ONLY, lang="osd") as api:
    api.SetImageFile("./test_jpn_01.jpg")
    
    os = api.DetectOS()
    print(os)
    
    print("Orientation: {orientation}\nOrientation confidence: {oconfidence}\nScript: {script}\nScript confidence: {sconfidence}".format(**os))

{'orientation': 0, 'oconfidence': 6.647193908691406, 'script': 18, 'sconfidence': 1.692307710647583}
Orientation: 0
Orientation confidence: 6.647193908691406
Script: 18
Script confidence: 1.692307710647583

DetectOrientationScript()#

Tesseractのバージョン4以降ではDetectOrientationScript()メソッドを使用することでよりわかりやすい形式で出力を得ることができます。

from tesserocr import PyTessBaseAPI, PSM, OEM

with PyTessBaseAPI(psm=PSM.OSD_ONLY, lang="osd") as api:
    api.SetImageFile("./test_jpn_01.jpg")
    
    os = api.DetectOrientationScript()
    print(os)
    
    print("Orientation: {orient_deg}\nOrientation confidence: {orient_conf}\nScript: {script_name}\nScript confidence: {script_conf}".format(**os))

出力は以下のような人間に優しい形式になります。

{'orient_deg': 0, 'orient_conf': 6.647193908691406, 'script_name': 'Japanese', 'script_conf': 1.692307710647583}
Orientation: 0
Orientation confidence: 6.647193908691406
Script: Japanese
Script confidence: 1.692307710647583

まとめ#

tesserocrはTesseractのC++ APIにほぼ対応しているので本家のWikiのドキュメントも参考になります。

hOCRおよびPDF形式で出力するAPIには対応していませんが、他の言語のTesseract OCRのライブラリにできることはほぼ全て対応しています。

参考#

• sirfz/tesserocr: A Python wrapper for the tesseract-ocr API
• APIExample · tesseract-ocr/tesseract Wiki · GitHub

Tesseract OCRのPython用ラッパーはpyocr、pytesseract、tesserocrの3つがあります。

tesserocrはCythonを用いてC++のAPI（libtesseract）を使用するため、tesseractコマンドを呼び出すpytesseractより性能面で優位です（理論上は）。

pyocrはコマンド呼び出し、APIの両方に対応するようですが試していません。

目次#

環境及び前提条件#

• Ubuntu 18.04 LTS
• Python 3.6.5
• tesserocr 2.3.0

標準パッケージとしてTesseract OCRのバージョン4.xの開発版パッケージが提供されているUbuntu 18.04上で作業しています。

tesserocrはTesseract OCRのバージョン3系でも使用可能です。

Tesseract 本体およびビルドに必要なパッケージのインストール#

Tesseract 本体のインストール。

$ sudo apt install tesseract-ocr

build-essentialおよび各種*-devパッケージが必要。

$ sudo apt install build-essential libleptonica-dev libtesseract-dev
$ sudo apt-get install libpython3-dev python3-venv

python3-venvはtesserocrをインストールする環境を分離するため。

日本語用のデータファイル（言語データ）のインストール#

tesseract-ocrパッケージをインストールしただけでは英語用のデータおよび文字の方向および書字系検出（OSD）用のデータしかインストールされない。

$ sudo apt install tesseract-ocr-jpn  tesseract-ocr-jpn-vert

※ tesseract-ocr-jpn-vertは縦書き用のデータファイル。

Tesseract 4.xから追加された書字軽蔑のデータファイルを試す場合は下記のパッケージもインストールする。

$ sudo apt install tesseract-ocr-script-jpan tesseract-ocr-script-jpan-vert

どちらかのデータの認識率がいいかは不明。試した範囲では五十歩百歩。

Tesseract の動作チェック#

使用可能な言語の確認#

$ tesseract --list-langs
List of available languages (6):
Japanese
eng
Japanese_vert
jpn_vert
osd
jpn

コマンドの構文は下記のとおり。

$ tesseract -l lang 入力画像ファイル 出力ファイルの接頭辞 オプション

オプションはハイフン形式か、パラメータを記述したファイルの名称を指定。
入力・出力にそれぞれstdin、stdoutを指定すると標準入力、標準出力となる。

$ tesseract -l jpn test.png stdout --psm 6

認識結果の文字列が出力されればOK。

書字系別のデータファイル場合の例は以下のとおり。

$ tesseract -l Japanese test.png stdout --psm 6

試した範囲では余計な空白が入ってしまう。

作業ディレクトリの作成とtesserocrのインストール#

$ mkdir workplace
$ cd workplace

$ python3 -m venv venv
$ source venv/bin/activate

画像処理ライブラリとしてPillowをインストールする（オプション）。

$ pip install pillow

最後に本命のtesserocrをインストールする。

$ pip install tesserocr

“Failed building wheel for tesserocr”というエラーメッセージが表示されるが
インストール自体は成功しているので無視してよい。

bdist_wheelコマンドが見つからないという原因によるもの。

tesserocr の基本的な使い方#

対象の言語をimage_to_textメソッドのlang=オプションに指定する。
省略した場合はeng（英語）。

#! /usr/bin/env python3

import tesserocr

import tesserocr
from PIL import Image

image = Image.open('test.png')

print(tesserocr.image_to_text(image, lang='jpn'))

$ python test_ocr.py
これは日本語の文章です。Ltnux上のエディタで作成しています。
Ubuntu 18.64 LTS

LsTM搭載の、新しい認識エンジンのテストです。

かなり惜しいですね。

補足情報#

バージョン4.00.beta.3以降での注意点。

• osdetect.hというファイルがincludeディレクトリにコピーされなくなった
• API呼び出し時にロケールのチェック処理が入るようになった

まず1つ目の問題。osdetect.hというファイルが見つからないためにtesserocrのインストールが失敗します。対処法ほとしてはTesseractのソースアーカイブから対象ファイルをincludeディレクトリにコピーするだけです。

なお、修正がマージされているのでbeta.5または安定版リリースでは修正されるはずです。

次に2つ目の問題について。こちらはロケールによって発生するケースが報告されたため、その対策としてチェック処理が追加されています。
後述のようにAPI呼び出し前にロケール設定を変更することで対応できます。

ロケール変更が好ましくない場合は、現在のロケール設定を保存しておいて処理が完了してからAPI設定をもとに戻すという方法があります。

• Test for correct locale settings · tesseract-ocr/tesseract@3292484
  (https://github.com/sirfz/tesserocr/issues/137)
• Various fixes for Tesseract 4 beta.3 · ropensci/tesseract@2784542
• [Couldn’t import tesserocr, because locale check error · Issue #137 · sirfz/tesserocr]

osdetect.h問題#

インストール済みのTesseractのバージョンに対応したソースコードをリリースページから入手するか、git cloneしてソースコードを入手。

osdetect.hというファイルがincludeディレクトリにコピーされなくなっています。

$ cd tesseract
$ cp /src/ccmain/osdetect.h /usr/local/include/tesseract

コピー先は環境に応じて適宜変更のこと。

ロケールチェック対策#

具体的なエラーメッセージは以下のとおり。Pythonインタプリタが強制終了します。

!strcmp(locale, "C"):Error:Assert failed:in file baseapi.cpp, line 203
Abort trap: 6

Python側でLocaleをCにセットすればOK。

import locale
locale.setlocale(locale.LC_ALL, 'C')
import tesserocr

まとめ#

この記事の最大のポイントは、Tesseract OCRのPython用ラッパーはpytesseractだけではないというところ。

より高度な使い方、Pillow、OpenCVの連携は別記事で。

[2018/09/18 追記]

• 不要な-sオプションを削除
• wkhtmltopdf を使用する例を追加

目次#

Pandocのインストール#

Homebrewでインストールしてもいい((最近はバイナリがインストールされるので遅くはないはず))と思うが、公式サイトでパッケージからの手順が紹介されているので、公式パッケージからインストール。

パッケージからインストールする。

Releases · jgm/pandoc · GitHub

拡張子が.pkgのファイルをダウンロードしてダブルクリック。あとは画面の支持に従う。
途中でパスワードを要求されるのでログインする際のパスワードを入力。

MacTex（BasicTexパッケージ）のインストール#

PDFへの変換にLuaTexが必要らしいのでMac向けのTexLiveパッケージのうち軽量版であるMacTexのBasicTexパッケージをインストールする。LuaTexでなくても変換はできるはずなので別途確認予定。

More Packages - MacTeX - TeX Users Group

環境変数PAHTに/usr/local/texlive/2018basic/bin/x86_64-darwin/を追加する。

~/.bashrcに下記を追加。

export PATH=/usr/local/texlive/2018basic/bin/x86_64-darwin/:$PATH

最新版へのアップデートと日本語用パッケージを追加。

$ sudo tlmgr update --self --all
$ sudo tlmgr paper a4
$ sudo tlmgr install collection-langjapanese collection-luatex lm-math

tlmgr updateは結構時間がかかる。他にも使用する機能によっては追加のパッケージのインストールが必要。面倒ならBasicTexではなく通常版（4GBぐらい）を
インストールする。

参考：Mac に最小限の LaTeX 環境を導入する（2018年版） - Qiita

PDF生成#

適当な内容でMarkdownのテキストを用意する

# 見出し1

Hellow, Pandoc!

# 見出し2

## 小見出し1

MarkdownからPDFへの変換テストです。

::: 囲み領域

この領域がどう変換されるか。

:::

ここでテキスト終わり。

pandoc+luatexによるPDF変換#

PDF変換のバックエンドとしてLuaTexを指定する場合のメモ。

$ pandoc test1.md -f markdown  -o test1.pdf --pdf-engine lualatex

オプションを指定しないと日本語が表示されず、[WARNING] Missing character: There is no * (U+****) in font [lmroman12-bold]:+tlig;!という警告が表示される（*の部分は文字によって変わる）。

$ pandoc test1.md -f markdown  -o test1.pdf --pdf-engine lualatex -V documentclass=ltjarticle

生成されたPDFファイル

HTML形式にの場合にdivタグに変換されるnative_divs拡張の部分（コロン3つで囲んだ部分）は特別扱いされていない。

luatexのエラーと対処#

Error producing PDF.
! LaTeX Error: File `lualatex-math.sty' not found.

上記のエラーはlm-mathパッケージをインストールすると解決する。

Pandocのアンイストール#

公式パッケージからインストールした場合のアンイストール方法。

公式サイトからアンイストール用のPerlスクリプトを入手。

$ wget https://raw.githubusercontent.com/jgm/pandoc/master/macos/uninstall-pandoc.pl

ダウンロードしたスクリプトを実行する。パスワードを聞かれるので実行したユーザーのパスワードを入力する。

途中でアンイストールしてよいかどうか、確認メッセージが表示されるので”y”と入力。

$ perl uninstall-pandoc.pl

以下は実行ログ。

The following files will be deleted:

/usr/local/bin/pandoc
/usr/local/bin/pandoc-citeproc
/usr/local/share/man/man1/pandoc-citeproc.1
/usr/local/share/man/man1/pandoc.1

Do you want to proceed and uninstall pandoc (Y/N)?y
Password:
Deleted /usr/local/bin/pandoc
Deleted /usr/local/bin/pandoc-citeproc
Deleted /usr/local/share/man/man1/pandoc-citeproc.1
Deleted /usr/local/share/man/man1/pandoc.1
Forgot package 'net.johnmacfarlane.pandoc' on '/'.
Pandoc has been successfully uninstalled.

別解#

デフォルトではTeXを使わずにwkhtmltopdfを使う。必要なディスク容量はこちらのほうが少ない。

細かく外観をいじりたいなら、TeXを使用する方法がベター。

縦書きに対応できるかは試していない。

$ brew cask install wkhtmltopdf

実行方法#

wkhtmltopdfを呼び出したい場合は-t htmlで内部的にHTMLにする。

$ pandoc sample.md -f markdown -t html  -o test2.pdf

もしくは、明示的に--pdf-engine wkhtmltopdfとする。

$ pandoc sample.md -f markdown  -o test3.pdf --pdf-engine wkhtmltopdf

リンク#

以下参考になりそうなエントリ各種。

• LaTeXとTravis CIでヒラギノフォント埋め込みPDFを作る - Qiita
• Inner Journeys: PandocとLuaLaTeXを使ったPDF出力でコードブロックをきれいに表示する
• Pandoc で日本語を含む Markdown から PDF を生成することをラクにしようとした

また、Tag Pluginsをインストールすることで拡張することができます。

目次#

基本#

• Writing | Hexo
• Tag Plugins | Hexo

記事を書く手順とHexoの基本コマンド#

記事を書く手順#

下書きしてから書く場合の手順。

1. hexo new draft
2. hexo server –draft –watch
3. ブラウザでプレビュー表示を確認
4. hexo publish

<title>の部分は記事のタイトルにする文字列を指定する。指定した文字列から空白をハイフンに変換し、小文字化した文字列がファイル名になる（_config.ymlのnew_post_nameなどのパラメータで制御される）。

hexo serverでプレビュー表示用のサーバーが起動する。
ブラウザでhttp://localhost:4000/に接続するとプレビュー表示を確認できる。

ブログエントリではなくいわゆる固定ページを作成したい場合は、hexo new page <title>。

Hexoの基本コマンド#

• hexo clean

  生成したHTMLとキャッシュの消去。

• hexo config

  エディタを使わずにhexo の設定を変更できる。

• hexo deploy

  デプロイ設定に従って生成したHTMLをサーバーにデプロイする。
  NetlifyとGitリポジトリを連携している場合など、など、サーバー側でhexo generateするなら不要。

• hexo generate

  HTMLを生成する。

• hexo help

  ヘルプの表示。

• hexo init

  コンテンツを格納するディレクトリ、設定ファイルの生成。

• hexo migrate

  他のブログシステムからの移行ツール。

• hexo list

  このコマンドはなかなか便利。現在のドラフトや作成済みの記事内のタグやカテゴリの情報を出力してくれる。

  $ hexo list tag

• hexo new

  ポストあるいはページの雛形を生成。

• hexo publish

  日付のタグをfront-matterに追加する。
  git でdraftを管理している場合、git mvせずにファイルを移動するため、
  履歴が失われてしまう。この問題はgit add .すれば解決する。

• hexo render

  render系のプラグインによるファイル生成。

• hexo server

  プレビューのサーバーを起動する。

• hexo version

  バージョン表示。

記事の作成#

Hexo独自の記法のリストについてはプラグインの一覧ページを参照。

Tag Plugins | Hexo

リンク#

一番単純な形式：

[リンク文字列](http://example.com)

画像の挿入#

画像の配置場所に関しては次の２通りの方法がある。

• Global Asset Folder
• Post Asset Folder

参考：Asset Folders | Hexo

デフォルトの状態ではGlobal Asset Folder。

記述方法#

以下、Global Asset Folderの場合。画像へのパスは相対リンクでかつ、/で始まっている必要あり。

1. Hexo記法

   {% img [class名] [画像へのパス] [widhth] [height] [title] %}

   テーマ側でfancyboxが有効になっている場合、画像をクリックすると拡大画像が表示される。

   また、Post Asset Folderが有効になっている場合、下記の初期も使用できる。

   {% asset_img example.jpg This is an example image %

2. Markdown

   

   リンク付きの画像は以下のようにする。この形式を使用したい場合、fancyboxを無効にしておく必要がある。

   [](URL)

   fancyboxが有効になっている場合、画像自体をリンクにすることはできない。

Hexoで画像を表示 | nkmk log

目次の生成#

目次生成用のプラグインのインストール。

$ npm install hexo-toc --save

詳細： hexo-toc - npm

使い方としては、記事の冒頭付近で下記のように記述。

<!-- toc -->

「続きを読む」#

冒頭の適当な位置に\と記述。

<!-- more -->

コードブロック#

行番号の有無などの設定は_config.yml。

highlight:
  enable: true
  line_number: false
  auto_detect: true
  tab_replace:

Hexo形式の場合、個別に行番号の有無を切り替えることができる。

一般的なMarkdown形式#

インライン形式と、ブロック形式がある。

• インライン形式: バッククォートで文字を囲む（”`test`“）

Hexo形式#

{% codeblock [title] [lang:language] [url] [link text] %}
code snippet
{% endcodeblock %}

注意点#

hexo serverによるプレビューの際、_configファイルを変更したあとは再起動が必要。

ノウハウ関連リンク集#

カテゴリに関する補足#

HexoのFront-matterにカテゴリーとタグを上手く設定する方法 | Qookie Tech

more （続きを読む）#

Hexoでトップページに記事の概要を出す方法 | Katsunori Nippo

リンクのプレビューの埋め込み#

hexo-tag-link-previewをnpmで公開しました。 | 海月暮らし

ページによってはうまく動かないかも。

その他の参考サイト#

• Hexoで始めるお手軽な静的ブログ　-画像投稿とプラグインの追加- - Qiita
• HEXOで使えるMarkDown記法 | blog

目次#

Hexoの設定#

公式サイト：Configuration | Hexo

画像ファイルの配置場所#

デフォルトではsourceディレクトリ直下か、source/imagesなどのディレクトリを作成してそこに配置する。

別の選択肢として、post_asset_folderという変数をtrueにすると記事ごとに画像ファイルなどの保存ディレクトリを自動的に作成する。

post_asset_folder: true

作成されるディレクトリ名はhexo new post XXXのように生地ファイルの名称と同じ。

関連：HexoのPostに画像を置く | SAUCER blog

とりあえず現状としてはsource/imagesというディレクトリを作成してそこに配置している。

目次に関する設定#

目次の挿入はhexo-tocというプラグインです。おそらく最初からインストールされているはず。

記事を作成する際に、目次を挿入したい位置に<!– toc –>と 書くとその部分に目次が挿入されます。

設定は_config.ymlに記載。

toc:
  maxdepth: 3
  class: toc
  slugify: uslug
  decodeEntities: false
  anchor:
    position: after
    symbol: '#'
    style: header-anchor

重要なのはslugifyという項目は見出しの文字列を変換する方法を指定するオプション。
URLエンコード（uslag）と音訳（transliteration）の二種類（デフォルトはuslaug）。

音訳を選ぶと例えば「見出し」が”midasi”の様に変換される。

詳細：GitHub - bubkoo/hexo-toc: 📖 Insert a markdown TOC before posts be rendered.

エラーとその対策#

上記のプラグインをインストールする際、下記のメッセージが表示されるケースがあります。

npm WARN deprecated coffee-script@1.12.7: CoffeeScript on NPM has moved to "coffeescript" (no hyphen)
+ hexo-toc@1.1.0
added 67 packages from 72 contributors and audited 5845 packages in 17.872s
found 17 vulnerabilities (4 low, 13 moderate)
  run `npm audit fix` to fix them, or `npm audit` for details

メッセージにある様に、詳細を確認したい場合はnpm audit、自動修正を試みる場合はnpm audit fixです。

$ npm audit fix
added 10 packages from 17 contributors and updated 1 package in 8.537s
fixed 4 of 17 vulnerabilities in 5845 scanned packages
  13 vulnerabilities required manual review and could not be updated

実際に実行すると、脆弱性のうち、4つは自動修復下画の頃は手動で対処しろというメッセージが表示されます。
ローカルマシン上で使う限り、無視しても問題はないはず。

サイトマップ#

サイトマップのジェネレーターをインストール。

$ npm install hexo-generator-sitemap --save

詳細：hexojs/hexo-generator-sitemap: Sitemap generator for Hexo.

設定ファイルに下記を追加。

sitemap:
    path: sitemap.xml
    template: ./sitemap_template.xml

テンプレートとして./sitemap_template.xmlというファイルを用意する。pluginのページのsitemap.xmlをコピーする。

hexo-generator-sitemap/sitemap.xml at master · hexojs/hexo-generator-sitemap · GitHub

RSSフィード#

公式：GitHub - hexojs/hexo-generator-feed: Feed generator for Hexo.

RSSフィードのジェネレーターをインストールします。

$ npm install hexo-generator-feed

設定に問題がないか、http://localhost:4000/atom.xmlにアクセスして確認する。

参考：HexoのRSSフィードプラグインを使ってみる

OGP#

OGP用のヘルパーは用意されているので、テーマが対応していれば特に問題ない。

titleやdescriptionが適切に設定してある必要あり。

コンテンツディレクトリの_config.ymlもしくは各テーマの_configにSNSアカウントのIDをセットしておくと埋め込まれる。

theme_config:
    (省略)
    twitter: your_twitter_id
    google_plus: your_google_plus_id

参考：HexoでOpen Gragh Protocolの設定をする | エンジニアっぽいことを書くブログ

補助ツール#

hexo admin#

jaredly/hexo-admin: An Admin Interface for Hexo

ブラウザで記事を書くツール。ローカルマシン上で使用してもいいし、サーバー上にインストールしてもいい。

$ npm install --save hexo-admin

hexo sでサーバーを起動して、http://localhost:4000/adminにアクセスすると管理画面が表示される。

プログの記事一覧から編集したい記事を選んで、鉛筆のマークのアイコンをクリックすると編集画面が開く。編集すると記事は自動保存される。

編集画面の右上のボタンでPublish/Unpubulishを切り替えることも可能。

適切に設定していればデプロイもメニューからできるようです。

その他#

テーマの設定値の上書き#

コンテンツディレクトリ直下の_config.ymlに以下のようにtheme_configというキー名のあとに記載する。

theme_config:
    google_analytics: XX-XXXXXX

theme/テーマ名のディレクトリにある設定ファイルを直接編集してもいいが、git submoduleで追加している場合は避けたほうが良い((デプロイ手段の設定に依存))。

独自タグの作成#

HexoのMarkdownを拡張する | Hello New World

参考リンク#

• Documentation | Hexo
• Configuration | Hexo
• HEXOを使って爆速でブログを立ち上げた話 | STAY FREE
• Hexo 設定ファイル|Akanetrip

目次#

はじめに#

NetlifyとHexoの組み合わせですが、GitHubやbitbucketと連携させることができ、
デプロイ手順を簡略化できるというメリットがあります。

このブログではbitbucket経由でgitリポジトリへのpushすることで記事のデプロイを実現しています。

基本的な手順はNetlifyの公式ページをベースにしています。

A Step-by-Step Guide: Hexo on Netlify | Netlify

Netlifyにデプロイするのは生成されたHTMLではなく、Markdown形式のデータになります。

作業の流れは以下のとおりです。

• Node.jsのインストール
• Hexoのインストール
• Hexoの設定
• gitリポジトリの設定
• 記事の作成
• Netlifyとリモートリポジトリの連携
• 各種設定

Hexoのインストールと初期化#

HexoをインストールするにはNode.jsおよびnpmコマンドが必要です。

macOS上ではHomebrewを使う方法が簡単です。

Windows環境の場合はNode.jsの公式ページからダウンロードできます。

Node.jsのインストール#

Homebrew でnode.jsをインストールします。

$ brew install node

npmコマンドが一緒にインストールされる。

バージョン確認。

$ node --version
v10.3.0
[atuyosi@mba-mid2012-4 ~] $ npm --version
6.1.0

Hexoのインストール#

Hexoのインストール。-gを指定することで/usr/local/binにhexoコマンドがインストールされます。

$ sudo npm install hexo-cli -g

コンテンツを置くディレクトリの初期化#

<dir-naame>は任意のディレクトリ名。

$ hexo init <dir-name>

引数に指定したディレクトリに移動。

$ cd <dir-name>

以下のコマンドでモジュールのインストール。

$ npm install

以下、バージョン情報。

$ hexo --version
hexo: 3.7.1
hexo-cli: 1.1.0
os: Darwin 17.5.0 darwin x64
http_parser: 2.8.0
node: 10.3.0
v8: 6.6.346.32-node.9
uv: 1.20.3
zlib: 1.2.11
ares: 1.14.0
modules: 64
nghttp2: 1.29.0
napi: 3
openssl: 1.1.0h
icu: 61.1
unicode: 10.0
cldr: 33.0
tz: 2018c

動作チェック#

Hexoのサーバーを起動してみます。

$ hexo server --draft

http://localhost:4000/にアクセスして、テスト用のページが表示されればOKです。

git リポジトリのセットアップ#

初期化#

Bitbucket経由でデプロイするのでgitリポジトリを初期化しておく。

$ git init

gitの管理対象から外すファイルを.gitignoreに書き込みます。

$ echo "/public" >> .gitignore
$ echo "/node_modules" >> .gitignore

publicディレクトリは生成されたHTMLファイルの格納先ですが、Netlify側でhexo gコマンド（後述）を実行してHTMLファイルを生成するためgitの管理対象から除外します。

node_modulesディレクトリについてもNetlify側で必要なモジュールがセットアップされるためgitの管理対象から除外です。

$ git add -a

この時点でコミットしておきます。

$ git commit -m 'First commit'

リモートリポジトリの設定#

bitbucketまたはgithubでリポジトリを作成しておきます。

$ git remote add origin Git_Repository_URL

Git_Repository_URLを自分のgit リポジトリのURLに変更。

bitbucketの例を示しておきます。

$ git remote add origin git@bitbucket.org:ユーザー名/リポジトリ名

設定の確認は

$ git remote -v

あとは記事を作成後、リモートリポジトリにgit push -U、Netlify側で関連付けるリポジトリを選択してせってすれば完了。

Hexoの基本設定#

各種プラグインのインストールと設定。

設定ファイルの編集#

設定ファイルを修正する。

$ vim _config.yml

設定ファイル_config.ymlを編集し、基本的な項目を設定します。

# Site
title: ブログのタイトル
subtitle: サブタイトル
description: metaタグ用の詳細説明
keywords: キーワード（カンマ区切りで列挙）
author: 任意
language: ja
timezone: Asia/Tokyo

項目名のとおりですが、一応説明。

• title: ブログのタイトル
• subtitle: ブログのサブタイトル
• description: 説明
• keywords: カンマ区切りでキーワードを列挙。SEO対策。
• author: 著者名
• language: アルファベット2文字で言語を設定（ISO 639-1形式）（デフォルトは”en”）
• timezone: タイムゾーンを指定

description および keywords はSEO甩です。

記事の作成#

本来の基本的な流れは

1. hexo new draft “記事タイトル”
2. hexo publish
3. hexo server –draft
4. hexo generate
5. hexo deploy

となります。この記事のようにサーバー側でページを生成する場合は手順2のpublish、手順4のgenerateは不要です。

hexo publishではなく、git mvまたは単にmvコマンドでファイルをsource/_postにファイルを配置してgit commit、git push。

サーバー側でリポジトリの更新をチェックしてhexo generateコマンドが実行され、
HTMLページが生成される形になります。

なお、各コマンドには省略形が用意されています。例えば、hexo serverに対してhexo sなど。それぞれのサブコマンドの最初の一文字です。

デプロイ#

前述のとおり、hexo deployは使用しません。

$ git push origin master

または

$ git push -U

2回目からはgit push。

Netlify側の設定#

まずNetlifyにログインし、新規サイトの作成画面へ。

連携するサービスを選ぶ画面で使用しているサービスを選択するとリポジトリ選択画面に切り替わるのでブログ記事をpushしたリポジトリを指定します。

基本的に画面の指示に従えば問題ないはず。

Netlify側の作業は公式サイトを参照。

A Step-by-Step Guide: Hexo on Netlify | Netlify

まとめ#

以上で完了です。あとはHexoの詳細設定とテーマのカスタマイズ。

記事を書いてhexo sでプレビューしてgit pushして公開するという手順を繰り返すしていくことになります。

Hexoを使用しています。

テーマを探しているところです。