2017-08-27

静的な小説サイトからテキストを抽出して保存するスクリプト

技術

どうもです。
ブログ更新忘れていたので、連投をば。

まえがき

もともとRPGツクール用のツールとかを配布するときに、コミュニティサイトしか情報がなかったら良くないかも、と思って開始したブログでしたが、せっかくなので技術発信とかも少しでもしといたほうが、今後の自分の糧になるのかなぁ、と思ったので、そういう記事も書いていこうと思います。

Webクローリングスクリプト

表題のとおり、今回はクローリングスクリプトです。

Bashのwgetというコマンドを使えば、Webクローリングができるという情報を知って、自分がよく見ていた小説サイトの情報を抜き取って保存してみました。

参考サイト : http://girigiribauer.com/archives/925/

作成したスクリプト

#!/bin/bash
# -*- coding: utf-8 -*-

set -eux
: $1 $2 $3

# 対象サイトからHTMLを取得する
wget -r --random-wait $1 || exit 1

# ドメイン名のみ取り出す
dirname=`echo $1 | sed -E "s@https?://@@g" | sed -E "s@/.*@@g"`

# 不要なファイルを削除する
rm $dirname/*.png
rm $dirname/*.jpg
rm $dirname/*.gif
rm $dirname/*.zip

# ディレクトリ内のフォルダを取得
files=`find $dirname | xargs`
for file in $files; do
  if [ -f $file ]; then
    # 文字コードを変換して、別名ファイルで出力
    html=`cat $file | iconv -f $2 -t $3`
    title=`echo $html | sed -e "s@.*<title>\(.*\)</title>.*@\1@g"`

    cat $file | iconv -f $2 -t $3 \
      | sed -E 's@<[^>]*>@@g' \
      | sed -E 's@(^ +| +$)@@g' > "${dirname}/${title}.txt"

    # 元のファイルを削除
    rm $file
  fi
done

解説

引数チェック

set -eux
: $1 $2 $3

引数チェックの方法の一つです。 Qiitaの記事で知りました。
http://qiita.com/m-yamashita/items/889c116b92dc0bf4ea7d

今回の引数はそれぞれ下記の用途で使用しています。

$1 : 再帰的に取得する始点になるURL
$2 : 文字コードの変換元
$3 : 文字コードの返還後

HTML取得＋ドメイン名の取得

# 対象サイトからHTMLを取得する
wget -r --random-wait $1 || exit 1

# ドメイン名のみ取り出す
dirname=`echo $1 | sed -E "s@https?://@@g" | sed -E "s@/.*@@g"`

wgetで再帰的に取得した時、ドメイン名のフォルダに保存されます。

そして、保存されるファイル名は、htmlファイルのファイル名なので、必ずしも、その小説のタイトルではない場合があります。

なので、findしてhtml内のタイトルをファイル名にして保存するようにしたいわけです。そこでwgetした時のURLからドメインのみを抜き出します。

sedするときは/(スラッシュ)を使うことが多いですけれど、今回は@を使ってます。 URLが混じってると失敗してしまうので。

フォルダ内のファイルを処理

# ディレクトリ内のフォルダを取得
files=`find $dirname | xargs`
for file in $files; do
  ...
done

先ほど取得したドメイン名のフォルダをfindして、ループで処理します。

HTMLの文字コードの変換

# 文字コードを変換して、別名ファイルで出力
html=`cat $file | iconv -f $2 -t $3`

保存したファイルはUnicode文字として保存されていましたので、それをUTF-8に変換する必要がありました。なので、iconvで変換するようにします。

タイトルの取得

title=`echo $html | sed -e "s@.*<title>\(.*\)</title>.*@\1@g"`

次に、ファイル名がわかりやすくなるように、HTML内のタイトル要素を取得します。

ここも先ほどと同様にsedを使います。 sedの正規表現と後方参照でタイトル部分のみを抜き出します。

HTMLからテキストのみを取り出して整形

cat $file | iconv -f $2 -t $3 \
  | sed -E 's@<[^>]*>@@g' \
  | sed -E 's@(^ +| +$)@@g' > "${dirname}/${title}.txt"

今回は小説サイトのテキストが必要なので、不要なタグを削除します。
また、インデントが存在していても見づらいので、それも削除します。

削除したら、先ほど取得した$titleをファイル名として保存します。

ここで、先ほど取得した$htmlを使用していないのは、 echo $htmlすると改行文字が削除されてしまっていたからです。

対処方法がわからなかったので、ここではファイルから再度取得して文字コードを変換した結果をパイプするようにしました。

ここでも同様にsedします。 sedが便利すぎてやばいです。でも何でも正規表現すると遅くなるとかって話を聞いたので、あまり良くはないのかも…。

所感

そんな感じで、好きな小説サイトのテキストを抜き出して閲覧できるようになりました。
閲覧するときは、less -N $filenameで読めば、ターミナルで読書ができます。

問題点としては、一昔前のような静的な小説サイトでないと機能しないということです。

Ctrl + U してソースを閲覧して、テキストがすっからかんになっているような動的にページが構築されているようなサイトだと、ほぼ失敗します。

次に、1ページに1話である必要があります。 1話が何ページにも渡っていて、それらを1つのファイルにまとめるような処理は含まれていません。

他にも、ページ内に小説の記事以外の要素が含まれていてもダメです。

ブログサイトのように、他の記事へのリンクや、サイドメニューとかヘッダとかの要素も取り込んでしまうので、それらを省く処理も場合によっては必要です。

この辺は課題ですね。

2017-08-27

キャラ設定を考えるためのアプリ作りました

技術

お久しぶりです。次郎です。

現状報告

仕事が忙しくて、ゲーム制作に着手できないので、
ゲーム制作の少しでも楽にするためのモノばかり作っています。

最近はもっぱらPythonとBashを勉強していて、
ちょっとした作業の自動化とかしつつ、ゲーム制作を放置しています。

たとえば、キャラの表情の差分を組み合わせて、
一気に差分画像を生成するツールとかもPythonで作成しました。

配布とかはしていませんが、Github上にはすでに存在します。
ただし、ドキュメントとかは一切用意していませんが・・・。

せっかくつくったツールなので、誰かに公開したいと思っているのですが、
いくつか問題がありまして、Pythonは実行環境がないと動かせないのと、
exe化するとファイルサイズが巨大化する点です。

なので、配布するなら自分用の簡単なのを作って、
Javaに移植するといった感じで今まで作っていたのですが、
最近Javaを書くのが結構しんどくて…。

代替案として、Go言語というのが良さそう？と最近知ったので、Pythonと平行しつつ、Go言語も勉強しようかなぁと
思っている次第です。

作成したアプリ

前置きはそこまでに、今回作成したアプリについて、一応紹介します。
下記のリンク先がそれです。

https://jiro4989.github.io/charaseat/

今回の実装ではそれなりにたくさんのデータを扱うということだったので、 Javascriptで動的にデータを追加するには、処理が重いかと考えたので、アップ前にPythonでHTMLを生成してGithubにアップするようにしています。

htmlのテーブル部分生成スクリプト

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import re
from datetime import datetime
from os.path import splitext, basename

def main():
    datas = [
              "res/data/一人称.html"
            , "res/data/二人称.html"
            , "res/data/性格.html"
            , "res/data/髪型.html"

            , "res/data/トップス.html"
            , "res/data/ズボン.html"
            , "res/data/スカート.html"
            , "res/data/ドレス.html"
            , "res/data/制服.html"
            , "res/data/アンダーウェア.html"
            , "res/data/履物.html"
            , "res/data/かぶりもの.html"
            , "res/data/寝巻き着.html"
            , "res/data/水着.html"
            , "res/data/装身具.html"

            , "res/data/その他.html"
            ]

    checkboxtext = \
            '<label>' \
                '<input' \
                ' type="checkbox"' \
                ' name="{title}"' \
                ' value="{title}:{text}"' \
                ' onclick="updateRecords();"' \
                ' />' \
                '{fulltext}' \
            '</label>'

    tables = []
    for filepath in datas:
        with open("table.html") as table:
            tabletext = table.read()
            with open(filepath) as datafile:
                caption = splitext(basename(filepath))[0]

                line = datafile.readline()
                trs = []
                while line:
                    line = line.rstrip("\n")
                    if line == "":
                        continue

                    if line.startswith("<"):
                        text = re.sub(r"</?[^>]+>", "", line)
                    else:
                        text = line

                    text = checkboxtext.format(title=caption, text=text, fulltext=line)
                    text = "<tr><td>{}</td></tr>".format(text)
                    trs.append(text)
                    line = datafile.readline()
                tbody = "\n".join(trs)
                newtable = tabletext.format(caption=caption, tbody=tbody)
                tables.append(newtable)

    htmllines = []
    with open("template.html") as template:
        text = "\n".join(tables)
        line = template.readline()
        while line:
            if "{target}" in line:
                htmllines.append(text)
            elif "{time}" in line:
                now = datetime.now().strftime("%Y/%m/%d")
                htmllines.append(now)
            else:
                htmllines.append(line)
            line = template.readline()

    with open("index.html", "w") as indexhtml:
        indexhtml.write("".join(htmllines))

if __name__ == '__main__':
    main()

テーブル埋め込みのテンプレートhtml

<div class="charaTableArea">
  <input type="button" value="ランダム設定" onclick="setRandomContent('{caption}');" />
  <table border="1">
    <caption>{caption}</caption>
    <thead>
      <tr style="background-color: yellow;">
        <td>項目</td>
      </tr>
    </thead>
    <tbody>
      {tbody}
    </tbody>
  </table>
</div>

やりかたは単純。

dataフォルダ配下に、１行に１データを記述しただけのテキストファイルを配置し、それをPythonで読み込んで、ファイル名をcheckboxのnameに、データをvalueとする文字列を生成して、それをtable.htmlの{tbody}にformatで埋め込んでいるだけです。

これで、スクリプトを実行すると index.htmlが更新されるという仕組みです。

pushする前にスクリプトを実行するスクリプトを用意しておけば、データを更新して、pushするだけで完成、というわけです。

お手軽です。

所感

極限までデザインは手抜き、いろいろ手抜きです。　　自分用に作ったアプリですが、正直使うか怪しいです。

今回のアプリ制作を通して得た知見としては、
GithubPagesでWebアプリを作る方法がわかった、ということくらいです。

以上です。

2017-06-24

Windows10をキーボードのみで操作

雑記

前置き

こんばんは。突然ですが、皆さんはマウスを使用していますか？

私はほとんどマウスを使わずに、あらゆる操作をキーボードでやろうとしてます。

なぜそんな縛りプレイをしているのか？
というと、職業柄プログラムを書く時間が非常に長いからです。

プログラムを書く時はvimを使っているので、基本的にマウスは触りません。

そうなってくると、情報を集めたくなってブラウザで何か検索する時もマウスに持ち帰るのが億劫になります。

同様に、エクスプローラでのファイル操作やメール作成などでもマウスに持ち帰るのが億劫になってきます。

さらには、プログラミング以外をして過ごす時間が長くなる自宅でもマウスに触りたくなくなってきます。

気がついたらマウスなしでもそれなりの速さでPC操作ができるようになったので、せっかくなのでその方法を公開したい、と思った次第です。

以下にキーボードのみで操作することの長所と短所を述べます。

長所

マウスに持ち帰る時間がなくなるため、部分的に作業効率が上がる
マウスを使うスペースが確保できない状況でも作業可能になる(新幹線など)
出かける時にPCを携帯する場合の荷物が減る

短所

なれるのに時間がかかる
キーボードが壊れるのが早くなる
会社でやると気持ち悪がられる

というわけで、そんなPC操作方法を紹介してみます。

ブラウザにプラグインをいれたりしません。
Windows10の挙動を変えるようなソフトを入れたりもしません。
可能な限り、標準の機能のみで操作します。

※マウスで操作するより高速というわけではありません。

前置き
本題

本題

前提条件

ホームポジションをしっかり守っている
ブラインドタッチができる
それなりの速さでタイピングができる

PC操作全般

操作	説明
Alt + Tab	ウィンドウを切り替える
Alt + Shift + Tab	ウィンドウを切り替える
Alt + Space	ウィンドウ右クリックのメニューを開く
Winキー + ↑	ウィンドウの最大化
Winキー + ←または→	ウィンドウの分割表示

ネサフ

ネサフする時ってキーボードのみで操作するのって難しそうに思えますが、実は２つほど、高速に行えるようにする方法があります。

Vimperator, Vimiumといったプラグインを入れる
Ctrl + FとTabとj, kを使う

前述の方法はよく見かける方法です。 FirefoxやChromeだと操作をvim風に行えるようにキーマップを変更してしまいます。

ただしこの方法には問題があります。

特定の画面で操作できなくなる
ブラウザ上でPDFを開いたときとかはまさにこんな感じになります。
デフォルトのキーと競合する
GmailなどのGoogleのサービスはデフォルトでvimっぽい操作を提供しているので、それらの操作とバッティングした時に面倒くさいことになったりします。
他の人のPCだとプラグインがないときがある
かといって勝手にプラグインを入れるわけにもいかない

これらの問題点を考慮して、私はキーマップを変更しないでネサフをするようにしています。

ブラウジングの基本的なショートカット

私はGoogle Chromeしか使わないので、ショートカットはChromeのものです。私が頻繁に使うものを載せます。

操作	説明
Ctrl + T	新しいタブを開く
Ctrl + N	新しいタブを別ウィンドウで開く
Ctrl + W	タブを閉じる
Ctrl + Shit + T	閉じたタブを復元
Ctrl + Shit + Q	すべてのChromeを終了する
Ctrl + Tab	次のタブに移動
Ctrl + Shift + Tab	前のタブに移動
Ctrl + 1	先頭のタブに移動
Ctrl + 2から8	X番目のタブに移動
Ctrl + 9	最後のタブに移動
(リンク上で) Enter	リンクを開く
(リンク上で) Ctrl + Enter	別タブでリンクを開く
Ctrl + ;	フォントの拡大
Ctrl + -	フォントの縮小
Ctrl + 0	フォント倍率を100%に戻す
↓	ページを下に進める
↑	ページを上に進める
←	ページを左に進める
→	ページを右に進める
PageDown	ページを半ページ下に進める
PageUp	ページを半ページ上に進める
Ctrl + D	ページをブックマーク
Ctrl + Shift + O	ブックマークマネージャを開く
Alt + F	メニューを開く

特に私は視力が低いのでフォント拡大を頻繁に使いますし、他の人と情報共有する時に見やすくするために拡大したりします。

補足

Linux Mint環境だとCtrl + ;で拡大ができませんでした。しかし、Ctrl + ^で拡大ができるようです。

他にもGoogleSpreadSheetでも;のはずのキーが^で機能したりしていたので、もしかしたら、Linux版はショートカット設定が変更されているのかもしれません。

ググる

検索をする時は Ctrl + L でアドレスバーにフォーカスするので、唐突にググりたくなったらCtrl + Lです。

次に、Chromeでググったときの検索結果を選択します。
検索結果を選択する方法として、Tabを連打してフォーカスする方法がありますが、それとは別に、j, kで選択する方法があります。

検索エンジン Googleでの検索窓の下に[ 設定 ]という項目があります。それを選択して検索設定の項目に移動します。

Google インスタント検索の予測の設定をインスタント検索の結果を常に表示する に変更すると、検索直後の画面が遷移した後に、j, kで検索結果を移動できるようになります。

再度検索窓にフォーカスしたい場合は / とタイプします。

ショートカット機能しない問題

以前は検索後、jやkで検索結果を移動できていたのですが、現在(2017/08/27)それらの機能が使えないような感じです。(バグ？)

しかたないので、DuckDuckGoという検索エンジンを今は使っています。こちらでしたらj,kで移動できます。

リンクの選択

ページを読み進めるのはだいたいSpaceやPageDown, PageUpとかのキーで十分ですが、リンクの選択はやや手間です。

Tabの連打でなんとか選択することもできますが、ブログのコンテンツの配置によってはTabを長押ししてしばらく待たないといけない場合があります。

それも行き過ぎてしまったりで、結構面倒が伴います。

で、そういう時はCtrl + Fです。ページ内検索です。

適当に途中まで入力するとChromeでは検索結果のフォーカス中のものがオレンジ色にハイライトされます。

この時にEscapeで検索窓を閉じると、そのハイライトされている部分にフォーカスが移ります。

この特性を利用してリンクを選択します。

リンクがIMEでの変換が必要そうな場合は、その周辺の変換が不要そうなテキストを対象に検索欄に入力して、TabまたはShift + Tabでフォーカスします。

なれるとパパっとタイプしてリンクを選択できるようになります。

ボタンが文字ではなく画像として貼り付けられてる場合はあきらめてマウスを使います。

ブックマークを開く

ブックマークを開く操作も、事前準備が必要ですけれどキーボードのみで出来ます。

まず、ブックマークを登録する時に、キーボードから呼び出したいキーの前に &マークを付けます。

例えば、Pixivをブックマークに登録する時は &Pixiv とします。

次にブックマークを開く動作は Alt + F → Bです。

これで、ブックマークのメニューが開けるので、ここで先程登録したPを押します。
Alt + F → B → P です。

これでPixivのページを開けるようになります。
別タブで開きたい時は、Ctrl + Tで新しいタブを開いておきます。

ブックマークだけでなくフォルダも同様に登録できます。
私の場合は下記のような感じに登録してます。

(&M) マイページ (フォルダ)
- &Pixiv
- (&N) ニコニコ

先頭の文字が日本語の場合は別途キーを付けます。

Twitterとかを使う時は流石に無理かも、と思われるかもしれませんが、有名なSNSとかだと公式がショートカット操作をサポートしている場合があります。

Twitterでしたら ? とタイプするとショートカットヘルプが表示されます。他にもGmailやInboxといったGoogleのサービス、SoundCloud、Feedlyも ? ヘルプに対応しています。

Youtubeはヘルプを表示しませんが、h, j, k, /といったキーで操作できます。 Pixivもヘルプこそでませんが、カーソル←、→でページを移動したり、 Vで開く、Lでいいね、Bでブックマークといった具合の操作をサポートしています。

/ で検索窓にフォーカスという操作はだいたい共通でサポートされている印象です。 (Vimの / 検索が由来でしょうか？）

ページ内のテキストのコピー

マウス使います。

ファイル操作

エクスプローラでのファイル操作はマウス必須、と思うかもしれませんけれど、これも実はキーボードのみでかなり素早く操作できます。

キーボードショートカット

操作	説明
Winキー + E	エクスプローラを開く
ファイル名の先頭の文字	最初に見つかるそのキーで始まるファイルに移動
Ctrl + C	コピー
Ctrl + V	貼り付け
Ctrl + X	切り取り
Ctrl + L	アドレスバーにフォーカス
Ctrl + Shift + N	新しいフォルダを生成
Ctrl + A	ファイルを全選択
Shift + ↓または↑	複数ファイルを選択
Ctrl + ↓または↑	選択状態を維持したまま移動
Ctrl + Space	選択状態の反転
Alt + ↑	親フォルダに移動
F2	ファイル名の変更
Alt + D	デスクトップを開く

ファイルを選択する時はファイル名の先頭の文字をパパっと入力します。
これはかなり便利なのでぜひ覚えましょう。

大部分のファイルを移動するときはCtrl + Aしてから不要なファイルまでCtrl + カーソルで移動してCtrl + Spaceで解除
とびとびのファイルを選択するときはCtrl + カーソルで移動してCtrl + Spaceで選択

新しいファイルを作成

新しいファイルを作成するとき、例えばソースを新たに作りたくなった時ですが、Windows10だとAlt + Fでコマンドプロンプト、またはパワーシェルが起動できます。

そこからvimなりを起動してもいいですが、単純にテキストが必要な場合はCtrl + Lでアドレスバーに移動して gvim とかって入力すればいいです。

*アドレスバーからパスが通っている実行ファイルを呼び出すことができるので、 gvim hoge.txtみたいに入力すればエクスプローラからでもファイルをすぐに作れます。

フォルダ移動

頻繁にアクセスするフォルダはクイックアクセスに登録しておきます。

エクスプローラはWinキー + Eで開けるので、エクスプローラを開いたらCtrl + Eでアドレスバーに移り、Tab→Tabでクイックアドレスのペインのフォーカスできます。

メール作成

Thunderbirdの場合

メールはThunderbirdをメインで使ってます。

Thunderbird ショートカットとかってググればそこでキー操作がいっぱいでてくるのでそれを参考にすればキーボードのみで操作できます。

メニューバーのメニューを選択するのはファイル(F) の場合は Alt + Fです。この操作は大体のGUIアプリで共通です。

メール本文のコピー

Thunderbirdでのメール本文でカーソル操作は基本的にTabでリンクにフォーカスするだけです。

しかし、メッセージペインにフォーカスを移した状態でF7を押すと、 CaretBrowsingモードを選べるようになります。
もしこの表示がでなければ、about:configから設定する必要があります。

これでメッセージ本文内をカーソル移動できるようになるのですが、フォーカスを移すときにまた一工夫が必要です。

コピーしたいテキストの付近で楽にタイプできそうなテキストを見つけて Ctrl + Gで検索します。

検索してテキストが変わったらEscapeすると、検索した位置からキャレットが開始します。

Tabでフォーカスを移す方法もありますが、その場合はURLのようなリンクになっている場合でしか使えません。

Sylpheedの場合

Linuxに古くから存在するメーラです。 Thunderbirdよりもずっと軽くて動作が軽快です。

現在(2017/08/27)はSylpheedをメインで使っています。 SylpheedもThunderbird同様に多彩なショートカットが使えるのでおすすめです。

メール本文のコピー

Thunderbirdと同様の操作ができます。 F7キーでキャレット操作が可能です。

問題としては、メール本文なのリンクをキーボードで開けません。

マウスでクリックするか、リンクをコピーしてブラウザに貼り付ける必要があります。

Gmail, Inboxの場合

Googleのサービスはだいたい ? でヘルプを表示してくれます。

で、結構膨大なショートカットキーをサポートしてくれているので、だいたいなんとかなります。

資料作成

表計算

ExcelもGoogleSpreadsheetもショートカットが豊富にあるので、暗記すればなんとかなります。

スライド作成

マウス使います。

プログラミング

Vim使ってればマウスは不要です。

EclipseといったIDEだとたまにフォーカスが見当たらなくなるときがあるので、さすがにマウスを使う頻度が上がりますが、前述のAlt操作とかだけでだいたい可能です。

有名なIDEだとVim プラグインがあるんでだいたいなんとかなります。

端末起動

Winキー + X + C または I

環境変数設定

Winキー + X + Y から
Shift + Tabでシステム情報まで移動

システムのプロパティを開いたら
N → Tab → S → P で環境変数PATHを選択できるので
Tab → Tab → EnterでPATHの編集が出来ます。

設定が終わったらEscape連打で閉じていって Alt + Space + Cで窓を閉じる

その他

操作	説明
Ctrl + Tab	次のタブに移動
Ctrl + Shift + Tab	前のタブに移動
Winキー + X → U → U	Windowsのシャットダウン
Winキー + R	ファイル名を指定して実行
Winキー → 実行ファイル	StartMenuに登録されてるアプリを探す