2015年04月11日

◆ 将棋電王戦 2015

 将棋電王戦(2015年)は、人間側の3勝2敗。しかし、これは茶番も同然である。 ──

 人間側の3勝2敗だと言って喜んでいる人が多いようだ。だが、今回の対戦は、とんだ茶番である。なぜなら、次の条件があるからだ。
  ・ ソフトはあらかじめ棋士に貸し出される。
  ・ 貸出後のソフトの手直しは禁止。


 だとすれば、「人がこう指せば、ソフトはこう指す」というのは、事前にわかっていたことになる。
 これは、「待ったを無限にできる」というのと同じだ。要するに、「試験の内容をあらかじめ知っておく」というようなものだ。(ほとんどカンニングである。)……これでは、まともな対戦とはならない。

 将棋ソフトを使ったことのある人ならばわかるだろうが、「待った」ができるのであれば、人間はいくらでもやり直しが可能だ。とすれば、悪手を回避することで、人間はいつかは勝利にたどりつける。(迷路で行き止まりに達するたびに、少し戻って、やり直すのと同様だ。いつかは正解にたどりつける。)
 
 だから、上記の二点がある限り、次のことが成立する。
 「人間側が先手を持つ限り、人間側が一定方向に誘導することで、ソフトをハメ手に落とし込んで、勝利できる」

 こんなものはもはや将棋でもないし、勝負でもない。八百長も同然だ。

 ──

 では、以上の問題を避けるには、どうすればいいか? 
 いくつかの方法がある。

 (1) ソフトの手直しを認める。

 ソフトの手直しを認めるのが、最も妥当だろう。これによって、くせを買えることが可能なので、人間側のカンニングはもはや意味を持たなくなる。(あらかじめ試験を盗み見たとしても、本番の試験が別の内容に差し替えられるのであれば、事前に盗み見たことは無意味になる。)

 (2) 人間側が後手になる

 これもまた、公平性をもたらす。ソフトが先手でどんな戦法をとるかがわからなければ、人間側が誘導することは不可能だからだ。
 ※ なお、これは人間側が常に後手であることを意味する。人間とソフトがかわるがわるでは意味がない。今回は、第2、第4局は人間側が後手だったから、ここでは問題はなかった。しかし、第1、第3、第5局では、人間側が先手だったから、人間側が誘導することが可能だった。
 ※ 戦法の選択権については、[ 付記3 ] を参照。

 (3) 乱数を持ち込む

 人間側がハメ手に持ち込もうとしても、「その手に乗らないよ」とばかり、ソフトが手を変えるといいだろう。これは「評価関数に乱数を持ち込む」という手法で達成される。
 Ponanzaにも(棋士の事前研究にはまらないように)指し手のランダム性を高めるための工夫がされており、
(1)評価関数に正規分布の乱数を入れる、
(2)定跡があったとしても20%の確率で自分で考える、
といった、対策する側からしたら厄介なことこの上ない仕様となっている。
( → 将棋電王戦FINAL 第4局の見どころは - ねとらぼ

 この手法をソフトがとると、人間側のカンニングへの対策となる。
 実際、これが有効だったことは、今回の結果からもわかる。
Apery ハメ手順に嵌る
Selene 終盤バグに引っかかるが、唯一まともにぶつかり合った
やねうら王 乱数でハメ手順回避
Ponanza 乱数でハメ手順回避
AWAKE ハメ手順に嵌る
( → 2ちゃんねる

 Ponanza は乱数を用意したが、人間が後手番だったので関係なかった。
 第3局は、やねうら王が乱数を使って、ハメ手を回避した。( → と思ったのだが、実は、乱数ではなく偶然によって、ハメ手を回避する結果になっただけらしい。コメント欄のリンク先を参照。)
 第1局と第5局は、乱数を使っていなかったらしくて、人間側のハメ手に嵌まって、ソフトが負けてしまった。しかしこれは、実力負けというよりは、カンニング負けであるにすぎない。
( ※ コメント欄の at 2015年04月13日 00:47 に、Apery についての解説がある。それを読んでもいい。かなり細かい話だが。)


 というわけで、今回の電王戦は、ただの茶番だったと言える。かろうじて、人間側が後手番であった第2局と第4局のみが、まともな戦いだった。
 第2局では、まともな戦いとなった。(ただし終盤でソフトのバグが出た。)ただし、後手番とはいえ、ある程度の誘導が可能だったので、ソフトはそこに誘導されたとも言える。
 第4局では、乱数を備えた Ponanza が、人間の誘導を拒否して、完全なガチンコ勝負になった。こうなると、人間側が完敗した。

 まあ、ガチンコ勝負すると、人間が負けそうなので、あえて人間側がカンニングできるように、制度を整えているのであろう。しかし、そんな戦いはもはや茶番にすぎまい。

 この戦いは、棋士個人には何ら責任はないが、この戦いの仕組みそのものが、ただの茶番にすぎないと言えるだろう。
 以前の電王戦は、完全なガチンコだったから面白かったが、こんなカンニングの戦いなど、見る価値はないとも言える。
 


 [ 付記1 ]
 上に書いたことだけでは納得できない人もいそうなので、もうちょっと詳細を記しておこう。
 今回の第5局では、ソフト側がたったの 21手で投了した。これを見て、「ずいぶんあっさりしているな。もうちょっと粘ればいいのにな」と思った人もいるだろう。ちょうど、名人戦第1局で、行方八段が史上最短であっさり投了したのを見たときと同様だ。だが、事情は、名人戦の場合とはまったく異なる。
 実は、このときのハメ手は、プロ側が自分で発見したものではなくて、ずっと前から「ソフトの穴」として知られていたものだ。そのときは低スペックのパソコンで発現した穴だったので、電王戦の高スペックのパソコンでは発現しないだろう、と予想されていた。それでもあえてプロ側がその手順に持ち込むと、高スペックのパソコンでもその穴が発現してしまったのだ。
  → 将棋電王戦FINAL 第5局――ねとらぼ
  → AWAKE開発者・巨瀬亮一さん「△2八角で投了しようと決めていた」
  → 将棋電王戦FINAL第5局は△2八角でAWAKEが投了

 つまり、この戦いでは、過去にあった対戦の棋譜をなぞっただけである。従って、このあとでは、プロならば確実に勝てる。プロでなくて、普通の強いアマチュアであっても、誰だって勝てる。私だって勝てる。小学生でも勝てる。
 こういう馬鹿げた状態であるから、開発者が「この穴が出たら投了する」と決めていたのは、当然だろう。
 そしてまた、このような状況をもたらす電王戦という制度自体に、巨大な穴があったことになる。こんなものは茶番だ、ということの意味が、これでよくわかるだろう。

 [ 付記2 ]
 この問題の解決には、ソフト側で乱数を導入することが有効だ。
 では、それがわかっているのに、どうしてソフト側は乱数を導入しないのか? 
 私が想像すれば、こうだ。
 「今回、勝ち上がってきたソフトは、多くが新参ソフトだった。まだ開発途上のものが多くて、細かな機能は用意されていない。とりあえずはソフト同士で戦って勝つことのみに特化されており、人間相手に特化した乱数はあえて用意していない」
 そもそも、乱数を持ち込むということは、「最善手以外のもの(次善手など)を取るようにする」ということだ。それは、人間対策としては有効だが、ソフト相手には有効ではない。だから、そんな機能は用意していない新参ソフトが多いのだろう。
 一方、やねうら王や Ponanza は、長年の蓄積がある古参ソフトなので、乱数機能を取り込むことができたのだろう。
 かくて、「新参ソフトは乱数機能を備えず、古参ソフトは乱数機能を備えた」というふうになったのだ、と思える。
 
 そして、こういうことがわかっているのであれば、電王戦は、Ponaza だけが登場するので十分であったはずだ。Ponanza だけが、人間5人と対局すれば良かった。これならば、たぶん、人間側の全滅だっただろう。
 そうするべきだった……とは思うが、それだと、格好が付かないので、あえて本項で述べたような奇妙な制限が加わったのであろう。
 その意味で、このシリーズは、最初から八百長のようなものであった、と言えるだろう。(まともにガチンコ勝負だと見るべきではない。茶番であるにすぎない。)
 
 [ 付記3 ]
 ソフトが先手ならば人間側が誘導できなくなる……と述べた。これは、「先手に戦法の選択権がある」というのとは違う。ここを混同している人が多いので、説明しておく。
 通常の将棋は、先手は7六歩か2六歩である。その後に、後手がどうするかで、後手に戦法の選択権があることがかなり多い。
 とはいえ、本項で述べているのは、「戦法の選択権」のことではない。「人間の誘導をはずすことができる」という意味だ。
 特に、7六歩か2六歩ではない、まったく別の手を選択することができる。たとえば、振り飛車にするとか、5六歩とか。こういう手を最初に取ることで、人間側の誘導をはずすことができる。
 また、最初の手の選択ぐらいは、乱数で決めることも容易だ。(評価関数の乱数化とはまったく違って、シンプルな乱数だ。)
 というわけで、ソフトが先手ならば、人間の誘導をはずせるので、「ソフトの穴探し」なんていう無意味なことはしなくなるだろう。
 
 [ 付記4 ]
 今回の手がハメ手であることは、すでに以前から知られていた。熱烈な将棋ファンならば誰でも知っている話。詳しくは下記。
  → http://nikkan-spa.jp/809998
 ここで知られた有名な方法(ハメ手)を取れば、プロなら誰でも電王戦第5局で勝てた。
 本来ならば、ソフトの手直しをするべきなのだが、大会規定で、ソフトの手直し不可となっていた。ひどい規定ですね。呆れるしかない。
 
 [ 付記5 ]
 次の記事を引用しよう。開発者の話。
 記者会見で投了の意図を問われた巨瀬さんは、「ハメられる形の中でもかなり損している局面。あのまま指し進めても勝ち目はなかった」と説明。また阿久津八段の指し手に対しては、「すでにアマチュアが指して知られているハメ手をプロが指してしまうのは、プロの存在意義を脅かすことになるのでは」「一番悪い手を引き出して勝つというのは、何の意味もないソフトの使い方」と厳しいコメントを寄せました。
( → ねとらぼ

 
 [ 付記6 ]
 なぜ「手直しを認める」というふうにするべきなのか? 
 そもそも、「事前貸出」なんて、手の内を教えるようなものだから、本来ならばあり得ないことだ。ただし、それでは可哀想だからという意味で、プロに(ハンディみたいに)甘い条件を与えて上げるのが、「事前貸出」だ。
 とはいえ、「事前貸出」があれば、カンニングができてしまう。それではバグがあったときにまずいから、「手直しを認める」という条件を付けるべきなのだ。
 これに対して、「手直しを認めるべきではない」という見解も成立する。ま、それはそれでいい。しかし、手直しを認めないのであれば、「事前貸出」そのものを中止するべきだ。これが最も公平だろう。
 私としては、人間側に甘くして、「事前貸出ありで、手直しあり」にしてもいいと思ったが、本来ならば、「事前貸出なし」(当然ながら、手直しもなし)というのが、本来取るべき方針だろう。

 [ 付記7 ]
 はてなブックマークでは、開発者に対する批判がわんさと押し寄せている。
  → はてなブックマーク

 彼らは問題を誤解しているようだが、正しくはこうだ。
 (1) 開発者は、対戦相手を批判しているというよりは、制度の問題を指摘している。「対戦相手は卑怯だ」と批判しているのではなく、「こんな馬鹿げたことをやっても無意味だ」として、現状のような電王戦そのものの問題点を指摘している。
 (2) 開発者は、バグを突くことが不当だと言っているのではない。もちろん、最初にバグを突いたアマチュアを批判することもない。開発者が言っているのは、「既知のバグをなぞるだけで勝つ」ということの無意味さだ。つまり、「カンニングによって満点を取ることの無意味さ」だ。……ここを勘違いして、「バグを突いて勝つことのどこが悪い」と述べている人が多い。物事を理解できない人が多いようだ。
 
 [ 付記8 ]
 「研究するのは当り前だ」
 という見解が寄せられた。しかしこれは勘違いだ。
 普通の研究は、対戦者が自分で研究する。そのことは特に問題ではない。
 今回は、そうではなくて、次の特別な事情があった。
 「 AWAKE に勝てたら100万円プレゼント、という企画を、ドワンゴがあらかじめ開催していた」
   → http://ex.nicovideo.jp/denou/million2015/
 これは要するに、「 100万円をかけてバグ探しコンテストを開催する」ということだ。しかも、それが、電王戦に先立つ「手直し禁止の期間」に開催された。(比喩的に言えば、「何もしないから縛らせてね」と言って、対戦相手の手を縛ってから、ぶんなぐるようなものだ。)
 こういうのは、普通の状態ではない。ソフト側だけに一方的に不利なハンディが付けられたのも同然だ。ほとんどインチキである。だから「こういうインチキをやめよ」というのが本項の見解だ。
 なお、「あれこれとハンディを付けないと人間が負けてしまう」という見解もあるが、そんなことはどうでもいい。人間が勝とうが負けようが、そんな勝敗はどうでもいいのだ。別に命を賭けた戦争をしているわけじゃないのだから、勝っても負けても人間側には何も損害は発生しない。1円の損失も発生しない。ただの1人も死にはしない。こんな遊びに対して、血眼になって勝敗を論じるなんて、馬鹿げている。もうちょっと落ち着いて考えてほしい。

 なお、「人間 対 コンピュータ」という話題については、次項で述べる予定。
posted by 管理人 at 21:09 | Comment(46) |  将棋 | 更新情報をチェックする
この記事へのコメント
手直し可能だと
わざと変調したプログラムで貸出しし,
あとでまともに修正する
という方法で人間側を嵌めることもできる。

ここはやはり貸出しなしにしたほうが八百長っぽくなくて良かった。
でもそれじゃ0勝5敗だったね
Posted by 先生 at 2015年04月11日 22:10
> 人間側を嵌めることもできる

 それは、「人間側を嵌める」というよりは、人間側が「嵌めてやろう」と思ったら失敗した、ということでしょう。「嵌めようと思ったら嵌められた」かな。
 「嵌めよう」なんて思わないで、正々堂々と戦えば、その問題は生じないでしょう。
Posted by 管理人 at 2015年04月11日 22:24
最後に <STRONG>[ 付記1 ]</STRONG> ,<STRONG>[ 付記2 ]</STRONG> を加筆しました。
 タイムスタンプは 下記 ↓
Posted by 管理人 at 2015年04月11日 22:25
ハメ手と言ってますが、将棋にハメ手なんてありません。対応できずに、負けた方が弱いというだけです。プロ棋士間でも、対戦相手を徹底的に研究して、相手が苦手な戦法や弱点を突いて戦いを挑むことは日常茶飯事です。そうやって、将棋の定跡は進化してきました。結局、毎回同じ局面で、同じ手しか指せないのなら、それがソフトの限界だと思います。今回の電脳戦はソフトの限界が露呈した大会だったのではないでしょうか。
Posted by むすび at 2015年04月11日 23:19
> 将棋にハメ手なんてありません。

 人間相手にはないけれど、ソフト相手ならあるんです。 [ 付記1 ] を読めばわかるとおり。

> 毎回同じ局面で、同じ手しか指せないのなら、それがソフトの限界だと思います。

 それはそうだけど、ソフトというのは昔からそういうものだったんだし、乱数を組み込んでいるのは近年の一部のものだけなんだから、そういうものだと思うしかない。
 で、そういうソフトと、何度も同じ手順でばかり繰り返して、ソフトの穴を探すようなことをしても、意味がないでしょ……という話。そんなことをしても詰まらない、という話。

 たとえば、私が将棋ソフトと対戦したら、こちらは毎度毎度、手を変えて、そのたびに新しい対局をして楽しむ。それが将棋ソフトの遊び方だ。
 毎度毎度同じコースをなぞって、毎度毎度同じ方法でソフトを負かしても、ちっともおもしろくないでしょ? そういう話。面白いか詰まらないか、という話。

> 今回の電脳戦はソフトの限界が露呈した大会だった

 そんな限界は何十年も前からわかっています。30年ぐらい前からずっとそうだ。ただし、そんなことは、たいして問題にならなかった。「ソフトをハメて、それで喜ぶ」なんていう馬鹿げたことをする人はいなかったから。
 楽しむためのソフトで、わざわざ詰まらなくする方法を取る人なんか、いなかった。やっても無意味だと誰もがわかっていた。
 その無意味なことを堂々とやって(やらせて)平気でいるのが、今回の制度の関係者だ。彼らは将棋の楽しみなんか、何も理解していないのだろう。こんな馬鹿げたことをやっていると、将棋ファンが減るだけだね。以前の電王戦は、とても楽しめたが、今回は興醒めなだけだ。

 人間とソフトの「勝ち負け」ということばかりにとらわれて、将棋への愛情が完全に欠落してしまっている。サッカーや野球を愛さずに勝敗だけにこだわるのに似ている。将棋が元々ただの遊びにすぎないということを忘れて、勝敗だけが自己目的化してしまっている。ひどいものだ。……そういう話です。
Posted by 管理人 at 2015年04月11日 23:28
まあ、勝負としてつまらなかったというのは同意します。あとルールがイマイチだったとも思います。ただ

>人間とソフトの「勝ち負け」ということばかりにとらわれて...、

勝ち負けにこだわって、人生をかけて将棋を指しいるのが、プロ棋士だということだけは理解してやって下さい。彼らは将棋に負けたらただの人です。その覚悟で将棋を指しているんです。勝つために、相手に弱点があれば、そこを突くんです。
何が言いたいかと言うと、勝った棋士に対して、
ハメ手だとか、カンニングだとか言わないで下さい。
Posted by むすび at 2015年04月11日 23:41
> 勝ち負けにこだわって、人生をかけて将棋を指しいるのが、プロ棋士

 それは人間同士の話。
 どうも、人間同士の話と、ソフト相手の話とを、混同していますよ。

> ハメ手だとか、カンニングだとか言わないで下さい。

 今回の 21手の勝負は、ハメ手でカンニングだという点について、本人も同意すると思いますよ。あれを「自力で考え出した手です」「人生を掛けて生み出した手です」なんて、言うわけがない。「馬鹿馬鹿しいとは思ったが、試しにちょっと遊んでみただけです」と言うでしょう。本気度はゼロであるはずです。
Posted by 管理人 at 2015年04月11日 23:57
最後に  [ 付記3 ][ 付記4 ] を加筆しました。
 タイムスタンプは 下記 ↓
Posted by 管理人 at 2015年04月11日 23:57
じゃあプロ棋士の立場になって考えたら?
正々堂々とやって負け越してみろ
「ソフト事前貸し出しで負け越しかよプロ棋士ざっこww」
とか言われるに決まってんだろ。

しかも今回はファイナルと銘打たれた戦い。自分たちの勝ち負けで「将棋界でもプロはコンピュータには勝てない」というレッテルを貼られることになる。もうこれはプロ棋士全員の問題になっている。そうした中で彼らがどれだけ眠れない日々を重ね研究に明け暮れたか。

人生かけている彼らに対して茶番とかぬかせるのはさすがモニターの前で気楽に見ているだけの人なんだなと思いました。
Posted by 004 at 2015年04月12日 00:07
人間同士でも、ソフト相手でも同じ将棋ですよ。
さっきも言いましたが、将棋にハメ手なんてありません。羽生さんでも100%自分だけで手を考えてるんじゃないんです。過去の棋士の手、アマチュアの手、あらゆる所から手を勉強して、勝っているんです。それがプロ棋士の将棋です。AWAKEに勝つのにその手が最善だったというだけです。
Posted by むすび at 2015年04月12日 00:11
最後に <STRONG>[ 付記5 ]</STRONG> を加筆しました。
 ソフト相手にはハメ手がある、というのは、もはや常識です。
 ハメ手があるかどうかは、考えるかどうかによるのではなくて、乱数を組み込んでいるかどうかによります。
 あと、手直しの可能性も大事。
 人間はロボットじゃないんだから、前回と同じ失敗をそのままなぞることはありません。(プロならば。)
Posted by 管理人 at 2015年04月12日 00:19
> 正々堂々とやって負け越してみろ
> 「ソフト事前貸し出しで負け越しかよプロ棋士ざっこww」
> とか言われるに決まってんだろ。

 事前貸出なしなら、そんなことは言われませんよ。
 だいたい、事前貸出なんかするのがおかしい。
 どうせ貸し出すなら、10種類ぐらいのソフトをすべて貸し出して、その中から無作為で1種類を当日に割り当てればいい。これなら、正々堂々になる。
 で、負けたとしても、別に、ボロクソには言われないでしょう。以前の電王戦では、人間側が負け越しましたが、ボロクソには言われなかった。むしろ、正々堂々と戦ったことで、「素晴らしい感動をありがとう」と棋士を称えました。
 正々堂々と戦って負ければ称賛されますが、ズルをして勝っても称賛はされません。
Posted by 管理人 at 2015年04月12日 00:25
やねうら王は事実上乱数はなかったようです。作者本人が言っていることですが、電王手さんの動作時間ぶん時間がずれて別の手を指したり休憩時間のあやで偶然が重なったことが勝因のようです。

http://yaneuraou.yaneu.com/2015/03/30/%E9%9B%BB%E7%8E%8B%E6%88%A6-%E7%AC%AC%E4%B8%89%E5%B1%80%E3%81%AE%E6%84%9F%E6%83%B3/
Posted by じん at 2015年04月12日 07:14
これはエンターテインメントですから、常敗が当たり前になっては見物の価値を失ってしまう
もう5年ぐらいは切磋琢磨を演じるでしょう

子供達の入塾者がある程度の年数、ある程度の人数増加したら正々堂々の敗北にするのが良いです

そうすれば次世代に託すという口上でソフトを無料開放して子供達の成長意欲を掻き立てられる
Posted by かーくん at 2015年04月12日 07:46
昔から人情相撲というのもありますし
これはEntertainmentですから
プロレ将棋だったということですね。

そういえば毛並みが違う開発者さん達は
茶番からとっくに離脱していましたよね。
Posted by 先生 at 2015年04月12日 07:55
南堂さんらしくない記事ですね。ルールは試合前からわかっていたので試合前に指摘するべきでした。

ソフトの変更が可能であれば試合直前に中の人を簡単に変えられると言うことなので認められないと思います。

また、不具合があるのにサービスイン(大会参戦・試合開始)させるのはプロとしてどうかと思います。
つまりこれは開発者がプログラマーとしても棋士としてもかなりのアマチュアだったという印象です。

「不具合を突かれなかったらしめしめ、不具合を狙われたら白旗」そういう考えが嫌らしい・・・ってのが南堂さんの論調かなって思っていました。
Posted by 名無しさん at 2015年04月12日 08:10
エンターテインメントは同意です。一企業の事業として主催してる以上は茶番さえ比較するべきではないし、放送としては独自ルールなんてよくある話。ゲームと同様の類のものと見ればいい。

将棋ソフトは人間育成ソフトとして開発してるのが一般的なのだからソフトの宣伝になるしソフト開発者もモチベーションを得られる。将棋誘致にも繋がる。
Posted by 信 at 2015年04月12日 08:23
> 南堂さんらしくない記事ですね。ルールは試合前からわかっていたので試合前に指摘するべきでした。

 すでに1年ほど前に指摘済みです。以下、部分転載。( http://openblog.meblog.biz/article/15701010.html のコメント欄から。)

 ────────────

 (2) プロ棋士側には本番と同じソフトおよびハードで事前に練習対局できる環境が提供される。
  ※ 提出後の事後改良は不可。
    これはちょっと厳しい。
 
Posted by 管理人 at 2014年01月01日 10:10

 ──

 ソフトに穴があった感じで、勝手にこけている。おもしろくない。

 これはもしかして、人間側が事前にソフトを研究していて、ソフトの穴を見つけていたせいかもしれない。もしそうなら、つまらないですね。今後の対局は「ソフトの穴探し」になってしまって、人間側が全勝することになってしまう。(穴がある限りは。)
 事前提出というルールはやめた方が良さそうだ。つまり、若干の事後改良や改造を認めるべきだ。

Posted by 管理人 at 2014年01月01日 10:29

 ──

 対策の一つとして、「先手は機械にする」という方針を立ててもいいだろう。
 これだったら機械に主導権がある。だったら、機械を貸し出したとしても問題はない。
Posted by 管理人 at 2014年01月01日 17:30

 ──────────

 つまり、本項で指摘したことは、1年以上前にすでに指摘済みだったのだ。
 例によって私の予想通りに事態が進展した、という形。
  ・ ハード制限を提案したら、実際にハード制限が実現した。
  ・ 事前貸出をすると「ソフトの穴探しになって詰まらなくなる」と予想したら、その通りになった。
  ・ 先手は機械にする、という対策を提案済み。

 すべては予想通りに進んでいる。私の読みの方が、将棋連盟の読みよりも、深くて広い。私の方が段位が上だな。 (え?)
Posted by 管理人 at 2015年04月12日 09:29
> ソフトの変更が可能であれば試合直前に中の人を簡単に変えられると言うことなので認められないと思います。

 それは別に構わないけれど、だったら「事前貸出あり」をやめるべきでしょう。「事前貸出」なんて、人間で言えば手の内を一方的に教えるようなものであり、不公平です。
 「事前貸出」という恩恵を与えるときの条件として、「手直しあり」を含める、というだけです。
 「手直しを認めない」というのであれば、「事前貸出」そのものをやめるべきです。(棋士は勝手に市販ソフトを使えばいい。)
 これが最も公平でしょう。

 だいたい、今回の穴は、棋士が自分で発見したものではない。日本中のマニアが総力で穴探しをした感じになっていて、そのうち1人がたまたま穴を見つけたので、その穴を棋士が利用した、というだけのことだ。こんな穴探しなんて、バグ探しと同じで、詰まらない。
 とにかく、「詰まらないことはやるな」というのが、私の見解。
Posted by 管理人 at 2015年04月12日 09:35
最後に [ 付記6 ] [ 付記7 ] を加筆しました。
Posted by 管理人 at 2015年04月12日 10:00
とりあえず、羽生さんが事前貸出無しでポナンザに挑んだら負けることは分かっているのだから
スポンサー様無しの金のかからない適当な対局で羽生さんが何回も負けてあげればソフト開発者様も満足するだろう

手直しありでどれだけ手直ししてもいいなら、事前貸出無しと同じようなもの


一発勝負でしか勝てないようなポンコツソフトを作りあげて終わるよりは、誰だろうと何回挑んでも乱数を利用して勝てるソフトを作り上げるほうが夢があるし利用性もあるとは思うけど
ソフト開発者様はどちらの道に進むかな
Posted by あ at 2015年04月12日 11:16
ソフト事前貸出&デバッグについては、
もっとルールを細かく規定したほうがよいと思いますが(特にデバッグ)
少なくとも開発者が、バグを突かれて勝たれても無意味とか言うのは、
対戦型ゲームを作る人間としては、どうかと思います。
カンニングもなにも、そこを突かれても、ゲームが大きく破綻しないように持ってくのが、
開発者の腕の見せ所であって、
アリの一穴で堤が崩壊するようなシステムじゃ、ゴミみたいなモノだし、
そこを居直られても…とか思いました。
Posted by 通りすがりですが at 2015年04月12日 11:34
> アリの一穴で堤が崩壊するようなシステムじゃ、ゴミみたいなモノだし、
> そこを居直られても…とか思いました。

 あなたはご存じないのかもしれませんが、ソフトという物はすべてバグや穴があります。
 マイクロソフトのWindowsだって、ちょいちょいセキュリティホールをふさぐアップデートをしている。そういうものなんです。
 あなたみたいなことを言い出したら、この世に存在できるソフトは一つもなくなります。パソコンもスマホも、どれもがバグや穴をたくさん持つがゆえに、どれも使えなくなりますよ。それでいいの? 

> そこを突かれても、ゲームが大きく破綻しないように持ってくのが、

 今回はそういう穴を見つけるために 100万円を掛けて募集する全国コンテストが開催されたのです。<STRONG>[ 付記8 ]</STRONG>を参照。
 こんな集中攻撃みたいなことをやられたら、大きなバグが見つかるのも不思議ではありません。
 あなただって、「あなたの欠点を見つけるために 100万円のコンテスト」なんてのを開催されたら、あなたのひどい欠点を見つけられるでしょう。それを全国に告知されたら、たまったものじゃないでしょ?
Posted by 管理人 at 2015年04月12日 12:15
バグの修正が期限的にできないルールなんでしょ?

それが、公知かつ致命的なバグだったら、
エントリーを辞退するべき。

それが興行的にアカンというこであれば
対戦直前までの、少なくとも公知のバグに
関してはデバッグは認める方向で。
Posted by まぁ通りすがりなんですが at 2015年04月12日 13:12
100万円コンテストで穴が発見されるずっと以前、阿久津プロにAWAKEが貸し出されてからわずか3日で、阿久津プロは穴を発見していたそうですよ。
http://news.nicovideo.jp/watch/nw1539447

話は変わって半年程前に、ponanza開発者の山本さんがクラウドファンディングで羽生名人と対局するための対局料7億円を集めようとしたことがありました。
結局集めることはしなかったのですが、もしもお金が集まっていたとしたら、それはお金を出しても羽生名人対最強ソフトの勝負を見たいという人が多いということですから、その現象にはちょっと興味を惹かれます。
お金を出した人が納得の行くまでルールを煮詰め、そうして対局が実現したら私はきっと観ると思います。
どうしても不公平感が拭えない現行ルールではもうあまり観る気はしないというのが今の私の気持ちです。
今大会は第2局までしか観ませんでした。
今大会がfinalで良かったと思っています。
Posted by yuu at 2015年04月12日 17:08
> 貸し出されてからわずか3日で

 それは聞いていたけど、貸出時期はいつだったんだろう? アマが発見するよりも前だったのかな? ただ、アマでも発見できるような穴だとわかっているのなら、プロはそれを避けて指してほしかった。アマでもわかる手をプロが指す意義はない。アマにはできないことをやるからプロであるはずだ。

 ただ、元はと言えば、すべて運営側が悪いんですけどね。(穴の修正が不可なので。)
Posted by 管理人 at 2015年04月12日 17:36
はっきりした貸出時期は知りません。軽くググったけど探しきれませんでした。本番半年前という記述を見た記憶がありますが裏付けはありません。

ただ、電王戦finalへの道という動画シリーズがあって、AWAKEと阿久津プロが練習対局をする動画が2月1日に投稿されています。
100万円コンテストで穴が披露されたのが2月28日です。
これだけ比べると阿久津プロのほうが発見したのが早そうですが、△2八角とソフトに打たせる穴はアマの間では早くから知られていたという話も見かけました。
それがいつのことなのか分からないので、その噂を耳にした阿久津プロが練習対局で試してみたという可能性が残り、結局どちらの発見が早かったのか判然としませんね。

ただ、発見者が誰であるかということよりも、その手を使ってしっかり勝つことのほうを私は重視します。
新手一生を標榜した故升田幸三実力制第4代名人や革命的な戦法を出し続けている藤井猛プロに魅力を感じておりますし、また凄い人たちだとも思っていますが、私が本当に凄いと思うのは勝ちまくって頂点に君臨している(していた)羽生名人や大山康晴15世名人です。

勝負に拘って魅力に乏しい辛い手を使うか、最善でないかもしれないが魅力ある手を使うかという問題は、落合博満監督時代の中日ドラゴンズを思い起こします。
ファンの間でも意見の別れるところなんですね。
Posted by yuu at 2015年04月12日 18:53
> ただ、発見者が誰であるかということよりも、その手を使ってしっかり勝つことのほうを私は重視します。

 それが新手ならばその通りでしょうけど、バグの発見なんて、何の意味もない。バグの穴埋めが終わればそれまでなんだから。
 新手は永遠に残るが、バグの発見はバグの穴埋めが終わった時点で無意味化する。そんな無意味なことをやっても詰まらない、というのが私の見解。
 真実の発見は重要ですが、ミスの発見は無意味です。混同しないようにしましょう。
Posted by 管理人 at 2015年04月12日 19:01
電王戦については、ほとんど結論がでたように思われます。「ガチンコ勝負」では人間は圧倒的に分が悪く、「継ぎ盤アリ」で現状は対等に近い戦いが期待できるが、将来的には敵わなくなる。
終わりの見えている戦いなので、興行としては戦いが成立する段階でしかやる価値がなく、今大会は主催者側が延命策を打ったが故の顛末でしょう。

おっしゃるとおり、言われれば茶番は茶番かもしれませんが、やる側も見る側もみんなが割り切って見るプロレスとは違うので、ストレートに物を言えば波風は立つでしょう。筋だけを追ってみれば、間違った指摘をしているとは全く思いませんが・・・
Posted by 通りすがり at 2015年04月12日 22:06
細々と間違ってる事を書いていますよ。

電王戦について知りたいならこのブログより
開発者の一人でもある やねうらお氏のブログを読んだ方が良いかと、

色々突っ込みどころはあるのですが、
分かりやすく事実を間違っているところだけ指摘しておきます。

第一局のAperyはランダム性を持っていて、
若干の弱体化の代わりに研究に対する耐性を持ってはいましたが、
対戦相手の斉藤五段は特定局面で あえて自分の手番で時間を消費し
Aperyに考えさせ、ランダム選択の閾値を超えさせて手順を固定させたようです。
第三局のやねうら王はランダム性を持ってはいませんでしたが、
代指し機械の「電王手さん」の動作時間によって僅かな時間差が生じ
練習対局とは別の変化が起きた可能性を開発者の磯崎氏は指摘しています。

どちらも少しでも1次ソースに触れていれば知っている事です。
ちょっとで良いので調べてくださいねー。
Posted by ナナシ at 2015年04月13日 00:47
> 細々と間違ってる事を書いていますよ。

あのねー。
ランダム性については、私の見解ではなくて、2ちゃんねるの引用という形です。間違ったのは2ちゃんねるであって、私ではありません。
ただし、ご指摘には感謝します。あとで本文に加筆しておきます。

> 第三局のやねうら王はランダム性を持ってはいませんでしたが、

 その件はすでに記述済みです。本文にちゃんと記してあるでしょ。また、詳細はコメント欄にある、とも記してある。
 あなた、私の話を読んでいないでしょ。読んでから書きましょうね。
 私が書いたことを読まずに、私が書いたことをそのままなぞって、「俺の指摘だぞ」と威張るなんて、バグみたいにひどいエラーだ。呆れる。頭にバグがあるな。
 機械だけでなく人間にもバグがある、と証明したいのだろうか? 「自分にバグがあることの証明」をしたければ、よそでやってください。
Posted by 管理人 at 2015年04月13日 00:53
awakeは評価関数がまだまだ未熟だから、あんなところに角を打つんですよ。今回の電王戦でソフトはまだまだ完璧では無いと思いました。
Posted by けけ at 2015年04月13日 00:54
> awakeは評価関数がまだまだ未熟だから、あんなところに角を打つ

 リンク先でも示したように、これは他のソフトにも共通する穴であって、AWAKE だけの穴ではありません。
 AWAKE はソフト同士のトーナメントで優勝した最強ソフトです。何度も繰り返したレーティングでもソフトで最強です。人間との比較だと、羽生名人ぐらいだと推定されています。
Posted by 管理人 at 2015年04月13日 01:02
基本的的には南堂さん意見に同意します。
今回は真剣勝負を演出するためのルールが穴だらけだったのが最大の問題点だと思いますし。
おそらくルール全開放にすれば、ソフトが圧勝するでしょう。
それでも私は勝敗だけでなく、良い将棋が見たいのです。
南堂さんが提示された案だと、今回とは別の意味でつまらない試合(人間側のミス待ちの試合)になりそうで。。。
車と人間との100メートル走の様な間抜けなゲームは見たくないし、やる意味もないでしょうし。。
どうゆうルール設定だと「面白く」なるんでしょうかね?
Posted by いちげんさん at 2015年04月13日 23:27
> 南堂さんが提示された案だと、今回とは別の意味でつまらない試合(人間側のミス待ちの試合)になりそうで。

 私の提示した案(次項にある 10秒将棋)は、別に、問題ありませんよ。10秒将棋というのは、人間にとっての 10秒将棋とは全然違う。スペックしだいでどうにでもなる。良いスペックの 10秒なら、私のパソコンの1分よりも上だし、10年前のパソコンの1時間よりも上かも。
 実際、ソフト同士の決勝では、白熱の戦いで、すごく面白かった。1分将棋なのに。(次項にリンクあり。)

 それでも人間のミスが心配? だったら、10秒でなく、1秒にすればいいかも。ロボットは使わず、画面表示だけにして。

> どうゆうルール設定だと「面白く」なるんでしょうかね?

 ソフト同士で 1分将棋なら、面白い戦いになることは保証されています。特に、Ponanza と AWAKE という2強であれば。

 まあ、人間がボロ負けであっても、とにかくガチンコであれば、人間対ソフトも面白いことは確実。実際、これまでの電王戦はそうだったし。負けたっていいんです。真剣勝負ならば。
Posted by 管理人 at 2015年04月13日 23:50
> ソフト同士で 1分将棋なら、面白い戦いになることは保証されています。特に、Ponanza と AWAKE という2強であれば。

それはそれで非常に見てみたいですが、
なんかもう、ソフト 対 人間に良い将棋を期待するのが間違っているのでしょうか。
何故か悲しい気持ちになってきます。
Posted by いちげんさん at 2015年04月13日 23:55
> ソフト 対 人間に良い将棋を期待するのが間違っているのでしょうか。

いや、間違っていませんよ。人間が負けたとしても、並みの「人間対人間」よりも、良い将棋になるはずです。だから以前の電王戦は面白かった。

ただ、ソフト対ソフトだと、さらに上になる。もっと面白くなる。

 ──

なお、将棋の面白さなら、コンピュータ同士の方が上になるが、コンピュータに「知力」があると思うのは勘違い。コンピュータには「知力」なんか、ない。たとえば、将棋ソフトは、普通の知識では、赤ん坊レベルの知識すらない。ミツバチレベルの知力すら持たない。

コンピュータにあるのは、単に、ある特定の方面での情報処理能力だけです。それは知力とはまったく別です。

人間が知力によってなすことを、コンピュータは情報処理能力でなすが、それは、コンピュータが知力を持つというのとは別のことです。
Posted by 管理人 at 2015年04月14日 00:09
すみません。
返信頂いた最後の一文が見切れていました。

> まあ、人間がボロ負けであっても、とにかくガチンコであれば、人間対ソフトも面白いことは確実。実際、これまでの電王戦はそうだったし。負けたっていいんです。真剣勝負ならば。

そうですね。
ボロ負けしたとしても、
ソフトとの真剣勝負から、対人間では味わえない別次元の将棋の面白さが出てくればと期待しています。
Posted by いちげんさん at 2015年04月14日 00:11
いろいろと思い直すうちに考えたのだが、今回のハメ手は「恩を仇で返す」という行為に等しい。
 そもそもソフト側が事前貸出をする(無限回待ったをやらせてあげる)のは、あくまで好意であったはずだ。それは「ソフトに慣れていない棋士に、慣れる機会を与える」というものであったはずだ。その意味で、「正々堂々と戦う」ということが暗黙裏の紳士協定であったはずだ。
 ところが棋士の側は、相手の好意を逆用した。「正々堂々と戦うため」に貸し出されたソフトを、「弱点を探すため」に利用しようとした。これはほとんど目的外利用である。手直しが認められていないのだから、なおさらだ。
( ※ 仮に「穴探し」をするのであれば、「穴探しをしたあとで、穴を発見して、ソフトに通告して、ソフトに修正を認める」というふうにするべきだった。これならば紳士協定の精神に合致する。)

 こういうふうに「相手の好意を逆用する」というのは、「恩を仇で返す」ということに等しい。人間性にもとる。卑怯と言ってもいい。だからこそ私はこういう卑怯な行為を許しがたく感じるのだ。

 比喩的に言うと、こういう感じ。
 金持ちおじさんが、貧困少年に、金を与える。「ほら。1万円をあげる。これで好きなものでも買いなさい」
 貧困少年は、その1万円で、ナイフを買った。そして、買ったナイフで金持ちおじさんを脅迫して、財布にあった100万円を奪い取った。
 「あんたのおかげで好きなものを買えたよ。あんたが財布を奪われたのは自業自得というものさ」
 この貧困少年が、今回の棋士の側に相当する。

 しかしまあ、こんなことを認めるようなルールそのものがクソだ、とも言えるが。いずれにせよ、こんな茶番を見せつけられて、喜ぶ観客はいないだろう。
 「人間が勝ってよかった」と喜んでいる人もいるようだが、それは、「百万円が手に入って良かった」と喜ぶ貧困少年と同じだ。
Posted by 管理人 at 2015年04月16日 00:05
棋士の側の裏事情が解説されている。プロ棋士による解説。
  → http://news.nicovideo.jp/watch/nw1548112
 これを読むと、人間側が勝負にすごくこだわったことがわかる。

>  普通に対戦しても勝率が悪い。AWAKEの強さを認めて、貸し出しも含め
> て与えられた条件で勝ちを目指すことが一番重要、との考えのもとに遂行され
> た作戦である。 棋士側の総大将という重大な責任を全うするために取った苦
> 肉の策だ。
>  弱点があると知っているのに普通に戦って負けたとすると、最善を尽くして
> いないと言われるかもしれないし、コンピューターの弱点を突いて勝つのがプ
> ロらしい戦い方なのか?と責められるかもしれない。結局、何をしても議論を
> 呼ぶ事になるのであれば「勝つための最善」を尽くそうという結論に至った。

 何が何でも勝ちたかったらしい。
 なぜか? ここで気づいたことがある。次のことだ。
 「人間側の阿久津主税 八段は、A級順位戦で、0勝9敗の全敗だった」
  → http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q11142607031

 これならば、勝負に異常にこだわるのも、納得できる。ほとんど神経質と言えるほどだ。

 しかし、である。彼には勘違いがあった。
 「弱点があると知っているのに普通に戦って負けたとすると、最善を尽くしていないと言われるかもしれない」
 そんなことはあるはずがない。それより、次のことが重要だ。
 「事前貸出で弱点を見つけて、その弱点を突くとすれば、それは、事前貸出で無限回のの「待った」をしたことになる。そして、無限回の待ったをしたという時点で、それはもはや将棋ではなくなった(ただの穴探しになった)ということだ。

 要するに、ハメ手で勝ったとしても、それは「将棋で勝った」のではなくて、「穴探しごっこというゲームで勝った」というだけのことだ。それはもはや将棋の勝負ではなくて、コンピュータゲームの勝負(裏技探しみたいなもの)にすぎないのだ。

 普通の棋士ならば、そのことに気づく。だから、ハメ手なんかをしたくはないだろう。しかし阿久津八段は、全敗棋士である。ほとんど焦りまくって、正常な判断ができなくなったのかもしれない。

 そして、そうだとすれば、A級で全敗するようなA級最下位の棋士を電王戦に出すべきではなかった、とも言える。( http://www.shogi.or.jp/kisen/junni/2014/73a/
 だが、それは、やむを得なかったのだろう。たぶん他のA級棋士は、コンピュータとの対戦を厭がって、仕方なく、末席の阿久津八段がイヤな役割を無理に押しつけられたのだろう。とすれば、阿久津八段は被害者だったとも言える。(かわいそうに。)

 本来なら、コンピュータ相手の将棋には、頭の回転の速い20代の若手が出るべきだった。たとえば、豊島将之七段のような。( → http://kishi.a.la9.jp/ranking2.html
 実際、豊島将之七段は、過去の電王戦では、コンピュータ相手に完勝している。( → http://matome.naver.jp/odai/2139616561310689201

 今回の不手際は、将棋連盟の人選がまずかった、ということに、かなり多く依拠しているとも言える。
Posted by 管理人 at 2015年04月16日 23:31
そもそも将棋ソフトが人間の対局を学習している時点でいわゆる「カンニング」にあたるのではないでしょうか?(Ponanzaは定跡自体を作成するそうですが。。100%ではないと思います。)

そうなると、純粋に棋力だけを勝負させるというのは難しくないですかね?
人間はソフトが網羅している定跡をすべて覚えるのは不可能だと思います。
かといって、人間側が「学習」した経験や定跡などを定量化して、ソフト側に同じ数覚えさせる。。
みたいなことは不可能。

ブログの記事のような方法だともはや人間は勝てないところにきていると思うのですが、
それは人間とソフトの1億桁の暗算勝負、
みたいなものでやる意味あるのでしょうか?

◯全く人間の定跡を使用しないソフトと貸し出しなしで対戦する
くらいしか落としどころがないと思うのですが。
どうでしょうか。
Posted by 通りがかり at 2015年04月17日 00:41
いわゆる”裏技探し”の手法でソフト研究をしたのは今回の阿久津プロに限りません。
第2回の阿部プロ、第3回の豊島プロもそうでした。
逆に真っ向勝負にこだわったのが第3回の佐藤紳哉プロでした。
少なくともネット住人の間では勝った2人は大きく賞賛されており、負けた佐藤プロは試行回数の少なさから強く批判されていました。
世間はプロに勝利を求めていること、そして第3回まで一度もプロ側が勝ち越せていないという結果と合わせて、今回こそは是が非でもという思いがプロにあったのでしょう。
コンピュータ将棋に詳しい西尾プロが全面協力していることからもこの推測を補強できると思います。
将棋ソフトがトッププロをも凌駕しかねない棋力を備えてきた現在、世間はなかなか厳しい要求をするものだとも思いますが、観客の要求に応えるのもまたプロの条件です。
今回出場した5人の棋士はそれぞれにプロらしいところを見せてくれたと私は思っています。
Posted by yuu at 2015年04月17日 05:51
> 少なくともネット住人の間では勝った2人は大きく賞賛されており

 少なくとも私はその時点で「そんなことをしても詰まらない。興醒めだ」と批判していましたよ。
 → http://openblog.meblog.biz/article/14931418.html

 最初から私は「罠にはめること」のバカバカしさを批判していた。

> 負けた佐藤プロは試行回数の少なさから強く批判されていました。

 そんなことはないでしょ。批判していたのは阿呆です。なぜなら、佐藤プロの対戦したソフトは、古参ソフトであり、すでに「ランダム性」が取り入れられていたからです。「罠にはめること」はもともと無理。この点も、当時、私が指摘していた。
  → http://openblog.meblog.biz/article/21804907.html

 豊島プロの件は、私は論評しませんでしたが、下記に論評があります。
  → http://blog.livedoor.jp/shogitygoo/archives/51936178.html

 ハメ手とは言えないが、それに近いことをしており、その点でいくらか批判されています。それが悪いとは言えないが、戦いが無意味だということ。
Posted by 管理人 at 2015年04月17日 07:21
問題は乱数を入れてしまうと棋力が著しく下がることですね
棋力を下げずに乱数を入れられるといいのですが
Posted by at 2015年04月17日 12:23
2八角の発見についての情報。

 (1) 本文中では、リンクが記されて、そのリンク先で、山口直哉という人の名が上げられている。AWAKE に勝って、100万円を獲得した人。
  → http://nikkan-spa.jp/809998

 (2) 次の文章も見つかった。
> 去年くらいには、『将棋ウォーズ』等でコンピュータの強いponaさんに試された棋譜などがあります
  → http://j.mp/1JSMZho

 (3) このハメ手を「コンピュータ将棋の弱点だ」と呼んでいる人がいるが、妥当ではない。20手先を読めないのは、人間にもよくあることだ。
 ただ、人間は、その情報を得れば、訂正できる。ソフトも、その情報を得れば、開発者が訂正できる。ただし今回は、大会ルールで訂正が禁じられていた。だからハメ手に嵌まってしまうだけだ。
 ちなみに、人間だって、このハメ手を知らない人が指せば、ハメ手に嵌まってしまう可能性は十分にある。

 (4) 棋譜もある。
   → http://j.mp/1CXWh6Y

 (5) 100万円を獲得した秘訣は、美女の誘惑に負けなかったこと。
   → http://souentame.com/shogi/awake-million/
   → http://souentame.com/shogi/byouyomichan-byouyomisan/
  
  主催者のハメ手は、美女だったらしい。
Posted by 管理人 at 2015年04月18日 20:35
本質的に考えると、このハメ手は、ただの「バグ探し」になってしまったのでつまらない、ということだと思う。
 技術的に言えば、このハメ手は、ソフトのバグとは違う。しかしながら、「じっくり探すと見つかる穴」という点では、バグを見つけるのと同じことだ。また、「穴をふさげば問題はなくなる」という点でも、バグ対策と同じだ。
 ハメ手はあくまで穴探しにすぎない。じっくりあれこれと探してようやくいくつかの穴が見つかり、そのあとで穴ふさぎをする。これはただのバグ探しと同じだ。
 将棋の探究は、真理の探究だが、穴探しは、それとは正反対のことだ。まったく虚しい。こんなのを見せつけられても、つまらないだけだ。

 ではなぜ、棋士はこんな虚しいことをしたのか? たぶん勝負にこだわったからだろう。(本人もそう述べているが。)
 つまり、勝つか負けるかを何よりも重視した。これは、一見大切なことのようだが、戦争じゃあるまいし、勝つか負けるかは、本当はどうでもいいことだ。将棋はあくまで、楽しむためのゲームにすぎない。それを見て面白がることが大切であり、見て詰まらない戦いなどは意味がない。なのに、ゲームとしての本質を見失い、勝負にばかりこだわるのは、将棋をゲームではなくて戦争か何かと勘違いしたせいだろう。「人間とコンピュータとの戦争」というふうに。
 将棋はゲームだ、という本質を見失ったことから、本質をはずした穴探しみたいなことをするに至ったようだ。
 勝負にこだわりすぎると、物事の本質を見失う。
Posted by 管理人 at 2015年05月05日 10:21
コメントを書く
お名前: [必須入力]

メールアドレス:

ホームページアドレス:

コメント: [必須入力]

  ※ コメントが掲載されるまで、時間がかかることがあります。

過去ログ