AIロボット – 群馬プログラミングカレッジ

Pocket

案内ロボットのコンテンツの考察

上のアイキャッチ画像は、四万温泉の「くらっぽ」キャラクターのポシェットです。
このポシェットを肩にかけて、温泉ガイドをしてもらいます。
ポシェット内に温泉ガイドロボットが入っています。
このように、「癒し」のある温泉ガイドロボットです。

ロボットでの案内（ガイド）のニーズが増えている。

案内コンテンツの作成について考察する。

案内コンテンツは、季節、日時などの時間的条件で内容を変えたいニーズがある。
また、案内コンテンツの内容によって、次の案内コンテンツを利用者判断で取捨選択したい場合もある。
このようなニーズに対応する案内コンテンツの構成と制御方法を示す。

1. 時間的条件：

コンテンツの内容を季節、月などの時間的条件で変えるように、コンテンツをデータベースで管理する。

（１）季節（春、夏、秋、冬）
（２）月（1月、2月、～12月）
（３）月の旬（上旬、中旬、下旬）
（４）日（1日、2日，3日、～31日）
（５）午前・午後（午前、午後、夜）
（６）時刻（0時0分0秒、1時、2時、～23時59分59秒）

2. 利用者判断条件：

利用者の判断でコンテンツのガイド方法を制御する。

（１）今の案内を最初から聞きたい
（２）今のフレーズをもう一度聞きたい
（３）次のフレーズは聞きたくない
（４）案内を終了したい
（５）A、B、Cの中で、Aに関心があるのでAを聞きたい（複数の選択肢から選択）

3. 案内音声の選択：

案内音声を利用者が選択できる。

（１）女性音声
（２）男性音声
（３）人間の音声
（４）ロボットの音声

4. 複数ロボットでの案内：

複数のロボット（男性の声のロボット、女性の声のロボットなど）で案内を行える。

（１）各フレーズをどのロボットが発話するかを制御
（２）複数のロボットが同時に発話する

5. 発話の喜怒哀楽：

コンテンツを喜怒哀楽の声表現で発話する。

（１）各フレーズの発話の喜怒哀楽制御

6. 案内コンテンツの構成

コンテンツの句読点（。）単位をフレーズとして扱う。

（１）フレーズ：句読点（。）単位を１フレーズと定義する。

テンキー案内ロボットのプロトタイプ
案内ターゲット毎に振られた番号をテンキー入力することで、案内を行う。
音声出力は、イヤホン、Bluetoothスピーカーを選択できる。

テンキー案内ロボットの構成：

（１）制御部（Raspberry Pi）
（２）案内指示（無線テンキー）
（３）音声出力（イヤホン、スピーカー）
（４）開発プログラミング言語：python
（５）制御方式：Socket通信
（６）音声合成：各種音声合成ソフト採用
（７）ログ情報収集（利用日時など）

群馬プログラミングカレッジでは、プログラミングやAIロボット開発に興味のある方を募集しております。
共同開発したり、先端AI技術を利用したシステム開発などを行います。

また、子どもプログラミング、プログラミング教育などに関心のある方のお問合せをお待ちしております。

群馬プログラミングカレッジでは、四万温泉協会と複数ロボット案内システムや温泉ガイドロボットなどの共同開発に参加しております。

Pocket

複数ロボット会話システムとTkinter連携

複数ロボット会話システムとTkinterによるGUIシステムを連携したロボット案内システムを開発した。

PythonのGUI（Graphical User Interface：グラフィカル・ユーザ・インタフェース）ライブラリの一つであるTkinterで案内画像や案内文をディスプレイに表示させて、複数のロボットが案内を行うシステムです。

TkinterはPythonの標準ライブラリに採用されているGUIライブラリです。
クロスプラットフォームでGUIアプリを作成できる点は他のライブラリと同様です。

Python/Tkinter は、イベント駆動方式です。
GUI アプリケーションの場合、ユーザーからの入力やシステムの状態変化（タイマーなど）など、ある出来事をきっかけにプログラムが実行されます。
この出来事をイベント(event) といい、イベントをきっかけにしてプログラムが起動されることをイベントドリブン(eventdriven:イベント駆動) といいます。

後ろのディスプレイに案内画像と案内文を表示させます。
ロボットは3体で、左右のロボット（ぬいぐるみ）が交互に案内を音声でします。

また、3体のロボットは、首を振ったり手を動かしながら案内をします。

複数ロボット会話システムとTkinterによるGUIシステムは、インターネットに接続しており、各々の動作はWebサービスAPIで同期をとっています。

Tkinterは、起動して画面が表示されるまで、５～６秒程の遅延があります。
Tkinterが完全に立ち上がって画面が表示されるのを待って、ロボットは、案内を開始します。
Tkinterシステムが完全に立ち上がると、サーバーに立ち上がったことを知らせます。
ロボットは、WebサービスAPIで、立ち上がりを監視していて、立ち上がりを確認してから案内を開始します。

Tkinterの after() メソッドについて

今回は、TkinterによるGUIシステムですが、マウスによるクリック入力がなくても画像やテキストを更新さないといけなので、プログラム自身でなんらかのきっかけを作ってやる必要があります。
このような場合、役に立つメソッドがTkinterの after() です。
時間によるイベント駆動です。

root.after(msec, command)
指定した時間経過後 command を実行 (固有番号 id を返す)

このように、after() には単純な時間待ちを行うほかに、一定時間後に指定した command を起動するタイマーの働きも持っています。
たとえば、一定間隔で実行する関数を talk() とします。
この場合、talk() 関数の最後で after()メソッドを使って自分自身の起動を設定します。

具体的には次のようにプログラムします。

def talk():
    
    global root
    
    while True:
        
        try:
                                               
            mskcdown() # クライアント管理辞書ダウンロード
            
            
            if MSKCDIC['ss'] == '11':
                break
            
            if MSKCDIC['ss'][0] == '0':
                root.quit()
                speak('シャットダウンします。','wn','s001k1','0')
                os.system('sudo shutdown -h now') # シャットダウン 

            
            if MSKCDIC['ss'][1] == '0': # Wait on ？
                #print('sibai-sleep(0.5) wait for all member standby!')
                if MSKCDIC['ss'][0] == '0':
                    root.quit()
                    speak('シャットダウンします。','wn','s001k1','0')
                    os.system('sudo shutdown -h now') # シャットダウン                            

                
                sleep(0.5)
                continue
            

            if MSKCDIC['ss'] == '23': # サーバープログラムが番号入力待ち時に、MSKCDIC['ss']に'23'をアップロード
                    
                tkinterup(tf='0',t1='0',t2='0') # tkinter立ち上がり初期化（tf='0'）
                
                sleep(10)
                
                root.quit() # 番号入力待ちで、GUIをリセット。

                sys.exit()
                
                continue



            
            # ss = '11'になって、全てが待機中で以下の処理が実効される。


        except Exception as e:            
        
            print('except-simappo-sibai-Error1')
            print(type(e))
            print(e)
            EXCEPT = 'except-simappo-sibai-Error1 ' + str(type(e))
            print('mskcdown()-Error-継続実効します')
            continue
        
        break


    for key,item in TALKDIC[MSKCDIC['skey']].items():
        
        tp = MSKCDIC['skey'].find('-')
        titletxt = MSKCDIC['skey'][5:tp]
        
        
        if 'PFM' in key:
            continue
        
        cp = key.find('-')
        index = key[(cp + 1):]
        
        if int(index) == int(MSKCDIC['sindex']): # sindexと同じか？
            cp1 = key.find('$')
            imgn = key[(cp1+1):cp] # イメージファイル名抽出 '0.gif'
            
            #print(imgn)       
            
            sibai_images.insert(0,tk.PhotoImage(file = "/home/pi/ai/sima-images/" + imgn)) # イメージファイル設定
            
            RESPONSE = item # 会話テキスト設定
            
            break
        
        continue
    
    
    # コンテンツ表示
    response_area.configure(text=RESPONSE)
    
    
    # タイトル表示
    response_area1.configure(text=titletxt + '　（' + str(int(MSKCDIC['sindex']) + 1) + '／' + str(len(TALKDIC[MSKCDIC['skey']]) - 1) + '）')

    canvas2.itemconfig(
        on_canvas,
        image = sibai_images[0],
        )

    print('sibai-会話スタート')
    
    print('tkinter立ち上がり完了')


    tkinterup(tf='1',t1='0',t2='0') # tkinter立ち上がり完了（tf='1'）


    root.after(1000, talk) # （1秒）タイマーイベント生成

100

101

102

103

104

105

106

107

108

109

110

def talk():

global root

while True:

try:

mskcdown() # クライアント管理辞書ダウンロード

if MSKCDIC['ss'] == '11':

break

if MSKCDIC['ss'][0] == '0':

root.quit()

speak('シャットダウンします。','wn','s001k1','0')

os.system('sudo shutdown -h now') # シャットダウン

if MSKCDIC['ss'][1] == '0': # Wait on ？

#print('sibai-sleep(0.5) wait for all member standby!')

if MSKCDIC['ss'][0] == '0':

root.quit()

speak('シャットダウンします。','wn','s001k1','0')

os.system('sudo shutdown -h now') # シャットダウン

sleep(0.5)

continue

if MSKCDIC['ss'] == '23': # サーバープログラムが番号入力待ち時に、MSKCDIC['ss']に'23'をアップロード

tkinterup(tf='0',t1='0',t2='0') # tkinter立ち上がり初期化（tf='0'）

sleep(10)

root.quit() # 番号入力待ちで、GUIをリセット。

sys.exit()

continue

# ss = '11'になって、全てが待機中で以下の処理が実効される。

except Exception as e:

print('except-simappo-sibai-Error1')

print(type(e))

print(e)

EXCEPT = 'except-simappo-sibai-Error1 ' + str(type(e))

print('mskcdown()-Error-継続実効します')

continue

break

for key,item in TALKDIC[MSKCDIC['skey']].items():

tp = MSKCDIC['skey'].find('-')

titletxt = MSKCDIC['skey'][5:tp]

if 'PFM' in key:

continue

cp = key.find('-')

index = key[(cp + 1):]

if int(index) == int(MSKCDIC['sindex']): # sindexと同じか？

cp1 = key.find('$')

imgn = key[(cp1+1):cp] # イメージファイル名抽出 '0.gif'

#print(imgn)

sibai_images.insert(0,tk.PhotoImage(file = "/home/pi/ai/sima-images/" + imgn)) # イメージファイル設定

RESPONSE = item # 会話テキスト設定

break

continue

# コンテンツ表示

response_area.configure(text=RESPONSE)

# タイトル表示

response_area1.configure(text=titletxt + '　（' + str(int(MSKCDIC['sindex']) + 1) + '／' + str(len(TALKDIC[MSKCDIC['skey']]) - 1) + '）')

canvas2.itemconfig(

on_canvas,

image = sibai_images[0],

)

print('sibai-会話スタート')

print('tkinter立ち上がり完了')

tkinterup(tf='1',t1='0',t2='0') # tkinter立ち上がり完了（tf='1'）

root.after(1000, talk) # （1秒）タイマーイベント生成

案内内容は、四万温泉の摩耶姫伝説の紙芝居です。

紙芝居の画像と紙芝居の文言をディスプレイに表示させて、下のロボットたちが交互に紙芝居の文言を発声します。

このシステムは、四万温泉観光協会で稼働しています。

複数ロボット会話システムとTkinterによるGUIシステム

複数ロボット会話システムとTkinterによるGUIシステム
<span class="mce_SELRES_start" style="width: 0px; line-height: 0; overflow: hidden; display: inline-block;" data-mce-type="bookmark"></span>

複数ロボット会話システムとTkinterによるGUIシステム

群馬プログラミングカレッジでは、子どもから成人を対象にしたプログラミング教室です。

現在、開発しているシステムです。
・複数ロボット自然会話システム
・案内ロボット
・自然会話ロボット
・教育ロボット
・IOTシステム

開発言語は、python、PHPなどです。
ロボットは、Raspberry Pi などのマイクロコンピュータを使用しています。

子どもたちは、Scratchビジュアルプログラミング言語から学び、上級生は並行してpythonプログラミング言語を学びます。

Scratchプログラミング、pythonプログラミング、PHPプログラミング、IOTシステム開発、AIロボット開発に興味がある方は、ご連絡ください。

Pocket

案内ロボットのコンテンツの考察

1. 時間的条件：

2. 利用者判断条件：

3. 案内音声の選択：

4. 複数ロボットでの案内：

5. 発話の喜怒哀楽：

6. 案内コンテンツの構成

共有:

複数ロボット会話システムとTkinter連携

共有: