カテゴリー: 99_非表示

　第６回　１月２５日（土）

Youtube　シニアプログラミング発表会 #６

発表者

１．経緯

　2023年1月に日本通運（NXグループ）が進めていた
　　　「新・国際航空貨物基幹システム」の開発は中止となり、
　　　　　約１５４億円の減損損失を計上する
　　　開発ベンダーの アクセンチュアに約１２４億円の損害賠償を求める
　
　プロジェクトの規模は約１２３億円、アクセンチュアの受託規模は約３５億
　　　当初は開発期間は2017年4月～2020年7月
　　　契約形態は受託契約を前提としたいわゆるSI契約

　開発プロジェクトはテスト工程から遅延し始める
　　　当初2020年12月の予定だった結合テストの後半過程「ITb」の終了は
　　　　　2021年11月にずれ込む

　　　2021年11月30日にアクセンチュアがITbの「成果物」を
　　　　　共有サーバーにアップロードする

　　　日本通運が先立って実施していた「打鍵テスト」で大量の指摘事項が出る
　　　　　品質を問題視し、これら成果物の検収を巡り、両者の主張は対立する

　両者は翌日に、これが成果物の「納入」に当たるかどうかを議論する
　　　アクセンチュアの担当者はこの場で
　　　「昨日納品したが今日から検収が始まるとは認識していない、と発言

　日本通運はこの発言などをもって
　　　『検収』の対象となる『納入物』には当たらないと主張する

　アクセンチュアは、
　　　納入されたからといってみなし検収の主張まではせず、
　　　検収開始時期については日本通運と協議して合意したい、ためだった

　　　「みなし検収」とは成果物に対する指摘が一定期間なければ合格と見なす
　　　　　本プロジェクトの基本契約にも盛り込まれている

　その後、両者は互いの主張を部分的に受け入れるなどしつつ検収を進める
　　　大量の「不具合」を検知したことで、検収は中止する

２．SI契約の問題点

　SIerにとって極めてリスクが高い契約形態
　　　SIerは成果物をスケジュール通りに完成させる義務、
　　　契約で定められた通りに成果物が機能することを保証する

　　　SIerは要件定義が詳細化する前に概算見積を出す
　　　　　プロジェクトの事実上の上限額となる場合が多い
　　　　　もし、超過した場合はSIerとユーザー企業の間で厳しい交渉を行う

　要件定義が詳細化する前に正しい見積を作成するのは難しいが
　　　ユーザー企業の予算を確保のため、このような商慣習となっている

　米国では委任形態の契約が主流
　　　「準委任の工数型」に近い
　　　工数が増加すれば、ユーザーが負担する

３．開発規模による難易度

　中小規模プロジェクト
　　　約２億円～３億円の規模、最大で約２０人体制
　　　サブシステム単位で構築されることが多い
　　　PMは、要件定義からテストを実施して内容を把握し、チームを率いる

　　　統合テスト（ＩＴ）の終了が納品に相当し、検収を経てリリースとなる

　大規模プロジェクト
　　　約２０億円～３０億円規模、最大で１００人体制
　　　PMをチームリーダーとする複数チームから構成される
　　　チームリーダーには中小規模プロジェクトを統括するスキルが求められる
　　　５～１０以上のサブシステムから構成される
　　　ユーザー企業の部門全体で利用するITシステムが対象となる

　　　サブシステム間で共通のデータベース制御、は障害対応など
　　　　　ITシステムの運用の共通化、
　　　　　ITシステムを動かすために必要な機能の設計・開発が必要となる
　　　「非機能要件」を整理して、実現可能な設計をし、開発する
　　　　　方式設計とシステム基盤開発を実施することも求められる

　　　総合テスト（ＳＴ）の実施で一定の品質に達したと判断した上で
　　　　　ユーザー受け入れテスト（UAT）を実施し検収する

　超大規模プロジェクト
　　約１００億円規模、最大で千人超の体制
　　難易度は大規模プロジェクトよりもさらに増す

　　一括してリリースするのは難しいため、
　　　　機能システム単位で順次リリースする
　　　　新旧の機能システムを併存させながら徐々に移行する
　　　　機能システム間の整合性確認のため、
　　　　　　STの次に機能システム間テストを実施する
　　　　部門間をまたがるため、CEOの参加が必須となる

４．現行機能の保証

　既存の機能が開発の影響を受けずに正常に動作することを保証する
　　　自社の業務内容を正確に把握しておらず、業務要件を定義できない
　　　　　現行機能を保証することは、言葉以上に難しい

　既存システムの機能を整理する場合
　　　新たなベンダーにシステム開発を依頼する場合は、
　　　ユーザー企業が既存機能を整理し、最適な設計になっているかどうかを
　　　ユーザー企業がレビューする

　　　そのためには既存のSIerの協力を得る必要があるが、
　　　　　SIerを変更する場合は何らかの不満が大きくなったというケースが多い
　　　　　ユーザー企業と既存SIerとの関係は良く無く、協力が得られない

　ユーザー企業の従業員は自社で実施している業務を「知らない」
　　　SIerはユーザー企業の従業員よりも業務に詳しくなっていく

　　　必要最低限の修正ドキュメントが断片的に残されるだけ
　　　　　上書きされた修正ドキュメントから現在の業務要件は読み取れない

　　　現行プログラムを分析すると、「何をしているか」の情報は見付けられる
　　　　　「何のために動いているのか」に関する情報はない
　　　　　プログラムの分析によって判明する業務仕様は要件の一部にすぎない

　　　「現行機能保証」を求められたケースがトラブルの主要な原因になる

５．「ITb」の位置付け

　日本通運の訴状
　　　「アプリケーション開発業務」など4件の個別契約が債務不履行
　　　　　システムは完成せず「システムの完成義務」に違反する

　アクセンチュアの反論
　　　請負契約において求められるのは「仕事の完成」
　　　　　検収は「仕事の完成」とは独立した手続きであり、
　　　　　検査の合否は債務の履行・不履行とは関係しない
　　　請負で締結された上記4件の個別契約について、
　　　　　債務を履行している

　　　ITbの契約における「完成すべき仕事」とは、
　　　　　「合意された『シナリオ』及び『コンディション』に基づく検証作業
　　　　　シナリオとは業務フローに沿って策定されるシステムの確認単位、
　　　　　コンディションとはシナリオに従ってシステムを動作させることで
　　　　　　　検証される細かな画面や帳票の動きのことを指す

　　　全てのシナリオ及びコンディションに基づく検証、バグの修補も完了した
　　　　　ITbの成果物を提出した

　打鍵チェックと検収は別プロセス
　　　アクセンチュアの主張
　　　　　ITbの成果物を納入したこと自体を否認

　　　日本通運の主張
　　　　　ITbと並行して実施した「打鍵チェック」における指摘事項は
　　　　　請負契約上対応すべき「不具合」であり、
　　　　　一定対応を行うまでは検収を開始しない

　　　ITbへの取り組み
　　　　　アクセンチュアは
　　　　　　　ITbの成果物は当初、「ユーザ向けデモ」を実施し
　　　　　　　日本通運が確認・検収することを提案する
　　　　　日本通運は
　　　　　　　上記提案を拒否
　　　　　　　日本通運の社員が開発中のアプリケーションを直接動作させ
　　　　　　　「打鍵チェック」を実施したいと強く主張する

　　　打鍵チェックの目的
　　　　　アクセンチュアの主張
　　　　　　　開発途中の品質チェック及び日本通運からのフィードバックを
　　　　　　　受けて両者間のイメージが乖離しないようにすることであり、
　　　　　　　日本通運が並行して進めていたITbとは無関係

　　　　　　　打鍵チェックはITbの成果物の完成基準でもなければ、
　　　　　　　日本通運が検収を実施するための前提条件でもない

　　　　　　　打鍵チェックのスコープやシナリオは日本通運が決定し、
　　　　　　　ユーザー受け入れテストに近い態様だった

　第三者としての見解
　　　遅れが生じていたと思われるので
　　　ユーザー側は早めにバグ出しを行いたいので、
　　　　　ITb期間中に並行して打鍵テストと称して実施した
　　　　　内容は検収に近い形となる
　　　ITb期間中に検収を行えば不具合いが出るのは当たり前
　　　　　ITaが終了してるとはいえ、打鍵テストは時期尚早の感がする

　　　相互のコミュニケーションが悪かったのではないか
　　　　　開発側の不手際を一気に洗い出すには打鍵テストしかない
　　　　　シナリオテストの用意は進捗遅れには関係なくできていたと思われる

　　　　　打鍵テストではなく仕様レベルでのレビューしかない
　　　　　双方とも手戻り感もあり、工数も必要になるので実施は困難
　　　　　この壁を乗り越える「力」が欠けていたのではないか

６．裁判での言い分

　日本通運は検収の中止に当たり、「検査完了通知書」を提示する
　　　当初、同文書の表題は「検査終了通知書」だった

　アクセンチュアは検査合格を前提とする、検収テストの『完了』」とし、
　　　日本通運もこれを認めた上で文言を書き換える
　　　検査完了通知書を提示したことで、ITbの債務履行を認めているとの主張

　日本通運の主張によれば、アクセンチュアは「検査合格書」が必要だと要望
　　　「現状として合格通知は出せる状況にない」と断る
　
　アクセンチュアは条件付きの「検査合格書」を交付するよう要望する

　日本通運は、合格しないままに契約を終了させることなので要望を却下する
　　最終的に「終了」から「完了」の書き換えに応じるが、
　　「形式的な文言の置き換えに過ぎなかった」と主張する

　アクセンチュアは日本通運が債務履行を認めていたことの根拠として、
　　　請負契約で合意された報酬が支払われていることも挙げる

　日本通運は対価を支払ったのは
　　　納品物の品質不良の具体的内容等を調査するには著作権が必要なため
　　　打開策としてTISに開発作業の引き継ぎを依頼する

７．プロジェクト失敗の原因

　テスト工程について
　　　一般的に超大規模に準じる大規模プロジェクトならば
　　　　　STを終了した時点で、作り手は品質を保証する

　　　今回のプロジェクトの場合、「ITb」を最終テスト工程としている
　　　　　結合テストの終了がSTの終了として位置付けられている

　　　　　プロジェクトの遅れを一気に取り戻そうとしたと思われ
　　　　　ITbとSTを並行実施する苦肉の策を取ったのではないか

　　　SIerとユーザー企業がどのような責任分担で契約したかによって、
　　　　　アクセンチュアに対して責任を問えるかどうかが決まるだろう

８．今回のテストについて

　ITbだけが実施され、STはアクセンチュアの責任としては実施されなかった
　　　この場合、ユーザーの指摘のみに対応することになる
　　　自ら開発していないサブシステム間の整合性を確認することは、
　　　　　ベンダーにとって極めて困難であり、失敗する可能性が高い

　「ITb」のテスト内容
　　　日本通運が「打鍵テスト」を実施し、
　　　「1487件の不具合を検出した」とされている

　　　「1487件」（アクセンチュア資料では「2031件」と記載）の内容
　　　　　全体で少なくとも1400件以上のバグが検出されたと推測される

　　　　　開発規模が100万stepsだとSTでのバグ総数は200～300件程度
　　　　　　　ST相当のテストとした場合、品質は「極めて悪い」
　　　　　　　IT相当のテストとした場合、ITとしての品質も不十分

　　　『ユーザー受入テスト』ではなく、ITbから顧客が参加するのは過剰だ
　　　　　完成のためには、早く問題を把握し対応することが必須だが
　　　　　ITaの完了基準をどこに設定したかにもよるが
　　　　　　　設定基準をクリアしていれば顧客が参加しても良いのでは

　　　　　要件定義が固まっていないまま早い段階で
　　　　　　　ユーザーがテストに参加すると、テスト後に要件変更が多発する

　　　基盤SEが業務仕様から必要な仕組みを洗い上げ、
　　　　　過去の経験を踏まえて必要な処理方式を設計する必要がある

　　　　　基盤SEは大規模プロジェクトには必須の人材
　　　　　また、方式設計の工程と基盤技術者もやはり必須

９．まとめ

　裁判資料には双方の思惑が交錯する
　　　日本通運との信頼関係を維持すべく、やむなく意見を受け入れた
　　　スケジュール遅延の挽回を優先せざるを得ず、要求を受け入れた

　両者の主張が対立しているのはITb以降の話が中心だ
　　　要件定義から開発作業にかけての工程にも問題はなかったのか？

　受注側に十分なケイパビリティが備わっていたかどうかは疑問が残るところ

　発注側は受注側の諸条件をどこまで認識していたかも問われる
　　「丸投げ」を前提としていたら、致命的な条件を受け入れていたことになる

１．特徴

　Pythonのグラフ描画のためのライブラリ
　　　グラフの描画やデータの可視化が簡単に行える
　　　　　折れ線グラフ、ヒストグラム、散布図等々

２．折れ線グラフ

x = [1,2,3]
y = [2,4,6]
plt.plot(x, y)

　説明
　　　plotの第1引数がX軸、第2引数がY軸
　　　線の色(color='')やマーカーの種類(marker='')、インデックス(index='')
　　　指定しない場合は自動で保管される

３．散布図

x = [1,2,3]
y = [2,4,6]
plt.scatter(x, y)

　説明
　　　scatterの第1引数がX軸、第2引数がY軸
　　　線の色(color='')やマーカーの種類(marker='')、インデックス(index='')
　　　指定しない場合は自動で保管される

４．棒グラフ

left = [1, 2, 3]
height = [100, 200, 300]
plt.bar(left, height)

　説明
　　　barの第1引数が棒グラフの左からの順序、第2引数がグラフの高さ
　　　棒の色(color='')や太さ(width='')、各棒下のラベル(index='tick_label')
　　　指定しない場合は自動で保管される

５．グラフの複数配置

plt.figure(figsize=(6,4))
 
# 左上
plt.subplot(2,2,1)
plt.plot(x1, y1)
 
# 右上
plt.subplot(2,2,2)
plt.plot(x2, y2)
 
# 左下
plt.subplot(2,2,3)
plt.plot(x3, y3)
 
# 右下
plt.subplot(2,2,4)
plt.plot(x4, y4)
 
plt.show()

　説明
　　　plt.figure(figsize=(〇,〇))でグラフ領域全体の大きさを決める
　　　plt.subplot(グラフの縦並び数,グラフの横並び数,その中で何番目)を指定
　　　plt.plot(x, y)でグラフをプロットする
　　　　　scatterでもbarでも可
　　　plt.show()で終了

１．特徴

　NumPy（Numerical Python）は科学技術計算やデータ分析に使用する
　　　多次元配列を操作するための強力な機能、数値計算用の関数

２．メリット

　C 言語で実装されているため高速な計算が可能
　　　Python のリストよりも効率的に大量のデータを扱うことができる
　　　　　関数はベクトル化されているため、
　　　　　ループ処理を書く必要がなくコードが短くなり読みやすい
　　　　　　　※Python はインタプリタ言語、C言語はコンパイル言語

　NumPyのndarray型という特別な配列を使用する（Pythonはリスト型変数）
　　　行列の掛け算、逆行列、固有値などの計算を高速に行うことができる
　　　統計関数や乱数生成の機能も充実している

　形状が異なる配列間の演算を可能にする
　　　要素数が一致しない配列間でも、算術演算が可能になる
　　　　　※スカラー値と配列の処理では、
　　　　　　スカラー値はブロードキャストされ、配列として扱われる

３．基礎的な関数

１．特徴

　Pandas（panel data s）は パネルデータの意
　　　時系列でまとめられたデータのこと

　データを効率的に扱うために開発されたPythonのライブラリの1つ

２．扱えるデータ形式

　様々なデータ形式が扱える
　　　Series ・・・・1次元配列
　　　DataFrame ・・2次元配列
　　　Panel ・・・・・3次元配列

　　　各ラベルを用いてデータを操作する
　　　データ解析に利用できるさまざまな機能を備える

３．Seriesの例

　ラベルをindexと呼び、indexを用いてデータにアクセスする

４．DataFrameの例

　index（行ラベル）、columns（列ラベル）を用いてデータにアクセスする

５．Panel の例

　items（項目）、major_axis（行）、minor_axis（列）を用いてアクセスする

１．テレビの内容

　NHK総合のドラマ10『宙わたる教室』
　　　2024年10月8日(火)夜10時からスタート

　ドラマの内容は、定時制高校の科学部が学会で発表することを目標に
　　　「火星のクレーターを再現する」という小説

２．ドラマの素材

　日本地球惑星科学連合2017年大会「高校生によるポスター発表」で
　　　『重力可変装置で火星表層の水の流れを解析する』が優秀賞を獲得する

　　　　　　　　　　　　　　　　　発表者

　2017年5月21日(日) 13:45 〜 15:15 ポスター会場 (国際展示場 7ホール)

[O05-P09] 重力可変装置で火星表層の水の流れを解析する

*神野 佑介¹、永田 英¹、新居 優太郎¹、*今林 潤¹、*鷲見 香莉奈¹、*若林 健流²、*岩築 美幸²、*松田 孟男²、柏木 ハツヱ²、佐古 佐世子²、鴈金 舞²、鄭 喆心²、廣岡 陽子²、森本 拓輝² (1.大阪府立春日丘高等学校　定時制の課程、2.大阪府立大手前高等学校　定時制の課程)

キーワード：重力可変装置、微小重力発生装置、火星の重力、火星の水、粘性

　アトウッドの滑車を利用して加速度をコントロールすれば，月や火星の重力もつくれると考え，重力可変装置を製作した．下降するおもりの側を実験カプセルとして内部の重力を計測した．0.5秒の短い時間ではあるが，火星，月，エンセラダスの表面重力を作ることができた．すでに実働している微小重力発生装置と連携すれば0Gから1Gの任意の重力を生み出すことができる．さらに，上昇するおもりの側を実験カプセルとすれば，約1.5Gまでの重力をつくりだせると考えられる．
　この装置で作った火星表面重力を用いて，火星での水の振る舞いを観察した．その結果，火星上の水は，地球上での挙動とかなり異なることがわかった．火星重力下での水は，粘性が大きくなったような動きを示した．映像から解析した火星の水の粘性は地球の水と比べて約2.4倍であった．
　簡単な原理で目的とする天体の重力を実現することができた．今後の太陽系探査で，さまざまな天体環境での予備実験に重要な役割を果たすと考えられる．

３．おまけ

　2011年、橘省吾さん（現・東京大学宇宙惑星科学機構教授）が注目し、
　　　JAXAを中心とした「はやぶさ2」サンプラーチームが
　　　同様の装置で小惑星表面試料採取に向けた基礎実験が行われた

　　　「はやぶさ2」の打ち上げは2014年12月なので
　　　　　当実験はかなり以前にスタートし、継続していたものと考える

　春日丘高校定時制・大手前高校定時制・今宮工科高校定時制の科学部の実績
　　　2012年高校生科学技術チャレンジ科学技術振興機構賞
　　　2013年日本地球惑星科学連合大会「高校生によるポスター発表」最優秀賞
　　　2014年日本物理学会Jr．セッション最優秀賞
　　　2017年日本地球惑星科学連合大会「高校生によるポスター発表」優秀賞
　　　2018年日本地球惑星科学連合大会「高校生によるポスター発表」最優秀賞
　　　2019年高校生科学技術チャレンジ科学技術政策担当大臣賞
　　　2020年高校生・高専生科学技術チャレンジ文部科学大臣賞
　　　2023年日本物理学会Jr．セッション最優秀賞

４．まとめ

１．バックアップの種類

　フルバックアップ（full backup）
　　　一番簡単で、バックアップの基本
　　　　　ある時点でシステムで保持されているすべてのデータをバックアップ
　　　　　バックアップのファイルさえあれば、全て復旧することが可能

　　　リカバリーについて
　　　　　単純な方法でリカバリーできる
　　　　　コスト高になる
　　　　　　　バックアップに掛かる時間が長くなる
　　　　　　　　　読み取り専用ファイルは除外する

　　　　　リソースの大量消費
　　　　　　　対象のデータ規模が大きくなり、大量消費につながる

　　　　　サービス停止が必要
　　　　　　　データの整合性を保つためにサービス停止後に行う
　　　　　　　バックアップのタイミングが難しい

　差分バックアップ（differential backup）
　　　前回のフルバックアップからの変更分だけをバックアップする
　　　　　トランザクションログをバックアップすることで実現できる
　　　　　　　ログにはあらゆる変更操作の履歴が残っている
　　　　　大元のファイルに対する変更差分のみのバックアップなので
　　　　　　　リソースの消費量も少ない

　　　リカバリーについて
　　　　　大元のバックアップファイルを用意し
　　　　　障害発生前までのログを順次適用し
　　　　　障害発生前の状態にファイルを戻す

　増分バックアップ（incremental backup）
　　　前回の任意バックアップからの差分をバックアップする
　　　　　バックアップ対象となるデータは少ない

　　　リカバリーについて
　　　　　リカバリ時にすべてのバックアップファイルが必要
　　　　　リカバリー手順も複雑になり時間も掛かる

　統合フルバックアップ（synthetic full backup）
　　　フルバックアップと差分バックアップ（または増分バックアップ）を
　　　　　結合して、新たなフルバックアップを作る
　
　　　リカバリーについて
　　　　　定期的に別サーバー等で実行することを考える
　　　　　本来の処理に影響を与えずにすむ

２．リカバリーの種類

　チェックポイントリスタート
　　　作業の途中で現在の状態を保存しておき、
　　　　　障害発生時に保存点から再開できる仕組み
　　　保存点はアプリケーションの部分で事前に用意しておく
　　　　　業務全体を止めることなく、当該処理だけのリカバリ

　　　処理手順
　　　　　作業を中断してでも元の状態に戻すことができる
　　　　　　　局所的なリカバリー手段

　リブート（reboot）
　　　コンピュータの使用中に再起動する
　　　　　スマホ等の電子機器で不具合が生じた際に利用する
　　　　　「現状」から抜け出す際に使用する

　　　処理手順
　　　　　各種機器の操作説明書に記述あり
　　　　　　　リカバリー処理ではなく、緊急脱出処理と理解する

　ロールバック（rollback）
　　　トランザクションの処理中にデータベースの更新に失敗した場合
　　　　　処理を行う前のデータベースの状態に戻す
　　　「取り消す」といったイメージ
　　　　　やりかけのトランザクション処理を取り消す、意味合い

　　　処理手順
　　　　　障害発生前までに取得したジャーナルを使って
　　　　　　　更新前のデータベースの状態に戻す

　ロールフォワード（rollfoward）
　　　処理は全て終わったが、データベースが壊れてしまった場合に
　　　　　障害発生直前を再現する
　　　「やり直す」といったイメージ
　　　　　バックアップ以降にやっていたことを再現する、意味合い

　　　処理手順
　　　　　フルバックアップデータを使って先ず大元の状態に戻し
　　　　　バックアップ取得時以降のトランザクションを実行した際に作られた
　　　　　　　ジャーナルを使い順次反映させ更新処理を順序良く再現させる

「仕組み」について具体的な記述ができていないので、後日対応します

１．VAE（Variational Autoencoder）

　ディープラーニングを活用した画像生成モデル
　　　AIの学習用データから特徴を学び取り、
　　　その特徴をもとに「学習用データと似ている新しいコンテンツ」を
　　　生成する

　処理概要
　　　ユーザーが学習用のデータをAIに与える
　　　AIが与えられた学習用のデータから特徴を学ぶ
　　　AIが学習したデータの特徴から、全く新しいコンテンツを生成する
　　　生成したコンテンツをユーザーに提供する

　利用上の特徴
　　　特定の傾向を持つ複数の作品を学習し、その作風に近い作品を生み出す
　　　　　画家の作品を学ばせ、画家の特徴を持った新しい絵を生み出す

　　　複雑性の高い画像の特徴を捉え、構造が複雑な製品の異常検知

２．GAN（Generative Adversarial Networks）

　ディープラーニングを活用した画像生成モデル
　　　Generator（ランダムに作成されたデータ）
　　　Discriminator（学習用の正しいデータ）
　　　２つのネットワークを競わせながら学習し、精度の高い画像を生成する

　処理概要
　　　ランダムなノイズからGeneratorを生成する
　　　正しいデータである「Discriminator」を用意する
　　　GeneratorとDiscriminatorを比較して、Generatorが本物かどうか判定する
　　　1～3を繰り返し、Generatorの精度を高める
　　　十分に精度の高まった画像を出力する

　利用上の特徴
　　　解像度の低い画像から解像度の高い画像を生成する
　　　テキスト入力で全く新しい画像を生成する

３．拡散モデル

　学習用の画像にノイズを追加し、画像からノイズを除去し、元画像を復元する
　　　与えた画像にノイズを付加し、元の画像を復元することを繰り返す

　　　「Stable Diffusion」や「DALL-E2」などに採用されている

　処理概要
　　　　学習用の画像にノイズを付加する
　　　　ノイズが付加された学習用の画像から、ノイズを除去する
　　　　2を繰り返し、元の画像を復元する
　　　　1～3の仕組みを繰り返して、高精度な画像を生成する

　利用上の特徴
　　　GANよりもさらに高解像度な画像を生成する

４．GPT-3

　OpenAIが開発した言語モデル
　　　約45TBもの膨大なテキストデータを学習し、
　　　　　ある単語の次に記述される別の単語の候補を高精度で予測する

　処理概要
　　　ユーザーがテキストボックスに質問を記述し、入力・送信する
　　　AIは質問の内容を解析して、最適な回答を導き出す
　　　AIは回答を出力し、ユーザーに伝える

　利用上の特徴
　　　長文の要約やリサーチ時間の短縮化
　　　新たなアイデアの創出

実行例は「saka.mokumoku」の「Google Colabotry」環境に保存してある

「アップル」の株価を「回帰問題」を使って予測する
　　（その２）は行番号２０〜４３行までを解説する

#
#　　　１．データの読み込み
#
import pandas as pd
import numpy  as np
import matplotlib.pyplot as plt
import seaborn as sns
#
%matplotlib inline
#
#　　　２．株価データの取得
#
!pip install pandas_datareader
#
import pandas_datareader.data as dr
#
stock = dr.DataReader('AAPL',"stooq")
print(stock.head())
#
#　　　３.翌日の高値のフィールドを追加
#
stock['Next_High'] = stock['High'].shift(1)
print(stock.head())
#
print(stock.isnull().sum())
#
stock = stock.dropna()
print(stock.head())
print(stock.shape)
#
#　　　４.検証、目的変数と説明変数に分割する
#
data_columns = ['Open','High','Low','Close','Volume']
#
test_rows = 500
#
target = stock['Next_High']
data = stock[data_columns]
#
target_train = target[test_rows:]
target_test = target[:test_rows]
data_train = data[test_rows:]
data_test = data[:test_rows]
#
print(data.shape)
print(target.shape)
print(data_train.shape)
print(target_train.shape)
print(data_test.shape)
print(target_test.shape)
#
#　　　５.線形回帰を使って予測する
#
from sklearn.linear_model import LinearRegression
#
model = LinearRegression()
#
model.fit(data_train,target_train)
#
target_predict = model.predict(data_test)
#
result = pd.DataFrame(target_test)
#
result['predict'] = target_predict
#
sns.lineplot(data=result)
#
sns.lineplot(data=result[:30])

以下はサンプルコードと解説

３.翌日の高値のフィールドを追加

#
stock['Next_High'] = stock['High'].shift(1)
print(stock.head())

　翌日の高値のフィールド（列）を追加する
　　　前日に翌日の高値を予測したとするフィールドを用意する

　以下のように修正される
　　　翌日高値（Next_High）に翌日の高値（High）がセットされる

               Open     High       Low   Close      Volume  Next_High
Date                                                                 
2024-05-01  169.580  172.705  169.1100  169.30  50383147.0        NaN
2024-04-30  173.330  174.990  170.0000  170.33  65934776.0    172.705
2024-04-29  173.370  176.030  173.1000  173.50  68169419.0    174.990
2024-04-26  169.880  171.340  169.1800  169.30  44838354.0    176.030
2024-04-25  169.525  170.610  168.1511  169.89  50558329.0    171.340

#
print(stock.isnull().sum())

　欠損値を確認するために中身を出力する
　　　以下のように表示される

Open         0
High         0
Low          0
Close        0
Volume       0
Next_High    1
dtype: int64

　”符号あり64ビット整数型”のフィールドで”Next_High”に１個だけ欠損値がある

#
stock = stock.dropna()
print(stock.head())

　 欠損値のデータを削除し、整形する
　　　以下のように表示される、日付が１日ずれた形になる

               Open    High       Low   Close      Volume  Next_High
Date                                                                
2024-04-30  173.330  174.99  170.0000  170.33  65934776.0    172.705
2024-04-29  173.370  176.03  173.1000  173.50  68169419.0    174.990
2024-04-26  169.880  171.34  169.1800  169.30  44838354.0    176.030
2024-04-25  169.525  170.61  168.1511  169.89  50558329.0    171.340
2024-04-24  166.540  169.30  166.2100  169.02  48251835.0    170.610

#
print(stock.shape)

　全体の構造を確認する
　　　以下のように表示される、1256件で6列のデータ

(1256, 6)

４．検証、目的変数と説明変数に分割する

#
data_columns = ['Open','High','Low','Close','Volume']
#
test_rows = 500
#
target = stock['Next_High']
data = stock[data_columns]
#
target_train = target[test_rows:]
target_test = target[:test_rows]
data_train = data[test_rows:]
data_test = data[:test_rows]

　学習データと検証データとに分ける
　　　目的変数（target）・・・結果
　　　　　翌日高値のデータ1256件、１列
　　　説明変数（data）・・・原因
　　　　　前日までのデータ1256件、５列

　　　目的変数（target）
　　　　　target_train・・・501件目〜1256件目、１列
　　　　　target_test・・・先頭〜500件目、１列
　　　説明変数（data）
　　　　　data_train・・・501件目〜1256件目、５列
　　　　　data_test ・・・先頭〜500件目、５列

#
print(data.shape)
print(target.shape)
print(data_train.shape)
print(target_train.shape)
print(data_test.shape)
print(target_test.shape)

　分割後のデータ構成を確認する

(1256, 5)
(1256,)
(756, 5)
(756,)
(500, 5)
(500,)

５．線形回帰を使って予測する

#
from sklearn.linear_model import LinearRegression
#
model = LinearRegression()
#
model.fit(data_train,target_train)

　線形回帰を使って機械学習を行う
　　　ライブラリ「scikit-learn」を呼び出す
　　　機械学習を行う
　　　　　data_train（説明変数、学習用）と
　　　　　target_train（目的変数、学習用）を使う

#
target_predict = model.predict(data_test)

　学習したら検証データを使って株価を予測する

#
result = pd.DataFrame(target_test)
#
result['predict'] = target_predict

　検証データの目的変数でデータフレーム作成
　　　予測結果をとしてデータフレームに追加する

#
sns.lineplot(data=result)
#
sns.lineplot(data=result[:30])

　グラフで可視化する
　　　通常のグラフと拡大版（３０日分）を表示する

６．総括

　全体的にpredict（予測値）はNext-High（翌日高値）の後追いとなる
　　　前日の株価で翌日の株価を予測しているので、これで正解

　説明変数の選択の結果によって、目的変数は左右されるという
　　　当たり前の結果となる

実行例は「saka.mokumoku」の「Google Colabotry」環境に保存してある

「アップル」の株価を「回帰問題」を使って予測する
　　（その１）は行番号１〜１９までを解説する
　　株価の値は「date」当日のもので、いつも同じ値になるとは限らない

#
#　　　１．データの読み込み
#
import pandas as pd
import numpy  as np
import matplotlib.pyplot as plt
import seaborn as sns
#
%matplotlib inline
#
#　　　２．株価データの取得
#
!pip install pandas_datareader
#
import pandas_datareader.data as dr
#
stock = dr.DataReader('AAPL',"stooq")
print(stock.head())
#
#　　　３.翌日の高値のフィールドを追加
#
stock['Next_High'] = stock['High'].shift(1)
print(stock.head())
#
print(stock.isnull().sum())
#
stock = stock.dropna()
print(stock.head())
print(stock.shape)
#
#　　　４.検証、目的変数と説明変数に分割する
#
data_columns = ['Open','High','Low','Close','Volume']
#
test_rows = 500
#
target = stock['Next_High']
data = stock[data_columns]
#
target_train = target[test_rows:]
target_test = target[:test_rows]
data_train = data[test_rows:]
data_test = data[:test_rows]
#
print(data.shape)
print(target.shape)
print(data_train.shape)
print(target_train.shape)
print(data_test.shape)
print(target_test.shape)
#
#　　　５.線形回帰を使って予測する
#
from sklearn.linear_model import LinearRegression
#
model = LinearRegression()
#
model.fit(data_train,target_train)
#
target_predict = model.predict(data_test)
#
result = pd.DataFrame(target_test)
#
result['predict'] = target_predict
#
sns.lineplot(data=result)
#
sns.lineplot(data=result[:30])

以下はサンプルコードと解説

１.データの読み込み

#
import pandas as pd
import numpy  as np
import matplotlib.pyplot as plt
import seaborn as sns

　必要なライブラリを読込む
　　　ライブラリ内のモジュールを読み込むこともできる
　　　読み込んだら処理しやすいように「as」を使って名前を付与する
　　　同一名になる場合は互いに異なる名前を付与する

　　各ライブラリの説明　
　　　pandas・・・データの確認や抽出に適したライブラリ
　　　numpy・・・行列計算用ライブラリー
　　　matplotlib.pyplot・・・グラフ描画ライブラリーのpyplot部分
　　　seaborn・・・見た目の優れたグラフ描画ライブラリー

#
%matplotlib inline

　グラフ　表示の設定
　　　%はインタラクティブサポートを有効化するためのコマンド
　　　「inline」とはその場（環境や状態）で表示する意味
　　　　　（注）グラフが書けない実行環境だとこの行はエラーになる

２．株価データの取得

#
!pip install pandas_datareader
#
import pandas_datareader.data as dr

　pandas_datareader（Web上に公開されている株価データ）のインストール
　　　ライブラリーの読み込み
　　　　　（注）インストールできない環境だとこの行はエラーになる

#
stock = dr.DataReader('AAPL',"stooq")
print(stock.head())

　データ提供元「stooq」の中から「APPLE」の株価を取得し表示する
　　　項目の説明
　　　　　open・・・始値
　　　　　high・・・高値
　　　　　low・・・・安値
　　　　　close・・・終値
　　　　　volume・・取引量

　以下はprint出力例

               Open     High       Low   Close      Volume
Date                                                      
2024-05-01  169.580  172.705  169.1100  169.30  50383147.0
2024-04-30  173.330  174.990  170.0000  170.33  65934776.0
2024-04-29  173.370  176.030  173.1000  173.50  68169419.0
2024-04-26  169.880  171.340  169.1800  169.30  44838354.0
2024-04-25  169.525  170.610  168.1511  169.89  50558329.0

３月２７日（水）

　参加者（ブレイクアウトルーム）
　　Python部屋（１３名）
　　　小泉
　　　久保田？　医師会
　　　岩崎
　　　中村
　　　薗田
　　　宮島
　　　新井　ちあき
　　　林
　　　北口
　　　奥・・・初参加
　　　エイト
　　　四方・・・初参加、初心者

　今回の新情報
　　　中村さん・・・転移学習
　　　　　　　　　　　　作成済みのモデルを類似したケースで再利用する

　　　　　　　　　　Kaggle
　　　　　　　　　　　　The Home of Data Science & Machine Learning
　　　　　　　　　　　　　　Competition（コンペ）
　　　　　　　　　　　　　　　　課題を提示し、賞金と引き換えに
　　　　　　　　　　　　　　　　最も制度の高い分析モデルを買い取る
　　　　　　　　　　　　　　Kernels（カーネル）
　　　　　　　　　　　　　　　　構築したモデルやデータセット処理の
　　　　　　　　　　　　　　　　コードを公開する
　　　　　　　　　　　　　　Discussion（ディスカッション）
　　　　　　　　　　　　　　　　英語での会話

入手した情報

２月２８日（水）

　参加者（ブレイクアウトルーム）
　　Python部屋
　　　小泉
　　　薗田
　　　宮島
　　　岩崎
　　　大菊
　　　南田
　　　ちあき
　　　中村
　　　B-2・・・・・初めて
　　　よしもぐ
　　　エイト・・・初めて
　　　宇田

　　今回の新情報
　　　progate・・・無料プログラミング教室、無料で始めて有料へ
　　　　　①https://prog-8.com/

　　　Kaggle・・・機械学習のコミュニティーサイト（英語が主体）
　　　　　①https://www.kaggle.com/

　　　AI画像認識サービスおすすめ１２選比較
　　　　　①https://kigyolog.com/service.php?id=494

入手した情報

１月３１日（水）

　参加者（ブレイクアウトルーム）
　　Python部屋
　　　小泉
　　　薗田
　　　宮島
　　　中村・・・男性
　　　ちあき・・女性
　　　村山・・・男性
　　　大菊・・・＜本日だけ？＞
　　　白水・・・？
　　　南田・・・？
　　　清水・・・？

　　今回の新情報
　　　　小泉さんより
　　　　　　シニアプログラミング発表会
　　　　　　　　①https://forms.gle/ECSghzFs5uhAKcAq6

　　　　　　Python講座
　　　　　　　　①https://forms.gle/ZrkZzEBLLHiEi3vx8/

　　　　　　オンラインでスライドショー作成
　　　　　　　①https://www.google.com/intl/ja_jp/slides/about/

　　　　　　AIによるコーディング支援機能
　　　　　　　　①https://github.com/features/copilot

　　　　　　　　　　GitHub Copilot・・・有料
　　　　　　　　　　Microsoft Copilot・・・無料と有料
　　　　　　　　　　GitHub Copilot・・・有料

　　　　　　Visual Studio Codeに入れるべき拡張機能
　　　　　　　　Live Serverを使うと便利だと勧められる　　　　　　　　　　　　　　　　　　　　　　　　　　　　　①https://qiita.com/midiambear/items/f38686bd4d139e0cd46c

入手した情報

１２月２７日（水）

　参加者（ブレイクアウトルーム）
　　Python部屋
　　　小泉
　　　岩崎
　　　薗田
　　　宮島
　　　長尾
　　　村山

　　今回は
　　　　途中で退席する

１１月２２日（水）

　参加者（ブレイクアウトルーム）
　　Python部屋
　　　小泉
　　　薗田
　　　宮島
　　　水谷
　　　佐藤・・・初参加
　　　和歌山・・NIKKEI記者

　　今回の新情報
　　　　小泉さんより
　　　　　　シニアプログラミング発表会
　　　　　　　　①https://forms.gle/ECSghzFs5uhAKcAq6

　　　　　　Python講座
　　　　　　　　①https://forms.gle/ZrkZzEBLLHiEi3vx8/

　　　　　　オンラインでスライドショー作成
　　　　　　　　①https://www.google.com/intl/ja_jp/slides/about/

入手した情報

１０月１９日（木）

　参加者（ブレイクアウトルーム）
　　Python部屋
　　　小泉
　　　岩崎
　　　薗田
　　　宮島
　　　若山・・・NIKKEI新聞記者

　　今回の新情報
　　　　小泉さんより
　　　　　　SlackからDiscordに切り替える
　　　　　　　　投稿内容が３ヶ月しか保存されないので、切替えます
　　　　　　　　①https://discord.gg/SsANN3emdJ

　　　　岩崎さんより
　　　　　　Tkinterの説明・・・Windowsライクな画面作成

入手した情報

９月２７日（水）

　参加者（ブレイクアウトルーム）
　　Python部屋
　　　小泉
　　　薗田
　　　宮島

　　今回の新情報
　　　　小泉さんより
　　　　　　Zoomのバージョン等が合わないとサポートできない

入手した情報

８月３０日（水）

　参加者（ブレイクアウトルーム）
　　Python部屋
　　　小泉　　・・・　体調不良
　　　薗田
　　　宮島　　・・・　繋がらず、参加できず
　　　HIRO
　　　岩崎

　　今回の新情報
　　　　薗田さんより
　　　　　　Azure Machine Learning Studioについて
　　　　　　　　旧版は来年の８月で廃止、今のうちに新版に乗り換えるべき

　　　　岩崎さんより
　　　　　　Visual Studio Codeの便利な使い方
　　　　　　　　Python等のプログラムを時効できる

入手した情報

７月２９日（土）

　参加者（ブレイクアウトルーム）
　　Python部屋
　　　小泉　　・・・　Poe.com/chatgpt
　　　薗田
　　　宮島
　　　HIRO
　　　横山　　・・・　機械学習
　　　岩崎
　　　AKI　　 ・・・　lisp
　　　清水　　・・・　退出
　　　芳野　　・・・　Javascript
　　　小松　　・・・　Javascript

　　　Java Script部屋が開かれなかったので数名が臨時に参加された

　　今回の新情報
　　　　小泉さんより
　　　　　　「Poe – 高速AIチャット」の紹介

　　　　　　適格請求書の登録者番号検索
　　　　　　　　ChatｰGPTを使ってPythonのサンプルコーディングを取得
　　　　　　　　国税庁のサイトからCSVデータのダウンロード
　　　　　　　　サンプルコードを実際に動かしてみる

　　　　薗田さんより
　　　　　　マイクロソフトの機械学習サイトの紹介

入手した情報

６月２４日（土）

　参加者（ブレイクアウトルーム）
　　Python部屋
　　　　宮島さん
　　　　園田さん
　　　　岩崎さん
　　　　AKIさん・・・初参加
　　　　（？）・・・初参加

　　今回の新情報
　　　　小泉代表は欠席
　　　　　　進行には問題なし
　　　　　　　　但し新技術情報は得られなかった

　　　　関数についての説明を受ける

入手した情報

５月２７日（土）

　参加者（ブレイクアウトルーム）
　　Python部屋・・・小泉さん・・・共同ホスト、随時参加
　　　　宮島さん
　　　　園田さん
　　　　岩崎さん
　　　　新井さん
　　　　伊東（？）・・・初参加

　　今回の新情報
　　　　スマホ用にチャットボットを簡単に作成できるツールがあるらしい？
　　　　　　さらに大量のデータを読み込む方法もあるらしい？
　　　　　　これ以上の情報を得られず・・・次回回しにする

入手した情報

４月２１日（金）

　参加者（ブレイクアウトルーム）
　　Python部屋・・・小泉さん・・・共同ホスト、随時参加
　　　　宮島さん
　　　　園田さん
　　　　岩崎さん
　　　　林さん
　　　　山口・・・初参加
　　　　水谷
　　　　新井・・・初参加
　　　　津島・・・初参加
　　　　鹿角・・・初参加

　　今回の新情報
　　　　ChatGPT・・・ほぼこれに話題集中

入手した情報

３月０８日（金）

　参加者（敬称略）

大島
林
古川
鈴木（英男）・・・再登場
大原
大倉
中田
小松
エイト・・・初参加

入手した情報

　中田さん　　アバター作成　＋　簡単動画作成

　古川さん　　ボイスチェンジャー　＋　バーチャルオーディオ

２月０９日（金）

　参加者（敬称略）

大島
小松
能
大倉
中田
古川
南田・・・初参加（経験者）
大原
高見
林

入手した情報

　高見さん　書籍の紹介
　　　　　　　　10歳から始めるScratch図鑑
　　　　　　　　https://www.amazon.co.jp//dp/B08GBTHQYK/

　古川さん　Zoomの新情報（時間切れで説明なし）
　　　　　　　　ズームでボイスチェンジャーを使う
　　　　　　　　ズームでアバターがデザインできる
　　　　　　　　clusterに大阪府立バーチャル高校ができた

１月１２日（金）

　参加者（敬称略）

大島
大原
中田
大倉
小松
古川
能
高見
KENZO・・・途中退出

入手した情報

　大島さん　Vrewの紹介
　　　対話型の動画作成ソフト
　　　　　説明文や画像を選んで動画を自動で作成する
　　　　　無料版だと作成する量等に制約あり

１２月８日（金）

　参加者（敬称略）

大島
大原
中田
小松
古川
能

入手した情報

　日経に紹介記事（会員専用）
　　　https://www.nikkei.com/article/DGXZQOUD263I80W3A121C2000000/

１１月１０日（金）

　参加者（敬称略）

大嶋
小松
能
大原
古川
大倉
高見

入手した情報

　特になし

１０月１３日（金）

　参加者（敬称略）

大嶋
小松
能
大原
古川
大倉
鈴木

入手した情報

　大原さん（ＬＲＴについて）
　　　電車の動力は「屋根のパンタグラフ」からが正解、勘違いされていた

　能さん
　　　オリンピックの案内板に使われているピクトグラムを動かす
　　　①https://scratch.mit.edu/projects/814718228/

９月８日（月）

　参加者（敬称略）

大島
小松
能
大原
古川
大倉
高見
中田
鈴木

入手した情報

　古川さん（ツールの紹介）
　　　ブックマークレット・・・Java scriptをお気に入りから起動する方法
　　　ワードクラウド・・・・・テキストマイニング方法

８月７日（月）

　参加者（敬称略）

大島
小松
能
大原
古川
大倉
高見
中田
鈴木

入手した情報

　大原さん
　　　scratch・・・機能アップの内容
　　　　　　　　　　　文字が濃くなる

　古川さん
　　　ふきだしくん（ベータ版）・・・紹介される、https://477.jp/

７月１０日（月）

　参加者（敬称略）

大島
小松
能
大原
古川
大倉
高見
中田

入手した情報

　能さん
　　　scratch・・・機能アップの内容
　　　　　　　　　　　ブロック表示が明瞭になる

６月０９日（金）

　参加者（敬称略）

大島
小松 パラグアイ在住
能
大原
古川
大倉
園田
高見

入手した情報

　古川さん
　　　scratch・・・今年の夏に機能アップのお知らせ
　　　　　　　　　　　顔認証のブロックが新たに誕生する

　　　画像生成AI・・・ADOBE製
　　　　　　　　　　　　　https://firefly.adobe.com/
　　　　　　　　　　　　　プロンプトは英語のみ

　　　　　　　　　　　マイクロソフト
　　　　　　　　　　　　　https://www.bing.com/create

　　　能さん・・・scratchでマイクの音量を把握できる
　　　　　　　　　　　拍手の多さ、会話での声の大きさが測れる

５月１５日（月）

　参加者（敬称略）
　　　大島
　　　能
　　　大原
　　　高見・・・休み
　　　大倉
　　　中田
　　　古川
　　　山本（二）
　　　園田
　　　河野・・・・初参加
　　　山本（紘）・初参加

入手した情報

　古川さん
　　　Bingで画像生成ができる、との報告あり

　ＮＬＰ（Neuro Linguistic Programming）
　　　神経言語プログラミングの略称
　　　「脳と心の取扱説明書」とも呼ばれる最新の心理学

　初参加の方
　　　二人だけで会話が弾む・・・入り込めず、聞くだけ

４月１４日（金）

　参加者（敬称略）
　　　大島
　　　能
　　　大原
　　　高見
　　　大倉
　　　中田
　　　古川
　　　鈴木
　　　山本
　　　園田・・・初参加
　　　SAKKA・・初参加
　　　ゆの・・・初参加

入手した情報

　高見さん
　　　・ボーカロイド（VOCALOID）について
　　　　　メロディーと歌詞から歌声を作る（基本有料）
　　　　　①https://www.vocaloid.com/

　　　・シンセサイザーV（Synthesizer V）について
　　　　　メロディーと歌詞から歌声を作る（無料版あり）
　　　　　①https://www.ah-soft.com/synth-v/

　雑談
　　　・自費出版物について
　　　　　「Scratchうらわざ」の紹介・・・既に「kindle」で販売中
　　　　　５月１日から無料お試し期間あり