ble.sh インストール先ディレクトリ配下への書き込みについて #212

tars0x9752 · 2022-07-20T15:54:10Z

tars0x9752
Jul 20, 2022

こんにちは!
いわゆる XDG Base Directory があれば ble.sh インストール先ディレクトリ（ $_ble_base/ ）配下への書き込みは発生しないものと考えてもよいでしょうか？（update 時を除く）

質問の背景:
Nix というパッケージ管理ツールをつかって ble.sh を管理しようとしています.
ちょっと説明が難しいのですが, ざっくり言うと Nix で $_ble_base をまるっと管理しようとすると, 基本その配下への書き込みができなくなるため, あらかじめ書き込みが発生しうるのかどうか確認しておきたかったという感じです.

その他:
素晴らしいツールありがとうございます！

Answered by akinomyoga

Jul 20, 2022

お問い合わせいただきありがとうございます! 以下の条件を満たしている場合に XDG Base Directories を使います。

インストール済み ($_ble_base の最後のディレクトリ名が out 以外) かつ、
以下のディレクトリが存在または作成可能で、かつそれらの owner/permission に問題がない
- 一時ディレクトリ ${XDG_RUNTIME_DIR:=/run/user/$UID}
- キャッシュ ${XDG_CACHE_HOME:=$HOME/.cache}
- 更に将来的には ${XDG_STATE_HOME:=$HOME/.state} も。

その場合には $_ble_base 以下に対する書き込みは発生しないはずです。もしディレクトリが存在しなかったとしても、自動的に上記の位置 (または一時ディレクトリに関しては /tmp 以下) に作成するはずなので、$HOME または /tmp に書き込みができないだとか owner/permission の設定が間違っているだとかということがなければ、滅多なことでは $_ble_base 以下に書き込むことにはならないはずです。

一方で、make した物をインストールせずに直接 source out/ble.sh してお使いの場合には振る舞いが変わることにご注意ください。この時は、一時ディレクトリを除けば、逆に $_ble_base の外は書き換えないようにしています。

ざっくり言うと Nix で $_ble_base をまるっと管理しようとすると, 基本その配下への書き込みができなくなるため,

View full answer

akinomyoga · 2022-07-20T20:48:03Z

akinomyoga
Jul 20, 2022
Maintainer

お問い合わせいただきありがとうございます! 以下の条件を満たしている場合に XDG Base Directories を使います。

インストール済み ($_ble_base の最後のディレクトリ名が out 以外) かつ、
以下のディレクトリが存在または作成可能で、かつそれらの owner/permission に問題がない
- 一時ディレクトリ ${XDG_RUNTIME_DIR:=/run/user/$UID}
- キャッシュ ${XDG_CACHE_HOME:=$HOME/.cache}
- 更に将来的には ${XDG_STATE_HOME:=$HOME/.state} も。

その場合には $_ble_base 以下に対する書き込みは発生しないはずです。もしディレクトリが存在しなかったとしても、自動的に上記の位置 (または一時ディレクトリに関しては /tmp 以下) に作成するはずなので、$HOME または /tmp に書き込みができないだとか owner/permission の設定が間違っているだとかということがなければ、滅多なことでは $_ble_base 以下に書き込むことにはならないはずです。

一方で、make した物をインストールせずに直接 source out/ble.sh してお使いの場合には振る舞いが変わることにご注意ください。この時は、一時ディレクトリを除けば、逆に $_ble_base の外は書き換えないようにしています。

ざっくり言うと Nix で $_ble_base をまるっと管理しようとすると, 基本その配下への書き込みができなくなるため,

すみません、確認させていただきたいのですが、書き込みができなくなるというのは、書き込みが原理的に不可能ということか書き込んでしまうと問題が発生するということのどちらでしょうか。インストール時に $_ble_base/cache.d と $_ble_base/tmp に permission 1777 (permission全開+sticky) を設定するので、この permission が Nix によって上書きされない限りは素朴には原理的に書き込みができてしまうような気がするのですが、それを阻止する仕組みがありますか。或いは、変更があるとそれを検出する仕組みがありますか。

ble-update についても何が起こるのか確認しておきたいです。ble-update は (必要があれば sudo を使って) 自身を書き換えようとするので Nix の信念精神に反するのではないかと思うのですが、実際に試みた時に 1) 単にアップデートできない / 2) 壊れる / 3) Nix が警告を出す / 4) 取り敢えずは動く、の何れになるのか気になります。必要があれば $_ble_base/lib/_package.sh を配置していただくことになるかもしれません。

0 replies

akinomyoga · 2022-07-20T21:52:51Z

akinomyoga
Jul 20, 2022
Maintainer

あらかじめ書き込みが発生しうるのかどうか確認しておきたかったという感じです.

折しも NixOS/nixpkgs#181963 にて ble-0.3.3 の Nix derivation が nixpkgs に提出されているようです。未だ derivation の設定を作成していらっしゃらなければ、そちらを調整していただければ作成の手間が省けるかもしれません。この PR は ble-0.3 についてのものですが NixOS/nixpkgs#181963 (comment) を読む限り、@aiotter さんに問い合わせれば最新開発版に対するものもあるかもしれません。

@aiotter さん、もしお手すきでしたらこちらもご覧いただけましたら幸いです。NixOS/nixpkgs#181963 の設定にて ble-update を実行したときに何が起こるのかも気になるところです。

2 replies

aiotter Jul 21, 2022

私の作成したパッケージでは ble-update を実行することは想定していませんが、実際に実行してみたところ次のようなエラーが発生しました。

$ ble-update
ble-update: git repository not found at '/private/tmp/nix-build-ble.sh.drv-0/ble.sh'.
-bash: ble/uti/print: No such file or directory
dr-xr-xr-x  9 root  wheel  288 Jan  1  1970 /nix/store/14jpq8fjkjgg5qx8ifx8km19w0505017-ble.sh/share
Password:
ble.sh: owner of '/Users/aiotter/.cache/blesh/0.4' is not correct.
ble/term.sh: updating tput cache for TERM=screen-256color... done
ble-update: git repository not found at '/private/tmp/nix-build-ble.sh.drv-0/ble.sh'.
Cloning into '/nix/store/14jpq8fjkjgg5qx8ifx8km19w0505017-ble.sh/share/src/ble.sh'...
warning: Could not find remote branch fetchgit to clone.
fatal: Remote branch fetchgit not found in upstream origin
[ble: exit 128]

Nix は nix を使ってインストールしたパッケージが自分で中身を更新することは想定していないはずです。

$_ble_base/lib/_package.sh を配置したいところですが、ひとつ大きな問題があって、Nix のパッケージリポジトリである nixpkgs は基本的に最新の安定版ひとつしか提供しませんし、nix の思想からして nix を使ってアップデートする際にバージョンを指定せず最新版をインストールするという手法は公式には存在しないはずです。
（例外として flake を使用してインストールする手段があります。 github:aiotter/zig-darwin#latest が一例ですが、nix 的には推奨されない方法だと思います）

_package.sh で常にアップデートに失敗するように関数を用意しておき、その際に nixpkgs の override で最新版にアップデートする手法の説明を表示するような変更を行おうと思います。 NixOS/nixpkgs#181963 のマージに間に合えばそちらに反映させますが、間に合わなかったら新たな PR になります。

akinomyoga Jul 21, 2022
Maintainer

お返事ありがとうございます。

_package.sh で常にアップデートに失敗するように関数を用意しておき、

こちらの方法で問題ありません。ちょうどこのような形にする事になるのかなとこちらも考えていたところでした。

その際に nixpkgs の override で最新版にアップデートする手法の説明を表示するような変更を行おうと思います。

そうですね。そのようにして頂けたらとても親切だと思います。

tars0x9752 · 2022-07-21T06:19:18Z

tars0x9752
Jul 21, 2022
Author

詳しいご説明ありがとうございます！自分が確認したかったことは確認できました！:pray:

すみません、確認させていただきたいのですが、書き込みができなくなるというのは、書き込みが原理的に不可能ということ

(自分も学習中なため間違っているかも知れませんが, 解答します.)

はい, こちらは 原理的に不可能になる の意味でした. (避けるやりかたもあるかもしれません. ただそうすると Nix を使う意義が薄れてしまうと思いますが)

また書き換えられてしまった場合どうなるかはちょっとわかりません.. 何かが壊れる可能性はあると思いますが何も壊れないかもしれません.

ざっくりと補足

Nix では derivation に基づいてパッケージがビルド/生成され, その成果物が Nix によって Nix store (通常 /nix/store という特別なディレクトリ)に配置されます.

そしてこの Nix store とそこに置かれるファイルは readonly (immutable) で, Nix を通じて以外で編集/書き込みできません. (Permission denied になるはず)
また, 例えばビルド時に任意のファイルに全ユーザーに write 権限を付けるように derivation で定義していても, そのファイルが nix store に置かれた時点で全ユーザーへの write 権限はなくなっているハズです.

なんと, nixpkgs に既に PR があったのですね！気がついていませんでした.

自分も既に nightly ble.sh 用の derivation を書いて使っていましたので一応？貼っておきます(Nix + home-manager用のものですが). 少しの機能しか使ってないのでなにか見落としているかもしれませんが, いまのところ問題なく ble.sh を使えているように思います 👍
https://github.com/tars0x9752/home/blob/main/modules/blesh/default.nix

ble-update についても何が起こるのか確認しておきたいです。ble-update は (必要があれば sudo を使って) 自身を書き換えようとする

なるほど, たしかにどうなるのか気になりますね 👀
sudo でしたら書き換えらてしまう気もします. ちょっとあとで試してみようと思います!

6 replies

akinomyoga Jul 21, 2022
Maintainer

色々とありがとうございます。

ble-update してみました. 参考になるかわかりませんが, どうなったかを記載しておきます.

Release 0.4.0-devel2 (2020-12-02) で ble-update → 結果: 1) 単にアップデートできない

ble-update した直後, /home/tars/.nix-profile/bin/mkdir: cannot create directory ‘/home/tars/.nix-profile/share/blesh/src’: Permission denied となって終了しました.

なるほど。少し調べると /nix/store は ro (readonly) でマウントしているファイルシステムっぽい? また後で家に帰ったら自分の手許でも試してみようと思います。

nightly で ble-update → 結果: アップデート成功/失敗どちらなのかはっきりとはわからず...

ble-update 直後, bash: ble/uti/print: そのようなファイルやディレクトリはありません というエラーが表示されました. (おそらくタイポ？かと思われたのでPRだしました 🙏)

ありがとうございました!

次に $_ble_base の ls -ld の結果が表示され, これは symlink のため lrwxrwxrwx root root でした. 補足: なお, そのsymlink先のdirectoryを ls -ld でみた場合はdr-xr-xr-x root root でその配下のファイルたちは w はついていないことを確認しました.

ありがとうございます。ここの表示は ls -ldH か ls -laH にした方が分かりやすそうですね。

次に sudo password 入力を促され, 入力後ダウンロードが始まりました. ble-nightly.tar.xz' へ保存完了 となり [ble: reload] と表示されたあと,

うーん。また別のミスを見つけた気がします…キャッシュディレクトリ等ではなく何やら現在ディレクトリに ble-nightly.tar.xz を作成している気がします。nightly に関しては最近追加したのですが色々動作が怪しいですね…

bash: /run/user/1000/blesh/21243.util.assign.tmp.1: ファイルを開きすぎです
bash: リダイレクトエラー: ファイル記述子を複製できません: ファイルを開きすぎです
[...]
bash: start_pipeline: pgrp pipe: ファイルを開きすぎです
bash: start_pipeline: pgrp pipe: ファイルを開きすぎです

これは直ぐにはピンと来ないですね。。。何処かでリダイレクト付きの関数呼び出しが無限再帰になっているのかもしれません (…と思いましたがファイル名が .1 で終わっているので違うかも。この番号は assign というシェル関数の入れ子レベルで決めてます)。

すみません。後で自分でも試してみようと思いますが、以下について確認していただければ幸いです。

Q1 この fd 枯渇は ble-reload を実行した時でも再現するでしょうか。

そのまましばらく使っていたところ, update が関係あるかありませんが, ble.sh が source されたタイミングで ble-decode/keymap/register そのようなファイルはありません　のようなエラーメッセージがでてくるようになりました. その後.cache/blesh を消したらエラーがでなくなりました. 再現手順はわからずです.

これは 0.4.0-devel2 と nightly のキャッシュが混ざっていますね。キャッシュはバージョン (0.x) 毎に保持しているのですが、開発版同士のキャッシュの互換性は意図的にサポート外です (開発版なので…)。単にタイムスタンプだけ見ているので、同時に複数の開発版を使ったり、新しい開発版の後に古い開発版に差し戻したりすると駄目なことになってしまいます。

aiotter Jul 21, 2022

NixOS/nixpkgs#181963 がマージされた後、次のような手法で最新版をインストールできるようになります。

# configuration.nix
{ config, pkgs, lib, ... }: {
  environment.systemPackages = [
    ( pkgs.ble-sh.overrideAttrs (_: {
      src = pkgs.fetchgit {
        url = "https://github.com/akinomyoga/ble.sh.git";
        rev = "refs/heads/master";
        hash = "sha256-eEAYZqTA9rzD8YLEEwnAC27HkFvAL3Ji776SwknqBbg=";
        fetchSubmodules = true;
        leaveDotGit = true;
      };
      doCheck = false;
    }) )
  ];
}

実は home-manager 用のモジュールもすでに準備してあって、 NixOS/nixpkgs#181963 がマージされたら home-manager に対して PR を送ろうと思っていました。
現時点のものを gist に載せますので、よろしければそちらを参考にしていただければと思います。まだブラッシュアップが必要ですが……
https://gist.github.com/aiotter/608f24e990be241c2af629e2f93f04dc

tars0x9752 Jul 21, 2022
Author

こちらこそ色々ありがとうございます.
前提として, 私も Nix でble.sh をインストールする場合は ble-update は使わず Nix 側でバージョン管理する想定で良いと思います.

Q1 この fd 枯渇は ble-reload を実行した時でも再現するでしょうか。

こちら ble-reload 実行時の時点で同じような fd 枯渇のエラーがでました. またその後の ble-update でも再度 fd 枯渇のエラーがでました.

/nix/store は ro (readonly) でマウントしているファイルシステムっぽい?

~~はい, 基本的にそのハズです!~~

これは 0.4.0-devel2 と nightly のキャッシュが混ざっていますね。キャッシュはバージョン (0.x) 毎に保持しているのですが、開発版同士のキャッシュの互換性は意図的にサポート外です (開発版なので…)。単にタイムスタンプだけ見ているので、同時に複数の開発版を使ったり、新しい開発版の後に古い開発版に差し戻したりすると駄目なことになってしまいます。

なるほど！理解しました.

実は home-manager 用のモジュールもすでに準備してあって、 NixOS/nixpkgs#181963 がマージされたら home-manager に対して PR を送ろうと思っていました。

おお, そうだったんですね! いいですね! ありがとうございます!

akinomyoga Jul 22, 2022
Maintainer

Q1 この fd 枯渇は ble-reload を実行した時でも再現するでしょうか。

こちら ble-reload 実行時の時点で同じような fd 枯渇のエラーがでました. またその後の ble-update でも再度 fd 枯渇のエラーがでました.

試していただきありがとうございます。こちらの手許で試してみたのですが再現しませんでした。Nix について分かっていないので使い方を間違っているかもしれませんが(※1)、ble-reload しても ble-update しても fd 枯渇の問題はこちらの環境では発生しないようです。

※1

正直なところ何も分かっていないのですが、勘で default.nix を弄って無理やり nix-build を通したら /nix/store の下に何やら作られたので、それを使って試していました。(また家を離れているのですが) 最終的な default.nix は確かこんな感じでした↓

# blesh/default.nix
with import <nixpkgs> {};
stdenvNoCC.mkDerivation {
  name = "blesh";
  phases = [ "installPhase" ];
  src = fetchzip {
    url = "https://github.com/akinomyoga/ble.sh/releases/download/nightly/ble-nightly-20220712+1c7f7a1.tar.xz";
    sha256 = "1dlf07vbb7d28hlagxq2qn7afzxp7n2saxp69xajl0p03qsgpz9x";
  };
  installPhase = ''
    mkdir -p $out/share/blesh
    cp -rv $src/* $out/share/blesh
  '';
}

Q2: そちらの環境で、nix の外 (例えばホームディレクトリ以下) にインストールした ble.sh でも同様の fd 枯渇は発生しますか。

/nix/store は ro (readonly) でマウントしているファイルシステムっぽい?

はい, 基本的にそのハズです!

手許の VM (Ubuntu 20 LTS) に入れた Nix を見たのですが別に独立したファイルシステムではないみたいです。インストールの構成によって違うのかもしれませんね。実際に sudo で chmod もできるしその上で書き込みもできてしまうようなので、やはりファイルシステムのドライバレベルでの操作の禁止という訳ではないみたいです。

更に、ble-update した場合も、sudo 経由で /nix/store/..../share/blesh の中に src/ble-nightly.tar.xz が書き込まれてしまっていました。既に存在しているファイルは permission によって書き換えができないみたいですが、新しいファイルは sudo 経由で作れてしまうという事なのではないかと思います。

昨日の #212 (reply in thread) のログ (ファイル `ble-nightly.tar.xz' はサーバ側で変更されていませんでした。) を見る限り、恐らく @tars0x9752 さんの /nix/store にも src/ble-nightly.tar.xz が書き込まれてしまっているのではないかと思います。すぐに問題が起こるか分かりませんが注意した方が良いかもしれません (削除すればOKなのだろうか)。

tars0x9752 Jul 22, 2022
Author

Q2: そちらの環境で、nix の外 (例えばホームディレクトリ以下) にインストールした ble.sh でも同様の fd 枯渇は発生しますか。

すみません, こちら nix 使わずに入れた ble.sh でもfd枯渇のエラー発生しました. nix は関係なさそうですね..
いろいろ試していただいてありがとうございます. 🙏

ro での mount について, 完全に勘違いだったようです. 失礼しました.
（nix 自身は /nix/store へ普通に書き込みするはずなのでファイルシステムレベルでroなわけはないか...）

/nix/store にも src/ble-nightly.tar.xz が書き込まれてしまっているのではないかと思います。

毎回色々試したあとは一旦storeからbleshを完全に消して, 消えたこと確認した上で入れ直してますのでそのあたりは大丈夫かと思います!

akinomyoga · 2022-07-22T10:38:35Z

akinomyoga
Jul 22, 2022
Maintainer

fd枯渇問題

すみません, こちら nix 使わずに入れた ble.sh でもfd枯渇のエラー発生しました. nix は関係なさそうですね..

@tars0x9752 ありがとうございます。nix が関係ないとすると他に手がかりがなさそうです。すみません、手許で再現できないので、お手数をおかけしますが細かい質問について幾つか答えていただけると幸いです。

Q3: ホストのOSは何ですか。Linux でしたらディストリビューションも教えていただければ再現の助けになるかもしれません。

Q4: ble.sh のセッションで C-x C-v と入力した時に表示される情報を教えていただけますか。

Q5: 以下の実行結果はどのように表示されますか。

$ ulimit -Sn
$ ulimit -Hn

以下はシステムに /proc (procfs) がある場合の質問です。

Q6: 以下の実行結果も確認したいです。

$ ls -la /proc/$$/fd/

Q7: 以下を実行した時にfd枯渇のエラーメッセージはどのようになるでしょうか。

$ ble/function#advice before ble/util/assign ': &>/dev/null 3>&1 4>&2 || { echo "[${FUNCNAME[*]}]"; ls -la /proc/$BASHPID/fd/; }'
$ declare -fr ble/util/assign
$ ble-reload

6 replies

tars0x9752 Jul 22, 2022
Author

(一応念の為追記: ちなみに, 個人的に ble-update は使わない想定なので無理してご対応されなくても大丈夫です!)

tars0x9752 Jul 22, 2022
Author

更に追記:
すみません, 原因わかったかも知れません!
starship という prompt をカスタマイズするツールを使っていたのですが, これを無効化した上で ble-reload や ble-update したところ fd 枯渇エラー発生せず実行できました!

akinomyoga Jul 24, 2022
Maintainer

@tars0x9752 情報ありがとうございます。starship + bash-5.0 で状況を再現できたので修正しました (53af663)。最新版で ble-reload によって問題が発生しなくなっている事を確認していただけますか。よろしくお願いいたします。

tars0x9752 Jul 25, 2022
Author

最新版(ble.sh, version 0.4.0-devel3+0b95d5d (noarch)) を入れて ble-reload したところ, 特に何も問題発生しませんでした! いろいろお騒がせしました. ご対応ありがとうございます!

確認時の C-x C-v:

GNU bash, version 5.0.17(1)-release (x86_64-pc-linux-gnu)
ble.sh, version 0.4.0-devel3+0b95d5d (noarch)
bash-completion, version 2.10 (hash:b6da7f7edfc1c3c5196c86c81fb05fce96f83c03, 74550 bytes) (noarch)
starship, version 1.9.1 (rustc 1.61.0, 1980-01-01 00:00:00 +00:00)
locale: LANG=ja_JP.UTF-8 LC_COLLATE=C
terminal: TERM=xterm-256color wcwidth=12.1-west/14.0-2+ri, vte:6003 (65;6003;1)

akinomyoga Jul 25, 2022
Maintainer

ご確認ありがとうございます! 質問に一つ一つ丁寧に答えて下さりましてとても助かりました!

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

ble.sh インストール先ディレクトリ配下への書き込みについて #212

{{title}}

Replies: 4 comments 14 replies

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

`Release 0.4.0-devel2 (2020-12-02)` で `ble-update` → 結果: `1) 単にアップデートできない`

`nightly` で `ble-update` → 結果: アップデート成功/失敗どちらなのかはっきりとはわからず...

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{title}}

{{title}}

{{title}}

{{title}}

{{title}}

Select a reply

ble.sh インストール先ディレクトリ配下への書き込みについて #212

tars0x9752 Jul 20, 2022

Replies: 4 comments · 14 replies

akinomyoga Jul 20, 2022 Maintainer

akinomyoga Jul 20, 2022 Maintainer

aiotter Jul 21, 2022

akinomyoga Jul 21, 2022 Maintainer

tars0x9752 Jul 21, 2022 Author

ざっくりと補足

akinomyoga Jul 21, 2022 Maintainer

Release 0.4.0-devel2 (2020-12-02) で ble-update → 結果: 1) 単にアップデートできない

nightly で ble-update → 結果: アップデート成功/失敗どちらなのかはっきりとはわからず...

aiotter Jul 21, 2022

tars0x9752 Jul 21, 2022 Author

akinomyoga Jul 22, 2022 Maintainer

tars0x9752 Jul 22, 2022 Author

akinomyoga Jul 22, 2022 Maintainer

fd枯渇問題

tars0x9752 Jul 22, 2022 Author

tars0x9752 Jul 22, 2022 Author

akinomyoga Jul 24, 2022 Maintainer

tars0x9752 Jul 25, 2022 Author

akinomyoga Jul 25, 2022 Maintainer

tars0x9752
Jul 20, 2022

Replies: 4 comments 14 replies

akinomyoga
Jul 20, 2022
Maintainer

akinomyoga
Jul 20, 2022
Maintainer

akinomyoga Jul 21, 2022
Maintainer

tars0x9752
Jul 21, 2022
Author

akinomyoga Jul 21, 2022
Maintainer

`Release 0.4.0-devel2 (2020-12-02)` で `ble-update` → 結果: `1) 単にアップデートできない`

`nightly` で `ble-update` → 結果: アップデート成功/失敗どちらなのかはっきりとはわからず...

tars0x9752 Jul 21, 2022
Author

akinomyoga Jul 22, 2022
Maintainer

tars0x9752 Jul 22, 2022
Author

akinomyoga
Jul 22, 2022
Maintainer

tars0x9752 Jul 22, 2022
Author

tars0x9752 Jul 22, 2022
Author

akinomyoga Jul 24, 2022
Maintainer

tars0x9752 Jul 25, 2022
Author

akinomyoga Jul 25, 2022
Maintainer