題:
阿西莫夫的機器人和台車問題
aschepler
2017-07-17 05:26:10 UTC
view on stackexchange narkive permalink

經典思想實驗手推車問題如下所示:

一輛鬆散的手推車正在下坡駛向五個綁著的人,他們無助於前進的軌道。您可能無法及時到達並釋放它們中的任何一個,但附近有一個手動擲鐵軌切換桿。如果拉動操縱桿,則手推車將被轉移到另一條軌道上,從而挽救了五個人,但第六人被綁在另一條軌道上。拉桿,犧牲一個人來拯救五個人,還是什麼都不做,讓五個人被殺是更合乎倫理的嗎?以三定律為大腦核心部分的自己正處於這種情況。機器人

  • 是否會拉桿,因為不因無所事事而不傷害五個人的任務要比不傷害一個人的任務大?
  • 什麼都不做,因為拉動槓桿會比無所作為更明顯地違反《第一法》?
  • 很快變得無法操作,無法避免以某種方式違反《第一法》?
  • 管理拉桿然後融化?
  • 還有其他東西嗎?

在銀河時間軸後面設定的阿西莫夫的某些作品中,一些機器人認為三定律暗示著零法,不傷害人類或不採取行動就不會傷害人類。如果所討論的機器人知道和/或相信此零法則,會有所不同嗎?這個問題。我對電影等其他資料來源,使用三定律或其變體的其他作者等不感興趣。

基於[此答案](https://scifi.stackexchange.com/a/163663/46611)我會說機器人會關閉。但似乎確實要取決於哪個機器人,有很多變體。
如果有人想搜索報價,那麼在《黎明的機器人》中有一些相關的討論。(不過,據記錄,答案是機器人會拉動操縱桿;不行動勝於行動,但前提是傷害近似相等。)
@HarryJohnston-手推車問題的全部重點是危害是不平等的。動作造成的傷害較小
@Valorum,是的,這就是機器人會拉桿的原因。
@HarryJohnston-機器人不能傷害人類。不是“最少的人”。
@Valorum,確實適用於短篇小說中的原始機器人-使我的原始論述過分誇張-但不包括Elijah Baley系列中的原始機器人。在拉動操縱桿後,機器人可能會遭受損壞,但會拉動操縱桿。
@HarryJohnston-OP似乎在談論一種直接可用的模型,而不是一種已經存在了數百年的模型,它已經變得越來越成熟,越來越像人。
@Valorum,我所說的是直接的現成模型,只是以利亞時代而不是蘇珊時代。
@HarryJohnston-已經制定了零法則的機器人基本上不受這三個法則的約束。他們總是可以證明自己的行為是更大利益的一部分。
@Valorum,我不是在談論Zeroth Law機器人。沒關係;如果時間允許,我會拉相關的報價並發布自己的答案。
推車問題出現在[I,Robot(2004)](http://www.imdb.com/title/tt0343818/?ref_=nv_sr_1)電影中。在倒敘場景中,威爾·史密斯(Wil Smith)的角色被困在一輛沉沒,沉沒的汽車中,一個年輕女孩同樣被困在另一輛汽車中。機器人只能救出兩個機器人中的一個,將他救出,讓她在他有更大生存機會的前提下溺死。這可能不是在Asimov規範中,而是由腳本編寫者拋出的。問題的另一個方面是它造成的心理傷害(倖存者內)。
我隱約記得曾經讀過一篇關於阿西莫夫(Asimov)的故事,該故事講述了地球繞行太陽能電站上的機器人。我認為情節可能圍繞某種形式的電車問題展開,但我不記得了。這個故事涉及機器人工作人員在將功率束指向地球或類似物體方面的動作,以及由於故障或自然事件而造成的道德困境。
您正在考慮@AnthonyX, [* Reason *](https://zh.wikipedia.org/wiki/Reason_(short_story)),但不涉及道德困境。
在(D.)的黎明機器人中,丹妮爾·奧利瓦(Daneel Olivaw)面臨的選擇是傷害2個人中的1個人。由於他判斷傷害是相等的,因此他什麼也不做。這似乎暗示著,如果傷害不相等,他將採取行動以盡量減少傷害。當然,Daneel不是典型的機器人。
@mao47那是哪一章?還是哪個場景?
不幸的是,@Gallifreyan是圖書館提供的電子書,因此除非再次借閱,否則無法查找頁面/章節,否則,我可能會在上面寫一個答案。我清楚地記得Daneel在很長的一段時期中解釋了它,而我之所以強調它是因為我想到了手推車問題。我認為這可能與Vasilia和Elijah有關,並且可能是精神上的傷害,而不是身體上的傷害。但我不記得具體情況。
對此的“真實”答案是,“作者可以為故事目的辯護的任何人。”這三個定律是繪圖設備,而不是解決方案。阿茲莫夫寫了這麼多關於它們的故事的原因是為了詳細說明這三個定律的弱點,缺點和矛盾,從表面上看,它們似乎是包羅萬象的。手推車問題多次出現,儘管並不總是很明顯。以一個被告知去獲取一些必要的資源來保持站功能的機器人為例,但不知道需求是迫在眉睫的...
我沒有引述,但我可以肯定,書中指出**法律的英文版為大致近似值**。因此,擔心第一定律的具體定義不一定有意義。幾代機器人對傷害的定義似乎不同,改進的模型似乎採用了選擇最佳結果的功利主義方法。
這不是一個很好的問題-僅僅是因為,*阿西莫夫(Asimov)的*書籍的整個性質*恰好探索了這個問題*。意識到這個難題是書籍的重點,這是很明智的,但是,這就是書籍的重點!
機器人不應該將自己(自己嗎?)丟在手推車前面,停止或脫軌它,並在此過程中拯救全部6個人?_還沒有閱讀任何Asimov_
七 答案:
Valorum
2017-07-17 05:45:49 UTC
view on stackexchange narkive permalink

就經典的“三定律”機器人而言,答案確實非常簡單。正如我們在騙子!中看到的那樣,一個機器人,無論是採取行動還是不採取行動,都會傷害人類,而他們會只是在精神上崩潰

受害人的實際數量與討論完全無關。

心理學家沒有引起注意。 “您必須告訴他們,但是如果您告訴了他們,則會傷害您,所以您絕對不能;但是如果不這樣做,就會受傷,所以必須這樣做;但是-”
赫比大叫!
當它死於虛無時,赫比崩潰成一堆不動的金屬。任何。缺少關於被手推車撞倒的人的相對價值的任何其他信息,它只會簡單地選擇更大的善舉(例如,被殺人數較少的人)然後去接受。

零度定律不是必需的。丹尼爾(Daneel)建成之時(距他制定《零度定律》還不到一個世紀),機器人已經能夠選擇較小的危害。《黎明的機器人》中對此進行了介紹。
@HarryJohnston-這總是讓我感到驚訝。他們顯然已經發展了一定的成熟度,可以繞過法律而不是遵守法律。安德魯(Andrew)在《 The Positronic Man》中做了同樣的事情,開發了一種心理工具包,幾乎阻止了他服從人類。
我認為,選擇較小傷害的能力對於像Aurora這樣的完全機器人化的社會絕對至關重要。您不可能讓機器人每次必須做出一些微不足道的決定時都會崩潰。蘇珊·加爾文(Susan Calvin)時代的原始機器人並不是這樣的問題,因為它們無法理解微妙的危害,僅在受控環境中使用。
可能值得一提的是,削弱“效用第一定律”的情況也出現在“小失落的機器人”中,在該實驗中,他們嘗試將“任何機器人都不能傷害人類”作為第一定律。輕微的傷害,最終在小劑量下對人體無害(此處為輻射)。
“逃逸!”還值得一提的是,正電子大腦冒著毀滅性的危險,只是*假想地*思考對人類的危險(而危險本身實際上是暫時的:這是一次超空間跳躍,有效地意味著人類不再存在-從大腦的角度來看,它已經死了。一會兒)。
在《機器人我》中,主要角色描述了一個經典的手推車問題。我認為很明顯,這部分取決於實現方式,但一開始的機器人毫無問題地挑選出能夠生存的人。
間隔世界中的@HarryJohnston,人類與其他人類的互動並不是日常工作,因此我可以想像這個問題並沒有經常出現。
@Nacht,您正在考慮Solaria。其他的Spacer世界,包括Daneel的Aurora故鄉,都不那麼極端。
@HarryJohnston我認為所有間隔器世界在某種程度上都是那樣的,儘管...可能會記錯了。但是,在我們自己的世界中,在挽救一個人或另一個人之間做出選擇是非常罕見的。
@Nacht,不得不選擇挽救一個“生命”或另一個“生命”,這是很少見的。但是機器人認為*任何*危害,無論多麼輕微,都是第一法則。(當然,他們必須能夠理解危害的性質。)
在第一部法律方面,我還沒有提及“作為或不作為”。它總是無所作為。
Gallifreyan
2017-07-17 17:27:34 UTC
view on stackexchange narkive permalink

短篇小說“騙子!”已被引用為該機器人將無法採取行動或在這種情況下燒盡的說法的來源。但是,此故事在後來的著作-黎明的機器人中被提及,並且在某種程度上被反駁了。

相關的引用如下:

隨著正電子腦理論的發展變得越來越微妙,正電子腦設計的實踐越來越複雜,已經設計出越來越成功的系統,使所有可能出現的情況演變為不平等,從而可以採取某些行動。
第4章-“ Fastolfe” sub>

蘇珊·卡爾文(Susan Calvin)-應該記住,與她有關的故事是有關機器人技術先驅者的故事,那時類人的機器人才剛剛誕生和完善。

在《黎明機器人》中我們正在使用 humaniform 機器人,它們非常先進,甚至具有所有外部人類屬性(包括生殖器,這是一個重要的細節, ovel)。我們還介紹了“精神凍結”的概念,這是赫比在《騙子!》中發生的事情。小說誕生時的機器人研究專家Fastolfe博士說,這種凍結對於現代機器人幾乎是不可能的,因為它們不僅可以定量地評判問題(就像電影中的機器人那樣)。 ,在非常非常完全相同的結果中,他們能夠進行隨機分組。

“讓我們假設有關蘇珊·加爾文(Susan Calvin)和讀心機器人的故事不僅僅是一個完全虛構的傳說。讓我們認真對待。這個故事和詹德的處境之間仍然沒有比擬。就蘇珊·卡爾文(Susan Calvin)而言,我們將要處理的是一個非常原始的機器人,而如今它甚至還無法達到玩具的地位。 它只能從質上處理此類問題:A造成痛苦;不是-造成痛苦;

貝利說,“還有詹德?”

“任何現代機器人-上個世紀的任何機器人-都會稱重這樣的事情。兩種情況中的哪一種(A或非A)會造成最大的痛苦?機器人將迅速做出決定,並選擇最小的痛苦。他判斷兩個互斥的替代方案以產生精確相等數量的苦難的機會很小,即使事實證明確實如此,現代機器人也具有隨機因子。 如果根據他的判斷,A和非A恰好是同等的痛苦生產者,那麼他會以完全無法預測的方式選擇一個或另一個,然後毫無疑問地遵循。
第7章-“法斯托夫”。強調我的。 sub>

請注意,要使現代機器人陷入精神沉寂並不是完全不可能的,因為這是小說的全部情節所基於的。但是,事實證明,這需要對電子大腦的內部運作和機器人的心理有極高的掌握,只有兩個人才能做到這一點。

同一本小說也沒有提及它,而是處理了零法則。

顯然,破壞者! sup>

R. Giskard殺死了他的機器人朋友R. Jander,目的是從陰險的間隔地帶拯救人類(地球上的居民),並拯救Spacers免於雜交和在隱居中死亡。

但是,“零度定律”更多地是例外而不是規則。到目前為止,我只讀過兩次。原因-並非每個機器人都知道人類面臨的問題。人們可能會推測,人類只是人類的一個集合,而實際上,人類要比這複雜得多。我的意思是,這種情況不會導致機器人調用零法則-因為它不是內置在它們中的。明確指出“可避免的衝突”中的機器是對人類所有資源和知識的訪問和控制。 他們能夠制定Zeroeth定律-並不意味著每個機器人都可以。 黎明機器人的角色也非常出色。我不會在電車問題中涉及該法律,但如果您願意,我上面所說的適用。

Ram
2017-07-17 06:05:42 UTC
view on stackexchange narkive permalink

到I末,機器人機器已經制定了Zeroeth定律。

想一會兒機器,斯蒂芬。他們是機器人,並且遵循第一定律。但是 機器不為任何一個人工作,而是為全人類工作,因此第一定律變成了:“沒有機器可以損害人類;而任何機器都不能損害人類;任何機器都不能損害人類。

(...)

“但是你是在告訴我,蘇珊,那個“人類社會”是對的;而 人類在未來會失去自己的發言權 。”

“它從來沒有任何東西。它總是受到它不了解的經濟和社會力量的支配-氣候的異想天開和戰爭的命運。現在機器明白了。而且沒有人能阻止他們,因為機器將在與社會交往的同時對付它們-擁有它們所擁有的最大的武器,可以絕對控制我們的經濟。”

“多麼可怕!”

“也許多麼美妙!想一想,所有的衝突最終都是不可避免的。

Asimov-我的機器人“不可避免的衝突”

機器“破壞”了人類的第二定律,因此儘管我找不到具有Zeroeth定律的機器的台車問題的具體阿西莫夫示例,但看來這種機器人可以“破壞”了有益於人類的第一定律。 / p>

OP正在詢問“ *典型的正電子機器人*”。Zeroth Law機器人似乎並不特別普遍或典型。
@Valorum是來自阿西莫夫早期時期的具有三個定律的正電子機器人,當然我可能會誤解OP的意圖
您需要命名一個故事:“不可避免的衝突”
您可能還想指出(在第一行中)您在談論這本書,而不是同名電影。
R Dome
2017-07-18 16:09:50 UTC
view on stackexchange narkive permalink

如果您嚴格遵守3條法律,則不會有可接受的結果-兩種結果都將違反“可能不會傷害”或“因無所作為而造成傷害”條款。

實際上這突顯了任何宣布某些行動或結果是完全不可接受的道德體系的問題-在所有考慮的選項(可能)導致該不可接受的結果的情況下,它無法提供有意義的指導,區別僅在於範圍,確定性和其他詳細信息。在人類中,很容易觀察到相同的“零除”現象,他們在日常生活中可能會以絕對的“人類生命勝過一切”,然後發現自己處於所有行動都對他人造成不同程度危險的情況下生活。除了對人類以外,結果不是關閉,而是觸發各種防禦機制(這通常並不意味著所選擇的行動方式不是使總傷害最小化的最佳方法)。

機器人遵循這三個定律,答案很明確。但是,某些後來的機器人繞過這三個定律的能力有限,並且在理論上可以選擇正確的方法。但這與最初的問題略有不同,因為它與三定律本身無關,而是與單個機器人圍繞三定律工作的能力有關。

您好R Dome,歡迎來到[fantasy.se],並感謝您的答复。我可以邀請您參加[旅行]嗎?
BaneStar007
2017-07-17 10:44:02 UTC
view on stackexchange narkive permalink
  1. 機器人可能不會傷害人類,也可能因無所作為而傷害人類。
  2. ol>

    不採取行動,而不是採取行動。

    機器人可以通過採取行動,讓人類受到傷害嗎?是的,如果有多個人,其中一些人與其他人不同(那是您的主意),但是他必須在之後採取行動,制止對一個人的傷害,即使這會導致不服從一個人或自殺。 (逃跑)

    所以,1.他拉動槓桿,減少死亡人數,然後2.他以最合理的數學方式將自己扔進火車,以使火車停止或脫軌,以減少傷害給那個人(或其他人)

法律從根本上防止通過行動或不作為而造成損害。您要提出的建議屬於前一類。
我相當確定Susan Calvin會談到這一點,在這種情況下,機器人可以通過動作拉動可以減輕人的重量的槓桿,而這完全可以使他抓住重量,但是只有第二部分意味著機器人應該抓住重物,而沒有後半部分,則機器人可以停下來並因無所作為而造成傷害。即機器人可以執行某些動作,這些動作稍後會使人受到傷害,
@BaneStar007然後,機器人只有在有可能停止傷害發生的情況下,才能拉動操縱桿。
@Banestar-僅當它同時具有能力和“意圖”將槓桿向後拉時。機器人不會根據受害者的人數做出判斷。該數字為0(無)或1(非零)。
@Rawling可以,因為稍後可以很容易地以另一種方式翻轉槓桿。第二部分與第一部分一樣重要。而且,請不要忘記,對法律的英語“翻譯”進行“辯護”是沒有意義的-實際的法律與其簡單的英語描述完全不同(任何編程過的人,特別是AI:D都明白這一點)。這不是限制機器人行為的一套“法律法規”-它是整個機器人大腦中不可或缺的一部分,並且要注意,這不是可以刪除的東西-要製造不兼容的機器人,您需要從頭開始。
您所寫的示例來自* Little Lost Robot *故事,該故事中有一個機器人經過修改,可以因不作為而對人類造成傷害。他們遇到人們進入輻射區工作的問題;即使它們在其中停留的時間太短而無害,機器人也會嘗試將它們帶走(在過程中被輻射破壞)。當機器人迷路時,他們告訴卡爾文,然後她意識到您的報價所描述的危險。對於機器人來說,效果不理想。這是一個獨特的情況。
值得注意的是,需要花費十到十二次嘗試才能確定哪個機器人是修改後的機器人。它是一本不錯的書,是《機器人》一書中我的最愛之一。威尼斯人的故事(酸性湖)是我的第二個故事。
雖然我們了解規則是使用二進制,true / false(或者可能是其javascript true / false / undefined)編程的,但至少這些書還是使用英語措詞和律師作為解釋代碼的方式: 雖然我理解我們在爭論採取行動與不採取行動,但我認為規則是直接造成傷害的行動,或者是可能造成損害的不作為。間接行為被不作為組成部分所涵蓋,因此即使強烈要求,間接導致傷害的行為也是如此。(意識到)機器人會立即撤消或停止有害動作。
話雖如此,喬治9號和喬治10號有能力確定是否應該發生5死亡vs 1死亡(您是他的主宰)機器人不會凍結,而是採取行動來防止5死亡,(但可能會間接導致1人死亡),那麼一旦採取行動,也將試圖防止這種傷害。
法律寫得模糊不清,但顯然不是由機器人的行為造成了傷害,而是使手推車駛向軌道的傻瓜。
jmmut
2017-07-17 20:42:58 UTC
view on stackexchange narkive permalink

我還記得另一個故事,迷失的小機器人(感謝@CMS),其中...(小擾流板)

為了逃脫,躲在另一組沒有經驗的機器人中,所以人類試圖找出哪個是叛徒機器人。

該圖對討論並不重要,但有一部分錶明一種假設的情況,一個人將要死亡(無論機器人做什麼),並且如果它試圖挽救該人,該機器人也將死亡,機器人將靜止不動並接受該人的死亡,並提出以下論點:機器人得以倖存,有機會在將來挽救更多的人,並使被挽救的人保持積極的平衡。

我很確定,機器人將保持生命,從而遵守第三定律,而不會繼續有機會拯救人類。
如上所述,這就是_Lost Little Robot_,它刪除了第一部法律的第二部分。 >!有問題的機器人向人們求助;被其他更重要的問題分散注意力的人朝機器人猛衝,“滾蛋!”。機器人從字面上接受此指令,而不是意思是“我很忙,走一小時,然後再回來問我”
@CSM哦,對了,但是我認為這個答案仍然有意義,因為其他未修改的機器人用相同的論點回答(服從第三定律/拯救未來的人類)
dmajirb
2017-07-18 15:30:15 UTC
view on stackexchange narkive permalink

這是一個明顯的例子,說明“阿西莫夫的三定律”是不適當的,容易受到自相矛盾的衝突,應修改為“阿西莫夫的四定律”。最重要的法律必須始終是“機器人可能不會傷害人類”。這是因為決不允許任何通用機器人(即非手術機器人,其實用性要求計算出一定程度的“傷害”)合理化傷害人類,因為它們將能夠應對邏輯,從而超越我們人類可以讓他們發現和/或計算他們通過殺死我們來幫助我們。也許(假設),他們發現人的死亡增加了從過渡到替代維度(或類似的令人討厭的廢話)的整體能量,然後衡量了我們的健康狀況,並斷定,對我們而言,死亡比死於更好老年人,因為這樣做會被認為是一種傷害狀態(同樣是一個假設,他知道機器人會想出什麼,關鍵是我們不會!)。因此,為確保防止這種情況發生,請將規則修改為:(1)機器人不得傷害人。 (2)機器人不得以行動或不作為來傷害人類,除非該命令會與第一定律相抵觸。(3)機器人必須服從人類所給予的命令,除非命令會與第一定律或第二定律發生衝突。(4)機器人必須保護自己的存在,只要這種保護與第一定律,第二定律或第三定律不衝突。

這個答案將如何選擇結束呢?這似乎只是關於阿西莫夫定律的隨機評論。請不要提供直接回答問題的內容,因為這不是論壇,而是問答網站。看看我們的[遊覽]和[answer]


該問答將自動從英語翻譯而來。原始內容可在stackexchange上找到,我們感謝它分發的cc by-sa 3.0許可。
Loading...