precision, Seitenzahl 1

6

Antworten

Warum kann double größere Zahlen speichern als unsigned long long?

Die Frage ist, ich verstehe nicht recht, warum double größere Zahlen speichern kann als unsigned long long. Da beide 8 Bytes lang sind, also 64 Bits. Wenn in unsigned long long alle 64 Bits verwendet werden, um einen Wert zu speichern, hat do...

05.05.2015, 12:16

6

Antworten

Warum sagt Visual Studio 2008 mir .9 - .8999999999999995 = 0.00000000000000055511151231257827?

Wenn ich dies in das direkte Fenster von Visual Studio 2008 eintippe: ? .9 - .8999999999999995 Es gibt mir dies als Antwort: 0.00000000000000055511151231257827 Die Dokumentation besagt, dass ein Double 15-16 Stellen Genauigkeit...

02.11.2009, 17:30

4

Antworten

Warum ist Math.sqrt (i * i) .floor == ich?

Ich frage mich, ob das wahr ist: Wenn ich die Quadratwurzel einer quadrierten Ganzzahl verwende, wie in %Vor% Ich werde eine Gleitkommazahl erhalten, die sehr nahe bei 123 liegt. Aufgrund der Gleitkommadarstellungsgenauigkeit könnte dies...

13.01.2010, 21:40

1

Antwort

Wie simuliert man in TensorFlow Schwebekörper mit reduzierter Präzision?

Ich möchte eine Möglichkeit, die Genauigkeit von Floats in TensorFlow (ungefähr: die Mantisse abzusenken) auf eine beliebige Anzahl von Bits innerhalb eines definierten vollen Bereichs reduzieren. Ich muss den Code nicht vollständig in reduziert...

23.03.2017, 00:14

7

Antworten

Ermitteln Sie die Dezimalzahl einer Eingangsnummer

Wir haben ein interessantes Problem, wenn wir die Dezimalgenauigkeit einer Benutzereingabe (Textbox) bestimmen müssen. Im Wesentlichen müssen wir die Anzahl der eingegebenen Dezimalstellen kennen und dann eine Präzisionszahl zurückgeben. Dies wi...

19.07.2010, 14:17

7

Antworten

gcc Präzisionsfehler?

Ich kann nur annehmen, dass das ein Fehler ist. Die erste Bestätigung wird ausgeführt, während die zweite fehlschlägt: %Vor% Wenn kein Fehler, warum?

26.08.2009, 23:03

7

Antworten

Wie benutze ich generische Funktion in C ++?

Ich habe diesen Code geschrieben, in dem, wenn ich die vorletzte Zeile auskommentiere, bekomme ich Fehler - "Vorlage Argument Abzug / Ersatz fehlgeschlagen:". Liegt es an einer Beschränkung auf generische Funktionen in C ++? Auch mein Programm d...

27.08.2015, 14:15

4

Antworten

Sonderbarer Fehler in R beim Importieren von (64-Bit-) Ganzzahlen mit vielen Ziffern

Ich importiere eine CSV, die eine einzelne Spalte enthält, die sehr lange Ganzzahlen enthält (zum Beispiel: 2121020101132507598) a & lt; -read.csv ('temp.csv', as.is = T) Wenn ich diese Ganzzahlen als Zeichenfolgen importiere, kommen s...

11.07.2012, 20:34

3

Antworten

32 Bit im Vergleich zu 64 Bit Fließkomma-Performance

Ich bin auf ein seltsames Problem gestoßen. Ein Algorithmus, an dem ich arbeite, besteht aus vielen Berechnungen wie dieser %Vor% wobei die Länge der Summe zwischen 4 und 7 liegt. Die ursprünglichen Berechnungen werden alle mit 64-Bit-Gen...

29.06.2010, 01:40

2

Antworten

SQL setzt Fließkomma-Genauigkeit

Wie setze ich für einen SQL-Int, der in einen Float konvertiert wird, die Genauigkeit der Fließkommazahl? Dies ist die Auswahl, die ich auf zwei oder drei Dezimalstellen abschneiden möchte: %Vor% Danke!

20.06.2012, 19:19