floating-point

Fließkommazahlen sind Näherungen reeller Zahlen, die größere Bereiche als Ganzzahlen darstellen können, aber die gleiche Menge an Speicher verwenden, auf Kosten geringerer Genauigkeit. Wenn es sich bei Ihrer Frage um kleine arithmetische Fehler (z. B. warum 0,2 + 0,1 ist gleich 0,300000001?) Oder um Dezimalwandlungsfehler handelt, lesen Sie bitte die unten verlinkte Seite "info" vor dem Posten.
1
Antwort

Ruby Float mit Doppel 0

Wenn floats gedruckt werden, druckt Ruby 1234.0 mit nur einem 0 nach dem Punkt. Wie kann ich Ruby zwingen, zwei 0 s zu drucken?     
18.04.2011, 12:31
6
Antworten

Python-Berechnungsfehler

Ich verwende die API mpmath, um die folgende Summe zu berechnen Betrachten wir die Serie u0, u1, u2, definiert durch: %Vor% Die Serie konvergiert auf 2, aber mit dem Rundungsproblem scheint sie auf 2000 zu konvergieren. %Vor% Mein Cod...
02.01.2012, 09:00
2
Antworten

Haskell: Unerwartete Ausgabe für Ausdruck [0, 0.1 .. 1]

Bei der Auswertung des Ausdrucks: %Vor% Ich habe tatsächlich erwartet: %Vor% Aber ich war ziemlich schockiert zu sehen, dass die Ausgabe ist %Vor% Warum produziert Haskell dieses Ergebnis nach Auswertung?     
19.02.2011, 04:49
3
Antworten

setzt die Standardpräzision C ++ zurück

Ich möchte die Genauigkeit für ein Double während eines Vergleichs steuern und dann mit C ++ auf die Standardpräzision zurückkommen. Ich möchte setPrecision() verwenden, um die Genauigkeit festzulegen. Was ist dann die Syntax, um die Genau...
24.09.2012, 07:03
5
Antworten

Ist if (doppelt) gültig C ++?

Ich bin gerade in diese Codezeile gelaufen: %Vor% wobei length2 eine double zurückgibt. Es verwirrt mich, dass 0.0 0, NULL und / oder false entspricht. Ist dies ein Teil des C ++ - Standards oder ist das Verhalten nicht defini...
22.09.2010, 07:31
4
Antworten

Fließkommaformatierung in printf ()

Ich habe eine Reihe von Fließkommazahlen, in denen Daten mit unterschiedlichen Dezimalstellen gespeichert werden, also einige sind 123.40000 , 123.45000 , 123.45600 ... jetzt, wenn ich diese Werte in der Zeichenkette ohne die 0s in der dr...
07.12.2009, 23:22
7
Antworten

Wie richte ich einen Float auf eine bestimmte Anzahl von signifikanten Stellen in Ruby?

Es wäre schön, ein Äquivalent von Rs signif zu haben Ruby. Zum Beispiel: %Vor%     
05.12.2011, 08:24
3
Antworten

Fließkommakonstanten in Vorlagencode

Ich habe eine Template-Funktion, die mit einem Gleitkomma-Argument arbeitet. Die Funktion ist als Vorlage vorgesehen, sodass ein Aufrufer entweder float , double oder einen anderen Gleitkomma-Datentyp verwenden kann. An einem Punkt in me...
28.05.2011, 14:38
2
Antworten

Nein wirklich, wann kommt es tatsächlich zur Gleitkomma-Promotion?

Von dieser anderen FRAGE wird gesprochen wie Bjarne Stroustrup sagte, dass genauso wie ganzzahlige Datentypen, die enger als ein int (zB short ) sind, zu einem int befördert werden, werden float s zu einem double hochgestuft. Im...
27.05.2015, 18:40
2
Antworten

Datentyp zum Speichern von Längengrad / Breitengrad in Mysql

%Vor% Versuchen zu verwenden: %Vor% Ich verwende derzeit den Datentyp SPATIAL , GEOMETRY . Es gibt mir Fehler wie: Aus den Daten, die Sie an das GEOMETRY-Feld senden, kann kein Geometrieobjekt abgerufen werden Alle Werte haben...
05.03.2012, 00:11